【降低噪声】普通人也能一文读懂Sora系列

【降低噪声】普通人也能一文读懂Sora系列 【降低噪声】普通人也能一文读懂Sora系列 Audio or video is not supported Please download the file and open it with the appropriate software. mitten astronaut.mp4 · 51.97MB mitten astronaut 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. tokyo walk.mp4 · 46.20MB tokyo walk 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. prompting 7.mp4 · 5.72MB prompting 7 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. extend 1.mp4 · 11.75MB extend 1 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. extend 2.mp4 · 11.75MB extend 2 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. extend 4.mp4 · 10.00MB extend 4 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. bike 1.mp4 · 7.88MB bike 1 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. Input video 1.mp4 · 19.57MB Input video 1 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. make it go underwater.mp4 · 12.79MB make it go underwater 00:00 No access simulation 6 00:00 5. 内容一致性的保持：在生成长视频时，保持场景和角色的一致性是一个挑战。Sora通过高级的算法确保视频内容从开始到结束都保持逻辑上的连贯性和视觉上的一致性。 6. 多角色交互的处理：Sora能够生成包含多个角色在内的场景，这些角色之间的互动看起来自然和有信服力。这对于创造复杂的社交场景或动作场面尤为重要。 7. 强大的语言理解能力：Sora采用了类似GPT的技术，自然语言理解极为强大。它甚至可以根据简短的提示，通过生成详细的描述来提高视频内容的相关性和准确性。 8. 模拟现实世界动作的能力：Sora不仅可以生成静态场景的视频，还能模拟动作对环境的影响，如人物吃东西留下咬痕，这种对细节的捕捉在提高视频真实感方面非常关键。 9. 创造数字世界的能力：Sora可以模拟视频游戏等数字环境，控制游戏角色并以高保真度渲染游戏世界，这显示了它在理解和生成复杂数字世界方面的强大能力。 10. 大规模训练的优势：Sora通过大规模训练，能够理解和处理各种视觉数据，这使得它在理解复杂场景和生成高质量视频内容方面具有优势。 11. 内容生成的创新性：Sora的技术架构允许它在生成视频时展现出创新性，如通过模拟细节增强场景真实感，或是通过创造性地理解文本提示来生成前所未有的内容。 Sora局限性何在？ 虽然Sora在视频生成方面展现了许多优势，但它作为一个模拟器仍然存在一些局限性。根据OpenAI提供的信息，这些局限性主要表现在以下几个方面： 1. 物理互动模拟不精确：Sora在模拟一些基本的物理互动，比如玻璃破碎的过程时，并不总是能够准确捕捉到这些现象的物理本质。这可能是因为模型在理解和生成这类物理效应的复杂性上还有待提高。 2. 对象状态变化不一致：在模拟吃东西等互动时，Sora不总是能够正确地反映出对象状态的改变，比如食物被吃掉后应有的变化。这表明模型在跟踪和表达对象状态变化方面还存在挑战。 3. 长视频的不连贯性：在生成较长的视频样本时，Sora有时会产生不连贯的问题，比如突然出现或消失的对象，这影响了视频内容的逻辑性和连贯性。 这些局限性说明，尽管Sora在视频内容生成方面取得了显著进展，但在完全模拟现实世界的物理互动、对象状态变化以及保持长时间视频内容连贯性方面，仍然面临挑战。这些问题的存在可能限制了Sora在某些特定应用场景下的效用，特别是那些对物理真实性和细节连贯性要求较高的场合。 为了克服这些局限性，未来的研究和开发工作可能需要进一步提高模型的物理模拟能力，改善对象状态跟踪机制，并增强长视频生成的逻辑性和连贯性。通过持续的技术迭代和优化，有望逐步解决这些问题，使Sora和类似的AI视频生成模型能够更加精确和自然地模拟现实世界和其互动。 No access discussion 0 00:00 Sora有何影响？ Sora，作为OpenAI开发的先进文本到视频生成AI，对社会、行业和个人创作带来了深远的影响： 1. 媒体和娱乐行业革新：Sora能够快速生成高质量的视频内容，为电影、电视、广告和游戏行业提供了新的创作工具。这可能降低制作成本，加速创作过程，并为小型创作团队提供与大型制作公司竞争的机会。想象一下，一个小型独立电影工作室想要拍摄一部科幻电影，但预算有限，无法承担昂贵的特效和场景设计费用。Sora可以让他们通过简单的文本描述生成复杂的外星景观或是惊险的太空追逐场景，大大降低制作成本，同时保持影片的视觉冲击力。 2. 教育和培训的变革：通过生成具体场景的视频，Sora可以为在线教育提供更加丰富和互动的学习材料。这不仅能够提高学习的吸引力和效率，也为远程教育和自学者开辟了新的可能性。比如历史老师想要让学生更直观地了解罗马帝国的生活。通过Sora，老师可以创建详细的、栩栩如生的罗马市场或角斗场的视频，让学生们仿佛穿越回古罗马，增强学习体验和历史的沉浸感。 3. 个人低门槛创作：Sora降低了高质量视频制作的门槛，使得没有专业视频制作背景的个人也能够创造出吸引人的视觉内容。这促进了内容创作的民主化，激发了更多人的创造潜能。 4. 游戏开发：对于独立游戏开发者来说，创建一个引人入胜的游戏世界是挑战之一。Sora可以帮助他们通过描述来生成游戏内的环境，比如“神秘的森林在月光下闪耀着银色的光芒”，从而加快游戏开发过程，提升游戏的视觉质量和创意表现。 5. 广告行业：广告公司需要快速响应市场，为不同的产品和服务制作吸引人的广告。Sora能够根据创意团队的文本提示快速生成展示产品特点的视频，无论是展示一款运动鞋在各种极限环境下的性能，还是创造一个虚拟的幻想世界来宣传最新的视频游戏。 6. 新闻和报道的影响：Sora提供了一种新的方式来制作新闻报道和纪录片中的视觉内容，特别是在缺乏现场拍摄资源的情况下。然而，这也需要媒体机构采取措施确保内容的准确性和透明度。 7. 社交媒体内容创作：对于那些热衷于社交媒体的用户，Sora可以帮助他们创作出独特和引人注目的内容。无论是想分享生活点滴，还是传达某种观点或情感，Sora都能提供强有力的视觉支持，让内容更加丰富多彩，增强与观众的互动和连接。 8. 个性化和定制化服务的提升：随着技术的进步，Sora可能会提供更加个性化和定制化的视频生成服务，满足用户特定的需求和偏好，从而在广告、品牌营销等领域发挥重要作用。 9. 社会和伦理挑战：随着Sora等技术的发展，也带来了关于内容真实性、版权、以及滥用风险的社会和伦理问题。如何确保技术的负责任使用，防止生成误导性或有害内容，成为了行业、监管机构和社会需要共同面对的挑战。 Sora是世界模拟器？ Sora被称为世界模拟器的原因在于其能力不仅限于简单地根据文本生成视频，而是可以通过视频模型来模拟、理解和重现物理世界和数字世界中的复杂互动和动态变化。这种模拟能力意味着Sora不仅可以创造出视觉内容，还能在一定程度上捕捉和再现现实世界或虚拟世界中的行为、物理规律和社会互动。 模拟物理世界 Sora能够生成显示人物、动物和物体在现实世界中交互的视频，这些交互遵循物理规律，如重力、碰撞和运动。例如，Sora可以生成一个人跳跃或物体掉落的视频，这些视频反映了真实世界的物理特性。 模拟数字世界 Sora同样能够模拟视频游戏或其他数字环境中的场景和互动。这不仅包括视觉呈现，也包括游戏逻辑和角色行为。通过理解和生成这类内容，Sora展现了对复杂数字环境规则的理解能力。 模拟社会和文化互动 通过生成具有复杂社会和文化背景的视频，Sora展示了对人类社会互动和文化表现的模拟能力。这不仅对于娱乐和教育领域有重要意义，也对于社会科学研究提供了新的视角和工具。 未来发展 随着技术的进步，Sora作为“世界模拟器”的能力有望进一步增强，包括更准确地模拟复杂物理现象、更深入地理解和表现人类情感和社会文化互动，以及更广泛地应用于教育、设计、规划和娱乐等领域。这样的进步将进一步强化Sora在模拟世界各个方面的能力，使其成为研究、教育和创作的强大工具。 总之，Sora之所以被称为视频生成模型中的“世界模拟器”，是因为它的技术和应用展示了对现实世界和数字世界的深入理解和高度模拟能力，这不仅是技术上的创新，也为各行各业提供了新的视角和工具。 Sora将成为实现 AGI 的重要里程碑？ 将Sora视为实现通用人工智能（AGI）重要里程碑的理由在于其独特的能力——理解和模拟现实世界。这一功能的重要性体现在以下几个方面： 1. 复杂环境理解：能够理解和模拟现实世界意味着Sora具备分析和处理复杂环境数据的能力。这种能力是通用人工智能的核心，因为它要求机器不仅仅能执行单一任务，还能理解和适应多变的环境和条件。 2. 跨领域学习与适应：Sora展示了从文本描述到视频内容生成的跨媒介能力，这种能力体现了模型的多模态理解——即能够整合不同类型信息（如文本、图像和视频）的能力。通用人工智能需要这种跨领域的学习和适应能力，以在不同的环境和任务中应用其知识和技能。 3. 抽象思维与创造力：通过根据文本提示创造视觉内容，Sora展现了一定程度的抽象思维和创造力。这表明了它不仅能理解文本中的直接描述，还能将其转化为具体的视觉表现。通用人工智能的发展需要这种抽象和创造性思维的能力，以解决新的、未经编程的问题。 4. 动态环境交互：Sora能够模拟现实世界中物体、人物和环境的相互作用，这种交互能力对于在不断变化的环境中做出适应性反应至关重要。通用人工智能需要能够在现实世界中有效地“行动”，这不仅需要理解环境，还需要能够预测和影响环境变化。 Sora作为一个能够理解和模拟现实世界的模型，其发展和完善将推动人工智能从专用AI向通用人工智能（AGI）的转变。这种转变意味着AI将不再仅限于执行特定任务，而是能够更广泛地理解和参与我们的世界，从而解决更复杂的问题，并在多种情境下提供帮助。这一切都指向了实现AGI的关键路径之一，即发展能够全面模拟人类理解和创造力的AI系统。 其他观点 💡 360创始人 周鸿祎 1.AGI实现时间缩短:由于科技的发展,AGI的实现时间可能会从10年缩短到1年。 2.科技竞争与人才密度:科技竟争最终取决于人才密度和深度积累。 OpenAl等拥有核心技术的公司在A领域的实力强劲,这表明创业公司不能仅依赖AI技术,还需要有创新和创意。 3.AI对行业的颠覆:AI可能不会立即颠覆所有行业,但它能激发人们的刨造力。例如,Sora可能对广告业、电影预告片和短视频行业产生重大影响,但不太可能迅速击败 Tiktok,更可能成为其创作工具。 4.国内A发展水平:尽管国内大模型的发展水平接近GPT 3.5,但与GPT4.0相比仍有一年半的差距。OpenAI可能还持有一些未公开的技术优势。 5.大语言模型的能力:大语言模型不仅仅是填空机,它们能够完整地理解世界知识。Sora通过结合大语言模型(LLM)和 Diffusion技术,实现了对现实世界的理解和模拟,这代表了未来AI的发展方向。 6.AI对物理世界的理解:Sora展示了AI对物理世界的模拟能力,这将对机器人具身智能和自动驾驶等领域产生重大影响,因为这些领域需要对世界有深入的理解。 7.视频学习的重要性: OpenAI训练Sora时可能会阅读大量视频,这将帮助AI更好地理解世界。通过视频学习,AI对世界的理解将远超文字学习,这可能会加速AGI的实现。 💡 心识宇宙ceo 陶芳波 1.Dall E会被弃用,所有的视觉生成统一到Sora,Sora未来成为世界模型的基础,负责图片、视频、3D。 2.下一步,Sora被统 到LLM,构造下一代 Foundation model(真正的GPT 5?),LLM负责抽象世界,Sora负责现实世界,但架构统一,参数融合(配上各种特异 decoders,如 diffusion),智力的借用也更融合。 3.再往后,不再有各种AIG X模型,世界范围内统一一套 Foundation Mode和 Foundation Agent的标准和参数,每几年迭代一次,成为 World AI Kernel/世界智能内核。所有人基于该标准,来开发AI Native应用。 结论 1. OpenAI可能是世界的福音,但是是当下AI创业的噩梦。 2.比特的大一统,比能量(力)的大一统来的更快。 💡 润米咨询创始人 刘润 1、用Sora生成的视频，并不总是能“咬就会有痕”。它“有时”也会出错。但这已经很厉害，很可怕了。因为“先记忆，再预测”，这种理解世界的方式，是人类理解世界的方式。这种方式有个名字，叫：世界模型。2、什么是，世界模型？我举个例子。 3、你的“记忆”中，知道一杯咖啡的重量。所以当你想拿起一杯咖啡时，大脑准确“预测”了应该用多大的力。于是，杯子被顺利拿起来。你都没意识到。但如果，杯子里碰巧没有咖啡呢？你就会用很大的力，去拿很轻的杯子。你的手，立刻能感觉到不对。然后，你的“记忆”里会加上一条：杯子也有可能是空的。于是，下次再“预测”，就不会错了。你做的事情越多，大脑里就会形成越复杂的世界模型，用于更准确地预测这个世界的反应。这就是人类与世界交互的方式：世界模型。 3、关于世界模型，如果感兴趣，我建议你读一本书，叫《千脑智能》。 4、回到Sora。Sora的技术文档里有一句话： Our results suggest that scaling video generation models is a promising path towards building general purpose simulators of the physical world. 翻译成中文就是： 我们的结果表明，扩展视频生成模型是向着构建通用物理世界模拟器迈进的有希望的路径。 5、什么意思？意思就是说，OpenAI最终想做的，其实不是一个“文生视频”的工具，而是一个通用的“物理世界模拟器”。也就是世界模型，为真实世界建模。 6、而Sora，只是验证了，这条道路可行的一个里程碑。 7、如果从“视频”中，可以开始学习物理的规律了，那么，未来可以不可以从“摄像头”里学习呢？如果也可以的话，那么，给AI装一双“眼睛”，让他满世界跑，会发生什么？如果也可以的话，那么，把全世界的公共摄像头，都开放给OpenAI，会发生什么？ 7、Sora的出现，可能意味着，通用人工智能（AGI），正在加速到来。 8、这才是OpenAI，真正想做的事情。 9、所以，这时你就能理解，为什么Sam Altman要筹集7万亿美金，重塑全球AI芯片的基础设施了。7万亿，相当于全球GDP的10%，能买2.5个微软，4个英伟达，或者11.5个特斯拉。为什么？因为，通往通用人工智能的道路上，需要大量、大量、大量的算力。 10、Sora来了，通用人工智能还会远吗？ 11、这个世界正在发生着难以想象的变化。看似很远，但又瞬间近在眼前。 💡 网易有道CEO周枫 十天时间，Sora的创新与潜在应用大家已经讨论得挺充分了，我读了不少。周末把Sora和SD 3相关文献读了一下，所以我就补充一些技术沿革和产品思路和理解吧。首先是相关技术的一个简单脉络，然后是产品端的几点想法。 一、DiT及相关技术 Sora和SD 3都是基于Diffusion Transformer（DiT）这个新的图像生成技术，这是Sora作者之一William Peebles的成果，文章是Scalable Diffusion Models with Transformers，2022年12月上了arXiv，正式发表于ICCV（2023年10月）。 DiT这个技术被OpenAI和Stable.ai两大当红AI公司选中作为重要项目的基础，首先当然是性能足够好，下图是作者给出的ImageNet数据集生成效果指标，最重要的FID指标（越小越好）比之前的SOTA LDM一下从3.6降低到了2.27，可以说是质的飞跃。ImageNet数据集生成效果指标.png 另外我理解DiT也比较符合技术趋势，这几年AI界一大思路就是技术的统一化，语言生成、翻译、语音识别、图像识别都在往Transformer上面靠，而且纷纷成功，唯有图像生成这个领域还在用UNet这样的卷积模型，而DiT成功地把图像生成用Transformer做出来，并大幅改进SOTA，所以被两大公司同时选中，就不奇怪了。 我们把图像生成和相关技术的发展过程简单捋一下的话，大概是这个样子： GAN（2014）：这个是现代图像生成技术的开端，2014年的时候深度学习已经火了起来，但是当时主要的能力是识别图像，GAN的作者Ian Goodfellow（Bengio的学生，在Google, Apple都工作过）打破了这个限制，通过GAN就可以让算法具有想像力，完成文生图的任务。 扩散模型（Diffusion Model，2020）：GAN带来了对图像生成的很多兴趣，但有两大缺点，计算量大和难以控制，所以随后出现了很多其它图像生成算法，当前胜出的就是扩散模型。奠基的文章是Berkeley()的Ho, Jain，Abbeel的Denoising Diffusion Probabilistic Models（2020）。扩散模型的双向统计图模型.png Diffusion是一个经典的把统计理论应用到AI中的算法，正向的扩散过程将图片逐步变成随机噪声，而逆向的扩散过程就从随机噪声生成图片，我借机回顾了一下在Berkeley Evans Hall上的随机过程课，所谓“扩散过程”，就是“连续马尔可夫过程”，和一滴墨水放到水里这样的布朗运动()有类似性。而通过加入足够强的限制（每次扩散必须是小幅高斯噪声），就使得这个随机过程具有良好的数学性质和刻画能力，通过深度学习SGD训练，就能得到生成图像的逆向模型了。 ImageNet数据集生成效果指标.png 扩散模型的双向统计图模型.png Audio or video is not supported Please download the file and open it with the appropriate software. mitten astronaut.mp4 · 51.97MB mitten astronaut 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. mitten astronaut.mp4 · 51.97MB mitten astronaut 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. tokyo walk.mp4 · 46.20MB tokyo walk 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. tokyo walk.mp4 · 46.20MB tokyo walk 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. prompting 7.mp4 · 5.72MB prompting 7 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. prompting 7.mp4 · 5.72MB prompting 7 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. prompting 7.mp4 · 5.72MB prompting 7 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. prompting 7.mp4 · 5.72MB prompting 7 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. extend 1.mp4 · 11.75MB extend 1 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. extend 1.mp4 · 11.75MB extend 1 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. extend 2.mp4 · 11.75MB extend 2 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. extend 2.mp4 · 11.75MB extend 2 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. extend 4.mp4 · 10.00MB extend 4 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. extend 4.mp4 · 10.00MB extend 4 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. bike 1.mp4 · 7.88MB bike 1 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. bike 1.mp4 · 7.88MB bike 1 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. Input video 1.mp4 · 19.57MB Input video 1 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. make it go underwater.mp4 · 12.79MB make it go underwater 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. Input video 1.mp4 · 19.57MB Input video 1 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. Input video 1.mp4 · 19.57MB Input video 1 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. Input video 1.mp4 · 19.57MB Input video 1 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. make it go underwater.mp4 · 12.79MB make it go underwater 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. make it go underwater.mp4 · 12.79MB make it go underwater 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. make it go underwater.mp4 · 12.79MB make it go underwater 00:00 No access simulation 6 00:00 No access simulation 6 00:00 No access simulation 6 00:00 No access simulation 6 00:00 5. 内容一致性的保持：在生成长视频时，保持场景和角色的一致性是一个挑战。S