AI教母李飞飞十一月最新论人工智能: 为什么世界模型是下一个热点 | 2万字+视频

AI教母李飞飞十一月最新论人工智能: 为什么世界模型是下一个热点 | 2万字+视频 AI教母李飞飞十一月最新论人工智能: 为什么世界模型是下一个热点 | 2万字+视频 Modified November 17, 2025 No access 1 00:00 No access 2 00:00 No access 3 00:00 No access 4 00:00 例如，就像我说的那样，我们要过渡到世界模型。今天，你拿一个模型，让它运行一段包含几个办公室房间的视频，然后要求模型数一下椅子的数量。这是幼儿就能做到的事情。或者也许是一个小学生可以做到的，而人工智能却做不到，所以今天的人工智能有很多事情都做不到。那么更不用说思考像艾萨克·牛顿这样的人，是如何观察天体的运动，并推导出能够支配所有物体运动的方程或方程组的。那种程度的创造力、推断、抽象，我们今天没有办法让AI做到。接下来让我们看看情商。如果你看到一个学生来到老师的办公室，就动机、热情、学习什么、困扰你的问题是什么进行对话。即使今天的对话机器人功能强大，但在那种对话中，你无法从今天的AI中获得那种程度的情感认知智能。所以我们有很多可以做得更好的地方。我不认为我们的创新已经结束。 Lenny : 德马斯最近接受了DeepMinds/Google的一次非常有趣的采访，有人问他们，你怎么看？我们离AI还有多远？它看起来会是什么样？你没看穿那里？我们有一种非常有趣的方法来处理这个问题：如果我们把最先进的模型在20世纪末之前的所有信息都给它，看看它是否能提出爱因斯坦的所有突破。到目前为止，我们从未接近那个目标。不，我们没有。李飞飞 : 事实上，情况更糟。让我们把所有的数据都给人工智能，包括牛顿没有的天体的现代仪器数据。然后把它交给人工智能，让它创建一套17世纪关于物体运动规律的方程。今天的人工智能做不到这一点。 Lenny : 好的，我们还差得很远，这就是我所说的。好的，那么让我们来谈谈世界模型。对我来说，这只是你领先于人们最终所处位置的另一个非常棒的例子。所以你很早就意识到，我们需要大量干净的数据供人工智能和神经网络学习。你已经谈论世界模型这个想法很久了。你创办了一家公司来构建它。本质上，存在语言模型。这是不同的东西。这是一个世界模型。我们将讨论那是什么。现在，正如我为这次谈话做准备时，埃隆也在谈论世界模型。黄仁勋也在谈论世界模型。我知道谷歌也在研究这些东西。你已经从事这项工作很长时间了。而且你实际上刚刚推出了一些东西，我们会在这个播客播出之前讨论。谈谈什么是世界模型？为什么它如此重要？李飞飞 : 我很高兴看到越来越多的人在谈论，我一直在思考如何真正地推动人工智能的发展，我的一生都是如此，过去几年，从研究领域涌现出来的大型语言模型，以及OpenAI等等，即使对于像我这样的研究人员来说，也极具启发性。我记得GPT2发布的时候，那大概是2020年末吧。我曾是，现在仍然是，斯坦福人类中心人工智能研究所的全职联合主任。我记得当时，公众还没有意识到大型语言模型的力量，但作为研究人员，我们已经看到了，我们看到了未来。我和我的自然语言处理同事，比如珀西·梁和克里斯·巴丁，进行了相当长时间的对话。我们讨论了这项技术将会有多么关键。斯坦福人工智能研究所，人类中心人工智能研究所（HAI），是第一个建立关于基础模型的完整研究中心的机构。我们，珀西·梁和许多研究人员发表了第一篇关于基础模型的学术论文。因此，这对我来说非常鼓舞人心。当然，我来自视觉智能领域，我一直在思考，我们可以在语言之外推进很多东西，因为人类已经利用我们的空间智能和对世界的理解来做了很多事情，而这些事情超越了语言。想想一个非常混乱的急救现场，无论是火灾、交通事故还是自然灾害。如果你沉浸在现场，想想人们如何组织自己去拯救人们，阻止进一步的灾难，扑灭火灾，很多都是动作，是对物体、世界、人类和情境意识的自发理解。语言是其中的一部分，但在很多情况下，语言无法让你扑灭火灾。那么，那是什么呢？我一直在思考很多，与此同时，我做了大量的机器人研究。我突然意识到，除了语言之外，连接额外智能的关键，以及连接具身人工智能（即机器人技术），连接视觉智能的关键，是对世界理解的空间智能。那就是，我想我是在2024年，我做了一个关于世界模型的空间智能的TED演讲。我在2022年就开始构思这个想法，基于我的机器人和计算机视觉研究。然后对我来说非常清楚的一件事是，我真的很想与最聪明的技术人员合作，并尽可能快地将这项技术变为现实。这就是我们成立这家名为World Labs的公司的原因。你可以看到“世界”这个词在我们公司的名称中，因为我们非常相信世界建模和空间智能。 Marble发布：人人皆可创造的世界 Len ny : 人们已经非常习惯于聊天机器人，那是一个大型语言模型。理解世界模型的一个简单方法是，你基本上描述一个场景，它会生成一个可以无限探索的世界。我们会链接到你发布的东西，我们稍后会讨论，但这只是理解它的一种简单方式吗？李飞飞 : 那是其中的一部分，Lenny。我认为理解世界模型的一个简单方法是。这个模型可以让任何人在他们的脑海中通过提示（无论是图像还是句子）来创造任何世界，并且能够在这个世界中互动，无论是浏览和行走，还是拾取物体，还是改变、改变事物，以及在这个世界中进行推理。例如，如果。 Lenny : 如果消费的人，如果消费这个世界模型输出的代理是一个机器人，它应该能够规划它的路径，并帮助你，例如，整理厨房。李飞飞 : 所以世界模型是你可以用来推理、交互和创造世界的基础。 Lenny : 很好。所以机器人感觉像是人工智能研究人员的下一个重要焦点，以及对世界的影响。而你在这里所说的是，这是使机器人真正在现实世界中工作的关键缺失部分，即理解世界如何运作。李飞飞 : 是的。首先，我确实认为令人兴奋的不仅仅是机器人。但我同意你刚才所说的一切。我认为世界建模和空间智能是一个关键的缺失部分。的具身人工智能。我也认为我们不要低估人类是具身智能体，而人类可以通过人工智能的智能得到增强。就像今天一样，人类是语言动物，但当人工智能帮助我们执行语言任务（包括软件工程）时，我们会在很大程度上得到增强。我认为我们不应该低估，或者也许是，我们往往不谈论人类作为具身智能体，实际上可以从世界模型和空间智能模型中受益，就像机器人一样。 Lenny : 这里的重要突破是机器人，如果一切顺利，这将是一件大事。我设想我们每个人都会有机器人为我们做很多事情，它们会帮助我们应对灾难。当然，游戏就是一个非常酷的例子，就像你可以凭空创造出无限可玩的游戏。然后，创造力感觉就像是乐趣，享受乐趣，发挥创造力，构思出神奇的、狂野的全新世界和环境。李飞飞 : 还有设计，人类设计从机器到建筑再到住宅，以及科学发现，这里面有很多，我喜欢用发现DNA结构的例子。如果你看一下DNA发现历史上最重要的部分之一，那就是罗莎琳德·富兰克林拍摄的X射线衍射照片。那是一张平面的二维照片，照片上的结构看起来像一个带有衍射的十字。你可以，你可以用谷歌搜索那些照片。但是通过那张二维的平面照片，人类，特别是两位重要的人物，詹姆斯·沃森和弗朗斯·克里克，除了其他信息外，还能够在三维空间中进行推理，并推导出了DNA高度三维的双螺旋结构。那个结构不可能是二维的。你不能用二维的思维来推导出那个结构。你必须用三维空间思维，运用人类的空间智能。所以即使在科学发现中，空间智能或人工智能辅助的空间智能也至关重要。 Lenny : 这是一个很好的例子，我认为克里斯·迪克森说过这样一句话：下一个伟大的事物最初会让人觉得像个玩具。当ChatGPT刚问世时，我记得萨尔·莫姆只是发推说，这是一个我们正在玩的很酷的东西，看看吧。现在它是历史上增长最快的产品，改变了世界。通常那些看起来只是“好吧，这很酷，玩起来很有趣”的东西，最终会极大地改变世界。李飞飞 : 是的。我们认识很多年了。但是，目前他们是 World Labs 的投资者。太棒了。机器人的挑战与“苦涩的教训” Lenny : 好的。我问他我应该问你什么。他建议问你，为什么苦涩的教训本身不太可能适用于机器人？首先，请解释一下人工智能历史上苦涩的教训是什么，以及为什么它不能让我们达到我们希望机器人达到的目标？李飞飞 : 首先，有很多苦涩的教训，但大家所说的苦涩教训是指理查德·萨顿撰写的一篇论文，他获得了图灵奖。最近，他在做大量的强化学习。理查德说过，如果你回顾历史，特别是人工智能的算法发展史，你会发现，拥有海量数据的简单模型最终总是会胜出，而不是拥有较少数据的更复杂模型。实际上，这篇论文是在ImageNet出现几年后发表的。对我来说，这并不是苦涩的。这是一个甜蜜的教训。这就是我创建ImageNet的原因，因为我相信大数据发挥着重要作用。那么，为什么苦涩的教训只能在机器人技术中起作用呢？首先，我认为我们需要肯定我们今天所取得的成就。机器人技术还处于实验的早期阶段。这项研究远不如……比如，语言模型那样成熟。很多人仍在试验不同的算法，其中一些算法由大数据驱动。所以我确实认为大数据将继续在机器人技术中发挥作用。但是，机器人技术的难点是什么？有几个方面。 Lenny : 一是获取数据更难。李飞飞 : 获取数据要困难得多。你可能会说，好吧，有网络数据。这就是最新的机器人研究使用网络视频的地方。我认为网络视频确实发挥了作用。但是如果你想想是什么让语言模型变得有价值，作为一个从事计算机视觉、空间智能和机器人技术的人，我非常嫉妒我在语言领域的同事，因为他们拥有一个完美的设置，他们的训练数据是单词，最终是标记，然后他们产生一个输出文字的模型。所以你在你希望获得的东西（我们称之为目标函数）和你训练数据的样子之间，有一个完美的对齐。但机器人技术是不同的。即使是空间智能也是不同的。你希望从机器人那里获得行动。 Lenny : 但你的训练数据缺乏在3D世界中的行动。李飞飞 : 这正是机器人必须做的，在3D世界中的行动。所以你必须找到不同的方法来把一个，他们称之为方枘圆凿的东西硬塞进去。我们拥有的是大量的网络视频？那么我们就不得不开始讨论添加补充数据，例如远程操控数据或合成数据，以便机器人通过大量数据的“苦涩教训”这一假设进行训练。我认为仍然有希望，因为即使我们在世界建模中所做的工作，也将真正释放大量此类信息。为了机器人。但我认为我们必须小心，因为我们正处于早期阶段，而“苦涩教训”仍有待检验，因为我们还没有完全弄清楚数据。机器人“苦涩教训”的另一方面，我认为我们应该非常现实地看待，再次强调，与语言模型甚至空间模型相比，机器人是物理系统。因此，机器人更接近于自动驾驶汽车，而不是大型语言模型。这一点非常重要。这意味着，为了让机器人工作，我们不仅需要大脑，还需要物理身体，还需要应用场景。如果你看看自动驾驶汽车的历史，我的同事塞巴斯蒂安·特龙（Sebastian Thrun），我的同事塞巴斯蒂安·特龙，在2006年或2005年带着斯坦福的汽车赢得了第一届DARPA挑战赛。自那辆自动驾驶汽车原型问世以来已经20年了。 Lenny : 能够在内华达州的沙漠中行驶130英里，直到今天的Waymo，以及在旧金山的街道上行驶，而且我们还没有完成，还有很多。李飞飞 : 所以这是一个20年的旅程，而且自动驾驶汽车是简单得多的机器人。它们只是在二维表面上运行的金属盒子，目标是不接触任何东西。机器人是在三维世界中运行的三维物体，目标是接触事物。所以这段旅程将会有很多方面和要素。当然，有人可能会说，早期的自动驾驶汽车算法是在深度学习时代之前。所以深度学习正在加速大脑的运转。我认为这是真的。这就是我从事机器人行业的原因。这就是我从事空间智能领域的原因，我对此感到兴奋。但与此同时，汽车工业已经非常成熟。而产品化也涉及到成熟的用例、供应链和硬件。所以现在是研究这些问题非常有趣的时刻。但确实，本说的是对的。我们可能仍然会遭受一些痛苦的教训。 Lenny : 在做这项工作时，你是否会对大脑的工作方式感到敬畏，它能够为我们完成这一切，仅仅是其复杂性，仅仅是为了让机器能够四处走动而不撞到东西和摔倒？这是否让你更加尊重我们已经拥有的东西？李飞飞 : 完全是。我们的运行功率约为20瓦。这比我现在房间里的任何灯泡都暗。然而，我们却能做这么多。所以实际上，我认为，我越是在人工智能领域工作，我就越尊重人类。 Marble的诞生与应用 Lenny : 让我们来谈谈您刚刚推出的这款产品，它叫做Marble，一个非常可爱的名字。谈谈这是什么，为什么这很重要。我一直在试用它。简直令人难以置信。我们会提供链接，供大家查看。李飞飞 : 什么是Marvel？我非常兴奋。所以首先，Marble是World Labs推出的首批问题之一。World Labs已经推出。World Labs是一家基础前沿模型公司。我们由四位具有深厚技术背景的联合创始人资助。我的联合创始人是贾斯汀·约翰逊、克里斯托夫·拉斯纳和本·米尔登霍尔。我们都来自人工智能、计算机图形学和计算机视觉的研究领域。我们相信，空间智能和世界建模与语言模型同样重要，甚至更为重要，并且可以作为语言模型的补充。因此，我们希望抓住这个机会，创建一个深度技术研究实验室，将前沿模型与产品联系起来。所以Marble是一款基于我们前沿模型构建的应用程序。我们花了一年多的时间来构建世界上第一个可以输出真正3D世界的生成模型。这是一个非常非常困难的问题。这是一个非常艰难的过程。我们拥有一支由杰出技术专家组成的创始团队，他们来自非常优秀的团队。大约一两个月前，我们第一次看到可以用一个句子和一个图像以及多个图像来提示，并创建我们可以导航的世界。如果你把它放到谷歌上，我们有选项让你这么做，你甚至可以四处走动，所以，尽管我们已经为此构建了相当长一段时间。它仍然令人叹为观止。我们想把它送到需要它的人手中。 Lenny : 然后我们知道，如此多的创造者、设计师、思考机器人模拟的人、思考可导航、可互动、沉浸式世界的不同用例的人、游戏开发者会发现这很有用。李飞飞 : 所以我们会发现这很有用。所以我们开发了Marble作为第一步。这，这再次说明，现在还非常早期。但它是世界上第一个这样做的模型。而且它是世界上第一个允许人们直接提示的产品。我们称之为提示两个世界。 Lenny : 额，我一直在玩它，简直太疯狂了。就像你可以拥有一个小郡世界，在那里你可以无限地在中土世界漫步，基本上就是这样。而且那里还没有，还没有人。但这太疯狂了。你可以去任何地方。还有像反乌托邦世界。我只是在看所有这些例子。是的。实际上，我最喜欢的部分是，我不知道，我不知道这算是一个功能还是一个漏洞。你可以看到世界上的点，在它实际渲染出所有纹理之前。而且我就是喜欢让你瞥见这个模型正在发生的事情。李飞飞 : 基本上，听到这些真是太酷了。是的。因为这就是我作为研究员正在学习的地方，因为引导你进入世界的那些点是一个有意的特征可视化。它不是模型的一部分。实际上是模型直接生成了这个世界。但我们试图找到一种引导人们进入这个世界的方法。许多工程师研究了不同的版本，但我们最终确定了点。很多人，你不是唯一一个，告诉我们这个体验是多么令人愉快。对我们来说，听到这个消息真的很令人满意，这个有意的可视化特征不仅仅是大型硬核模型，实际上让我们的用户感到高兴。 Lenny : 哇，所以你添加它是为了让人们更容易理解正在发生的事情，变得更加愉快。哇，这太搞笑了。这让我想到了大型语言模型，虽然方式不同，但它们会谈论自己的想法和正在做的事情。李飞飞 : 确实是。 Lenny : 这也让我想到了黑客帝国。就像完全是黑客帝国的体验。我不知道这是否是你的灵感来源。李飞飞 : 就像我说的，有很多工程师参与了那个项目。这可能是他们的灵感。 Lenny : 它就在那里。它在他们的潜意识里。是的。好的，所以为了那些可能想和我们一起玩，或者使用它的人。比如，现在人们可以开始使用的有哪些应用程序？你们这次发布的目标是什么？李飞飞 : 是的。所以我们确实认为世界建模是非常普遍适用的，但我们已经看到了一些非常令人兴奋的用例，比如电影的虚拟制作，因为他们需要能够与摄像机对齐的3D世界。这样当演员在上面表演时，他们就可以，他们可以很好地定位摄像机并拍摄片段。我们已经看到了令人难以置信的用途。事实上，我不知道你是否看过我们展示Marble的发布视频。它是由一家虚拟制作公司制作的。我们与索尼合作。他们使用Marble场景来拍摄这些视频。所以我们与那些技术艺术家和导演合作，他们说这已经将我们的制作时间缩短了40倍。事实上，它一定是……40倍。事实上，它必须如此，因为我们只有一个月的时间来完成这个项目。而且有...如此多的东西他们试图拍摄。因此，使用Marble确实极大地加速了视觉特效和电影的虚拟制作。这是一个用例。我们已经看到我们的用户正在把，正在采用我们的Marble场景并获取网格导出，并将其用于游戏，无论是VR游戏还是游戏，只是他们开发的一些有趣的游戏。我们曾经展示过一个机器人模拟的例子，因为我过去，我仍然是一名从事机器人训练的研究员，最大的痛点之一是创建用于训练机器人的合成数据。这些合成数据需要非常多样化。它们需要来自不同的环境，并具有不同的物体来操作，而实现这一目标的一个途径是让计算机进行模拟。 Lenny : 否则，人类就必须，为机器人构建每一个单独的资产。李飞飞 : 那样只会花费更长的时间。因此，我们已经有研究人员主动联系，希望使用Marble来创建这些合成环境。在用户希望如何使用Marble方面，我们也收到了意想不到的反馈。例如，一个心理学家团队打电话给我们，希望使用Marble来进行心理学研究。事实证明，他们研究的一些精神病患者需要了解他们的大脑如何对不同特征的不同沉浸式事物做出反应。例如，混乱的东西或干净的东西，或者任何你能想到的东西。研究人员很难获得这些沉浸式场景，而且创建这些场景会花费他们太长的时间和太多的预算。而Marble几乎是一种即时的方式，可以将如此多的实验环境送到他们手中。因此，我们现在看到了多种用例，但视觉特效、游戏开发者、模拟开发者以及设计师都非常兴奋。 Lenny : 这很符合人工智能领域的发展规律。我在播客中邀请过其他人工智能领域的领导者。而且总是这样，尽早地把东西发布出去，以便发现主要的用例在哪里。ChatGPTBT的负责人告诉我，当他们第一次推出ChatGPT时，他只是在浏览TikTok，看看人们如何使用它，以及他们都在谈论些什么。这说服了他们要倾斜资源，帮助他们了解人们实际上想如何使用它。我喜欢这最后一个用例，比如用于治疗。我只是在想象，比如恐高症，人们看到，处理恐高症或蛇或蜘蛛，这……太棒了。李飞飞 : 昨晚我的一个朋友真的打电话给我，谈论他恐高的事情，并问我是否应该使用大理石。你直接想到那里真是太棒了。 Lenny : 那是，因为我正在想象所有的，比如，暴露疗法的东西。比如，这对于暴露疗法来说可能非常好。太酷了。好的，那么我问一下，我本应该早点问你的，但我认为会有一个问题，会有一个问题是，这与V O 3和其他视频生成模型有何不同？我很清楚，但我认为解释一下这与人们见过的所有视频AI工具的不同之处可能会有帮助。李飞飞 : Warnap的论点是，空间智能从根本上来说非常重要，而空间智能不仅仅是关于视频。事实上，世界不是被动地观看流逝的视频，我很喜欢柏拉图用洞穴寓言来描述视觉。他说，想象一个囚犯被绑在椅子上，不是很人道，但在一个洞穴里，看着他面前一场完整的现场戏剧。但实际的现场戏剧就在他面前，但实际的现场戏剧，演员们是演员。在他的背后。它只是被照亮，这样动作的投影就在洞穴的墙壁上。然后这个囚犯的目标和任务就是弄清楚发生了什么。 Lenny : 这是一个非常极端的例子，但它确实表明，它描述了视觉的意义在于理解三维世界或四维世界。李飞飞 : 从二维中理解。所以对我来说，空间智能比仅仅创造那个扁平的二维世界更深刻。对我来说，空间智能是创造、推理、互动、理解深刻的空间世界的能力，无论是二维、三维还是四维，包括动态和所有这些。所以世界实验室专注于此。当然，创造视频本身的能力也可能是其中的一部分。事实上，就在几周前，我们推出了世界上第一个可在单个H 100 GPU上实时演示的实时视频生成。所以我们的部分技术包括这个。但Marble非常不同，因为我们真的希望创作者、设计师、开发者能够掌握一个可以为他们提供具有三维结构的世界的模型，以便他们可以将其用于他们的工作。这就是为什么，这就是为什么Marble如此不同。 Lenny : 在我看來，這是一個，它是一個，它是一個可以做很多事情的平台。正如你描述的，視頻就像是，這是一個非常有趣和酷炫的獨立視頻。然後你可以，就這樣，僅此而已。然後你繼續前進。李飞飞 : 順便說一句，在Marble中，我們可以允許人們以視頻形式導出。所以你可以真的，就像你說的，你進入一個世界，比方說這是一個霍比特人洞穴。你實際上可以，特別是作為創作者，你在導演的腦海中有一種非常具體的方式來移動相機，對吧？然後你可以將其從Marble導出為視頻。创始人的旅程与对人才的忠告 Lenny : 創建這樣的東西需要什麼？團隊有多大？你用多少个GPU工作？有什麼可以分享的吗？我不知道這裡面有多少是私密信息，但是創造像你在這裡發布的東西需要什麼？李飞飞 : 需要大量的脑力。所以我们只讨论每个大脑20瓦。所以从这个角度来看，这是一个很小的数字，但实际上是令人难以置信的，那是5亿年的进化才赋予我们这些能力。我们现在有一个30人左右的团队。而且我们主要是研究人员或研究工程师。但我们也有设计师和产品人员。我们实际上真的相信，我们想要创建一个扎根于空间智能深层技术的公司。但我们实际上正在构建系列产品。因此，我们整合了研发和产品化。当然，我们使用了大量的GPU。那是一个技术团队。 Lenny : 那是技术团队。黄仁勋会很高兴听到这个消息。祝贺你们发布。我知道这是一个巨大的里程碑。我知道这花费了大量的工作。所以我只想说，祝贺你和你的团队。让我谈谈你的创始人历程。所以你是这家公司的创始人。你开始了。多少年前？几年前，两三年之前？李飞飞 : 一年前。 No access 1 00:00 No access 1 00:00 No access 2 00:00 No access 2 00:00 No access 3 00:00 No access 3 00:00 No access 4 00:00 No access 4 00:00 例如，就像我说的那样，我们要过渡到世界模型。今天，你拿一个模型，让它运行一段包含几个办公室房间的视频，然后要求模型数一下椅子的数量。这是幼儿就能做到的事情。或者也许是一个小学生可以做到的，而人工智能却做不到，所以今天的人工智能有很多事情都做不到。那么更不用说思考像艾萨克·牛顿这样的人，是如何观察天体的运动，并推导出能够支配所有物体运动的方程或方程组的。那种程度的创造力、推断、抽象，我们今天没有办法让AI做到。接下来让我们看看情商。如果你看到一个学生来到老师的办公室，就动机、热情、学习什么、困扰你的问题是什么进行对话。即使今天的对话机器人功能强大，但在那种对话中，你无法从今天的AI中获得那种程度的情感认知智能。所以我们有很多可以做得更好的地方。我不认为我们的创新已经结束。 Lenny : 德马斯最近接受了DeepMinds/Google的一次非常有趣的采访，有人问他们，你怎么看？我们离AI还有多远？它看起来会是什么样？你没看穿那里？我们有一种非常有趣的方法来处理这个问题：如果我们把最先进的模型在20世纪末之前的所有信息都给它，看看它是否能提出爱因斯坦的所有突破。到目前为止，我们从未接近那个目标。不，我们没有。李飞飞 : 事实上，情况更糟。让我们把所有的数据都给人工智能，包括牛顿没有的天体的现代仪器数据。然后把它交给人工智能，让它创建一套17世纪关于物体运动规律的方程。今天的人工智能做不到这一点。 Lenny : 好的，我们还差得很远，这就是我所说的。好的，那么让我们来谈谈世界模型。对我来说，这只是你领先于人们最终所处位置的另一个非常棒的例子。所以你很早就意识到，我们需要大量干净的数据供人工智能和神经网络学习。你已经谈论世界模型这个想法很久了。你创办了一家公司来构建它。本质上，存在语言模型。这是不同的东西。这是一个世界模型。我们将讨论那是什么。现在，正如我为这次谈话做准备时，埃隆也在谈论世界模型。黄仁勋也在谈论世界模型。我知道谷歌也在研究这些东西。你已经从事这项工作很长时间了。而且你实际上刚刚推出了一些东西，我们会在这个播客播出之前讨论。谈谈什么是世界模型？为什么它如此重要？李飞飞 : 我很高兴看到越来越多的人在谈论，我一直在思考如何真正地推动人工智能的发展，我的一生都是如此，过去几年，从研究领域涌现出来的大型语言模型，以及OpenAI等等，即使对于像我这样的研究人员来说，也极具启发性。我记得GPT2发布的时候，那大概是2020年末吧。我曾是，现在仍然是，斯坦福人类中心人工智能研究所的全职联合主任。我记得当时，公众还没有意识到大型语言模型的力量，但作为研究人员，我们已经看到了，我们看到了未来。我和我的自然语言处理同事，比如珀西·梁和克里斯·巴丁，进行了相当长时间的对话。我们讨论了这项技术将会有多么关键。斯坦福人工智能研究所，人类中心人工智能研究所（HAI），是第一个建立关于基础模型的完整研究中心的机构。我们，珀西·梁和许多研究人员发表了第一篇关于基础模型的学术论文。因此，这对我来说非常鼓舞人心。当然，我来自视觉智能领域，我一直在思考，我们可以在语言之外推进很多东西，因为人类已经利用我们的空间智能和对世界的理解来做了很多事情，而这些事情超越了语言。想想一个非常混乱的急救现场，无论是火灾、交通事故还是自然灾害。如果你沉浸在现场，想想人们如何组织自己去拯救人们，阻止进一步的灾难，扑灭火灾，很多都是动作，是对物体、世界、人类和情境意识的自发理解。语言是其中的一部分，但在很多情况下，语言无法让你扑灭火灾。那么，那是什么呢？我一直在思考很多，与此同时，我做了大量的机器人研究。我突然意识到，除了语言之外，连接额外智能的关键，以及连接具身人工智能（即机器人技术），连接视觉智能的关键，是对世界理解的空间智能。那就是，我想我是在2024年，我做了一个关于世界模型的空间智能的TED演讲。我在2022年就开始构思这个想法，基于我的机器人和计算机视觉研究。然后对我来说非常清楚的一件事是，我真的很想与最聪明的技术人员合作，并尽可能快地将这项技术变为现实。这就是我们成立这家名为World Labs的公司的原因。你可以看到“世界”这个词在我们公司的名称中，因为我们非常相信世界建模和空间智能。 Marble发布：人人皆可创造的世界 Len ny : 人们已经非常习惯于聊天机器人，那是一个大型语言模型。理解世界模型的一个简单方法是，你基本上描述一个场景，它会生成一个可以无限探索的世界。我们会链接到你发布的东西，我们稍后会讨论，但这只是理解它的一种简单方式吗？李飞飞 : 那是其中的一部分，Lenny。我认为理解世界模型的一个简单方法是。这个模型可以让任何人在他们的脑海中通过提示（无论是图像还是句子）来创造任何世界，并且能够在这个世界中互动，无论是浏览和行走，还是拾取物体，还是改变、改变事物，以及在这个世界中进行推理。例如，如果。 Lenny : 如果消费的人，如果消费这个世界模型输出的代理是一个机器人，它应该能够规划它的路径，并帮助你，例如，整理厨房。李飞飞 : 所以世界模型是你可以用来推理、交互和创造世界的基础。 Lenny : 很好。所以机器人感觉像是人工智能研究人员的下一个重要焦点，以及对世界的影响。而你在这里所说的是，这是使机器人真正在现实世界中工作的关键缺失部分，即理解世界如何运作。李飞飞 : 是的。首先，我确实认为令人兴奋的不仅仅是机器人。但我同意你刚才所说的一切。我认为世界建模和空间智能是一个关键的缺失部分。的具身人工智能。我也认为我们不要低估人类是具身智能体，而人类可以通过人工智能的智能得到增强。就像今天一样，人类是语言动物，但当人工智能帮助我们执行语言任务（包括软件工程）时，我们会在很大程度上得到增强。我认为我们不应该低估，或者也许是，我们往往不谈论人类作为具身智能体，实际上可以从世界模型和空间智能模型中受益，就像机器人一样。 Lenny : 这里的重要突破是机器人，如果一切顺利，这将是一件大事。我设想我们每个人都会有机器人为我们做很多事情，它们会帮助我们应对灾难。当然，游戏就是一个非常酷的例子，就像你可以凭空创造出无限可玩的游戏。然后，创造力感觉就像是乐趣，享受乐趣，发挥创造力，构思出神奇的、狂野的全新世界和环境。李飞飞 : 还有设计，人类设计从机器到建筑再到住宅，以及科学发现，这里面有很多，我喜欢用发现DNA结构的例子。如果你看一下DNA发现历史上最重要的部分之一，那就是罗莎琳德·富兰克林拍摄的X射线衍射照片。那是一张平面的二维照片，照片上的结构看起来像一个带有衍射的十字。你可以，你可以用谷歌搜索那些照片。但是通过那张二维的平面照片，人类，特别是两位重要的人物，詹姆斯·沃森和弗朗斯·克里克，除了其他信息外，还能够在三维空间中进行推理，并推导出了DNA高度三维的双螺旋结构。那个结构不可能是二维的。你不能用二维的思维来推导出那个结构。你必须用三维空间思维，运用人类的空间智能。所以即使在科学发现中，空间智能或人工智能辅助的空间智能也至关重要。 Lenny : 这是一个很好的例子，我认为克里斯·迪克森说过这样一句话：下一个伟大的事物最初会让人觉得像个玩具。当ChatGPT刚问世时，我记得萨尔·莫姆只是发推说，这是一个我们正在玩的很酷的东西，看看吧。现在它是历史上增长最快的产品，改变了世界。通常那些看起来只是“好吧，这很酷，玩起来很有趣”的东西，最终会极大地改变世界。李飞飞 : 是的。我们认识很多年了。但是，目前他们是 World Labs 的投资者。太棒了。机器人的挑战与“苦涩的教训” Lenny : 好的。我问他我应该问你什么。他建议问你，为什么苦涩的教训本身不太可能适用于机器人？首先，请解释一下人工智能历史上苦涩的教训是什么，以及为什么它不能让我们达到我们希望机器人达到的目标？李飞飞 : 首先，有很多苦涩的教训，但大家所说的苦涩教训是指理查德·萨顿撰写的一篇论文，他获得了图灵奖。最近，他在做大量的强化学习。理查德说过，如果你回顾历史，特别是人工智能的算法发展史，你会发现，拥有海量数据的简单模型最终总是会胜出，而不是拥有较少数据的更复杂模型。实际上，这篇论文是在ImageNet出现几年后发表的。对我来说，这并不是苦涩的。这是一个甜蜜的教训。这就是我创建ImageNet的原因，因为我相信大数据发挥着重要作用。那么，为什么苦涩的教训只能在机器人技术中起作用呢？首先，我认为我们需要肯定我们今天所取得的成就。机器人技术还处于实验的早期阶段。这项研究远不如……比如，语言模型那样成熟。很多人仍在试验不同的算法，其中一些算法由大数据驱动。所以我确实认为大数据将继续在机器人技术中发挥作用。但是，机器人技术的难点是什么？有几个方面。 Lenny : 一是获取数据更难。李飞飞 : 获取数据要困难得多。你可能会说，好吧，有网络数据。这就是最新的机器人研究使用网络视频的地方。我认为网络视频确实发挥了作用。但是如果你想想是什么让语言模型变得有价值，作为一个从事计算机视觉、空间智能和机器人技术的人，我非常嫉妒我在语言领域的同事，因为他们拥有一个完美的设置，他们的训练数据是单词，最终是标记，然后他们产生一个输出文字的模型。所以你在你希望获得的东西（我们称之为目标函数）和你训练数据的样子之间，有一个完美的对齐。但机器人技术是不同的。即使是空间智能也是不同的。你希望从机器人那里获得行动。 Lenny : 但你的训练数据缺乏在3D世界中的行动。李飞飞 : 这正是机器人必须做的，在3D世界中的行动。所以你必须找到不同的方法来把一个，他们称之为方枘圆凿的东西硬塞进去。我们拥有的是大量的网络视频？那么我们就不得不开始讨论添加补充数据，例如远程操控数据或合成数据，以便机器人通过大量数据的“苦涩教训”这一假设进行训练。我认为仍然有希望，因为即使我们在世界建模中所做的工作，也将真正释放大量此类信息。为了机器人。但我认为我们必须小心，因为我们正处于早期阶段，而“苦涩教训”仍有待检验，因为我们还没有完全弄清楚数据。机器人“苦涩教训”的另一方面，我认为我们应该非常现实地看待，再次强调，与语言模型甚至空间模型相比，机器人是物理系统。因此，机器人更接近于自动驾驶汽车，而不是大型语言模型。这一点非常重要。这意味着，为了让机器人工作，我们不仅需要大脑，还需要物理身体，还需要应用场景。如果你看看自动驾驶汽车的历史，我的同事塞巴斯蒂安·特龙（Sebastian Thrun），我的同事塞巴斯蒂安·特龙，在2006年或2005年带着斯坦福的汽车赢得了第一届DARPA挑战赛。自那辆自动驾驶汽车原型问世以来已经20年了。 Lenny : 能够在内华达州的沙漠中行驶130英里，直到今天的Waymo，以及在旧金山的街道上行驶，而且我们还没有完成，还有很多。李飞飞 : 所以这是一个20年的旅程，而且自动驾驶汽车是简单得多的机器人。它们只是在二维表面上运行的金属盒子，目标是不接触任何东西。机器人是在三维世界中运行的三维物体，目标是接触事物。所以这段旅程将会有很多方面和要素。当然，有人可能会说，早期的自动驾驶汽车算法是在深度学习时代之前。所以深度学习正在加速大脑的运转。我认为这是真的。这就是我从事机器人行业的原因。这就是我从事空间智能领域的原因，我对此感到兴奋。但与此同时，汽车工业已经非常成熟。而产品化也涉及到成熟的用例、供应链和硬件。所以现在是研究这些问题非常有趣的时刻。但确实，本说的是对的。我们可能仍然会遭受一些痛苦的教训。 Lenny : 在做这项工作时，你是否会对大脑的工作方式感到敬畏，它能够为我们完成这一切，仅仅是其复杂性，仅仅是为了让机器能够四处走动而不撞到东西和摔倒？这是否让你更加尊重我们已经拥有的东西？李飞飞 : 完全是。我们的运行功率约为20瓦。这比我现在房间里的任何灯泡都暗。然而，我们却能做这么多。所以实际上，我认为，我越是在人工智能领域工作，我就越尊重人类。 Marble的诞生与应用 Lenny : 让我们来谈谈您刚刚推出的这款产品，它叫做Marble，一个非常可爱的名字。谈谈这是什么，为什么这很重要。我一直在试用它。简直令人难以置信。我们会提供链接，供大家查看。李飞飞 : 什么是Marvel？我非常兴奋。所以首先，Marble是World Labs推出的首批问题之一。World Labs已经推出。World Labs是一家基础前沿模型公司。我们由四位具有深厚技术背景的联合创始人资助。我的联合创始人是贾斯汀·约翰逊、克里斯托夫·拉斯纳和本·米尔登霍尔。我们都来自人工智能、计算机图形学和计算机视觉的研究领域。我们相信，空间智能和世界建模与语言模型同样重要，甚至更为重要，并且可以作为语言模型的补充。因此，我们希望抓住这个机会，创建一个深度技术研究实验室，将前沿模型与产品联系起来。所以Marble是一款基于我们前沿模型构建的应用程序。我们花了一年多的时间来构建世界上第一个可以输出真正3D世界的生成模型。这是一个非常非常困难的问题。这是一个非常艰难的过程。我们拥有一支由杰出技术专家组成的创始团队，他们来自非常优秀的团队。大约一两个月前，我们第一次看到可以用一个句子和一个图像以及多个图像来提示，并创建我们可以导航的世界。如果你把它放到谷歌上，我们有选项让你这么做，你甚至可以四处走动，所以，尽管我们已经为此构建了相当长一段时间。它仍然令人叹为观止。我们想把它送到需要它的人手中。 Lenny : 然后我们知道，如此多的创造者、设计师、思考机器人模拟的人、思考可导航、可互动、沉浸式世界的不同用例的人、游戏开发者会发现这很有用。李飞飞 :