世界模型的功能分类（译）

世界模型的功能分类（译） 世界模型的功能分类（译） Modified June 4 原帖链接：https://x.com/drfeifei/status/2062247238143996275 “世界是一切发生着的事情。” — Ludwig Wittgenstein，《逻辑哲学论》，1921 世界不是由词语构成的 在此前一篇文章中，我们提出空间智能是 AI 的下一个前沿，而世界模型是通向它的路径。在这里，World Labs 团队和我想再深入一层：现在有很多东西都在被构建并称为“世界模型”，但真正组成这种能力的功能部件到底有哪些？每一部分又是为了什么？ 语言模型让机器对概念、词汇和推理拥有了非凡掌控力，但物理世界，无论虚拟还是现实，都运行在另一种基底上。语言模型学习的是文本的统计结构；世界模型学习的是空间与时间的统计结构：光如何落在表面上，一座花园从没有被任何相机拍到的角度看起来是什么样子，物体如何响应力，并遵循物理定律。 这让“世界模型”成为当今 AI 中最重要、也最被过度使用的术语之一。计算机视觉、机器人、强化学习和生成式 AI 都声称自己在构建世界模型，但它们指向的东西相当不同。一个生成华丽却物理上不可能的火焰的视频模型，一个即兴生成可玩游戏的语言模型，一个忠实模拟燃烧过程的物理引擎，都会被叫作同一个名字。 古希腊人从未能就世界由什么构成达成一致，是火、水，还是不可分割的原子；原因在于，“世界”从来不是单一事物。它始终是某位思想者进行推理时所需要的某种总体的代称。AI 继承了同一个问题，而且恰好发生在这个领域最需要精确性的时刻。 分类背后的循环 要穿透这种混乱，需要从一张比相关技术都更古老的图开始。强化学习教材，包括 Sutton 和 Barto 的经典教材，几十年来都在使用同一张图的某个版本，描述智能体如何与世界互动。这张图的正式名称是部分可观测马尔可夫决策过程，也就是 POMDP；“世界模型”这个术语最初的定义，也属于这个传统。 一个智能体，可以是人、机器人或软件系统，会采取行动。这些行动会影响世界状态。智能体从不直接看到状态。抵达智能体的是观察：落在视网膜上的光子、传感器读数，以及视频帧中的像素。新的观察会影响新的行动，循环继续运行。 “状态”这个词需要拆开看，因为它在不同领域中的含义会移动。这里说的不是化学家的状态，也就是固态、液态、气态之间的区别。这里说的是物理学家和机器人学家意义上的状态：在某一时刻，对世界中正在发生之事的完整描述，包括每个物体、每个位置、每个速度、每个属性。状态是世界的底层现实；原则上完整，但身处其中的任何智能体都无法直接看见。观察，是智能体对这种现实的局部视角。行动，是智能体对此做出的回应。 这个循环，智能体到行动，到状态，到观察，再回到智能体，正是赋予现代“世界模型”技术含义的结构。这个词本身更早，可以追溯到 Kenneth Craik 1943 年提出的观点：心智通过运行现实的“小尺度模型”进行推理；到 1980 年代末和 1990 年代初，它被带入神经网络。这个循环也解释了今天人们使用这个词时真正想说的东西。如今被称为世界模型的不同事物，其实都是同一个循环的不同投影。每一种都会输出其中不同的一部分。 世界模型的三种功能 第一类世界模型是渲染器。 渲染器输出观察，也就是面向人眼的像素；最重要的质量指标是视觉保真度。把文本提示词变成电影感无人机镜头的视频模型，是渲染器。像 Google 的 Genie 3，或 World Labs 自己的 RTFM 这样的交互式系统也是渲染器，它们会在用户输入条件下实时生成帧。模型并没有显式理解三维结构。它生成的是观看者会看到什么，而不是世界实际是什么。无人机镜头里的建筑从上方看可能完美无瑕，但如果你试着开车穿过下面那座城市，它们就会崩塌。 第二类是模拟器。 模拟器输出状态：一种在几何、物理或动态上忠实的世界表达，人类和计算机程序都可以在其上计算并互动。渲染器的契约是纯视觉的；模拟器的契约是结构性的，要求几何在检查下仍然成立，物理遵循牛顿定律，动力学按照世界在物理定律下应有的方式运行。模拟器同时服务两类使用者。建筑师、设计师、电影制作人和游戏开发者等人类专业人员，需要超越视觉可信度的准确性。强化学习智能体、机器人控制器和自动驾驶汽车等计算机程序，会把模拟器当作训练场，在其中大规模与世界互动，测试那些在现实中危险、昂贵或不可能运行的场景。 第三类是规划器。 规划器输出行动。给定一个观察和一个目标，规划器回答的问题是：智能体下一步应该做什么。从很多角度看，它是渲染器的反面。渲染器以行动为输入，生成观察；规划器以观察为输入，生成行动，从而闭合感知 行动循环。Vision Language Action 模型、基于模型的系统，以及新一波 World Action Models，都是对规划器的尝试：它们试图决定机器人在非结构化世界中应该做什么。 这三类描述了今天实际正在交付的大多数内容，而且这种区分在实践中很有用。不过，它们并不是根本分离的类别。它们背后都依赖同一种关于世界如何运作的知识：几何、物理、动力学。一个能够从任意角度渲染杯子的模型，原则上也应该能够模拟杯子被推动后会发生什么，并规划一只手如何把杯子拿起来。越来越多最有意思的研究，正在有意模糊这三者之间的边界。 Audio or video is not supported Please download the file and open it with the appropriate software. HJ6SbMRbQAAkkNo.mp4 · 305.14KB HJ6SbMRbQAAkkNo 00:00 为什么模拟是关键支点 在三类中，模拟器获得的公众关注最少，却是最关键的一类。这篇文章要处理的正是这种不对称。 渲染器是迄今商业上最成熟的一类。 一批图像或文本转视频产品正在消费市场和企业市场快速扩张。Google 的 Nano Banana 模型把渲染器级别的图像生成能力交到了潜在数亿用户手中。这项技术是真实的，市场也是真实的。然而，渲染器优化的是视觉可信度，而不是物理准确性，这个上限很重要。它们的输出很漂亮，但不能被信任去设计建筑或训练机器人。 规划器是最有趣、也最早期的一类， 与快速演进的机器人学习领域紧密相关。过去两年，这个领域产生了不少看起来很惊艳的机器人演示视频，但我们需要坦率说明这些演示到底展示了什么。几乎所有演示都局限在高度受控的实验室设置中，物体集合很窄，任务跨度也很短。它们还没有在真实部署所要求的复杂度、变化性或持续时间上得到验证。从一个吸引人的演示视频，到一个能在厨房、仓库或手术室里可靠工作的机器人，中间仍然有巨大差距。尽管如此，商业押注已经非常大。一波资金充足的新进入者正在竞相交付通用规划系统，而最大的基础设施玩家也在更广泛的模拟栈之上布局规划能力。一个会规划的机器人，就是一个能工作的机器人；整个行业都在争先成为最先做到的人。 模拟是连接两者的桥。 如果语言是世界的抽象，像素是世界的投影，那么几何、物理和动力学就是世界本身。模拟器必须在这个层面工作：它是结构性骨架，视觉外观可以从这里派生出来给渲染器使用，行动后果也可以从这里派生出来给规划器使用。 一个掌握模拟的模型，可以把自己的理解投射成像素供人类消费，也可以投射成行动预测供具身智能体使用。一个只掌握渲染，或只掌握规划的模型，则无法做到两者。商业表面积巨大。仅 NVIDIA Omniverse 就瞄准了该公司估算中超过一万亿美元的可寻址市场，覆盖工厂、仓库、供应链和数字孪生。机器人训练、自动驾驶测试、建筑可视化、工程和药物发现，都依赖某种类似模拟的东西。 这个领域最难的开放问题也在那里。带有显式几何、材料属性和物理标注的三维数据，比渲染器训练所用的互联网视频稀缺好几个数量级。sim to real gap，也就是仿真中的行为与现实中的行为之间的差距，仍然存在。生成式模拟器还引入了新的风险：AI 生成的几何看起来可能正确，却包含自相交或错误尺度，从而产生荒谬的物理结果。大规模 multi physics 模拟，也就是刚体、可变形物体、流体和布料全部相互作用，仍然比单领域模拟贵好几个数量级。 在 World Labs，Marble 是我们进入这片领域的第一步。它接收多模态提示词，包括文本、图像、视频或空间草图，并生成可探索的 3D 环境；输出包括用于视觉探索的 Gaussian splats，也包括物理引擎可操作的 collision meshes。但 Marble 只是一个更长篇章的第一章。随着渲染、模拟和规划之间的界线开始坍缩，整个领域都在书写这个篇章。 边界正在坍缩，接下来会发生什么 但还有更多事情即将到来。当前这个领域最重要的模式，是三类能力正在开始彼此融合。共同洞察是：渲染一个世界、模拟一个世界、在一个世界中行动，所需要的知识在很大程度上是相同的。沿用前面的杯子例子：如果一个模型真正理解一个杯子如何放在桌上，包括它的几何、材料属性、对力的响应等，它就应该能够从任意角度渲染这个杯子，模拟杯子被推动后会发生什么，并规划一只手如何把它拿起来。这三类能力，是同一种底层理解的三种投影。 例如，来自多个机器人实验室的一小部分但正在增长的近期工作已经展示了，至少在概念上，一个预训练视频渲染器可以被用作联合世界与行动预测的骨干。这暗示了渲染器和规划器之间的桥：让同一个模型想象将会发生什么，以及应该做什么。World Labs 的 Marble 已经能从单个模型输出 Gaussian splats 和 collision meshes，正在消解渲染器和模拟器之间的边界。每一个层级都在从被动输出走向交互系统： 渲染器变得受行动条件约束，模拟器生成更可控、更可编辑的世界，规划器则开始斟酌，而不只是反应。 逻辑终点是统一世界模型：一个基础模型能够渲染照片级真实视图，生成物理准确结构，并规划行动序列，根据下游消费者需要在不同输出模态之间切换。 我们仍然会面对许多艰巨挑战。数据图景并不均衡：渲染器被互联网视频淹没，而模拟器和规划器则严重缺少 3D 资产和机器人演示数据。优化视觉美感可能会牺牲机器人或高保真模拟所需要的精度。如何在单一架构中调和这些张力，是当今世界模型研究中的核心开放问题，也正是 World Labs 在持续演进 Marble 时想要完成的事情。 Audio or video is not supported Please download the file and open it with the appropriate software. HJ6Siyha8AAMXQC.mp4 · 120.35KB HJ6Siyha8AAMXQC 00:00 不过，方向已经清楚。自 1980 年代末以来，这个领域一直在押注同一件事：足够丰富的世界模型，就是任何智能体看见世界、构建世界、并在其中行动所需要的一切。如今，正是这个押注推动着整整一代研究。让这个“大押注”拥有重量的，是已经发生的收敛：三条线索各自已经在驱动并塑造数十亿美元级产业，它们原本是分开的研究计划，现在开始表现得像同一件事。随着边界坍缩，它们合在一起会重塑更大的东西：机器智能与其所处物理世界之间的关系，也就是空间智能的长弧线。 语言给了机器一种谈论世界的方式。世界模型，则是机器最终理解、想象、推理并与世界互动的方式。 此前一篇文章 原帖链接：https://x.com/drfeifei/status/2062247238143996275 原帖链接：https://x.com/drfeifei/status/2062247238143996275 “世界是一切发生着的事情。” — Ludwig Wittgenstein，《逻辑哲学论》，1921 世界不是由词语构成的 在此前一篇文章中，我们提出空间智能是 AI 的下一个前沿，而世界模型是通向它的路径。在这里，World Labs 团队和我想再深入一层：现在有很多东西都在被构建并称为“世界模型”，但真正组成这种能力的功能部件到底有哪些？每一部分又是为了什么？ 此前一篇文章 语言模型让机器对概念、词汇和推理拥有了非凡掌控力，但物理世界，无论虚拟还是现实，都运行在另一种基底上。语言模型学习的是文本的统计结构；世界模型学习的是空间与时间的统计结构：光如何落在表面上，一座花园从没有被任何相机拍到的角度看起来是什么样子，物体如何响应力，并遵循物理定律。 这让“世界模型”成为当今 AI 中最重要、也最被过度使用的术语之一。计算机视觉、机器人、强化学习和生成式 AI 都声称自己在构建世界模型，但它们指向的东西相当不同。一个生成华丽却物理上不可能的火焰的视频模型，一个即兴生成可玩游戏的语言模型，一个忠实模拟燃烧过程的物理引擎，都会被叫作同一个名字。 古希腊人从未能就世界由什么构成达成一致，是火、水，还是不可分割的原子；原因在于，“世界”从来不是单一事物。它始终是某位思想者进行推理时所需要的某种总体的代称。AI 继承了同一个问题，而且恰好发生在这个领域最需要精确性的时刻。 分类背后的循环 要穿透这种混乱，需要从一张比相关技术都更古老的图开始。强化学习教材，包括 Sutton 和 Barto 的经典教材，几十年来都在使用同一张图的某个版本，描述智能体如何与世界互动。这张图的正式名称是部分可观测马尔可夫决策过程，也就是 POMDP；“世界模型”这个术语最初的定义，也属于这个传统。 一个智能体，可以是人、机器人或软件系统，会采取行动。这些行动会影响世界状态。智能体从不直接看到状态。抵达智能体的是观察：落在视网膜上的光子、传感器读数，以及视频帧中的像素。新的观察会影响新的行动，循环继续运行。 “状态”这个词需要拆开看，因为它在不同领域中的含义会移动。这里说的不是化学家的状态，也就是固态、液态、气态之间的区别。这里说的是物理学家和机器人学家意义上的状态：在某一时刻，对世界中正在发生之事的完整描述，包括每个物体、每个位置、每个速度、每个属性。状态是世界的底层现实；原则上完整，但身处其中的任何智能体都无法直接看见。观察，是智能体对这种现实的局部视角。行动，是智能体对此做出的回应。 这个循环，智能体到行动，到状态，到观察，再回到智能体，正是赋予现代“世界模型”技术含义的结构。这个词本身更早，可以追溯到 Kenneth Craik 1943 年提出的观点：心智通过运行现实的“小尺度模型”进行推理；到 1980 年代末和 1990 年代初，它被带入神经网络。这个循环也解释了今天人们使用这个词时真正想说的东西。如今被称为世界模型的不同事物，其实都是同一个循环的不同投影。每一种都会输出其中不同的一部分。 世界模型的三种功能 第一类世界模型是渲染器。 渲染器输出观察，也就是面向人眼的像素；最重要的质量指标是视觉保真度。把文本提示词变成电影感无人机镜头的视频模型，是渲染器。像 Google 的 Genie 3，或 World Labs 自己的 RTFM 这样的交互式系统也是渲染器，它们会在用户输入条件下实时生成帧。模型并没有显式理解三维结构。它生成的是观看者会看到什么，而不是世界实际是什么。无人机镜头里的建筑从上方看可能完美无瑕，但如果你试着开车穿过下面那座城市，它们就会崩塌。 第二类是模拟器。 模拟器输出状态：一种在几何、物理或动态上忠实的世界表达，人类和计算机程序都可以在其上计算并互动。渲染器的契约是纯视觉的；模拟器的契约是结构性的，要求几何在检查下仍然成立，物理遵循牛顿定律，动力学按照世界在物理定律下应有的方式运行。模拟器同时服务两类使用者。建筑师、设计师、电影制作人和游戏开发者等人类专业人员，需要超越视觉可信度的准确性。强化学习智能体、机器人控制器和自动驾驶汽车等计算机程序，会把模拟器当作训练场，在其中大规模与世界互动，测试那些在现实中危险、昂贵或不可能运行的场景。 第三类是规划器。 规划器输出行动。给定一个观察和一个目标，规划器回答的问题是：智能体下一步应该做什么。从很多角度看，它是渲染器的反面。渲染器以行动为输入，生成观察；规划器以观察为输入，生成行动，从而闭合感知 行动循环。Vision Language Action 模型、基于模型的系统，以及新一波 World Action Models，都是对规划器的尝试：它们试图决定机器人在非结构化世界中应该做什么。 这三类描述了今天实际正在交付的大多数内容，而且这种区分在实践中很有用。不过，它们并不是根本分离的类别。它们背后都依赖同一种关于世界如何运作的知识：几何、物理、动力学。一个能够从任意角度渲染杯子的模型，原则上也应该能够模拟杯子被推动后会发生什么，并规划一只手如何把杯子拿起来。越来越多最有意思的研究，正在有意模糊这三者之间的边界。 Audio or video is not supported Please download the file and open it with the appropriate software. HJ6SbMRbQAAkkNo.mp4 · 305.14KB HJ6SbMRbQAAkkNo 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. HJ6SbMRbQAAkkNo.mp4 · 305.14KB HJ6SbMRbQAAkkNo 00:00 为什么模拟是关键支点 在三类中，模拟器获得的公众关注最少，却是最关键的一类。这篇文章要处理的正是这种不对称。 渲染器是迄今商业上最成熟的一类。 一批图像或文本转视频产品正在消费市场和企业市场快速扩张。Google 的 Nano Banana 模型把渲染器级别的图像生成能力交到了潜在数亿用户手中。这项技术是真实的，市场也是真实的。然而，渲染器优化的是视觉可信度，而不是物理准确性，这个上限很重要。它们的输出很漂亮，但不能被信任去设计建筑或训练机器人。 规划器是最有趣、也最早期的一类， 与快速演进的机器人学习领域紧密相关。过去两年，这个领域产生了不少看起来很惊艳的机器人演示视频，但我们需要坦率说明这些演示到底展示了什么。几乎所有演示都局限在高度受控的实验室设置中，物体集合很窄，任务跨度也很短。它们还没有在真实部署所要求的复杂度、变化性或持续时间上得到验证。从一个吸引人的演示视频，到一个能在厨房、仓库或手术室里可靠工作的机器人，中间仍然有巨大差距。尽管如此，商业押注已经非常大。一波资金充足的新进入者正在竞相交付通用规划系统，而最大的基础设施玩家也在更广泛的模拟栈之上布局规划能力。一个会规划的机器人，就是一个能工作的机器人；整个行业都在争先成为最先做到的人。 模拟是连接两者的桥。 如果语言是世界的抽象，像素是世界的投影，那么几何、物理和动力学就是世界本身。模拟器必须在这个层面工作：它是结构性骨架，视觉外观可以从这里派生出来给渲染器使用，行动后果也可以从这里派生出来给规划器使用。 一个掌握模拟的模型，可以把自己的理解投射成像素供人类消费，也可以投射成行动预测供具身智能体使用。一个只掌握渲染，或只掌握规划的模型，则无法做到两者。商业表面积巨大。仅 NVIDIA Omniverse 就瞄准了该公司估算中超过一万亿美元的可寻址市场，覆盖工厂、仓库、供应链和数字孪生。机器人训练、自动驾驶测试、建筑可视化、工程和药物发现，都依赖某种类似模拟的东西。 这个领域最难的开放问题也在那里。带有显式几何、材料属性和物理标注的三维数据，比渲染器训练所用的互联网视频稀缺好几个数量级。sim to real gap，也就是仿真中的行为与现实中的行为之间的差距，仍然存在。生成式模拟器还引入了新的风险：AI 生成的几何看起来可能正确，却包含自相交或错误尺度，从而产生荒谬的物理结果。大规模 multi physics 模拟，也就是刚体、可变形物体、流体和布料全部相互作用，仍然比单领域模拟贵好几个数量级。 在 World Labs，Marble 是我们进入这片领域的第一步。它接收多模态提示词，包括文本、图像、视频或空间草图，并生成可探索的 3D 环境；输出包括用于视觉探索的 Gaussian splats，也包括物理引擎可操作的 collision meshes。但 Marble 只是一个更长篇章的第一章。随着渲染、模拟和规划之间的界线开始坍缩，整个领域都在书写这个篇章。 边界正在坍缩，接下来会发生什么 但还有更多事情即将到来。当前这个领域最重要的模式，是三类能力正在开始彼此融合。共同洞察是：渲染一个世界、模拟一个世界、在一个世界中行动，所需要的知识在很大程度上是相同的。沿用前面的杯子例子：如果一个模型真正理解一个杯子如何放在桌上，包括它的几何、材料属性、对力的响应等，它就应该能够从任意角度渲染这个杯子，模拟杯子被推动后会发生什么，并规划一只手如何把它拿起来。这三类能力，是同一种底层理解的三种投影。 例如，来自多个机器人实验室的一小部分但正在增长的近期工作已经展示了，至少在概念上，一个预训练视频渲染器可以被用作联合世界与行动预测的骨干。这暗示了渲染器和规划器之间的桥：让同一个模型想象将会发生什么，以及应该做什么。World Labs 的 Marble 已经能从单个模型输出 Gaussian splats 和 collision meshes，正在消解渲染器和模拟器之间的边界。每一个层级都在从被动输出走向交互系统： 渲染器变得受行动条件约束，模拟器生成更可控、更可编辑的世界，规划器则开始斟酌，而不只是反应。 逻辑终点是统一世界模型：一个基础模型能够渲染照片级真实视图，生成物理准确结构，并规划行动序列，根据下游消费者需要在不同输出模态之间切换。 我们仍然会面对许多艰巨挑战。数据图景并不均衡：渲染器被互联网视频淹没，而模拟器和规划器则严重缺少 3D 资产和机器人演示数据。优化视觉美感可能会牺牲机器人或高保真模拟所需要的精度。如何在单一架构中调和这些张力，是当今世界模型研究中的核心开放问题，也正是 World Labs 在持续演进 Marble 时想要完成的事情。 Audio or video is not supported Please download the file and open it with the appropriate software. HJ6Siyha8AAMXQC.mp4 · 120.35KB HJ6Siyha8AAMXQC 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. HJ6Siyha8AAMXQC.mp4 · 120.35KB HJ6Siyha8AAMXQC 00:00 不过，方向已经清楚。自 1980 年代末以来，这个领域一直在押注同一件事：足够丰富的世界模型，就是任何智能体看见世界、构建世界、并在其中行动所需要的一切。如今，正是这个押注推动着整整一代研究。让这个“大押注”拥有重量的，是已经发生的收敛：三条线索各自已经在驱动并塑造数十亿美元级产业，它们原本是分开的研究计划，现在开始表现得像同一件事。随着边界坍缩，它们合在一起会重塑更大的东西：机器智能与其所处物理世界之间的关系，也就是空间智能的长弧线。 语言给了机器一种谈论世界的方式。世界模型，则是机器最终理解、想象、推理并与世界互动的方式。