AI学什么（第14期）：AI的"睁眼看世界" (世界模型)

AI学什么（第14期）：AI的"睁眼看世界" (世界模型) AI学什么（第14期）：AI的"睁眼看世界" (世界模型) Modified August 7, 2025 世界模型的训练之道以Meta的I JEPA为例，其训练过程体现了世界模型的根本创新。I JEPA采用多块掩码策略，将图像分为上下文块和目标块，让模型从可见部分预测被掩盖区域的抽象表征，而不是重建具体像素。这迫使模型学习语义层面的理解——关注"这里应该有什么物体"而不是"这个像素应该是什么颜色"。世界模型通过自监督方式训练，无需人工标注。Meta报告显示，I JEPA仅用16个A100 GPU在72小时内就能训练出632M参数的模型，效率比传统方法提高2 10倍。V JEPA进一步将这一架构扩展到视频理解，通过预测时空区域的表征来学习动态世界的规律。与简单的下一帧预测不同，它专注于关键时空模式的抽象理解。通过指数移动平均等技术，世界模型避免了传统自监督学习中的表征崩坍问题，确保学到的表征既丰富又稳定。世界模型训练的核心洞察是：真正的智能不在于记住每个细节，而在于理解抽象的因果关系和模式。就像人类不需要记住每朵云的形状，但能理解"乌云密布意味着可能下雨"的抽象关系。这种训练方式让世界模型获得了两个重要能力：一是高效的泛化能力——仅需12个标注样本就能在ImageNet上实现优秀的少样本分类；二是强大的迁移能力——预训练的表征可以直接用于多种下游任务而无需大量微调。相比传统生成模型需要重现每个像素的"完美主义"，世界模型的"抽象主义"显得更加智能和高效。世界模型的认知能力评估真正的世界模型展现出了令人印象深刻的认知能力。以Meta的研究为例，V JEPA等世界模型在多项测试中展现了对物理世界的深度理解： Quentin Garrido等人的研究表明，V JEPA能够发展出基本的"直觉物理"理解。在违反物理预期的测试中——比如物体消失或穿墙而过——V JEPA能够可靠地表现出更高的"惊讶度"(预测误差)，说明它已经内化了基本的物理规律。与传统的像素级生成模型不同，世界模型展现出更强的语义理解能力。研究显示，当要求预测被遮挡区域时，I JEPA能够正确识别应该填入的语义内容——比如狗的头部、鸟的腿部、建筑物的另一侧。世界模型还展现出惊人的数据效率，I JEPA仅需12个标注样本就能在ImageNet上实现优秀的少样本分类性能，而传统方法通常需要大量标注数据。更令人印象深刻的是，V JEPA仅通过视频预训练，就能在纯静态图像任务上取得77.9%的ImageNet top 1准确率，证明了世界模型学到的表征具有强大的跨模态泛化能力。研究人员设计了多种测试来评估世界模型的认知边界。在因果推理测试中，世界模型在预测"如果A发生，B会怎样"类型的问题上表现优异，展现了比纯文本模型更强的因果理解能力。在长期依赖建模方面，V JEPA等模型能够在2秒以上的视频片段中保持物体身份和运动轨迹的一致性。即使在"如果没有重力会怎样"等反事实场景中，世界模型虽然不如在正常物理场景中准确，但仍表现出一定的推理能力。然而，世界模型也存在认知局限。它们掌握的更像是"民间物理学"而非严格的科学理论，在涉及多个物体复杂交互的场景中预测准确性会下降，对特定领域的专业物理现象理解也相当有限。这种认知特征与人类儿童发展阶段相似——具备强大的直觉理解，但缺乏形式化的理论框架。这可能恰恰是世界模型的优势所在：它们掌握的是实用的、基于观察的智慧，而非僵化的公式。从视觉到常识的飞跃世界模型的真正价值并非生成逼真内容，而是帮助AI跨越从"理解语言"到"理解世界"的鸿沟，获得类似人类的常识推理能力。常识对人类来说是如此基础，以至于我们很少思考它。我们自然而然地知道水是湿的，火是热的，物体不能穿过墙壁，时间不能倒流。这些看似简单的知识，实际上是我们与物理世界互动数十年的经验结晶，是我们理解和导航现实的基础。传统语言模型的常识推理能力主要来自文本数据——它们"读到"水是湿的，而非亲身体验。这导致了许多常识性错误，如前面提到的各种物理常识判断错误。但新一代AI通过处理视频数据，获得了更直接的"经验"。它们"看到"了水如何流动，物体如何下落，动物如何移动。这样的视觉经验为AI提供了更牢固的常识基础。一项研究对比了纯文本训练的语言模型和接受视频训练的世界模型在常识推理任务上的表现，结果表明后者在物理常识、空间关系、动作结果预测等方面表现明显更优。以物理常识为例，当被问及"如果我松开手中的气球，会发生什么？"时，纯文本模型可能给出多种可能性，包括不符合物理规律的答案；而世界模型更一致地预测气球会上升，因为它"看到"过轻于空气的物体向上浮动的视频。在空间关系推理方面，面对"如果一个杯子放在桌子边缘，被轻轻推了一下会怎样？"这样的问题，纯文本模型可能描述多种情况，包括杯子保持不动；但世界模型几乎总是正确预测杯子会掉落并可能破碎，因为它"观察"过类似场景。最具挑战性的是因果链推理。当询问"如果下雨，地面会怎样？如果在湿地面上快速行走会发生什么？"时，纯文本模型可能分别回答两个问题，但难以连接因果链；而世界模型能更好地追踪多步因果关系：下雨→地面湿滑→快速行走→可能滑倒。掌握常识的AI助手会在日常生活中发挥更大价值。它能更准确地回答家居安全问题，给出靠谱的烹饪建议，规划合理的户外活动路线——因为它真正掌握了物理世界的运作规律。从更广泛的角度看，常识认知是AI从"工具"向"助手"甚至"同伴"转变的关键步骤。人类与人交流时，依赖大量共享但未明确表达的常识。当AI也具备这种常识基础时，人机交流将变得更加流畅和自然。世界模型的应用前景随着技术的成熟，世界模型正在多个领域展现出变革性潜力，重新定义AI与物理世界的交互方式。在具身智能与机器人领域，世界模型为机器人提供了核心的环境预测能力。配备这种能力的机器人不再需要为每个具体任务编程，而是能够基于对物理世界的认知来规划和执行复杂任务。比如，一个家务机器人可以理解"整理房间"意味着什么，并根据当前环境状况制定具体的行动序列。自动驾驶系统也将迎来重大转变。传统自动驾驶依赖大量的规则和传感器数据，而基于世界模型的系统能够真正"理解"交通场景。它们可以预测其他车辆的行为轨迹，判断行人的意图，并在复杂的城市环境中做出更智能的决策。在虚拟现实与游戏领域，世界模型使虚拟环境具备了真实的物理行为。AI不再需要预设的物理引擎，而是能够根据学到的物理知识自然地模拟各种材质、光影和动态交互。这为创造更加真实和沉浸式的虚拟体验打开了新的可能。科学研究与仿真领域同样充满机遇。在药物发现、材料科学、气候建模等领域，世界模型能够提供比传统数值模拟更灵活和高效的建模方法。它们可以在抽象层面认知系统行为，从而加速科学发现的过程。教育与培训应用也备受关注。世界模型可以创建智能的教学环境，能够识别学生的行为并提供个性化的指导。无论是物理实验教学还是职业技能培训，AI都能提供更加自然和有效的学习体验。根据北京人工智能研究院的报告，世界模型被列为2025年十大AI技术趋势之一。报告指出，这些模型将推动自动驾驶、机器人和智能制造等领域的应用，同时拓展传统任务的边界，探索人机交互的新可能性。新时代我们正站在一个历史性的转折点上。AI正从文本和静态图像的世界走向对动态物理现实的理解，这是一场从处理符号到理解现实的概念革命。这一进化不禁让我们思考更深层的问题：AI对世界的"理解"与人类的理解有何不同？这样的理解对AI的发展路径有何影响？对我们与AI的关系又意味着什么？人类的世界理解根植于直接体验——我们触摸、操作、感受物体，从婴儿时期就开始建立对物理世界的内在模型。我们通过跌倒学会平衡，通过触摸学会材质的差异，通过游戏学会物理规律。多感官的、交互式的学习方式，让我们对世界的理解具有深度和广度。AI的认知则来自对海量视频的观察，像一个只能透过窗户看世界的旁观者。它们能处理比人类多得多的数据，但缺乏直接的物理交互体验。这种差异让AI的认知方式更像是精确的模式识别，而非深度的体验式感知。然而，无论学习路径如何不同，AI正在获得的这种世界认知能力，可能是通往更通用人工智能的关键一步。正如一位AI研究者所言："语言可能是智能的表达，但对物理现实的掌握才是智能的基础。"这种新的AI能力将深刻改变我们与AI的关系。当AI在掌握我们语言的基础上，进一步掌握我们所处的物理环境时，人机交流将发生质的飞跃。未来的AI助手将发生根本性转变：它不再是一个只能回答问题的聊天机器人，而是一个真正掌握物理世界的智能伙伴。当你说"帮我搬一下这个花瓶"时，它能够认知花瓶的易碎性、重量分布、以及搬运时需要注意的物理因素。当你询问"今天适合晒被子吗"时，它会在查看天气预报的基础上，结合湿度、风向、材质特性给出更精准的建议。以一个视障人士在陌生城市导航为例。传统的AI助手只能读取地图数据，提供路线指引。但具备新能力的AI助手能够掌握城市环境的物理特性：哪里有台阶而非坡道，人群流动如何影响通行，雨天时哪些路面可能更滑，甚至能预测某个时间段特定路口的拥挤程度。这样的AI助手不再是工具，而是真正的向导。更广泛地说，这类技术的发展标志着AI从专用工具向通用助手的转变。掌握物理世界的AI不再局限于特定任务，而是能够应用其知识解决各种现实问题，从日常生活的琐事到复杂的工程挑战。理解当AI开始真正"理解"我们所处的物理世界时，人机协作将进入一个全新的阶段。我们不再需要将复杂的现实世界翻译成AI能理解的抽象指令，而是可以更自然、更直接地与AI交流。 2020年LeCun提出的那个问题，或许很快就会有一个全新的答案：AI将不再是那个在黑暗中学习的孩子，而是真正睁开眼睛看世界的智慧伙伴。在这个AI睁眼看世界的新时代，我们既是见证者，也是参与者，让我们以开放的心态拥抱变化，同时以审慎的态度面对挑战，共同塑造一个人机和谐共生的未来。我是蓝衣剑客，谢谢你看我的文章。参考资料 1. Meta AI Research : "I JEPA: The first AI model based on Yann LeCun's vision for more human like AI" (2023) 2. Meta AI Research : "V JEPA: The next step toward Yann LeCun's vision of advanced machine intelligence (AMI)" (2024) 3. Assran et al. : "Self Supervised Learning from Images with a Joint Embedding Predictive Architecture" (2023) 4. Bardes et al. : "Revisiting Feature Prediction for Learning Visual Representations from Video" (2024) 5. Long et al. : "A Survey: Learning Embodied Intelligence from Physical Simulators and World Models" (2025) 6. Yann LeCun : "A Path Towards Autonomous Machine Intelligence" (2022) 7. Garrido et al. : "Intuitive physics understanding emerges from self supervised pretraining on natural videos" (2023) 世界模型的训练之道以Meta的I JEPA为例，其训练过程体现了世界模型的根本创新。I JEPA采用多块掩码策略，将图像分为上下文块和目标块，让模型从可见部分预测被掩盖区域的抽象表征，而不是重建具体像素。这迫使模型学习语义层面的理解——关注"这里应该有什么物体"而不是"这个像素应该是什么颜色"。世界模型通过自监督方式训练，无需人工标注。Meta报告显示，I JEPA仅用16个A100 GPU在72小时内就能训练出632M参数的模型，效率比传统方法提高2 10倍。V JEPA进一步将这一架构扩展到视频理解，通过预测时空区域的表征来学习动态世界的规律。与简单的下一帧预测不同，它专注于关键时空模式的抽象理解。通过指数移动平均等技术，世界模型避免了传统自监督学习中的表征崩坍问题，确保学到的表征既丰富又稳定。世界模型训练的核心洞察是：真正的智能不在于记住每个细节，而在于理解抽象的因果关系和模式。就像人类不需要记住每朵云的形状，但能理解"乌云密布意味着可能下雨"的抽象关系。这种训练方式让世界模型获得了两个重要能力：一是高效的泛化能力——仅需12个标注样本就能在ImageNet上实现优秀的少样本分类；二是强大的迁移能力——预训练的表征可以直接用于多种下游任务而无需大量微调。相比传统生成模型需要重现每个像素的"完美主义"，世界模型的"抽象主义"显得更加智能和高效。世界模型的认知能力评估真正的世界模型展现出了令人印象深刻的认知能力。以Meta的研究为例，V JEPA等世界模型在多项测试中展现了对物理世界的深度理解： Quentin Garrido等人的研究表明，V JEPA能够发展出基本的"直觉物理"理解。在违反物理预期的测试中——比如物体消失或穿墙而过——V JEPA能够可靠地表现出更高的"惊讶度"(预测误差)，说明它已经内化了基本的物理规律。与传统的像素级生成模型不同，世界模型展现出更强的语义理解能力。研究显示，当要求预测被遮挡区域时，I JEPA能够正确识别应该填入的语义内容——比如狗的头部、鸟的腿部、建筑物的另一侧。世界模型还展现出惊人的数据效率，I JEPA仅需12个标注样本就能在ImageNet上实现优秀的少样本分类性能，而传统方法通常需要大量标注数据。更令人印象深刻的是，V JEPA仅通过视频预训练，就能在纯静态图像任务上取得77.9%的ImageNet top 1准确率，证明了世界模型学到的表征具有强大的跨模态泛化能力。研究人员设计了多种测试来评估世界模型的认知边界。在因果推理测试中，世界模型在预测"如果A发生，B会怎样"类型的问题上表现优异，展现了比纯文本模型更强的因果理解能力。在长期依赖建模方面，V JEPA等模型能够在2秒以上的视频片段中保持物体身份和运动轨迹的一致性。即使在"如果没有重力会怎样"等反事实场景中，世界模型虽然不如在正常物理场景中准确，但仍表现出一定的推理能力。然而，世界模型也存在认知局限。它们掌握的更像是"民间物理学"而非严格的科学理论，在涉及多个物体复杂交互的场景中预测准确性会下降，对特定领域的专业物理现象理解也相当有限。这种认知特征与人类儿童发展阶段相似——具备强大的直觉理解，但缺乏形式化的理论框架。这可能恰恰是世界模型的优势所在：它们掌握的是实用的、基于观察的智慧，而非僵化的公式。从视觉到常识的飞跃世界模型的真正价值并非生成逼真内容，而是帮助AI跨越从"理解语言"到"理解世界"的鸿沟，获得类似人类的常识推理能力。常识对人类来说是如此基础，以至于我们很少思考它。我们自然而然地知道水是湿的，火是热的，物体不能穿过墙壁，时间不能倒流。这些看似简单的知识，实际上是我们与物理世界互动数十年的经验结晶，是我们理解和导航现实的基础。传统语言模型的常识推理能力主要来自文本数据——它们"读到"水是湿的，而非亲身体验。这导致了许多常识性错误，如前面提到的各种物理常识判断错误。但新一代AI通过处理视频数据，获得了更直接的"经验"。它们"看到"了水如何流动，物体如何下落，动物如何移动。这样的视觉经验为AI提供了更牢固的常识基础。一项研究对比了纯文本训练的语言模型和接受视频训练的世界模型在常识推理任务上的表现，结果表明后者在物理常识、空间关系、动作结果预测等方面表现明显更优。以物理常识为例，当被问及"如果我松开手中的气球，会发生什么？"时，纯文本模型可能给出多种可能性，包括不符合物理规律的答案；而世界模型更一致地预测气球会上升，因为它"看到"过轻于空气的物体向上浮动的视频。在空间关系推理方面，面对"如果一个杯子放在桌子边缘，被轻轻推了一下会怎样？"这样的问题，纯文本模型可能描述多种情况，包括杯子保持不动；但世界模型几乎总是正确预测杯子会掉落并可能破碎，因为它"观察"过类似场景。最具挑战性的是因果链推理。当询问"如果下雨，地面会怎样？如果在湿地面上快速行走会发生什么？"时，纯文本模型可能分别回答两个问题，但难以连接因果链；而世界模型能更好地追踪多步因果关系：下雨→地面湿滑→快速行走→可能滑倒。掌握常识的AI助手会在日常生活中发挥更大价值。它能更准确地回答家居安全问题，给出靠谱的烹饪建议，规划合理的户外活动路线——因为它真正掌握了物理世界的运作规律。从更广泛的角度看，常识认知是AI从"工具"向"助手"甚至"同伴"转变的关键步骤。人类与人交流时，依赖大量共享但未明确表达的常识。当AI也具备这种常识基础时，人机交流将变得更加流畅和自然。世界模型的应用前景随着技术的成熟，世界模型正在多个领域展现出变革性潜力，重新定义AI与物理世界的交互方式。在具身智能与机器人领域，世界模型为机器人提供了核心的环境预测能力。配备这种能力的机器人不再需要为每个具体任务编程，而是能够基于对物理世界的认知来规划和执行复杂任务。比如，一个家务机器人可以理解"整理房间"意味着什么，并根据当前环境状况制定具体的行动序列。自动驾驶系统也将迎来重大转变。传统自动驾驶依赖大量的规则和传感器数据，而基于世界模型的系统能够真正"理解"交通场景。它们可以预测其他车辆的行为轨迹，判断行人的意图，并在复杂的城市环境中做出更智能的决策。在虚拟现实与游戏领域，世界模型使虚拟环境具备了真实的物理行为。AI不再需要预设的物理引擎，而是能够根据学到的物理知识自然地模拟各种材质、光影和动态交互。这为创造更加真实和沉浸式的虚拟体验打开了新的可能。科学研究与仿真领域同样充满机遇。在药物发现、材料科学、气候建模等领域，世界模型能够提供比传统数值模拟更灵活和高效的建模方法。它们可以在抽象层面认知系统行为，从而加速科学发现的过程。教育与培训应用也备受关注。世界模型可以创建智能的教学环境，能够识别学生的行为并提供个性化的指导。无论是物理实验教学还是职业技能培训，AI都能提供更加自然和有效的学习体验。根据北京人工智能研究院的报告，世界模型被列为2025年十大AI技术趋势之一。报告指出，这些模型将推动自动驾驶、机器人和智能制造等领域的应用，同时拓展传统任务的边界，探索人机交互的新可能性。新时代我们正站在一个历史性的转折点上。AI正从文本和静态图像的世界走向对动态物理现实的理解，这是一场从处理符号到理解现实的概念革命。这一进化不禁让我们思考更深层的问题：AI对世界的"理解"与人类的理解有何不同？这样的理解对AI的发展路径有何影响？对我们与AI的关系又意味着什么？人类的世界理解根植于直接体验——我们触摸、操作、感受物体，从婴儿时期就开始建立对物理世界的内在模型。我们通过跌倒学会平衡，通过触摸学会材质的差异，通过游戏学会物理规律。多感官的、交互式的学习方式，让我们对世界的理解具有深度和广度。AI的认知则来自对海量视频的观察，像一个只能透过窗户看世界的旁观者。它们能处理比人类多得多的数据，但缺乏直接的物理交互体验。这种差异让AI的认知方式更像是精确的模式识别，而非深度的体验式感知。然而，无论学习路径如何不同，AI正在获得的这种世界认知能力，可能是通往更通用人工智能的关键一步。正如一位AI研究者所言："语言可能是智能的表达，但对物理现实的掌握才是智能的基础。"这种新的AI能力将深刻改变我们与AI的关系。当AI在掌握我们语言的基础上，进一步掌握我们所处的物理环境时，人机交流将发生质的飞跃。未来的AI助手将发生根本性转变：它不再是一个只能回答问题的聊天机器人，而是一个真正掌握物理世界的智能伙伴。当你说"帮我搬一下这个花瓶"时，它能够认知花瓶的易碎性、重量分布、以及搬运时需要注意的物理因素。当你询问"今天适合晒被子吗"时，它会在查看天气预报的基础上，结合湿度、风向、材质特性给出更精准的建议。以一个视障人士在陌生城市导航为例。传统的AI助手只能读取地图数据，提供路线指引。但具备新能力的AI助手能够掌握城市环境的物理特性：哪里有台阶而非坡道，人群流动如何影响通行，雨天时哪些路面可能更滑，甚至能预测某个时间段特定路口的拥挤程度。这样的AI助手不再是工具，而是真正的向导。更广泛地说，这类技术的发展标志着AI从专用工具向通用助手的转变。掌握物理世界的AI不再局限于特定任务，而是能够应用其知识解决各种现实问题，从日常生活的琐事到复杂的工程挑战。理解当AI开始真正"理解"我们所处的物理世界时，人机协作将进入一个全新的阶段。我们不再需要将复杂的现实世界翻译成AI能理解的抽象指令，而是可以更自然、更直接地与AI交流。 2020年LeCun提出的那个问题，或许很快就会有一个全新的答案：AI将不再是那个在黑暗中学习的孩子，而是真正睁开眼睛看世界的智慧伙伴。在这个AI睁眼看世界的新时代，我们既是见证者，也是参与者，让我们以开放的心态拥抱变化，同时以审慎的态度面对挑战，共同塑造一个人机和谐共生的未来。我是蓝衣剑客，谢谢你看我的文章。参考资料 1. Meta AI Research : "I JEPA: The first AI model based on Yann LeCun's vision for more human like AI" (2023) 2. Meta AI Research : "V JEPA: The next step toward Yann LeCun's vision of advanced machine intelligence (AMI)" (2024) 3. Assran et al. : "Self Supervised Learning from Images with a Joint Embedding Predictive Architecture" (2023) 4. Bardes et al. : "Revisiting Feature Prediction for Learning Visual Representations from Video" (2024) 5. Long et al. : "A Survey: Learning Embodied Intelligence from Physical Simulators and World Models" (2025) 6. Yann LeCun : "A Path Towards Autonomous Machine Intelligence" (2022) 7. Garrido et al. : "Intuitive physics understanding emerges from self supervised pretraining on natural videos" (2023) 🔗 原文链接： https://mp.weixin.qq.com/s/TfkzDcLf... https://mp.weixin.qq.com/s/TfkzDcLf... 原创蓝衣剑客 AIGC思维火花2025年08月07日 08:39 河北 📌 蓝衣剑客元神智算 CEO。WaytoAGI专栏作者。火山引擎开发者领航KOL。清华大学数据治理研究中心荣誉顾问。阿里云AI训练营讲师。得到新商学组局先锋/讲师。丛书《Kimi高效办公》、《豆包高效办公》作者。火山引擎社区、掘金AGI、LangGPT专栏作者/核心共建。拥有超过10年的软件行业经验，起草过多个AI领域国家级标准、报告。为数十家世界500强企业提供过AI领域业务咨询、项目落地指导。一个简短的介绍，概括不了六边形的我。没事爱写点文章，谢谢你喜欢它们。微信公众号 📌 蓝衣剑客元神智算 CEO。WaytoAGI专栏作者。火山引擎开发者领航KOL。清华大学数据治理研究中心荣誉顾问。阿里云AI训练营讲师。得到新商学组局先锋/讲师。丛书《Kimi高效办公》、《豆包高效办公》作者。火山引擎社区、掘金AGI、LangGPT专栏作者/核心共建。拥有超过10年的软件行业经验，起草过多个AI领域国家级标准、报告。为数十家世界500强企业提供过AI领域业务咨询、项目落地指导。一个简短的介绍，概括不了六边形的我。没事爱写点文章，谢谢你喜欢它们。微信公众号 📌 蓝衣剑客元神智算 CEO。WaytoAGI专栏作者。火山引擎开发者领航KOL。清华大学数据治理研究中心荣誉顾问。阿里云AI训练营讲师。得到新商学组局先锋/讲师。丛书《Kimi高效办公》、《豆包高效办公》作者。火山引擎社区、掘金AGI、LangGPT专栏作者/核心共建。拥有超过10年的软件行业经验，起草过多个AI领域国家级标准、报告。为数十家世界500强企业提供过AI领域业务咨询、项目落地指导。一个简短的介绍，概括不了六边形的我。没事爱写点文章，谢谢你喜欢它们。 📌 蓝衣剑客元神智算 CEO。WaytoAGI专栏作者。火山引擎开发者领航KOL。清华大学数据治理研究中心荣誉顾问。阿里云AI训练营讲师。得到新商学组局先锋/讲师。丛书《Kimi高效办公》、《豆包高效办公》作者。火山引擎社区、掘金AGI、LangGPT专栏作者/核心共建。拥有超过10年的软件行业经验，起草过多个AI领域国家级标准、报告。为数十家世界500强企业提供过AI领域业务咨询、项目落地指导。一个简短的介绍，概括不了六边形的我。没事爱写点文章，谢谢你喜欢它们。 📌 蓝衣剑客元神智算 CEO。WaytoAGI专栏作者。火山引擎开发者领航KOL。清华大学数据治理研究中心荣誉顾问。阿里云AI训练营讲师。得到新商学组局先锋/讲师。丛书《Kimi高效办公》、《豆包高效办公》作者。火山引擎社区、掘金AGI、LangGPT专栏作者/核心共建。拥有超过10年的软件行业经验，起草过多个AI领域国家级标准、报告。为数十家世界500强企业提供过AI领域业务咨询、项目落地指导。一个简短的介绍，概括不了六边形的我。没事爱写点文章，谢谢你喜欢它们。蓝衣剑客元神智算 CEO。WaytoAGI专栏作者。火山引擎开发者领航KOL。清华大学数据治理研究中心荣誉顾问。阿里云AI训练营讲师。得到新商学组局先锋/讲师。丛书《Kimi高效办公》、《豆包高效办公》作者。火山引擎社区、掘金AGI、LangGPT专栏作者/核心共建。拥有超过10年的软件行业经验，起草过多个AI领域国家级标准、报告。为数十家世界500强企业提供过AI领域业务咨询、项目落地指导。一个简短的介绍，概括不了六边形的我。没事爱写点文章，谢谢你喜欢它们。微信公众号微信微信公众号公众号大家好，我是蓝衣剑客，欢迎来到「AI学什么」——一个专注于AI科普的栏目。这里我们追求"用最精彩的故事，讲述最硬核的知识"。不会陷入枯燥技术细节的泥潭，也不会停留在肤浅概念的表面。通过生动类比和通俗语言，让你在轻松阅读中掌握那些看似晦涩的AI知识，培养应对AI时代的核心认知。无论你是初涉AI的新手，还是想深入了解的从业者，这里都有适合你的知识盛宴和思考角度。大家好，我是蓝衣剑客，欢迎来到「AI学什么」——一个专注于AI科普的栏目。这里我们追求"用最精彩的故事，讲述最硬核的知识"。不会陷入枯燥技术细节的泥潭，也不会停留在肤浅概念的表面。通过生动类比和通俗语言，让你在轻松阅读中掌握那些看似晦涩的AI知识，培养应对AI时代的核心认知。无论你是初涉AI的新手，还是想深入了解的从业者，这里都有适合你的知识盛宴和思考角度。 Yann LeCun的忧虑 2020年，Meta首席AI科学家Yann LeCun在一次演讲中提出了一个令人深思的问题："一个18个月大的孩子比最先进的AI系统懂得更多关于世界如何运作的知识。为什么？" 这个问题揭示了当时AI的一个根本性局限：传统的大语言模型虽然在文本理解和生成方面表现出色，但对物理世界缺乏基本的直观理解。 LeCun用一个生动的比喻来说明这个问题：传统AI就像一个从未见过世界、只通过书本学习的盲人学者。它们或许读过关于大象和老鼠的无数描述，但没有直观的物理感知——没有见过大象的庞大身躯，没有亲眼目睹老鼠的渺小体型，更没有体验过重力和质量的关系。这一局限在简单的常识问题上显而易见。当你问ChatGPT："如果我把一个足球放在斜坡上会发生什么？"它可能给出听起来合理但物理细节完全错误的回答，因为它从未"看见"过物体在重力作用下如何运动。 LeCun认为，这种缺陷源于AI学习方式的根本限制。就像古代的盲人摸象寓言——每个盲人只摸到象的一部分，然后基于片段信息想象整个大象。同样，纯文本训练的AI只能接触到世界的文字描述，而无法真正"看到"和"理解"物理现实。 "我们需要让AI睁开眼睛看世界，这不仅仅是技术问题，更是智能本质的问题。" 正是基于这样的思考，一场让AI"睁眼看世界"的技术革命悄然开始了。睁眼看世界的第一步 2022年，OpenAI的DALL E 2和Stability AI的Stable Diffusion横空出世，AI首次真正"睁开眼睛"看到了世界——虽然还只是静态的图像世界。这些突破让LeCun既兴奋又不满足。兴奋的是，多模态模型将图像和文本结合起来学习，使AI能够理解"红色"不再只是抽象符号，而是具体的视觉体验；"猫"也从语言中的一个符号，转化为具有特定形态特征的真实存在。但LeCun清楚，这还远远不够。静态图像只是现实世界的一个"快照"，缺少了最关键的时间维度。现实世界是动态的，物体会移动，事件会随时间展开，因果关系在时间中体现。仅仅理解静态图像，就像只看懂了电影的海报，而不理解电影的叙事。 "真正的智能需要理解世界的动态变化，"LeCun在一次访谈中强调，"婴儿之所以能快速学会物理规律，正是因为他们观察的是一个活动的世界。" 2023年底，当OpenAI发布Sora震惊全世界时，许多人以为这就是LeCun梦想中的"世界模型"。Sora能生成令人惊叹的视频，似乎掌握了基本的物理规律——物体如何移动、如何互相作用、如何受重力影响。然而，LeCun的反应却颇为冷静。在社交媒体上，他指出Sora虽然令人印象深刻，但本质上仍是一个生成模型，而非真正的世界模型。真正的世界模型需要更深层的理解——不仅能生成现实，更要能预测和推理。这个看似微妙的区别，实际上指向了AI发展的下一个重大跃升：从生成世界到理解世界。真正的"世界模型" 那么，什么才是LeCun心目中真正的"世界模型"呢？早在2022年的论文《通向自主机器智能之路》中，LeCun就详细阐述了他的愿景。在他看来，"世界模型"(World Model)是AI系统学习到的内部表征，能够模拟真实世界的动态变化。与传统的静态感知模型不同，世界模型具有生成性和预测性——它们能够模拟世界如何随时间演变，让智能体在实际行动前进行规划和推理。 LeCun描绘的世界模型具有五个核心特征。首先是多模态感知能力，能够整合视频、图像、音频、传感器数据等多种输入；其次是时间预测机制，专门学习预测未来的状态和事件发展；第三是抽象表征学习，在高级语义空间而非原始像素级进行操作；第四是自监督训练方式，通过预测下一状态等目标进行学习；最后是模拟推理能力，训练完成后能够模拟各种假设情况。为了说明这个概念，LeCun常常用人类的日常行为来类比。当你计划从椅子上站起来去拿桌上的咖啡时，你的大脑会自动模拟整个动作序列。你的世界模型在预测自己动作的同时，还会考虑环境因素——杯子的重量、桌面的高度、周围是否有障碍物。这种内在的"世界模拟器"让你能够在行动前预见可能的结果。 "传统的语言模型专注于预测下一个词，"LeCun解释道，"而世界模型则致力于预测现实世界中的下一个状态。这不是简单的视频生成器，而是真正理解物理规律、因果关系和时间演变的智能系统。" 基于这一愿景，LeCun团队在Meta开始了雄心勃勃的研究项目：JEPA(联合嵌入预测架构)。这个架构代表了LeCun心目中真正世界模型的技术实现——不同于OpenAI的Sora等生成式模型，JEPA专门为理解世界而设计。