[趋势研究] 空间智能 - LLM的下一站里程碑

[趋势研究] 空间智能 LLM的下一站里程碑 [趋势研究] 空间智能 LLM的下一站里程碑 Modified August 25, 2025 412 454 这里的分析逻辑很清楚，根据参照物（瓶子位于箱子的相对位置），来判断相机的移动轨迹 变形与组装 这里其实很接近了，但是LLM忽略了菱形方向的点，选了3，正确答案是4。这个题说实话对LLM来讲确实难度不小，人类也需要经过一长串的思考才能找到规律。不过思考的速度还是比较快的。 这道题人类一眼懂，但是AI对于组装物体的理解还是有欠缺，可能会受到自身推理的污染。这个题Qwen也崩了 综合推理 这道题本来是彩色的，有点简单，所以我调成了灰度。本来我以为应该是简单的，但是结果差点吓死我。。。对于物体的相对高度，深度想象，目前AI还是差的很远的。 Qwen3被幻觉绕进去了。它先算出来第一层有6个立方体（从上到下），然后把第一层旋转成了表面层（从前到后） o3的幻觉更严重 GPT 5最离谱 趋势讨论 🔬 目前来看，单纯作为“大脑”，AI在空间智能上的判断力还是有比较大的幻觉的，主要问题在于缺乏空间推理和想象能力（实际应用场景下，应该需要传感器或者激光雷达回传准确的空间参数来弥补这一点）。但可以明显感知到GPT已经在训练过程中有意在加强这部分的感知力度。把前阵子Genie3的发布联系到一起，下一步应该就是大模型对物理世界的理解能力了。结合精密传感器的参数回传，Agent可以在现实世界拥有具身和操作工具的能力，处理更多“非脑力”的任务。 人形机器人感觉可能还要些日子，但有些行业可能会短期内取得肉眼可见进展： • 无人化仓储/物流 • 扫地机器人 • 建筑/施工管理（数字孪生） • 自动驾驶 • 制造业（智能工厂） • VR/AR虚拟成像 or 游戏产业 这里的分析逻辑很清楚，根据参照物（瓶子位于箱子的相对位置），来判断相机的移动轨迹 变形与组装 这里其实很接近了，但是LLM忽略了菱形方向的点，选了3，正确答案是4。这个题说实话对LLM来讲确实难度不小，人类也需要经过一长串的思考才能找到规律。不过思考的速度还是比较快的。 这道题人类一眼懂，但是AI对于组装物体的理解还是有欠缺，可能会受到自身推理的污染。这个题Qwen也崩了 综合推理 这道题本来是彩色的，有点简单，所以我调成了灰度。本来我以为应该是简单的，但是结果差点吓死我。。。对于物体的相对高度，深度想象，目前AI还是差的很远的。 Qwen3被幻觉绕进去了。它先算出来第一层有6个立方体（从上到下），然后把第一层旋转成了表面层（从前到后） o3的幻觉更严重 GPT 5最离谱 趋势讨论 🔬 目前来看，单纯作为“大脑”，AI在空间智能上的判断力还是有比较大的幻觉的，主要问题在于缺乏空间推理和想象能力（实际应用场景下，应该需要传感器或者激光雷达回传准确的空间参数来弥补这一点）。但可以明显感知到GPT已经在训练过程中有意在加强这部分的感知力度。把前阵子Genie3的发布联系到一起，下一步应该就是大模型对物理世界的理解能力了。结合精密传感器的参数回传，Agent可以在现实世界拥有具身和操作工具的能力，处理更多“非脑力”的任务。 人形机器人感觉可能还要些日子，但有些行业可能会短期内取得肉眼可见进展： • 无人化仓储/物流 • 扫地机器人 • 建筑/施工管理（数字孪生） • 自动驾驶 • 制造业（智能工厂） • VR/AR虚拟成像 or 游戏产业 目前来看，单纯作为“大脑”，AI在空间智能上的判断力还是有比较大的幻觉的，主要问题在于缺乏空间推理和想象能力（实际应用场景下，应该需要传感器或者激光雷达回传准确的空间参数来弥补这一点）。但可以明显感知到GPT已经在训练过程中有意在加强这部分的感知力度。把前阵子Genie3的发布联系到一起，下一步应该就是大模型对物理世界的理解能力了。结合精密传感器的参数回传，Agent可以在现实世界拥有具身和操作工具的能力，处理更多“非脑力”的任务。 人形机器人感觉可能还要些日子，但有些行业可能会短期内取得肉眼可见进展： • 无人化仓储/物流 • 扫地机器人 • 建筑/施工管理（数字孪生） • 自动驾驶 • 制造业（智能工厂） • VR/AR虚拟成像 or 游戏产业 什么是空间智能 空间智能，就是我们在脑海中将物体与环境进行三维重建和操作的能力。在心理学领域，空间智能被认为是人类智力的重要组成部分之一。美国心理学家霍华德·加德纳在“多元智能理论”中首次明确提出了“空间智能”这个术语。他将空间智能定义为能够在头脑中形成外部空间世界的心智模型并进行操作的能力。 这意味着一个人可以准确地感知视觉世界、将感知到的事物在脑中加工和改造，并且即使在客观刺激不在眼前时，仍能再现或想象出视觉场景。比如在宜家逛到一个漂亮的沙发，我们会脑补把沙发搬进自己家里大概的样子；或者开车碰到窄路的时候，我们会想象车子的宽度是否足够通过这条路径；还有在看到一张照片的时候，我们会判断照片里的哪些东西离我们更近，哪些离我们更远... 爱因斯坦据说有强大的空间想象力，他在思考相对论时更多依赖几何和图像而不是语言描述；又比如柯洁能在脑海中“盲棋”对弈，把棋盘和棋子的位置完整地映射在脑中，这些都是优秀空间智能的体现。相反，空间智能较弱的人可能经常迷路，或者很难判断物体的相对方向和形状。所以空间智能和我们的视觉感知，记忆和想象能力都是密切相关的。 从AI的角度来看，空间智能指AI在三维空间和时间中感知、理解和行动的能力。AI酵母李飞飞之前有提到过这个概念是“机器理解物体和事件的位置及相互作用”的能力——是通往AGI的重要基石。当大模型的“大脑”结合对空间的理解，可以准确和物理世界的物体交互，并对交互事件产生进一步的推理，届时AI就不只是会纸上谈兵了。 空间智能的核心能力 参考论文 Has GPT 5 Achieved Spatial Intelligence? An Empirical Study ，我们大致可以把空间智能的能力归为几个细类： Has GPT 5 Achieved Spatial Intelligence? An Empirical Study I. 度量测量（Metric Measurement, MM） 从2D观察中推断3D尺寸，比如通过目测，测量一个房屋的宽度或高度。 II. 心理重建（Mental Reconstruction, MR） 评估模型从有限的2D观察中推断完整3D结构的能力，比如从不同的视角，在心智中重建一个立方体。 III. 空间关系（Spatial Relations, SR） 理解多个物体在相机视图中的相对位置和方向，比如识别物体是“左边和后面”还是“右边”。 IV. 透视变换（Perspective taking, PT） 在不同视角之间进行推理的能力，比如想象从不同角度看物体可能出现的形态。 V. 变形与组装（Deformation and Assembly, DA） 理解和推理形状的变形或结构变化，比如识别如何将零件组装成一个整体。 VI. 综合推理（Comprehensive Reasoning, CR） 协调使用各种空间能力，结合扩展记忆和多阶段推理，比如解决复杂的迷宫或物理交互问题。 这几种核心能力也可以进一步概括为：感知、建模、推理与想象 空间感知 简单说准确感知和识别空间中的各种要素。对人类而言，主要通过视觉（以及触觉、听觉等辅助手段）来完成，例如感知物体的形状、颜色、大小，辨别它们的位置和朝向，以及环境的深度和结构线索。而机器的空间感知对应传感器和计算机视觉能力——通过摄像头、激光雷达等传感器获取环境信息，并利用算法检测出场景中的物体、边界、障碍等信息。最简单的就是家里的扫地机器人，需要感知哪里有障碍无法通行（虽然它并不知道障碍是什么，只知道自己过不去）。 而“空间智能”的感知要求会更高，不仅包括对各个对象的识别，还需要包括对空间关系的感知，如判断物体之间的远近、上下左右关系等。高水平的空间感知意味着要对视觉空间细节非常敏锐，能够捕获环境的变化和要点。 空间建模 智能体还需将感知到的零散信息整合为内部的空间表征。对于人类，我们能够在脑海中构建“心象地图”或场景的心智模型——比如走进陌生建筑后，我们会逐渐在脑中形成这个建筑布局的概念图。对于AI系统，空间表示意味着将传感器数据转化为机器可理解的形式，比如构建3D地图或场景模型，来更加全面理解目前所处的场景。 这个过程涉及几何建模和坐标转换的技术，把视觉感知到的物体位置、形状转化为统一坐标系下的描述。其中节点是物体，边表示空间关系（如A在B左侧，C在桌子下面）。在空间智能系统里，能在内部形成对所处空间清晰、一致的表示。 空间推理 也就是空间逻辑思维过程。这部分会涉及回答各种关于空间的问题、进行决策，或推断尚未直接感知的信息。空间推理包含很多形式：例如空间关系推断（根据已知关系推导未知关系），路径规划（类似导航）、碰撞预测（判断移动物体是否会相撞）、结构理解（推理某物体如何支撑、组合）等等。比如机械臂，就需要计算通过怎样的运动，可以准确找到合适的角度来抓取现实世界的某个物体，甚至回答“哪个物理离我更近”之类的问题。 人类的空间推理往往表现为心算图形、解谜等能力，比如我们可以根据平面图想象房子的结构，或者通过观察物体的阴影推断光源位置。这种能力在AI中对应到空间关系推理算法、几何计算，以及物理引擎模拟。当面对三维世界的复杂问题时，空间推理是让智能体“想明白该怎么办”的关键能力。 另外还有一点，空间推理往往还要求将时间因素结合进去进行思考（许多空间问题涉及物体随时间的移动变化）。 空间想象 这是一种高级空间智能能力，体现在对空间场景进行心智操作和转换的本领上。有时也称为空间变换或心象旋转能力。直观来说，就是能够在脑海中模拟出空间变化的过程。举个简单的例子，如何根据左边的物体，来推断右边顶部视角物体呈现出来的形状，就是一种典型的空间想象能力。在心理学里的叫法是“心理旋转”（Mental Rotation）。 对AI而言，空间想象力意味着算法能够对已有空间表示进行变换和演绎，比如在模拟环境中预测物体移动后的布局，或根据一个视角的图像推断场景在另一个视角下的样子。 GPT o3/5：语言模型空间智能的初步呈现 论文中提到了一系列空间智能的测试，我也拿了一些实际案例测试了一下。主要在GPT 5，o3，Qwen（Grok没充值，暂时测不了） 度量测量 图像理解上，现在的模型基本都能做到寻找可靠的参照物获得基本度量，再用对比的方法获得目标物的度量测量。 心理重建 GPT 5整体稍微有点瑕疵（中间三角形画成了梯形），前面的部分被挡住了，但可以理解物体的大概轮廓，整体理解还是很不错的。 o3完全正确 Qwen的表现要差很多 空间关系 GPT 5可以非常准确理解空间里物体之间的关系，包括相对大小，3D的角度对2D空间位置的想象。相比之下，o3会感觉相对逊色一些，主要在物体的相对位置关系上，没有GPT 5这么敏感。 透视变换 通过3D视图很好理解了物体的相对关系（论文中说o3不行，但我测试下来o3的表现还是可以的，而且逻辑很清楚）。 这里会发现比较明显的问题，视觉模型对于主体之间的距离，以及在平面映射的表象仍然缺乏重组能力。也就是说只能看到映射后物体的大小，而无法判断经过距离加成后的实际大小。