SpatialVLA：空间增强的视觉 - 语言 - 动作模型及其在通用机器人政策中的创新

SpatialVLA：空间增强的视觉 语言 动作模型及其在通用机器人政策中的创新 SpatialVLA：空间增强的视觉 语言 动作模型及其在通用机器人政策中的创新 Modified August 18, 2025 二、技术架构：空间增强的 VLA 模型设计 SpatialVLA 通过 “空间感知增强 动作表示适配 两阶段训练” 的三层架构，实现 3D 空间智能与跨机器人泛化： 3. Ego3D 位置编码：注入 3D 空间信息 将第一视角视觉观测与 3D 空间特征融合，构建机器人无关的空间表示： • 深度融合流程：使用 ZoeDepth 模型估计图像深度图，通过相机内参将像素反投影至以相机为中心的 3D 坐标系，获取每个像素的 3D 坐标\(p=(x,y,z)\)； • 编码方式：3D 坐标经正弦函数与可学习 MLP 转化为 3D 位置嵌入，与 SigLIP 提取的 2D 语义特征相加，形成融合空间与语义的观测表示\(O {3d}\)； • 优势：无需机器人 相机校准，适用于任意机器人形态（如腕部相机、第三人称相机），有效捕捉物体间相对位置关系。 4. 自适应动作网格：统一跨机器人动作空间 基于数据分布的动态离散化方法，实现动作空间的高效统一： • 动作分解：将 7 维机器人动作（平移\(x,y,z\)、旋转\(roll,pitch,yaw\)、 gripper）拆分为平移（\(\Delta T\)）、旋转（\(\Delta R\)）、夹持器（grip）三部分，平移进一步转化为极坐标（方向\(\phi,\theta\)、距离r）以解耦运动特征； • 网格构建：对每个动作维度，基于训练数据的高斯分布（而非均匀分箱）划分网格，高概率区域（如频繁运动范围）网格更密集，总分辨率达 8194，确保精细动作捕捉； • 跨形态迁移：新机器人适配时，通过新数据的高斯分布重新划分网格，动作嵌入通过三线性插值初始化，快速迁移预训练空间知识。 5. 两阶段训练：从通用到特化的知识迁移 • 预训练：在 110 万真实机器人数据（OXE 与 RH20T 数据集混合）上训练，冻结语言嵌入以保留 VLM 的世界知识，优化空间嵌入与动作网格，学习跨场景、跨机器人的通用空间策略； • 后训练：针对新机器人 / 任务，仅调整动作网格与空间嵌入，通过高斯适配与 LoRA 微调，快速适配目标机器人的动作空间，减少数据需求。 三、实验验证：空间理解与泛化能力的全面突破 SpatialVLA 在 7 类场景、24 项真实任务与 3 项仿真任务中表现卓越，核心结果如下： 6. 零样本跨场景控制 在 SimplerEnv 仿真与真实 WidowX 机器人上，零样本任务成功率显著领先： • Google 机器人任务中，视觉匹配得分达 71.9%（零样本）和 75.1%（微调），超越 RT 2 X（60.7%）与 RoboVLM（56.3%）； • 真实世界中，“将茄子放入黄篮” 任务成功率达 100%，动态物体跟踪（如移动的胡萝卜）成功率超 OpenVLA 15% 以上。 7. 跨机器人形态适配 在 Franka 机器人与 LIBERO 基准上，展现高效迁移能力： • LIBERO Spatial 任务（空间关系理解）成功率 88.2%，远超 OpenVLA（84.7%）与 Octo（78.9%）； • 指令跟随任务中，“放置特定颜色立方体” 成功率 57%，较 Diffusion Policy（26%）提升显著，证明语言与空间动作的精准对齐。 8. 空间理解能力 在高低差放置、角度抓取等任务中，空间感知优势突出： • Franka 机器人 “放置最近 plush 玩具到车上” 任务成功率 63.6%，远超 OpenVLA（45.45%）； • 高低差放置任务（如将杯子放在高处布上）成功率 72.7%，无 3D 编码的模型仅 45.4%。 9. 消融实验验证 关键设计的有效性得到充分验证： • Ego3D 编码使变体聚合性能提升 12.7%，避免光照、视角变化导致的失败； • 自适应动作网格较固定分箱（256 bins），在 “移动靠近” 任务中成功率提升 42.1%。 四、局限与未来方向 10. 当前挑战 • 高斯分布假设可能在极端动作场景（如单轴运动）导致网格聚类，影响其他轴的运动能力； • 长时序任务表现受限，缺乏历史信息建模机制。 11. 改进路径 • 融合变分自编码器等隐式分布建模，增强动作表示的鲁棒性； • 引入历史轨迹编码，提升长时序任务规划能力； • 扩展多模态输入（如触觉），强化空间交互精度。 五、总结 SpatialVLA 通过 Ego3D 位置编码与自适应动作网格，首次实现了 VLA 模型对 3D 空间的精确理解与跨机器人动作知识的高效迁移。其核心价值在于将空间感知深度融入 “感知 决策 动作” 全流程，为家庭服务、工业装配等场景的通用机器人操作提供了关键技术支撑。开源代码与模型（https://spatialvla.github.io）将推动具身智能领域的空间表示学习研究。 https://spatialvla.github.io 二、技术架构：空间增强的 VLA 模型设计 SpatialVLA 通过 “空间感知增强 动作表示适配 两阶段训练” 的三层架构，实现 3D 空间智能与跨机器人泛化： 3. Ego3D 位置编码：注入 3D 空间信息 将第一视角视觉观测与 3D 空间特征融合，构建机器人无关的空间表示： • 深度融合流程：使用 ZoeDepth 模型估计图像深度图，通过相机内参将像素反投影至以相机为中心的 3D 坐标系，获取每个像素的 3D 坐标\(p=(x,y,z)\)； • 编码方式：3D 坐标经正弦函数与可学习 MLP 转化为 3D 位置嵌入，与 SigLIP 提取的 2D 语义特征相加，形成融合空间与语义的观测表示\(O {3d}\)； • 优势：无需机器人 相机校准，适用于任意机器人形态（如腕部相机、第三人称相机），有效捕捉物体间相对位置关系。 4. 自适应动作网格：统一跨机器人动作空间 基于数据分布的动态离散化方法，实现动作空间的高效统一： • 动作分解：将 7 维机器人动作（平移\(x,y,z\)、旋转\(roll,pitch,yaw\)、 gripper）拆分为平移（\(\Delta T\)）、旋转（\(\Delta R\)）、夹持器（grip）三部分，平移进一步转化为极坐标（方向\(\phi,\theta\)、距离r）以解耦运动特征； • 网格构建：对每个动作维度，基于训练数据的高斯分布（而非均匀分箱）划分网格，高概率区域（如频繁运动范围）网格更密集，总分辨率达 8194，确保精细动作捕捉； • 跨形态迁移：新机器人适配时，通过新数据的高斯分布重新划分网格，动作嵌入通过三线性插值初始化，快速迁移预训练空间知识。 5. 两阶段训练：从通用到特化的知识迁移 • 预训练：在 110 万真实机器人数据（OXE 与 RH20T 数据集混合）上训练，冻结语言嵌入以保留 VLM 的世界知识，优化空间嵌入与动作网格，学习跨场景、跨机器人的通用空间策略； • 后训练：针对新机器人 / 任务，仅调整动作网格与空间嵌入，通过高斯适配与 LoRA 微调，快速适配目标机器人的动作空间，减少数据需求。 三、实验验证：空间理解与泛化能力的全面突破 SpatialVLA 在 7 类场景、24 项真实任务与 3 项仿真任务中表现卓越，核心结果如下： 6. 零样本跨场景控制 在 SimplerEnv 仿真与真实 WidowX 机器人上，零样本任务成功率显著领先： • Google 机器人任务中，视觉匹配得分达 71.9%（零样本）和 75.1%（微调），超越 RT 2 X（60.7%）与 RoboVLM（56.3%）； • 真实世界中，“将茄子放入黄篮” 任务成功率达 100%，动态物体跟踪（如移动的胡萝卜）成功率超 OpenVLA 15% 以上。 7. 跨机器人形态适配 在 Franka 机器人与 LIBERO 基准上，展现高效迁移能力： • LIBERO Spatial 任务（空间关系理解）成功率 88.2%，远超 OpenVLA（84.7%）与 Octo（78.9%）； • 指令跟随任务中，“放置特定颜色立方体” 成功率 57%，较 Diffusion Policy（26%）提升显著，证明语言与空间动作的精准对齐。 8. 空间理解能力 在高低差放置、角度抓取等任务中，空间感知优势突出： • Franka 机器人 “放置最近 plush 玩具到车上” 任务成功率 63.6%，远超 OpenVLA（45.45%）； • 高低差放置任务（如将杯子放在高处布上）成功率 72.7%，无 3D 编码的模型仅 45.4%。 9. 消融实验验证 关键设计的有效性得到充分验证： • Ego3D 编码使变体聚合性能提升 12.7%，避免光照、视角变化导致的失败； • 自适应动作网格较固定分箱（256 bins），在 “移动靠近” 任务中成功率提升 42.1%。 四、局限与未来方向 10. 当前挑战 • 高斯分布假设可能在极端动作场景（如单轴运动）导致网格聚类，影响其他轴的运动能力； • 长时序任务表现受限，缺乏历史信息建模机制。 11. 改进路径 • 融合变分自编码器等隐式分布建模，增强动作表示的鲁棒性； • 引入历史轨迹编码，提升长时序任务规划能力； • 扩展多模态输入（如触觉），强化空间交互精度。 五、总结 SpatialVLA 通过 Ego3D 位置编码与自适应动作网格，首次实现了 VLA 模型对 3D 空间的精确理解与跨机器人动作知识的高效迁移。其核心价值在于将空间感知深度融入 “感知 决策 动作” 全流程，为家庭服务、工业装配等场景的通用机器人操作提供了关键技术支撑。开源代码与模型（https://spatialvla.github.io）将推动具身智能领域的空间表示学习研究。 https://spatialvla.github.io 原文链接🔗： https://spatialvla.github.io/ 原文链接🔗： https://spatialvla.github.io/ 上海 AI 实验室联合复旦大学、上海交通大学等机构提出的SpatialVLA，是首个通过空间增强设计提升视觉 语言 动作（VLA）模型 3D 场景理解与跨机器人适配能力的通用框架。该模型通过创新的 Ego3D 位置编码与自适应动作网格，在 110 万真实机器人数据上预训练，实现了零样本任务泛化与高效跨形态迁移，在仿真与真实世界任务中均显著超越现有 VLA 模型，为机器人通用操作政策提供了突破性解决方案。 项目地址：https://spatialvla.github.io/ 开源地址：https://github.com/SpatialVLA/SpatialVLA 模型地址：https://huggingface.co/collections/IPEC COMMUNITY/foundation vision language action model https://huggingface.co/collections/IPEC COMMUNITY/foundation vision language action model 一、核心挑战：现有 VLA 模型的空间理解瓶颈 现有 VLA 模型在机器人操作中面临两大关键局限，制约其在复杂物理环境中的表现： 1. 3D 空间感知缺失：多依赖 2D 视觉输入，缺乏对物体深度、相对位置等 3D 关系的建模，难以处理含高低差、遮挡的空间布局任务（如 “将杯子放在高处的架子上”）。 2. 动作空间适配性弱：不同机器人的动作空间（如自由度、运动范围）差异显著，传统固定分箱（bins）离散化方法无法统一跨机器人的空间动作知识，导致迁移时精度损失大、适配效率低。