RoboBrain 2.0：统一感知、推理与规划的具身视觉 - 语言基础模型

RoboBrain 2.0：统一感知、推理与规划的具身视觉 语言基础模型 RoboBrain 2.0：统一感知、推理与规划的具身视觉 语言基础模型 Modified August 18, 2025 4. 多模态输入与编码 支持多视图静态图像、长视频序列、自然语言指令、结构化场景图等输入。视觉输入经专用编码器（约 689M 参数）处理为密集特征，通过 MLP 投影至语言模型令牌空间；文本与场景图经令牌化后形成统一序列，确保跨模态信息的高效融合。 5. 视觉编码器与投影 视觉编码器通过自适应位置编码和窗口注意力机制，高效处理高分辨率和多视图视觉观测。采用帧 wise 视觉 token 化与多维旋转位置编码（RoPE）进行时空编码，多视图输入通过视角特定位置标识符增强，确保空间一致性。 6. LLM 解码器与输出表示 基于 Qwen2.5 VL 初始化的解码器仅语言模型（7B/32B 参数），可生成多样化输出：自由文本（任务分解、场景图更新）、空间坐标（点位置、边界框）、推理轨迹（分步决策过程）。旋转位置编码与时间条件令牌确保多轮感知 动作循环的连贯性。 三、训练数据：支撑时空推理的大规模数据集 模型训练数据涵盖三大类，总规模超 500 万样本，确保对空间理解、时间建模与因果推理的全面支撑： 7. 通用多模态理解数据 包含 87.3 万高质量样本，来自 LLaVA 665K 与 LRV 400K，覆盖标准 VQA、区域查询、OCR 交互等，奠定跨模态基础能力。 8. 空间数据 • 视觉 Grounding：15.2 万高分辨率图像与 8.6 万多轮视觉对话，聚焦物体定位与关系推理。 • 物体指向：19 万 QA 对，基于 Pixmo Points 与 RoboPoint 数据集，优化室内场景物体精准定位。 • 可操作性（Affordance）：56.1 万样本，结合 PACO LVIS 的物体部件标注，学习物体功能与放置空间。 • 空间理解：82.6 万样本，涵盖 2D 伪 3D 重建与 3D 场景视频，强化 3D 空间关系建模。 9. 时间数据 • 第一视角规划：5 万样本，来自 EgoPlan IT，优化基于视觉历史的下一步动作预测。 • 多机器人规划：4.4 万样本，基于 RoboOS 模拟家庭、超市等场景的协作任务，学习跨智能体时序协调。 • 闭环交互：含 4000 + 交互物体的 120 种室内环境数据，通过 OTA（观察 思考 动作）轨迹强化动态反馈处理。 四、训练策略：三阶段渐进式能力提升 RoboBrain 2.0 通过三阶段课程学习实现能力递进： 1. 基础时空学习：在 480 万通用多模态数据上微调，掌握物体定位、时空关联等基础能力，奠定空间感知与时间理解基础。 2. 具身时空增强：在 22.4 万具身数据上训练，聚焦多视图融合、3D 可操作性估计、长时序依赖建模，引入多机器人协作场景，强化动态环境适应能力。 3. 具身语境下的思维链推理：先通过 19.5 万样本进行思维链监督微调（CoT SFT），再用 4.5 万样本进行强化微调（RFT），提升复杂任务的因果推理与分步决策能力。 五、评估结果：空间与时间推理全面领先 在 12 项公共基准测试中，32B 版本表现突出： 4. 空间推理 • 在 BLINK 基准（深度感知与空间关系）上平均得分 83.63，超越 GPT o4 mini（83.57）与 Gemini 2.5 Pro（81.83）。 • 在 RoboSpatial（机器人空间理解）中得分 72.43，显著高于 Gemini 2.5 Pro（59.87）。 • 在 Where2Place（物体放置预测）中平均得分 73.59，远超 Qwen2.5 VL 72B（39.92）。 5. 时间推理 • 在 Multi Robot Plan（多机器人协作）中平均得分 80.33，超越 GPT 4o（74.50）与 Qwen2.5 VL 72B（74.67）。 • 在 EgoPlan2（第一视角长时序规划）中平均得分 57.23，领先 Qwen2.5 VL 32B（56.25）。 六、局限与未来方向 6. 改进方向 • VLA 框架整合：将具身视觉 语言模型（VLM）融入视觉 语言 动作（VLA）框架，提升动作生成的通用性与鲁棒性。 • 系统级集成：与先进机器人平台和操作系统深度整合，实现无服务器部署、低延迟实时控制，构建 “智能应用商店” 生态。 七、总结 RoboBrain 2.0 通过 “异构架构 + 大规模时空数据 + 渐进式训练” 的创新组合，首次在具身智能的空间理解、时间建模与推理链构建上实现统一。其 32B 版本在多项基准上的领先表现，验证了紧凑模型在复杂物理场景中的实用价值。开源资源（模型 checkpoint、训练脚本等）的释放，将加速具身 AI 的研究与应用，推动机器人从 “专项能力” 向 “通用智能” 跨越。 4. 多模态输入与编码 支持多视图静态图像、长视频序列、自然语言指令、结构化场景图等输入。视觉输入经专用编码器（约 689M 参数）处理为密集特征，通过 MLP 投影至语言模型令牌空间；文本与场景图经令牌化后形成统一序列，确保跨模态信息的高效融合。 5. 视觉编码器与投影 视觉编码器通过自适应位置编码和窗口注意力机制，高效处理高分辨率和多视图视觉观测。采用帧 wise 视觉 token 化与多维旋转位置编码（RoPE）进行时空编码，多视图输入通过视角特定位置标识符增强，确保空间一致性。 6. LLM 解码器与输出表示 基于 Qwen2.5 VL 初始化的解码器仅语言模型（7B/32B 参数），可生成多样化输出：自由文本（任务分解、场景图更新）、空间坐标（点位置、边界框）、推理轨迹（分步决策过程）。旋转位置编码与时间条件令牌确保多轮感知 动作循环的连贯性。 三、训练数据：支撑时空推理的大规模数据集 模型训练数据涵盖三大类，总规模超 500 万样本，确保对空间理解、时间建模与因果推理的全面支撑： 7. 通用多模态理解数据 包含 87.3 万高质量样本，来自 LLaVA 665K 与 LRV 400K，覆盖标准 VQA、区域查询、OCR 交互等，奠定跨模态基础能力。 8. 空间数据 • 视觉 Grounding：15.2 万高分辨率图像与 8.6 万多轮视觉对话，聚焦物体定位与关系推理。 • 物体指向：19 万 QA 对，基于 Pixmo Points 与 RoboPoint 数据集，优化室内场景物体精准定位。 • 可操作性（Affordance）：56.1 万样本，结合 PACO LVIS 的物体部件标注，学习物体功能与放置空间。 • 空间理解：82.6 万样本，涵盖 2D 伪 3D 重建与 3D 场景视频，强化 3D 空间关系建模。 9. 时间数据 • 第一视角规划：5 万样本，来自 EgoPlan IT，优化基于视觉历史的下一步动作预测。 • 多机器人规划：4.4 万样本，基于 RoboOS 模拟家庭、超市等场景的协作任务，学习跨智能体时序协调。 • 闭环交互：含 4000 + 交互物体的 120 种室内环境数据，通过 OTA（观察 思考 动作）轨迹强化动态反馈处理。 四、训练策略：三阶段渐进式能力提升 RoboBrain 2.0 通过三阶段课程学习实现能力递进： 1. 基础时空学习：在 480 万通用多模态数据上微调，掌握物体定位、时空关联等基础能力，奠定空间感知与时间理解基础。 2. 具身时空增强：在 22.4 万具身数据上训练，聚焦多视图融合、3D 可操作性估计、长时序依赖建模，引入多机器人协作场景，强化动态环境适应能力。 3. 具身语境下的思维链推理：先通过 19.5 万样本进行思维链监督微调（CoT SFT），再用 4.5 万样本进行强化微调（RFT），提升复杂任务的因果推理与分步决策能力。 五、评估结果：空间与时间推理全面领先 在 12 项公共基准测试中，32B 版本表现突出： 4. 空间推理 • 在 BLINK 基准（深度感知与空间关系）上平均得分 83.63，超越 GPT o4 mini（83.57）与 Gemini 2.5 Pro（81.83）。 • 在 RoboSpatial（机器人空间理解）中得分 72.43，显著高于 Gemini 2.5 Pro（59.87）。 • 在 Where2Place（物体放置预测）中平均得分 73.59，远超 Qwen2.5 VL 72B（39.92）。 5. 时间推理 • 在 Multi Robot Plan（多机器人协作）中平均得分 80.33，超越 GPT 4o（74.50）与 Qwen2.5 VL 72B（74.67）。 • 在 EgoPlan2（第一视角长时序规划）中平均得分 57.23，领先 Qwen2.5 VL 32B（56.25）。 六、局限与未来方向 6. 改进方向 • VLA 框架整合：将具身视觉 语言模型（VLM）融入视觉 语言 动作（VLA）框架，提升动作生成的通用性与鲁棒性。 • 系统级集成：与先进机器人平台和操作系统深度整合，实现无服务器部署、低延迟实时控制，构建 “智能应用商店” 生态。 七、总结 RoboBrain 2.0 通过 “异构架构 + 大规模时空数据 + 渐进式训练” 的创新组合，首次在具身智能的空间理解、时间建模与推理链构建上实现统一。其 32B 版本在多项基准上的领先表现，验证了紧凑模型在复杂物理场景中的实用价值。开源资源（模型 checkpoint、训练脚本等）的释放，将加速具身 AI 的研究与应用，推动机器人从 “专项能力” 向 “通用智能” 跨越。 原文链接 🔗： https://superrobobrain.github.io/ 原文链接 🔗： https://superrobobrain.github.io/ 北京人工智能研究院（BAAI）团队推出的RoboBrain 2.0，作为新一代具身视觉 语言基础模型，旨在突破 “数字智能” 与 “物理智能” 的鸿沟，实现复杂物理环境中感知、推理与规划的统一。该模型包含轻量型 7B 与全规模 32B 两个版本，采用异构架构设计，在空间与时间推理基准上均表现领先，显著超越现有开源与专有模型，为通用机器人智能提供了突破性解决方案。 项目地址：https://superrobobrain.github.io/ 开源地址：https://github.com/FlagOpen/RoboBrain2.0 一、核心挑战：具身智能的三大固有瓶颈 现有具身模型在实际部署中面临三大局限： 1. 空间理解不足：难以准确建模物体间相对与绝对空间关系，无法有效识别物理环境中的交互可能性（如物体可操作性），限制了真实场景适用性。 2. 时间建模薄弱：对多阶段、跨智能体的时序依赖与反馈机制理解有限，长时序规划与闭环控制能力不足。 3. 推理链断裂：难以从复杂指令中提取因果逻辑并与动态环境状态对齐，泛化到开放式任务的能力受限。 二、技术架构：异构融合的多模态处理框架 RoboBrain 2.0 采用模块化编码器 解码器架构，实现多模态输入的统一处理，核心设计包括：