EgoVLA：从人类第一视角视频到机器人操作的通用策略学习框架

EgoVLA：从人类第一视角视频到机器人操作的通用策略学习框架 EgoVLA：从人类第一视角视频到机器人操作的通用策略学习框架 Modified August 18, 2025 一、核心挑战：机器人学习的数据瓶颈与迁移壁垒 现有方法存在两大局限： 1. 数据规模与多样性不足：机器人数据依赖硬件和专家操作，规模通常有限（数万样本），且场景单一，难以泛化到复杂日常任务（如组装、工具使用）。例如，传统方法在跨视觉背景任务中的成功率下降超过 30%。 2. Embodiment 差异阻碍迁移：人类与机器人的肢体结构、感知视角不同，直接迁移人类动作会导致精度损失，传统方法缺乏统一的动作空间桥接两者。 二、技术框架：从人类视频到机器人策略的迁移链路 EgoVLA 通过 “预训练 重定向 微调” 三步实现跨物种技能迁移，核心设计包括： 3. 大规模人类第一视角数据集构建 整合 HOI4D、HoloAssist、TACO、HOT3D 四个数据集，形成包含约 50 万图像 动作对的训练数据，涵盖单 / 双手机器操作（如拾取、组装、工具使用），统一处理为： • 视觉输入：384×384 分辨率的第一视角 RGB 帧，采样频率 3 FPS，覆盖 1 秒历史（5 帧）； • 动作标注：基于 MANO 模型的手部参数（前 15 个 PCA 分量）和手腕姿态（3D 平移 + rot6D 旋转），统一坐标至相机 frame 以消除视角干扰。 4. 统一动作空间与模型架构 • 动作空间对齐：采用 MANO 手部模型作为人类与机器人的共享表示，通过优化指尖位置误差（最小化 SmoothL1 损失）将机器人手部关节映射为 MANO 参数，实现 “人类动作 机器人动作” 的直接转换。 • 模型结构：基于 NVILA 2B（视觉 语言模型）扩展，输入包括视觉历史、语言指令、动作查询令牌和本体感受状态，通过 6 层 Transformer 动作头预测未来 1 秒（30 步）的手腕姿态和手部参数，损失函数结合手腕平移（L2）、旋转（rot6D）和关节角度（L2）。 5. 动作重定向与机器人微调 • 重定向机制：将预测的人类动作通过 3D 变换映射为机器人末端执行器位姿，经逆运动学求解关节角度；手部动作通过轻量 MLP 从 MANO 参数转换为机器人关节指令，指尖位置误差低至 5×10⁻⁵米。 • 微调策略：在人类数据预训练（20 epochs）后，使用 100 条 / 任务的机器人演示微调（115 epochs），冻结主干网络，仅更新动作头以适配机器人物理约束。 三、Ego Humanoid Manipulation Benchmark：仿真评估基准 为系统验证迁移效果，基于 NVIDIA IsaacSim 构建包含 12 项任务的基准，涵盖： • 短时序任务：推箱子、翻转杯子、开关抽屉等原子操作； • 长时序任务：分类罐头、插入与取出罐头等多步骤操作； • 视觉多样性：5 种房间 + 5 种桌子纹理，生成 25 种配置，评估模型泛化能力。 四、实验验证：跨物种迁移的有效性 6. 性能超越基线 在 Seen 视觉配置下，EgoVLA 平均成功率（SR）达 77.78%，显著高于无人类预训练的 EgoVLA NoPretrain（64.55%）和任务专用模型 ACT（24.87%）；在 Unseen 配置中，长时序任务成功率仍保持 30%，证明泛化能力优于基线 23% 以上。 7. 人类预训练的关键作用 消融实验显示： • 仅用 50% 机器人数据时，长时序任务成功率从 45.93% 降至 7.41%，表明人类预训练提供的先验可减少对机器人数据的依赖； • 增加人类数据集多样性（如加入 HoloAssist）使短时序任务成功率提升 15%，验证数据规模的重要性。 8. 语义理解与轨迹预测 EgoVLA 能根据语言指令调整动作轨迹，例如将 “放入抽屉” 改为 “取出抽屉” 时，预测轨迹从抽屉内转为桌面，证明其理解任务语义的能力。 五、局限与未来方向 9. 当前挑战 • 依赖带手部姿态标注的人类数据，限制了无标注视频的利用； • 必须通过机器人数据微调才能部署，零样本迁移仍未实现。 10. 改进路径 • 利用 AR/VR 设备获取更多标注数据，扩展数据集规模； • 探索更鲁棒的跨物种动作映射，减少对机器人微调的依赖。 六、总结 EgoVLA 通过 “人类视频预训练 + 统一动作空间 + 少量机器人微调” 的创新模式，突破了传统机器人学习的数据瓶颈。其核心价值在于将人类丰富的操作经验转化为可迁移的技能，在 12 项任务中展现出优于基线的精度与泛化能力。该框架为家庭服务、工业装配等场景的机器人开发提供了高效路径，推动具身智能向实用化迈进。 一、核心挑战：机器人学习的数据瓶颈与迁移壁垒 现有方法存在两大局限： 1. 数据规模与多样性不足：机器人数据依赖硬件和专家操作，规模通常有限（数万样本），且场景单一，难以泛化到复杂日常任务（如组装、工具使用）。例如，传统方法在跨视觉背景任务中的成功率下降超过 30%。 2. Embodiment 差异阻碍迁移：人类与机器人的肢体结构、感知视角不同，直接迁移人类动作会导致精度损失，传统方法缺乏统一的动作空间桥接两者。 二、技术框架：从人类视频到机器人策略的迁移链路 EgoVLA 通过 “预训练 重定向 微调” 三步实现跨物种技能迁移，核心设计包括： 3. 大规模人类第一视角数据集构建 整合 HOI4D、HoloAssist、TACO、HOT3D 四个数据集，形成包含约 50 万图像 动作对的训练数据，涵盖单 / 双手机器操作（如拾取、组装、工具使用），统一处理为： • 视觉输入：384×384 分辨率的第一视角 RGB 帧，采样频率 3 FPS，覆盖 1 秒历史（5 帧）； • 动作标注：基于 MANO 模型的手部参数（前 15 个 PCA 分量）和手腕姿态（3D 平移 + rot6D 旋转），统一坐标至相机 frame 以消除视角干扰。 4. 统一动作空间与模型架构 • 动作空间对齐：采用 MANO 手部模型作为人类与机器人的共享表示，通过优化指尖位置误差（最小化 SmoothL1 损失）将机器人手部关节映射为 MANO 参数，实现 “人类动作 机器人动作” 的直接转换。 • 模型结构：基于 NVILA 2B（视觉 语言模型）扩展，输入包括视觉历史、语言指令、动作查询令牌和本体感受状态，通过 6 层 Transformer 动作头预测未来 1 秒（30 步）的手腕姿态和手部参数，损失函数结合手腕平移（L2）、旋转（rot6D）和关节角度（L2）。 5. 动作重定向与机器人微调 • 重定向机制：将预测的人类动作通过 3D 变换映射为机器人末端执行器位姿，经逆运动学求解关节角度；手部动作通过轻量 MLP 从 MANO 参数转换为机器人关节指令，指尖位置误差低至 5×10⁻⁵米。 • 微调策略：在人类数据预训练（20 epochs）后，使用 100 条 / 任务的机器人演示微调（115 epochs），冻结主干网络，仅更新动作头以适配机器人物理约束。 三、Ego Humanoid Manipulation Benchmark：仿真评估基准 为系统验证迁移效果，基于 NVIDIA IsaacSim 构建包含 12 项任务的基准，涵盖： • 短时序任务：推箱子、翻转杯子、开关抽屉等原子操作； • 长时序任务：分类罐头、插入与取出罐头等多步骤操作； • 视觉多样性：5 种房间 + 5 种桌子纹理，生成 25 种配置，评估模型泛化能力。 四、实验验证：跨物种迁移的有效性 6. 性能超越基线 在 Seen 视觉配置下，EgoVLA 平均成功率（SR）达 77.78%，显著高于无人类预训练的 EgoVLA NoPretrain（64.55%）和任务专用模型 ACT（24.87%）；在 Unseen 配置中，长时序任务成功率仍保持 30%，证明泛化能力优于基线 23% 以上。 7. 人类预训练的关键作用 消融实验显示： • 仅用 50% 机器人数据时，长时序任务成功率从 45.93% 降至 7.41%，表明人类预训练提供的先验可减少对机器人数据的依赖； • 增加人类数据集多样性（如加入 HoloAssist）使短时序任务成功率提升 15%，验证数据规模的重要性。 8. 语义理解与轨迹预测 EgoVLA 能根据语言指令调整动作轨迹，例如将 “放入抽屉” 改为 “取出抽屉” 时，预测轨迹从抽屉内转为桌面，证明其理解任务语义的能力。 五、局限与未来方向 9. 当前挑战 • 依赖带手部姿态标注的人类数据，限制了无标注视频的利用； • 必须通过机器人数据微调才能部署，零样本迁移仍未实现。 10. 改进路径 • 利用 AR/VR 设备获取更多标注数据，扩展数据集规模； • 探索更鲁棒的跨物种动作映射，减少对机器人微调的依赖。 六、总结 EgoVLA 通过 “人类视频预训练 + 统一动作空间 + 少量机器人微调” 的创新模式，突破了传统机器人学习的数据瓶颈。其核心价值在于将人类丰富的操作经验转化为可迁移的技能，在 12 项任务中展现出优于基线的精度与泛化能力。该框架为家庭服务、工业装配等场景的机器人开发提供了高效路径，推动具身智能向实用化迈进。 原文链接 🔗： https://www.unifolm.com/?msclkid=a0c75f3a00471d9a18d03798d55b5996 /post/1025 原文链接 🔗： https://www.unifolm.com/?msclkid=a0c75f3a00471d9a18d03798d55b5996 /post/1025 在机器人操作领域，传统模仿学习依赖大规模机器人数据，而数据收集受限于硬件和人力，难以覆盖多样场景。加州大学圣地亚哥分校、UIUC、MIT 等机构联合提出的EgoVLA，通过从海量人类第一视角视频中学习操作技能，结合少量机器人演示微调，首次实现了从人类行为到双足人形机器人操作的高效迁移，为具身智能提供了低成本、高泛化的新范式。 项目地址：https://rchalyang.github.io/EgoVLA/