H-RDT：基于人类操作数据的双臂机器人操作增强框架

H RDT：基于人类操作数据的双臂机器人操作增强框架 H RDT：基于人类操作数据的双臂机器人操作增强框架 Modified August 18, 2025 现有方法难以满足通用机器人操作需求，主要面临以下局限： 1. 数据稀缺与质量不均：机器人演示数据依赖昂贵遥操作设备，规模有限（通常数千样本）且质量参差不齐，限制泛化能力。 2. 跨形态迁移困难：不同机器人的形态（如关节结构、末端执行器）与动作空间差异大，直接跨平台训练易产生冲突，难以形成统一策略。 3. 人类 机器人映射障碍：人类手部与机器人臂的运动学差异显著，直接迁移人类动作会因形态不匹配导致操作失败。 二、技术架构：两阶段训练与模块化设计 H RDT 通过 “人类知识预训练 + 机器人数据微调” 的两阶段框架，结合扩散 Transformer 实现高效迁移，核心设计包括： 4. 人类动作表示：桥接形态差异 设计 48 维紧凑动作表示，作为跨形态迁移的中间载体，捕捉人类双手关键操作信息： • 双边手腕姿态：包含位置（3D）和朝向（6D），共 18 维，与机器人末端执行器姿态直接对应； • 指尖位置：双手所有手指的 3D 坐标，共 30 维，涵盖精细操作的空间关系。 这种表示覆盖大多数机器人的动作空间（如末端执行器姿态控制），有效缓解形态差异带来的迁移障碍。 5. 两阶段训练：从人类到机器人的知识迁移 • 阶段 1：人类数据预训练 在 EgoDex 数据集（338K + 轨迹，829 小时视频）上训练，学习人类操作先验（如物体交互策略、双手协调模式）。采用流匹配（Flow Matching）生成动作序列，通过连续归一化流将噪声分布转化为目标动作分布，确保训练稳定性与效率。 • 阶段 2：跨形态微调 保留预训练的视觉编码器（DinoV2、SigLIP）、语言编码器（T5 XXL）和 Transformer 主干网络，重新初始化状态适配器、动作适配器和动作解码器，适配目标机器人的动作空间（如双 7 自由度机械臂的 14 维动作）。模块化设计确保人类操作知识保留的同时，快速适应不同机器人形态。 6. 扩散 Transformer 架构 采用 20 亿参数的 Transformer 架构，包含五大模块： • 视觉编码器：处理多视图 RGB 图像； • 语言编码器：解析文本指令； • 模块化动作编码器：编码本体感受状态与噪声动作序列； • Transformer 主干：通过自注意力与交叉注意力融合多模态信息； • 模块化动作解码器：输出目标机器人的动作序列。 三、实验验证：仿真与真实世界的全面突破 H RDT 在多平台、多任务场景中表现优异，显著超越 RDT、π₀等基线方法： 7. 真实世界任务 • Aloha Agilex 2.0 平台：毛巾折叠任务成功率 52%（RDT 为 40%，无人类预训练模型为 0%）；杯子放置任务成功率 64%（RDT 为 28%），展现对变形物体操作与空间推理的优势。 • 双臂 ARX5 少样本实验：113 项取放任务中，仅用 1 5 条演示即达 41.6% 成功率，远超 RDT（16.0%）与 π₀（31.2%），验证人类先验提升样本效率的价值。 • UR5+UMI 平台：外卖袋放置任务平均成功率 58.0%，其中右手拾取成功率 64%，显著高于 RDT（29.0%），体现双臂协调能力。 8. 仿真任务（RoboTwin 2.0） • 单任务性能：Easy 模式平均成功率 68.7%，Hard 模式（含光照、 clutter 等干扰）25.6%，均优于基线。 • 多任务性能：45 项任务平均成功率 87.2%，较 RDT（28.8%）与无人类预训练模型（67.2%）提升显著，且在 Aloha Agilex 1.0（87.2%）与 Franka Panda（62.9%）平台均表现稳定，验证跨形态泛化能力。 四、核心价值与局限 9. 创新价值 • 首次证明大规模人类操作数据可作为机器人学习的强归纳偏置，减少对机器人数据的依赖； • 模块化设计实现跨形态快速迁移，支持 Aloha、Franka、UR5 等多平台部署； • 流匹配技术提升动作生成的稳定性与效率，适用于实时控制场景。 10. 现有局限 • 依赖带 3D 手姿标注的人类数据，限制无标注视频的利用； • 对极端动态场景（如高速物体交互）的适应能力待验证。 五、总结 H RDT 通过 “人类预训练 + 跨形态微调” 的框架，首次系统性将人类操作知识迁移至多机器人平台，其核心创新在于 48 维动作表示与模块化架构，有效解决了形态差异与数据稀缺问题。实验表明，该框架在变形物体操作、少样本学习等场景中表现卓越，为家庭服务、工业装配等领域的通用机器人操作提供了关键技术支撑。 现有方法难以满足通用机器人操作需求，主要面临以下局限： 1. 数据稀缺与质量不均：机器人演示数据依赖昂贵遥操作设备，规模有限（通常数千样本）且质量参差不齐，限制泛化能力。 2. 跨形态迁移困难：不同机器人的形态（如关节结构、末端执行器）与动作空间差异大，直接跨平台训练易产生冲突，难以形成统一策略。 3. 人类 机器人映射障碍：人类手部与机器人臂的运动学差异显著，直接迁移人类动作会因形态不匹配导致操作失败。 二、技术架构：两阶段训练与模块化设计 H RDT 通过 “人类知识预训练 + 机器人数据微调” 的两阶段框架，结合扩散 Transformer 实现高效迁移，核心设计包括： 4. 人类动作表示：桥接形态差异 设计 48 维紧凑动作表示，作为跨形态迁移的中间载体，捕捉人类双手关键操作信息： • 双边手腕姿态：包含位置（3D）和朝向（6D），共 18 维，与机器人末端执行器姿态直接对应； • 指尖位置：双手所有手指的 3D 坐标，共 30 维，涵盖精细操作的空间关系。 这种表示覆盖大多数机器人的动作空间（如末端执行器姿态控制），有效缓解形态差异带来的迁移障碍。 5. 两阶段训练：从人类到机器人的知识迁移 • 阶段 1：人类数据预训练 在 EgoDex 数据集（338K + 轨迹，829 小时视频）上训练，学习人类操作先验（如物体交互策略、双手协调模式）。采用流匹配（Flow Matching）生成动作序列，通过连续归一化流将噪声分布转化为目标动作分布，确保训练稳定性与效率。 • 阶段 2：跨形态微调 保留预训练的视觉编码器（DinoV2、SigLIP）、语言编码器（T5 XXL）和 Transformer 主干网络，重新初始化状态适配器、动作适配器和动作解码器，适配目标机器人的动作空间（如双 7 自由度机械臂的 14 维动作）。模块化设计确保人类操作知识保留的同时，快速适应不同机器人形态。 6. 扩散 Transformer 架构 采用 20 亿参数的 Transformer 架构，包含五大模块： • 视觉编码器：处理多视图 RGB 图像； • 语言编码器：解析文本指令； • 模块化动作编码器：编码本体感受状态与噪声动作序列； • Transformer 主干：通过自注意力与交叉注意力融合多模态信息； • 模块化动作解码器：输出目标机器人的动作序列。 三、实验验证：仿真与真实世界的全面突破 H RDT 在多平台、多任务场景中表现优异，显著超越 RDT、π₀等基线方法： 7. 真实世界任务 • Aloha Agilex 2.0 平台：毛巾折叠任务成功率 52%（RDT 为 40%，无人类预训练模型为 0%）；杯子放置任务成功率 64%（RDT 为 28%），展现对变形物体操作与空间推理的优势。 • 双臂 ARX5 少样本实验：113 项取放任务中，仅用 1 5 条演示即达 41.6% 成功率，远超 RDT（16.0%）与 π₀（31.2%），验证人类先验提升样本效率的价值。 • UR5+UMI 平台：外卖袋放置任务平均成功率 58.0%，其中右手拾取成功率 64%，显著高于 RDT（29.0%），体现双臂协调能力。 8. 仿真任务（RoboTwin 2.0） • 单任务性能：Easy 模式平均成功率 68.7%，Hard 模式（含光照、 clutter 等干扰）25.6%，均优于基线。 • 多任务性能：45 项任务平均成功率 87.2%，较 RDT（28.8%）与无人类预训练模型（67.2%）提升显著，且在 Aloha Agilex 1.0（87.2%）与 Franka Panda（62.9%）平台均表现稳定，验证跨形态泛化能力。 四、核心价值与局限 9. 创新价值 • 首次证明大规模人类操作数据可作为机器人学习的强归纳偏置，减少对机器人数据的依赖； • 模块化设计实现跨形态快速迁移，支持 Aloha、Franka、UR5 等多平台部署； • 流匹配技术提升动作生成的稳定性与效率，适用于实时控制场景。 10. 现有局限 • 依赖带 3D 手姿标注的人类数据，限制无标注视频的利用； • 对极端动态场景（如高速物体交互）的适应能力待验证。 五、总结 H RDT 通过 “人类预训练 + 跨形态微调” 的框架，首次系统性将人类操作知识迁移至多机器人平台，其核心创新在于 48 维动作表示与模块化架构，有效解决了形态差异与数据稀缺问题。实验表明，该框架在变形物体操作、少样本学习等场景中表现卓越，为家庭服务、工业装配等领域的通用机器人操作提供了关键技术支撑。 原文链接 🔗：https://embodiedfoundation.github.io/hrdt 原文链接 🔗：https://embodiedfoundation.github.io/hrdt 清华大学与地平线机器人团队提出的H RDT（Human to Robotics Diffusion Transformer），通过系统性利用大规模第一视角人类操作数据，结合扩散 Transformer 架构与模块化迁移设计，突破了机器人操作学习中数据稀缺与跨形态迁移的瓶颈，实现了从人类操作知识到多机器人平台的高效迁移。该框架在仿真与真实世界任务中均显著超越现有方法，为通用机器人操作提供了新范式。 项目地址：https://embodiedfoundation.github.io/hrdt 开源地址：https://github.com/HongzheBi/H RDT 模型地址：https://huggingface.co/embodiedfoundation/H RDT 一、核心挑战：机器人操作学习的三大瓶颈