具身智能赛道爆发的前夕，我们应该了解些什么？（上）｜Z研究第 5 期

具身智能赛道爆发的前夕，我们应该了解些什么？（上）｜Z研究第 5 期 具身智能赛道爆发的前夕，我们应该了解些什么？（上）｜Z研究第 5 期 • 技术路线： ◦ • 技术和意义 ◦ RT 1: ◦ 基于模仿学习中的行为克隆学习范式 ，输入一段短的图像序列和一个指令，输出每个时间步的一个动作，历时 17 个月基于 13 个机器人采集了 130k episodes 以及超过 700 个任务的数据集，使机器人具备了一定的泛化性，能够发现结构相似任务之间的模式，且应用到新任务上。 ◦ RT 1 的输入由图片序列、自然语言指令构成，输出由机械臂运动的目标位姿（Toll， pitch gaw， gripper stαtus）、基座的运动、模式转换指令构成。 • RT 2 : ◦ 一个真正的端到端 VLA 模型（Vision language Action）。 ◦ RT2 将动作视为一种新的语言，结合针对动作语言的 CoT 技术， 同时实现了机器人基于大模型的语义理解（High level reasoning）和动作理解（Low level action） ，意味着机器人可 端到端 生成动作，从而 执行更复杂的任务 ▪ 例：RT 2 不仅能听懂自然语言指令，还会主动思考，当听到“捡起灭绝的动物”指令，能准确理解其中含义，并完成从恐龙、鲸鱼、狮子三种塑料玩具中抓取恐龙的连续性动作 ◦ 训练分为两步：首先在大规模互联网数据上预训练 VLM，然后在机器人任务上做 co fine tuning，可以更好地泛化到新物体、新环境、新形体、新技能上。 ◦ RT 2 与 RT 1 最大的不同是它能够从 Internet scale pre training 中获益，为下游任务提供了非常强大的语义推理、problem solving 和视觉解释能力 • RT X : ◦ 在 RT 1 和 RT 2 的结构基础上，应用 Open X Embodiment 数据库进行训练。控制模型 RT 1 X 和视觉模型 RT 2 X 组成，在特定任务（搬运东西、开窗等）的工作效率是同类机器人的 3 倍，同时可执行未训练动作。 • RT H: ◦ 引入了 行动层级（action hierarchy） ，通过将复杂任务分解成简单的语言动作（language motion），再转化为机器人行动，从而提高机器人完成任务的准确性和学习效率。 ◦ language motion：连接高层次任务描述与底层次动作之间的中间层，可以使不同任务之间在语言动作层面上能够更好地共享数据。 ◦ 例如「拿起可乐罐」这一任务可以分解为一系列更细节的 language motion：首先「手臂向前伸」，接着「抓紧罐子」，最后「手臂上举」。 ◦ 每个 language motion 都不是简单的固定原语，而是具有灵活性和情境适应性，可以根据当前任务和场景的具体情况通过指令和视觉观察来学习。 ◦ 具备更强的泛化性 • 优劣： ◦ 优：巧妙实现了底层动作控制模块也能借助海量互联网数据进行训练。 之前的工作如 Saycan 和 Palm E 都只是解决了机器人的高层规划问题，但是底层的 low level controller 是独立的，它们在训练期间不会从互联网规模的丰富语义知识中受益。 ◦ RT 2 是把语言、动作、图像放在一个统一的空间中做 token 化，也可以理解为 action 就是一种特殊的 language，变成 multimodal sequence 放到训练集中，从而发挥 VLM 的能力。 ◦ 劣：慢。 实时推理很慢，频率只有 1 3Hz，这本身也是 VLM 模型的问题，现在也有很多方法在尝试解决这个痛点； ◦ 比如：通过模型的量化和蒸馏将其部署在端侧，采用 MoE 架构在推理过程中只使用一部分参数，使得推理速度快于相同参数的稠密模型。 总结 总结 1：为何是 RFM 1 和 Optimus 研发出了端到端的大模型？ • 场景优势： ◦ 数据丰沛： Tesla 具备大量的自动驾驶数据，其电动汽车销量在全球断崖式领先；Covariant AI 的物流分拣机器人运行多年，其传感器收集了大量数据。 ◦ 数据结构化： RFM 1 应用场景为仓储业务中的物体分拣；而 FSD 系统用于自动驾驶。这两项机器人任务的输入和输出都相对结构化。 • RFM 1 和 Optimus 这类世界模型与 VLA（Vision language action）大模型存在很大的不同，VLA 大模型是先在互联网规模的大数据集上训练使其达到 high level 能力涌现，再跟真实世界机器人数据做 co finetune，而世界模型是在物理世界数据上从头训练，随着数据量的增大逐渐涌现出某种高层次的能力。 • 但它仍然是低层次物理世界模型，有点类似人类神经反射系统的机理，比较适合输入输出都相对结构化的场景，如自动驾驶（输入：视觉，输出：油门、刹车、方向盘）、物体分拣（输入：视觉、指令、数值传感器，输出：抓取目标物体，放置到目标位置），不太适合泛化到非结构化的复杂任务。 总结 2：响应速率和搭载 VLM 高度相关 • figure1 可以拥有 200HZ 的响应，可能更多得益于搭载了更强版本的 GPT4V，对于环境的理解，任务的理拆解和重组能力拥有了质变。 ◦ Figure 通过神经网络将图像信号扩散到动作信号，以 10hz 的频率接收机器人拍到的图像，并以 200hz 的频率生成 24 DOF 动作。 • 谷歌的 RT 系列最高的也只有 3HZ，有可能就是背后没有非常强的 VLM 带来拆解和重组能力，可能是一个不那么强的 LLM 控制一堆单元 policy，得到的整体 policy 可能也是分模块断层的输出，所有整体的整合时间会极大的延长。 • 在 Text 的成本越来越低的时候，面向于 OpenAI API 做 Language driven 的 Embodied AI 的研究，未尝不是一种很合理的路线。 总结 3：涌现存在局限性 （尤其是在 RT 系列的进化中可以看到）VLA 模型的涌现能力目前仅体现在与 VLM 相关的 high level planning 和 affordance 方面； 但是在 low level 物理交互层面上无法涌现新的技能，仍受限于数据集中的技能类别，同时 physical action 也经常出现抓不稳、放不准等操作笨拙的情况。 总结 4：bottleneck：工业界是否会把仿真应用到数据闭环中？ • 仿真是非常重要的话题 • 自动驾驶是避免接触（防止碰撞）的问题，具身智能是一定要接触（拿取物品）的问题 • 从结果上来看，仿真发挥作用的： ◦ 回放型仿真，真实数据录下来，不断回放 ◦ 为强化学习做 locomotion。 • 希望能用强化学习解决长尾的 manipulation，但是仿真的真实度不够高 4、 算法层 Summary 具身智能的发展历程和技术线路纷繁复杂，我们总结一下需要关注的焦点问题。 a. 数据：具身智能的制约因素 • 技术路线： ◦ ◦ • 技术和意义 ◦ RT 1: ◦ 基于模仿学习中的行为克隆学习范式 ，输入一段短的图像序列和一个指令，输出每个时间步的一个动作，历时 17 个月基于 13 个机器人采集了 130k episodes 以及超过 700 个任务的数据集，使机器人具备了一定的泛化性，能够发现结构相似任务之间的模式，且应用到新任务上。 ◦ RT 1 的输入由图片序列、自然语言指令构成，输出由机械臂运动的目标位姿（Toll， pitch gaw， gripper stαtus）、基座的运动、模式转换指令构成。 ◦ RT 1: ◦ 基于模仿学习中的行为克隆学习范式 ，输入一段短的图像序列和一个指令，输出每个时间步的一个动作，历时 17 个月基于 13 个机器人采集了 130k episodes 以及超过 700 个任务的数据集，使机器人具备了一定的泛化性，能够发现结构相似任务之间的模式，且应用到新任务上。 ◦ RT 1 的输入由图片序列、自然语言指令构成，输出由机械臂运动的目标位姿（Toll， pitch gaw， gripper stαtus）、基座的运动、模式转换指令构成。 • RT 2 : ◦ 一个真正的端到端 VLA 模型（Vision language Action）。 ◦ RT2 将动作视为一种新的语言，结合针对动作语言的 CoT 技术， 同时实现了机器人基于大模型的语义理解（High level reasoning）和动作理解（Low level action） ，意味着机器人可 端到端 生成动作，从而 执行更复杂的任务 ▪ 例：RT 2 不仅能听懂自然语言指令，还会主动思考，当听到“捡起灭绝的动物”指令，能准确理解其中含义，并完成从恐龙、鲸鱼、狮子三种塑料玩具中抓取恐龙的连续性动作 ◦ 训练分为两步：首先在大规模互联网数据上预训练 VLM，然后在机器人任务上做 co fine tuning，可以更好地泛化到新物体、新环境、新形体、新技能上。 ◦ RT 2 与 RT 1 最大的不同是它能够从 Internet scale pre training 中获益，为下游任务提供了非常强大的语义推理、problem solving 和视觉解释能力 ◦ 一个真正的端到端 VLA 模型（Vision language Action）。 ◦ RT2 将动作视为一种新的语言，结合针对动作语言的 CoT 技术， 同时实现了机器人基于大模型的语义理解（High level reasoning）和动作理解（Low level action） ，意味着机器人可 端到端 生成动作，从而 执行更复杂的任务 ▪ 例：RT 2 不仅能听懂自然语言指令，还会主动思考，当听到“捡起灭绝的动物”指令，能准确理解其中含义，并完成从恐龙、鲸鱼、狮子三种塑料玩具中抓取恐龙的连续性动作 ▪ 例：RT 2 不仅能听懂自然语言指令，还会主动思考，当听到“捡起灭绝的动物”指令，能准确理解其中含义，并完成从恐龙、鲸鱼、狮子三种塑料玩具中抓取恐龙的连续性动作 ◦ 训练分为两步：首先在大规模互联网数据上预训练 VLM，然后在机器人任务上做 co fine tuning，可以更好地泛化到新物体、新环境、新形体、新技能上。 ◦ RT 2 与 RT 1 最大的不同是它能够从 Internet scale pre training 中获益，为下游任务提供了非常强大的语义推理、problem solving 和视觉解释能力 • RT X : ◦ 在 RT 1 和 RT 2 的结构基础上，应用 Open X Embodiment 数据库进行训练。控制模型 RT 1 X 和视觉模型 RT 2 X 组成，在特定任务（搬运东西、开窗等）的工作效率是同类机器人的 3 倍，同时可执行未训练动作。 ◦ 在 RT 1 和 RT 2 的结构基础上，应用 Open X Embodiment 数据库进行训练。控制模型 RT 1 X 和视觉模型 RT 2 X 组成，在特定任务（搬运东西、开窗等）的工作效率是同类机器人的 3 倍，同时可执行未训练动作。 • RT H: ◦ 引入了 行动层级（action hierarchy） ，通过将复杂任务分解成简单的语言动作（language motion），再转化为机器人行动，从而提高机器人完成任务的准确性和学习效率。 ◦ language motion：连接高层次任务描述与底层次动作之间的中间层，可以使不同任务之间在语言动作层面上能够更好地共享数据。 ◦ 例如「拿起可乐罐」这一任务可以分解为一系列更细节的 language motion：首先「手臂向前伸」，接着「抓紧罐子」，最后「手臂上举」。 ◦ 每个 language motion 都不是简单的固定原语，而是具有灵活性和情境适应性，可以根据当前任务和场景的具体情况通过指令和视觉观察来学习。 ◦ 具备更强的泛化性 ◦ 引入了 行动层级（action hierarchy） ，通过将复杂任务分解成简单的语言动作（language motion），再转化为机器人行动，从而提高机器人完成任务的准确性和学习效率。 ◦ language motion：连接高层次任务描述与底层次动作之间的中间层，可以使不同任务之间在语言动作层面上能够更好地共享数据。 ◦ 例如「拿起可乐罐」这一任务可以分解为一系列更细节的 language motion：首先「手臂向前伸」，接着「抓紧罐子」，最后「手臂上举」。 ◦ 每个 language motion 都不是简单的固定原语，而是具有灵活性和情境适应性，可以根据当前任务和场景的具体情况通过指令和视觉观察来学习。 ◦ 具备更强的泛化性 • 优劣： ◦ 优：巧妙实现了底层动作控制模块也能借助海量互联网数据进行训练。 之前的工作如 Saycan 和 Palm E 都只是解决了机器人的高层规划问题，但是底层的 low level controller 是独立的，它们在训练期间不会从互联网规模的丰富语义知识中受益。 ◦ RT 2 是把语言、动作、图像放在一个统一的空间中做 token 化，也可以理解为 action 就是一种特殊的 language，变成 multimodal sequence 放到训练集中，从而发挥 VLM 的能力。 ◦ 劣：慢。 实时推理很慢，频率只有 1 3Hz，这本身也是 VLM 模型的问题，现在也有很多方法在尝试解决这个痛点； ◦ 比如：通过模型的量化和蒸馏将其部署在端侧，采用 MoE 架构在推理过程中只使用一部分参数，使得推理速度快于相同参数的稠密模型。 ◦ 优：巧妙实现了底层动作控制模块也能借助海量互联网数据进行训练。 之前的工作如 Saycan 和 Palm E 都只是解决了机器人的高层规划问题，但是底层的 low level controller 是独立的，它们在训练期间不会从互联网规模的丰富语义知识中受益。 ◦ RT 2 是把语言、动作、图像放在一个统一的空间中做 token 化，也可以理解为 action 就是一种特殊的 language，变成 multimodal sequence 放到训练集中，从而发挥 VLM 的能力。 ◦ 劣：慢。 实时推理很慢，频率只有 1 3Hz，这本身也是 VLM 模型的问题，现在也有很多方法在尝试解决这个痛点； ◦ 比如：通过模型的量化和蒸馏将其部署在端侧，采用 MoE 架构在推理过程中只使用一部分参数，使得推理速度快于相同参数的稠密模型。 总结 总结 1：为何是 RFM 1 和 Optimus 研发出了端到端的大模型？ • 场景优势： ◦ 数据丰沛： Tesla 具备大量的自动驾驶数据，其电动汽车销量在全球断崖式领先；Covariant AI 的物流分拣机器人运行多年，其传感器收集了大量数据。 ◦ 数据结构化： RFM 1 应用场景为仓储业务中的物体分拣；而 FSD 系统用于自动驾驶。这两项机器人任务的输入和输出都相对结构化。 ◦ 数据丰沛： Tesla 具备大量的自动驾驶数据，其电动汽车销量在全球断崖式领先；Covariant AI 的物流分拣机器人运行多年，其传感器收集了大量数据。 ◦ 数据结构化： RFM 1 应用场景为仓储业务中的物体分拣；而 FSD 系统用于自动驾驶。这两项机器人任务的输入和输出都相对结构化。 • RFM 1 和 Optimus 这类世界模型与 VLA（Vision language action）大模型存在很大的不同，VLA 大模型是先在互联网规模的大数据集上训练使其达到 high level 能力涌现，再跟真实世界机器人数据做 co finetune，而世界模型是在物理世界数据上从头训练，随着数据量的增大逐渐涌现出某种高层次的能力。 • 但它仍然是低层次物理世界模型，有点类似人类神经反射系统的机理，比较适合输入输出都相对结构化的场景，如自动驾驶（输入：视觉，输出：油门、刹车、方向盘）、物体分拣（输入：视觉、指令、数值传感器，输出：抓取目标物体，放置到目标位置），不太适合泛化到非结构化的复杂任务。 总结 2：响应速率和搭载 VLM 高度相关 • figure1 可以拥有 200HZ 的响应，可能更多得益于搭载了更强版本的 GPT4V，对于环境的理解，任务的理拆解和重组能力拥有了质变。 ◦ Figure 通过神经网络将图像信号扩散到动作信号，以 10hz 的频率接收机器人拍到的图像，并以 200hz 的频率生成 24 DOF 动作。 ◦ Figure 通过神经网络将图像信号扩散到动作信号，以 10hz 的频率接收机器人拍到的图像，并以 200hz 的频率生成 24 DOF 动作。 • 谷歌的 RT 系列最高的也只有 3HZ，有可能就是背后没有非常强的 VLM 带来拆解和重组能力，可能是一个不那么强的 LLM 控制一堆单元 policy，得到的整体 policy 可能也是分模块断层的输出，所有整体的整合时间会极大的延长。 • 在 Text 的成本越来越低的时候，面向于 OpenAI API 做 Language driven 的 Embodied AI 的研究，未尝不是一种很合理的路线。 总结 3：涌现存在局限性 （尤其是在 RT 系列的进化中可以看到）VLA 模型的涌现能力目前仅体现在与 VLM 相关的 high level planning 和 affordance 方面； 但是在 low level 物理交互层面上无法涌现新的技能，仍受限于数据集中的技能类别，同时 physical action 也经常出现抓不稳、放不准等操作笨拙的情况。 总结 4：bottleneck：工业界是否会把仿真应用到数据闭环中？ • 仿真是非常重要的话题 • 自动驾驶是避免接触（防止碰撞）的问题，具身智能是一定要接触（拿取物品）的问题 • 从结果上来看，仿真发挥作用的： ◦ 回放型仿真，真实数据录下来，不断回放 ◦ 为强化学习做 locomotion。 ◦ 回放型仿真，真实数据录下来，不断回放 ◦ 为强化学习做 locomotion。 • 希望能用强化学习解决长尾的 manipulation，但是仿真的真实度不够高 4、 算法层 Summary 具身智能的发展历程和技术线路纷繁复杂，我们总结一下需要关注的焦点问题。 a. 数据：具身智能的制约因素 • 办法 ◦ 解决数据匮乏问题有两种思路：绕过去（分层模型）和使用虚拟数据（sim2real）。 ▪ 绕过去：分层模型。 分层模型本身就是对数据匮乏问题的一种解决方案，它通过对端到端的任务做一个模块化切分，降低每个模块的数据维度需求，从而让每个模块有足够的数据量进行学习。 ▪ 比如视觉和语言可以一起训练，3D 视觉和下游移动操作又一起训练。相当于有若干个子 model，每个子 model 对于数据需求的维度就会显著下降，而我们又具备足够的低维度数据。 ▪ 当前众多技术路线中，分层模型占据主导地位，核心原因就是能绕过多维度数据匮乏的问题。 ▪ 使用虚拟数据：sim2real。 1. 让机器在模拟器中学习，然后将学习到的策略部署在真实世界的机器人之中 2. 详见第三大章：模拟器。 ◦ 解决数据匮乏问题有两种思路：绕过去（分层模型）和使用虚拟数据（sim2real）。 ▪ 绕过去：分层模型。 分层模型本身就是对数据匮乏问题的一种解决方案，它通过对端到端的任务做一个模块化切分，降低每个模块的数据维度需求，从而让每个模块有足够的数据量进行学习。 ▪ 比如视觉和语言可以一起训练，3D 视觉和下游移动操作又一起训练。相当于有若干个子 model，每个子 model 对于数据需求的维度就会显著下降，而我们又具备足够的低维度数据。 ▪ 当前众多技术路线中，分层模型占据主导地位，核心原因就是能绕过多维度数据匮乏的问题。 ▪ 使用虚拟数据：sim2real。 1. 让机器在模拟器中学习，然后将学习到的策略部署在真实世界的机器人之中 2. 详见第三大章：模拟器。 ▪ 绕过去：分层模型。 分层模型本身就是对数据匮乏问题的一种解决方案，它通过对端到端的任务做一个模块化切分，降低每个模块的数据维度需求，从而让每个模块有足够的数据量进行学习。 ▪ 比如视觉和语言可以一起训练，3D 视觉和下游移动操作又一起训练。相当于有若干个子 model，每个子 model 对于数据需求的维度就会显著下降，而我们又具备足够的低维度数据。 ▪ 当前众多技术路线中，分层模型占据主导地位，核心原因就是能绕过多维度数据匮乏的问题。 ▪ 使用虚拟数据：sim2real。 1. 让机器在模拟器中学习，然后将学习到的策略部署在真实世界的机器人之中 2. 详见第三大章：模拟器。 1. 让机器在模拟器中学习，然后将学习到的策略部署在真实世界的机器人之中 2. 详见第三大章：模拟器。 • 数据集 ◦ OpenX： 2023.10，Chelsea Finn 等人在离开 Google 之前创建了一个名为 OpenX 的数据集（对应 RTX 项目的数据集），由 21 家机构合作收集了 22 个不同机器人的数据集，展示了 527 项技能（160266 项任务），包含 1M+机器人轨迹的机器人学习数据集，在 robot manipulation 的背景下探索 generalist X robot 的训练，堪称机器人领域的 ImageNet 时刻。 ◦ MimicGen： 2023.10，由 NVIDIA 和 UT Austin 的研究者提出了一项机器人训练数据生成系统，称为 MimicGen。 ◦ 该系统通过对人类演示进行处理，自动生成不同场景下的大规模数据集，进而用于机器人的模仿学习。 ◦ MimicGen 会取一小部分人类演示，并将它们划分为以对象为中心的片段，然后在不同物体姿态的新场景选择一个人类演示变换其以对象为中心的片段，然后缝合形成一个新演示。 ◦ 松灵： 鹏城实验室、松灵机器人、中山大学、南方科技大学等共同倡议—建立具身智能开源数据集 ARIO（All Robots In One）。 ◦ OpenX： 2023.10，Chelsea Finn 等人在离开 Google 之前创建了一个名为 OpenX 的数据集（对应 RTX 项目的数据集），由 21 家机构合作收集了 22 个不同机器人的数据集，展示了 527 项技能（160266 项任务），包含 1M+机器人轨迹的机器人学习数据集，在 robot manipulation 的背景下探索 generalist X robot 的训练，堪称机器人领域的 ImageNet 时刻。 ◦ MimicGen： 2023.10，由 NVIDIA 和 UT Austin 的研究者提出了一项机器人训练数据生成系统，称为 MimicGen。 ◦ 该系统通过对人类演示进行处理，自动生成不同场景下的大规模数据集，进而用于机器人的模仿学习。 ◦ MimicGen 会取一小部分人类演示，并将它们划分为以对象为中心的片段，然后在不同物体姿态的新场景选择一个人类演示变换其以对象为中心的片段，然后缝合形成一个新演示。 ◦ 松灵： 鹏城实验室、松灵机器人、中山大学、南方科技大学等共同倡议—建立具身智能开源数据集 ARIO（All Robots In One）。 来源：https://mp.weixin.qq.com/s/qBoV15F0JHLyBKkJyWsU0w b. Foundation Model：具身智能的未来 Foundation model 的定义： • 会不会产生一个具备通用智能的大脑作为一个开放平台，这个大脑可以适配不同的躯体（类似于 MOE），每个躯体为特殊领域量身定制。 • 各个领域的躯体的实践又都会反哺大脑的成长。比如 RFM 模型可以预测为了完成任务手部需要做出怎样的一个轨迹和曲线，也能知道在某些任务下需要更换我的末端执行器，比如吸盘用不了的时候就可以使用夹爪。 • 一脑多型：各种形态的机器人都由同一个大脑进行统御。大脑会自动感知自己的躯体，并结合躯体、环境和目标给出任务的解决方案。这是具身智能未来的一种理想形态。 Foundation model 的意义 • 可以参照大语言模型或者 SAM（Segment Anything Model），他们本身在大量不同的任务下进行训练，使得相对来说容易解决新问题，这就部分体现了 foundation model 的能力。 • 机器人通常需要解决许多琐碎的 AI 问题，但是使用现有的 Foundation Model 可以大大降低工作量。 • SAM：Foundation Model 的雏形 ◦ 优点：方便使用 ◦ 缺点：对语义分割和实例分割的能力较差；与其他模态结合的能力较弱 ◦ 并不是一个终极的视觉基础模型 ◦ 优点：方便使用 ◦ 缺点：对语义分割和实例分割的能力较差；与其他模态结合的能力较弱 ◦ 并不是一个终极的视觉基础模型 • 困难： ◦ 混合训练数据： 目前，Cross embodiement 还比较困难，还没有有效的方法去解决不同机器人的数据混在一起 pretrain 的办法 ◦ 泛化： 目前具身智能的底层动作技能还没看到可以泛化的办法 ◦ 混合训练数据： 目前，Cross embodiement 还比较困难，还没有有效的方法去解决不同机器人的数据混在一起 pretrain 的办法 ◦ 泛化： 目前具身智能的底层动作技能还没看到可以泛化的办法 【智谱清言智能 体推荐】了解更多关于硬件，点击互动👇 参考资料： [1 ]Li, Junnan, et al. "Blip 2: Bootstrapping language image pre training with frozen image encoders and large language models." International Conference on Machine Learning. PMLR, 2023. [2]Sun, Quan, et al. "Generative pretraining in multimodality." arXiv preprint arXiv:2307.05222 (2023). [3]BAI 资本：万字干货带你入门“具身智能”｜BAI 观点 [4]https://mp.weixin.qq.com/s/IqVLvNHJ3OMdaHpITK57Jw [5] 中金 | 人形机器人前沿系列：力触觉，牵引感官革命 [6]中金 | 人形机器人前沿 03：运动控制，产业命脉守护者 [7]中金 • 联合研究 | 产业龙头纷至沓来，人形机器人大幕拉开 [8]中金六组共同深度解读全球人形机器人发展历程、零部件产业链、参与者发展历程梳理及终端应用。建议关注各类机器人技术变迁带来的机会，其中重点关注人形机器人产业化落地需拉通的技术与终端应用相关链条机会。 [9]浙商证券《图拆特斯拉 Optimus——走进机器人》 [10]华泰 | 机械：人形机器人再探讨——训练数据的来源 [11]BAI 资本：万字干货带你入门“具身智能”｜BAI 观点 [12]一文读懂具身智能：方法、进展及挑战 [13]具身智能，是机器人的“冷饭热炒”吗？ 36 氪 [14]马斯克看中的具身智能，最多走到了 0.1？ 36 氪 [15]大模型机器人发展史：从 VoxPoser、RT2 到斯坦福 Mobile ALOHA、Google 机器人 CSDN 博客 [16]PRO | 模仿学习：OpenAI 放弃的路线是否已进入新篇章？ —end— 作者 | 严宽、崔浩、叶行健、梅煜东 特别感谢 | haozhe、yinda 排版 | 郑寒 审核 | 李文珏、邓瑞恒 本文不代表智谱认同以上任何观点 文中出现的智谱清言智能体，不代表本研究报告的研究成果。以及智能体输出的内容也不是本报告的研究成果，仅供参考。 🔗 原文链接： https://mp.weixin.qq.com/s/pAtIhBwX... https://mp.weixin.qq.com/s/pAtIhBwX... ⏰ 发表时间：2024 07 10 「Z计划」 是 智谱 AI 面向 未上市初创企业与优秀独立开发者/团队，提供 Tokens 赞助、投资支持和技术支持等资源的创新加速计划。 面向全球，持续招募中！🐋（点击报名） 「Z研究」 是围绕该计划的面向大模型领域的投研计划，鼓励自由研究，大胆发言 。🌲同时，本文不为或有提及的智谱公司任何产品做商业推广。如有提及，纯属绕不开。如未提及，也是正常。 面向全球，持续招募中！🐋（点击报名） 编者按：过去一年，大模型技术和具身智能赛道似乎已迈入了加速前进的通道。Tesla 发布的 Optimus 能够实施极其灵巧的柔性操作，并计划通过租用形式开始提供服务； Stanford 的 Mobile ALOHA 机器人能够独立完成炒虾任务，并在实现一些固定任务的泛化； 宇树科技推出了 9.9 万的机器人标志着人形机器人进入十万以内的售价。OpenAI 重启机器人团队，Figure 计划进行大规模数据采集...... 海淀区发布打造全国具身智能创新高地三年行动方案，北京人形机器人创新中心（亦庄）等各地具身智能中心正在引入更多人才和力量。 大厂传组建具身部门，初创公司融资如火如荼，但又因为应用场景不明存在争议。各个产业地方联盟都在希望成立统一的数据集，规范数据采集...... 作为一个系统性的工程，相比原来人们常说的“汽车制造，是现代工业皇冠上的明珠”我们更愿意称“具身智能机器人是未来计算机科学和工业界皇冠上的明珠”。 由于涉及算法层，不同技术流派，数据，模拟器，传感器，视觉方案，力学结构等多个维度。并整体向着更鲁棒性，各层级之间过渡更加平滑的方向前进。 因此我们做了一些梳理，包括过往的工作，和一些基础知识。希望可以抛砖引玉让大家对这个复杂的系统工程多一些了解。 我们也注意到许多矛盾，比如力矩控制、电流控制，究竟做到哪一步才算端到端？ 机器人的 foundation model 或者 GPT 时刻会是什么样的？触觉等感知信号究竟以什么样的形式进入模型当中。这些问题我们愿意与更多学者和从业者讨论交流。 同样， Z 计划 一直关注具身创业项目，并坚信未来大语言模型不仅仅像现在这样执行语言交互和上层推理，以及 VLM 能力，而是 Transformer 架构在内存等前提下可以跑更多的上层推理，从而趋近图灵完备。 Z 计划 希望我们可以与更多优秀的具身创业团队同行。了解 本次分享将拆分为“上”/“下”两篇：本篇（即“上”篇）将关注于具身智能的核心概念介绍与算法层细节；“下”篇将关注于具身智能相关的模拟器和硬件实现。 目录 建议结合要点进行针对性阅读 。 👇 一、具身智能概论 1、定义 2、历史 3、构成 二、具身智能算法层 1、技术层级 2、具身智能组件 3、具身智能方案 4、算法层Summary 1. 具身智能概论 1、 定义 具身智能是指一种能够与其环境进行交互并在环境中执行任务的智能体。 它不仅依赖于数据集的静态输入，还能在三维环境中移动、导航、操纵和改变周围的环境。 这种智能体通过与环境的动态交互来学习和理解世界，从而能够执行复杂的任务。 具身智能强调的是智能体与环境的交互/学习/改变 ，而不仅仅是身体本身。 这种交互性为智能体提供了一种新的、更好的了解世界的方式， 从而实现更高层次的智慧和能力。 具身智能不需要必须是人形，只要具备可以感知环境且与环境进行交互的物理实体就行。 但是，人形机器人在许多方面具备相当的优势： • 效仿自然进化的高效设计： 人类的身体结构和功能经过长期进化，具有高效的感知和运动能力。 • 比如，四只手的协作控制相当复杂，且意义不大，两只手的设计足够应对复杂难题；人类的两只眼睛是感知世界性价比最高的选择，一只眼睛没有立体视，三只眼睛又没必要。 • 适应现有环境： 人类设计的环境和工具都是为人类使用而设计的，人形机器人可以更好地适应和操作这些环境和工具。人形机器人在家居等服务场景具备显著优势。 • 增强人机交互的自然性和接受度： 人形机器人在某些场景中提供更好的伦理和心理舒适度，并且在安全性方面具有优势。 • 数据的可获得性： 数据的极度匮乏制约了机器人的发展，人形机器人的数据相对更容易获得。可以让人类穿戴传感器进行正常的生活与工作，在这个过程中收集相关数据。 2024 北京智源大会，张亚勤院士认为无人驾驶可能会成为第一个真正实现具身智能或物理智能的 AGI，而时间节点就在明年。他说，“无人驾驶要变成主流、通过新图灵测试，需要是好司机，也需要是老司机。我认为明年会实现。”而这一进展如果实现，将加速人工智能技术在实际场景中的落地应用。 网址：https://mp.weixin.qq.com/s/DwVExFiJTUBNnr6 xmoZCQ 【智谱清言智能 体推荐】了解更多关于具身智能，点击互动👇 达成“具身智能”需具备哪些特征? • 核心要素在于 智能体与真实世界进行带有实时闭环反馈的感知 推理 行动交互（sense plan act）的能力。 • “具身图灵测试（Embodied Turing Test）”由 Yoshua Bengio、Yann LeCun 等科学家提出，作为具身智能的终极挑战，其标准在于高级感觉运动能力。具体包括四种特征： ◦ 与真实环境互动 ◦ 对不同环境的适应性（多任务、多环境泛化） ◦ 动物行为的灵活性 ◦ 从稀疏观察中做出一般推断的能力 ◦ 与真实环境互动 ◦ 对不同环境的适应性（多任务、多环境泛化） ◦ 动物行为的灵活性 ◦ 从稀疏观察中做出一般推断的能力 论文标题：《Catalyzing next generation Artificial Intelligence through NeuroAI》 论文链接：https://www.nature.com/articles/s41467 023 37180 x 其他具身智能测试： Coffee test ：一台机器需要进入一个普通的美国家庭，并弄清楚如何煮咖啡：找到咖啡机，找到咖啡，加水，找到一个杯子，然后通过按下适当的按钮来煮咖啡。 网址：https://analyticsindiamag.com/turing test is unreliable the winograd schema is obsolete coffee is the answer/ 具身智能需要具备哪些基础能力? • 具身智能需要具备感知、决策和执行三种核心能力。 • 执行能力是技术难点。 一方面，它不像前两者有着海量的互联网数据支持；另一方面，它不仅是一个软件算法问题，还涉及到硬件设计。从执行的角度来说，具身智能体主要分为 移动 和 操作 两大能力。 ◦ 移动 方面 ，无论是最近爆火的二足机器人、已经取得极大突破的四足机器狗，还是已经商业落地的轮式机器人，它们能否在各种地形下实现鲁棒的移动，依旧是前沿的学术问题。 ◦ 操作 方面 ，现阶段能够落地的只有吸盘和二指的简单抓取。也正是因此，目前所有大模型驱动的具身智能体能够完成的任务清一色是 pick and place 下类的任务。 ◦ 可以说， 可泛化的通用执行能力是三大核心能力中最短的那块木板。 ◦ 移动 方面 ，无论是最近爆火的二足机器人、已经取得极大突破的四足机器狗，还是已经商业落地的轮式机器人，它们能否在各种地形下实现鲁棒的移动，依旧是前沿的学术问题。 ◦ 操作 方面 ，现阶段能够落地的只有吸盘和二指的简单抓取。也正是因此，目前所有大模型驱动的具身智能体能够完成的任务清一色是 pick and place 下类的任务。 ◦ 可以说， 可泛化的通用执行能力是三大核心能力中最短的那块木板。 LLM 为具身智能热潮来临提供机会：过去机器人的控制优化任务通常都是基于优化的，但是 LLM 为机器人的控制提供了新可能。 • 过去基于优化的机器人控制方案通常有一个目标函数（要让小棍保持平衡），通过建模和数理计算的方式完成这一目标。