质朴发言：大模型时代下的具身智能｜Z 沙龙第 5 期

质朴发言：大模型时代下的具身智能｜Z 沙龙第 5 期 质朴发言：大模型时代下的具身智能｜Z 沙龙第 5 期 Modified April 9, 2024 对于 ALOHA 这类技术解决现实问题的考虑： 1、传统工业场景存在节拍和固定流程，很难替代。 2、工业节拍弱，但附加值高的场景，适合 ALOHA 这种模仿学习+数据来解决专用场景问题。 3.4 结构化场景与非结构化场景 我们在与国外创业者及科研团队交流过程中，得出一个共同的认知是：大家会认为这个数据在现在这个阶段做泛化的话第一是量不够，第二是质量不够好。 我们上一代的硬件逻辑都是在一个高度结构化的层面上进行的。我们不能预测所有的输入，这是一个问题。我们都在努力实现第二步：一个完全非结构化的场景中寻找落地和实现的方法。我们认为，在未来几年中，可能会实现商业化落地的成本还是一个半结构化过程，什么是半结构化的场景。 我们把一个产品分为两部分：你想做什么，以及你在这个过程中的环境是怎样的？如果这两件事都可以预测，那么这个场景可以被称为一个完全结构化的场景。 但是，如果在过程中有很多不可预测的因素，这个场景就不是完全结构化的。所以，我的结论是，如果我们现在在讨论数据的问题。 那么，对于一些在结构化场景中无法处理的边缘情况，我们实际上有足够的数据来处理这些情况。所以我认为，最近可能会看到这样的落地实现。 我之前提到过一个简单的例子，即拉门的动作。由于门两侧的压强不同，拉门时会有一个瞬间的巨大阻力，这与我们推木门所需的力量完全不同。 如果你想让一个机器单独实现这样的动作，但又考虑到这是一个非结构化、不可预测的任务，那么机器可能无法完全实现。 甚至在原型设计时，机器可能无法达到预设的能力。这可能会限制我们在非结构化场景中的应用。 3.5 目前的 VLM 还是缸中之脑？ 我在思考 VLM 问题，即使我们假设人类的炒菜或抓取物体等技能可以完美实现，并让 VLM 作为一个中枢去炒菜，他也可能无法做好。 即使我们用语言指导他拿起锅和铲子，进行炒菜的动作，他也可能无法做好。目前，我们的训练主要依赖海量的互联网视频、文本和图像数据，但很少有真实场景中的交互数据。 比如，我看到这个场景，我的手在这个位置，我不能往前碰，否则会碰到电脑。网络上很少有这样的数据，因此在数据方面，互联网数据和实际操作数据之间存在很大的差距。 即使是最强大的 GPT 4v，也难以填补这个差距，无法完全部署到实际操作中去。Embodied 和 interacted 的数据还存在巨大 gap。 那么强化学习是否像我们想象的那样对数据量要求降低了呢？ 其实也未必如此，强化学习需要开始在仿真环境中尽量见多识广。 我们也提到过，强化学习和大模型的结合可能会降低对数据量的需求，但主要在模拟环境中。在仿真环境中，对真实数据的需求其实降低了。 我们希望在保持环境的同时，能够尽量减少对大量数据的依赖。在机器人操作任务中，高精度操作如拧螺丝钉或拿起扁平物品（如笔或纸）是复杂且具有挑战性的。 强化学习虽然有助于解决这类问题，但更关键的是模型需要具备高度泛化能力，而不仅仅是精确执行特定动作。 在执行任务时，安全性也是重要考虑因素。例如，拿起杯子时，机器人需要确保以正确的方式操作，避免错误地拿起无法站立的杯子。 尽管在小范围场景中，通过与相关人员合作和实验，可以较快地实现特定任务，但要达到更高泛化性的任务执行，仍需进一步研究和实践。 3.6 强化学习的优势及超级仿真器可能 强化学习的一个最大优势是可以在模拟器里面收集无限的数据。模拟器里面的数据是无限的，包括英伟达的、物理虚拟引擎、游戏引擎，这里有无穷的数据资源。但这些数据可能并不那么好用。 如果我们要做物理交互的任务，那就需要物理引擎特别逼真的数据。如果是视觉为主的任务，比如说炒菜，那就需要视觉做得很逼真的数据。每个任务和数据需要有一些更强关系。 编者按：NVIDIA Isaac Sim：是一款可扩展的机器人模拟应用与数据合成工具，可提供逼真、物理属性准确的虚拟环境。在 NVIDIA Omniverse 的赋能下，NVIDIA Isaac Sim 能够使世界各地的开发者和研究人员能够针对各种任务训练和优化 AI 机器人。 如炒菜这样的任务，有许多需要讨论的细节。炒菜涉及多种物理属性，如滑动的水分、软质的食材等，这些物理特性并不容易模拟。 我的一些同事在进行物理仿真的研究，他们深知仿真的复杂性和前沿性。虽然可以在特定任务上做出精细的仿真，例如流体动力学或气动模拟。 但当我们尝试将这两种仿真技术结合时，可能会遇到大问题。因为这些仿真技术是特定的，为特定任务设计的。 炒菜的复杂性在于它涉及到多种模态，这些模态都需要被模拟。例如，触觉模拟是一项挑战，如果要模拟光触觉，那就需要对柔性材料进行准确的模拟。 然而，柔性材料的模拟仍然存在许多问题，有许多模糊的内容需要处理。所以，如何构建一个强大的仿真器是一个关键问题。 我们如果能够构建出这样的仿真器，那么强化学习将会有巨大的进步。我们人类的感觉占据了大部分的皮层，例如视觉和触觉都需要大量的计算能力。 所以超级 Simulator 是 game changer 吗？如果我的仿真器做得比别人强，但还没有达到几乎没有差距的程度，它能否成为改变游戏规则的因素？ 我认为，如果你的仿真器做得足够强，那么这条路是值得下注的。肯定是要押注相关产业最强的几位科学家。 但是，只有当你真的能改变游戏规则，才能被认为是成功的。这需要我们能够做出真正接近现实的仿真。所以这个问题很难立即回答。 清华某具身智能相关科研团队发言：刚刚大家提到仿真器在视触觉的仿真还不够好。这确实是之前的问题，但我们最近已经做了一些工作来改进这一点。 我们的研究已经实现了在精细操作上的触觉仿真，并且能在仿真环境中渲染出 90%以上的视觉效果，然后直接迁移到真实世界。我们认为，解决实际问题确实会面临许多挑战。但如果你对现实世界的基础模型有深入理解，那么你可以解决一些问题。 然而，也有一些问题我们可能无法解决。例如，现在还没有任何仿真器能够模拟打鸡蛋或者切肉这样的操作。这些任务可能需要模仿学习的帮助，或者在模拟器中实现真实感觉后，再在真实环境中进行操作。那么，我们应该把精力放在模拟器的逼真度上，还是在实际操作中？ 这取决于你想要做什么。对于同样的任务，比如操作或抓取任务，我们认为可以通过模拟钢体和软体来实现很好的同步。 但如果涉及到复杂的液体或凝胶，如炒菜，物理形态的模拟可能就会变得非常困难。在这种情况下，我们认为应该在视觉上进行环境模拟。 Q：目前也有一些团队都在做 Sim2real，还有团队在做模仿学习。像刚体这样的问题上，模仿学习也可以应用，你们有没有一些交集的案例？ 对于任务的交集，或者是任务的能力，都可以讨论。有没有一些任务两者都可以达到相对较好的效果，甚至可以互补？有没有这方面交集的一些案例？ A：对于特定的机器人和特定的场景，模仿学习是很好的方法，如 ALOHA。比如说，如果我有一个特定的机器人，在一个特定的场景下，它能够快速地完成很多任务。 但如果我们想要实现一个泛化的策略，让机器人在不同的厨房，使用不同的锅和灶，实现一个通用的策略，那么在这种情况下，Sim2Real 可能是更低成本的方法。 对于模拟方法，我认为应该结合随机参数和适应性调整。如果你的数据已经很好，那么你可以直接使用它。 但如果你不能做非常暴力的 randomization，那么你可能会导致策略的失效。如果你只做 domain adaptation，那么换一个环境可能就不行了。 所以，我们认为，你需要一些少量的数据，来帮助你知道你需要在怎样的合理范围内做这个 recommendation。 编者按：在机器学习中，通常会将训练数据集和测试数据集看作是从同一个数据分布中独立采样得到的。但是，在实际应用中，测试数据往往来自于与训练数据不同的数据分布，即不同的领域（Domain）。 这种情况下，模型在测试数据上的表现往往会大幅下降，因为训练数据没有覆盖到测试数据的分布。 为了解决这一问题，国内外学者在如何将源域的知识传递到目标域以改善目标域的预测效果等方面进行了许多探索。其目标是找到源域和目标域之间的桥梁，将在源域学习到的知识迁移到目标域，增强在目标域的预测效果。 解决这一问题的方法称为领域自适应（Domain Adaptation，DA）。领域自适应作为迁移学习的一种，其主要解决的是源任务和目标任务相同，但是数据分布不同的问题。 四、落地场景可以畅想，但哪种最先商业化? 创业往往是先从解决一个小而痛的问题开始，然后不断扩大边界。这个起点应该是什么？ 我们现在已经看到了一些落地的答案：比如：药店的上下货、家里的 3D 清洁、药品试剂摆放等等。我们已经有了一些答案，但是还有很多问题等待我们去解答。 一位机器人创业者分享了他的商业化落地心得： 我的背景是在跨国消费品负责销售与市场相关的工作。我的项目是基于解决我在过去二十年的工作中一直无法解决的问题：如何在消费品行业中，在线下零售店内有效推荐商品？ 我认为，尽管很多人都说线下零售业务都要转移到线上，线下的生意未来会越来越困难，但实际情况可能并非如此。 如果从宏观角度来看，中国的社会商品零售总额每年超过 40 万亿，其中 30%发生在电商，70%发生在线下。 然而，如果我们将视角扩大到全球，美国的电商只占 11%，欧洲可能只有 8 9%，日本可能更少。 在中国，线下零售业的从业人数超过 7000 万人，所以这个 30%和 70%的界限，中国未来不太可能再有大的突破。 另一方面，人作为高等生物，我们的社交需求和对体验的追求是持续存在的，这需要线下零售业务的存在。 从大环境来看，线下零售是大模型应用的一个重要场景。在这个场景中，有一些刚需的商业机会。 比如在一个零售店内，同一品类（如化妆品）会有多个品牌在同台竞争。这时，每个品牌之间存在两个刚需： 1、吸引消费者进店。假设在我们的零售店内，共有 10 个品牌都在销售防晒霜，我的首要任务就是将其他 9 个品牌的消费者吸引到我这里，让所有进店的消费者，在购买防晒霜时都先来看一看我的产品。 那如何解决这个刚需呢？我们的解决方案是使用三维全息显示技术，例如设置一个显示屏或者全新的机器人，无论是固定的还是移动的，通过这种方式，我可以确保消费者在进入这个区域时。 首先看到的是我的产品，解决了第一个痛点。而且这个解决方案需要强大的技术壁垒，如光学新材料，目前我们已经拥有了最好的技术。 2、商品推荐，消费者教育。这个时候，大模型的多模态交互就能发挥作用。因此，我们的创业项目就是从线下零售场景切入，利用三维全息显示和大模型的多模态交互，为用户打造一个沉浸式的购物体验。 我们有两种形态的解决方案： 一种是可移动的机器人，底部是机器人底盘，上面使用三维全息显示技术。我们使用的薄膜是一种光学新材料，贴在 2D 的显示屏上，以此来显示出裸眼 3D 的图像。这种方式效率非常高，可以展示各种形象。 比如，当我们推荐一款奶粉时，我们可以说这款奶粉源自天然牧场，同时，机器人会以三维全息的方式显示出天然牧场的景色。 第一种方案适用于空间较大的零售店，比如 Prada、LV 或爱马仕等。但是，如果在空间相对较小的超市里，我们会使用一个 32 寸的液晶屏，上面贴上我们的新材料，并结合 3D 算法来呈现出裸眼 3D 的形象，作为导购和引流的工具。 4.1 ToB or ToC? ToB 公司能否无缝转向 ToC？ 一位投资人分享： 关于 ToB 和 ToC 的问题，我认为，虽然大家都认为通用机器人最具想象力的应用场景在 ToC，但是 ToC 需要更多的泛化性。 而在很多工厂中，其实并不需要那么多的泛化性。为了落地，很多人都是先从 ToB 切入一个点，因为 ToB 有更具体的场景可以做。 一位投资人分享了他对于大湾区制造业的观察： 我们的公司位于广州，覆盖了大湾区，包括佛山，这是一个集中了大量工业化生产，包括机器人和手机等的地方。它们既有制造机器人的，也有使用机器人进行生产的。 智能裁剪技术，市场很大，工厂欢迎，但需要有敢于吃螃蟹的人形成标杆效应：举一个例子，当他们需要设计一款服装，从设计到打板，再到样衣的制作。 这个过程中会遇到很多问题，比如，设计好的服装在模特或者人身上试穿后，可能会发现布料的垂感不对，需要再次调整。这个过程中，大量的手工活被机器人替代，可以实现小单快返，例如来自 Shein 和网红几百件的定制化小订单都可以出。因为他们在前期使用了很多的打板师和缝纫师在工作，每天都在做这些工作。广东的很多服装厂，他们都给我们提出了这个问题，所以我们带着这个问题去寻找解决方案。 这是一个 10 万亿的市场，具体的需求量很大，但是需要找到愿意尝试的人。有少数几家愿意用自己的工厂来做这个实验。这几家公司都是二代准备接班，所以他们愿意尝试新的事物。 他们的想法是：如果能让优秀的裁剪师使用，哪怕需要 5000 次的试验，只要能解决这个问题，然后泛化到更多的机器人，那么这些厂家都会愿意尝试。 一位研究员分享了他对于智能机器人的商业化的研究成果： 接下来，大家分享了一些当前正在落地的 ToC 的商业化场景： 1、家用清洁机器人：扫地机器人，这是一个很成熟的 ToC 场景，机器人在家庭环境中执行日常清洁任务，只需要用到比较强的足部控制能力，即可实现商业化落地。 2、智能监控/跟拍机器人：例如用于记录孩子成长过程的机器人，它可以跟随孩子并记录视频，让父母在与孩子互动的同时进行拍摄，解放了父母的双手。 3、自动化厨房机器人：国内某家电公司正在研究全自动化厨房方案，使用自动化设备+机械臂，洗菜机等设备。用这个机械臂把放菜，按一个按钮，把炒好的菜端出来以实现烹饪过程的自动化。 五、具身智能创业的梦之队会长什么样？ 在我们进入第四阶段时，我们需要考虑什么样的团队最能完成这个任务，实现具身智能。我们看到市场上有各种各样的团队，有工业机器人团队，自动驾驶团队，服务机器人团队等等。因此，我们需要研究哪个团队最适合来完成这个任务。某基金投资人，前机器人创业者分享： 5.1 机器人创业观察 我自己是上一波自动驾驶和机器人创业浪潮的参与者，曾经制造了一个与自动驾驶车相似的机器人，然后进行了一次迭代，使用了复杂的 SLAM 技术，16 线激光雷达和各样的传感器。 最后制造出了这样一个机器人产品。我后来经常反思一个问题：为什么上一波的机器人创业大多数都失败了？但是像云迹科技却最终坚持下来了。 在我看来，第一个就是我们产业的问题，就机器人产业、汽车产业和手机电脑产业，会有一个横向对比。 我们总认为从过去 20 年就投资人都很喜欢机器人，每年都在投各种各样的机器人。但是大家有没有想过其实在相比这三个产业里面，后两个产业的总产值和总价值要远高于机型产业。 从 ABB，KUKA 这些老牌的工业机械臂厂商，后来没有再出现特别大规模的公司。石头科技、优必选可能算是很大的企业，但也没有特别大规模。 其实很重要的一个原因是因为机器人本身是在工业产业的这个形态里面是“替代”，从工业制造的基础设施到 c 端的应用其实中间会有 gap。 然后用通用方法其实是解决不了，那这个时候其实面临的问题其实是今天很多从 AI 创业者转型而来的人会遇到的。 5.2 硬件迭代和软件迭代的区别 对于 ALOHA 这类技术解决现实问题的考虑： 1、传统工业场景存在节拍和固定流程，很难替代。 2、工业节拍弱，但附加值高的场景，适合 ALOHA 这种模仿学习+数据来解决专用场景问题。 3.4 结构化场景与非结构化场景 我们在与国外创业者及科研团队交流过程中，得出一个共同的认知是：大家会认为这个数据在现在这个阶段做泛化的话第一是量不够，第二是质量不够好。 我们上一代的硬件逻辑都是在一个高度结构化的层面上进行的。我们不能预测所有的输入，这是一个问题。我们都在努力实现第二步：一个完全非结构化的场景中寻找落地和实现的方法。我们认为，在未来几年中，可能会实现商业化落地的成本还是一个半结构化过程，什么是半结构化的场景。 我们把一个产品分为两部分：你想做什么，以及你在这个过程中的环境是怎样的？如果这两件事都可以预测，那么这个场景可以被称为一个完全结构化的场景。 但是，如果在过程中有很多不可预测的因素，这个场景就不是完全结构化的。所以，我的结论是，如果我们现在在讨论数据的问题。 那么，对于一些在结构化场景中无法处理的边缘情况，我们实际上有足够的数据来处理这些情况。所以我认为，最近可能会看到这样的落地实现。 我之前提到过一个简单的例子，即拉门的动作。由于门两侧的压强不同，拉门时会有一个瞬间的巨大阻力，这与我们推木门所需的力量完全不同。 如果你想让一个机器单独实现这样的动作，但又考虑到这是一个非结构化、不可预测的任务，那么机器可能无法完全实现。 甚至在原型设计时，机器可能无法达到预设的能力。这可能会限制我们在非结构化场景中的应用。 3.5 目前的 VLM 还是缸中之脑？ 我在思考 VLM 问题，即使我们假设人类的炒菜或抓取物体等技能可以完美实现，并让 VLM 作为一个中枢去炒菜，他也可能无法做好。 即使我们用语言指导他拿起锅和铲子，进行炒菜的动作，他也可能无法做好。目前，我们的训练主要依赖海量的互联网视频、文本和图像数据，但很少有真实场景中的交互数据。 比如，我看到这个场景，我的手在这个位置，我不能往前碰，否则会碰到电脑。网络上很少有这样的数据，因此在数据方面，互联网数据和实际操作数据之间存在很大的差距。 即使是最强大的 GPT 4v，也难以填补这个差距，无法完全部署到实际操作中去。Embodied 和 interacted 的数据还存在巨大 gap。 那么强化学习是否像我们想象的那样对数据量要求降低了呢？ 其实也未必如此，强化学习需要开始在仿真环境中尽量见多识广。 我们也提到过，强化学习和大模型的结合可能会降低对数据量的需求，但主要在模拟环境中。在仿真环境中，对真实数据的需求其实降低了。 我们希望在保持环境的同时，能够尽量减少对大量数据的依赖。在机器人操作任务中，高精度操作如拧螺丝钉或拿起扁平物品（如笔或纸）是复杂且具有挑战性的。 强化学习虽然有助于解决这类问题，但更关键的是模型需要具备高度泛化能力，而不仅仅是精确执行特定动作。 在执行任务时，安全性也是重要考虑因素。例如，拿起杯子时，机器人需要确保以正确的方式操作，避免错误地拿起无法站立的杯子。 尽管在小范围场景中，通过与相关人员合作和实验，可以较快地实现特定任务，但要达到更高泛化性的任务执行，仍需进一步研究和实践。 3.6 强化学习的优势及超级仿真器可能 强化学习的一个最大优势是可以在模拟器里面收集无限的数据。模拟器里面的数据是无限的，包括英伟达的、物理虚拟引擎、游戏引擎，这里有无穷的数据资源。但这些数据可能并不那么好用。 如果我们要做物理交互的任务，那就需要物理引擎特别逼真的数据。如果是视觉为主的任务，比如说炒菜，那就需要视觉做得很逼真的数据。每个任务和数据需要有一些更强关系。 编者按：NVIDIA Isaac Sim：是一款可扩展的机器人模拟应用与数据合成工具，可提供逼真、物理属性准确的虚拟环境。在 NVIDIA Omniverse 的赋能下，NVIDIA Isaac Sim 能够使世界各地的开发者和研究人员能够针对各种任务训练和优化 AI 机器人。 如炒菜这样的任务，有许多需要讨论的细节。炒菜涉及多种物理属性，如滑动的水分、软质的食材等，这些物理特性并不容易模拟。 我的一些同事在进行物理仿真的研究，他们深知仿真的复杂性和前沿性。虽然可以在特定任务上做出精细的仿真，例如流体动力学或气动模拟。 但当我们尝试将这两种仿真技术结合时，可能会遇到大问题。因为这些仿真技术是特定的，为特定任务设计的。 炒菜的复杂性在于它涉及到多种模态，这些模态都需要被模拟。例如，触觉模拟是一项挑战，如果要模拟光触觉，那就需要对柔性材料进行准确的模拟。 然而，柔性材料的模拟仍然存在许多问题，有许多模糊的内容需要处理。所以，如何构建一个强大的仿真器是一个关键问题。 我们如果能够构建出这样的仿真器，那么强化学习将会有巨大的进步。我们人类的感觉占据了大部分的皮层，例如视觉和触觉都需要大量的计算能力。 所以超级 Simulator 是 game changer 吗？如果我的仿真器做得比别人强，但还没有达到几乎没有差距的程度，它能否成为改变游戏规则的因素？ 我认为，如果你的仿真器做得足够强，那么这条路是值得下注的。肯定是要押注相关产业最强的几位科学家。 但是，只有当你真的能改变游戏规则，才能被认为是成功的。这需要我们能够做出真正接近现实的仿真。所以这个问题很难立即回答。 清华某具身智能相关科研团队发言：刚刚大家提到仿真器在视触觉的仿真还不够好。这确实是之前的问题，但我们最近已经做了一些工作来改进这一点。 我们的研究已经实现了在精细操作上的触觉仿真，并且能在仿真环境中渲染出 90%以上的视觉效果，然后直接迁移到真实世界。我们认为，解决实际问题确实会面临许多挑战。但如果你对现实世界的基础模型有深入理解，那么你可以解决一些问题。 然而，也有一些问题我们可能无法解决。例如，现在还没有任何仿真器能够模拟打鸡蛋或者切肉这样的操作。这些任务可能需要模仿学习的帮助，或者在模拟器中实现真实感觉后，再在真实环境中进行操作。那么，我们应该把精力放在模拟器的逼真度上，还是在实际操作中？ 这取决于你想要做什么。对于同样的任务，比如操作或抓取任务，我们认为可以通过模拟钢体和软体来实现很好的同步。 但如果涉及到复杂的液体或凝胶，如炒菜，物理形态的模拟可能就会变得非常困难。在这种情况下，我们认为应该在视觉上进行环境模拟。 Q：目前也有一些团队都在做 Sim2real，还有团队在做模仿学习。像刚体这样的问题上，模仿学习也可以应用，你们有没有一些交集的案例？ 对于任务的交集，或者是任务的能力，都可以讨论。有没有一些任务两者都可以达到相对较好的效果，甚至可以互补？有没有这方面交集的一些案例？ A：对于特定的机器人和特定的场景，模仿学习是很好的方法，如 ALOHA。比如说，如果我有一个特定的机器人，在一个特定的场景下，它能够快速地完成很多任务。 但如果我们想要实现一个泛化的策略，让机器人在不同的厨房，使用不同的锅和灶，实现一个通用的策略，那么在这种情况下，Sim2Real 可能是更低成本的方法。 对于模拟方法，我认为应该结合随机参数和适应性调整。如果你的数据已经很好，那么你可以直接使用它。 但如果你不能做非常暴力的 randomization，那么你可能会导致策略的失效。如果你只做 domain adaptation，那么换一个环境可能就不行了。 所以，我们认为，你需要一些少量的数据，来帮助你知道你需要在怎样的合理范围内做这个 recommendation。 编者按：在机器学习中，通常会将训练数据集和测试数据集看作是从同一个数据分布中独立采样得到的。但是，在实际应用中，测试数据往往来自于与训练数据不同的数据分布，即不同的领域（Domain）。 这种情况下，模型在测试数据上的表现往往会大幅下降，因为训练数据没有覆盖到测试数据的分布。 为了解决这一问题，国内外学者在如何将源域的知识传递到目标域以改善目标域的预测效果等方面进行了许多探索。其目标是找到源域和目标域之间的桥梁，将在源域学习到的知识迁移到目标域，增强在目标域的预测效果。 解决这一问题的方法称为领域自适应（Domain Adaptation，DA）。领域自适应作为迁移学习的一种，其主要解决的是源任务和目标任务相同，但是数据分布不同的问题。 四、落地场景可以畅想，但哪种最先商业化? 创业往往是先从解决一个小而痛的问题开始，然后不断扩大边界。这个起点应该是什么？ 我们现在已经看到了一些落地的答案：比如：药店的上下货、家里的 3D 清洁、药品试剂摆放等等。我们已经有了一些答案，但是还有很多问题等待我们去解答。 一位机器人创业者分享了他的商业化落地心得： 我的背景是在跨国消费品负责销售与市场相关的工作。我的项目是基于解决我在过去二十年的工作中一直无法解决的问题：如何在消费品行业中，在线下零售店内有效推荐商品？ 我认为，尽管很多人都说线下零售业务都要转移到线上，线下的生意未来会越来越困难，但实际情况可能并非如此。 如果从宏观角度来看，中国的社会商品零售总额每年超过 40 万亿，其中 30%发生在电商，70%发生在线下。 然而，如果我们将视角扩大到全球，美国的电商只占 11%，欧洲可能只有 8 9%，日本可能更少。 在中国，线下零售业的从业人数超过 7000 万人，所以这个 30%和 70%的界限，中国未来不太可能再有大的突破。 另一方面，人作为高等生物，我们的社交需求和对体验的追求是持续存在的，这需要线下零售业务的存在。 从大环境来看，线下零售是大模型应用的一个重要场景。在这个场景中，有一些刚需的商业机会。 比如在一个零售店内，同一品类（如化妆品）会有多个品牌在同台竞争。这时，每个品牌之间存在两个刚需： 1、吸引消费者进店。假设在我们的零售店内，共有 10 个品牌都在销售防晒霜，我的首要任务就是将其他 9 个品牌的消费者吸引到我这里，让所有进店的消费者，在购买防晒霜时都先来看一看我的产品。 那如何解决这个刚需呢？我们的解决方案是使用三维全息显示技术，例如设置一个显示屏或者全新的机器人，无论是固定的还是移动的，通过这种方式，我可以确保消费者在进入这个区域时。 首先看到的是我的产品，解决了第一个痛点。而且这个解决方案需要强大的技术壁垒，如光学新材料，目前我们已经拥有了最好的技术。 2、商品推荐，消费者教育。这个时候，大模型的多模态交互就能发挥作用。因此，我们的创业项目就是从线下零售场景切入，利用三维全息显示和大模型的多模态交互，为用户打造一个沉浸式的购物体验。 我们有两种形态的解决方案： 一种是可移动的机器人，底部是机器人底盘，上面使用三维全息显示技术。我们使用的薄膜是一种光学新材料，贴在 2D 的显示屏上，以此来显示出裸眼 3D 的图像。这种方式效率非常高，可以展示各种形象。 比如，当我们推荐一款奶粉时，我们可以说这款奶粉源自天然牧场，同时，机器人会以三维全息的方式显示出天然牧场的景色。 第一种方案适用于空间较大的零售店，比如 Prada、LV 或爱马仕等。但是，如果在空间相对较小的超市里，我们会使用一个 32 寸的液晶屏，上面贴上我们的新材料，并结合 3D 算法来呈现出裸眼 3D 的形象，作为导购和引流的工具。 4.1 ToB or ToC? ToB 公司能否无缝转向 ToC？ 一位投资人分享： 关于 ToB 和 ToC 的问题，我认为，虽然大家都认为通用机器人最具想象力的应用场景在 ToC，但是 ToC 需要更多的泛化性。 而在很多工厂中，其实并不需要那么多的泛化性。为了落地，很多人都是先从 ToB 切入一个点，因为 ToB 有更具体的场景可以做。 一位投资人分享了他对于大湾区制造业的观察： 我们的公司位于广州，覆盖了大湾区，包括佛山，这是一个集中了大量工业化生产，包括机器人和手机等的地方。它们既有制造机器人的，也有使用机器人进行生产的。 智能裁剪技术，市场很大，工厂欢迎，但需要有敢于吃螃蟹的人形成标杆效应：举一个例子，当他们需要设计一款服装，从设计到打板，再到样衣的制作。 这个过程中会遇到很多问题，比如，设计好的服装在模特或者人身上试穿后，可能会发现布料的垂感不对，需要再次调整。这个过程中，大量的手工活被机器人替代，可以实现小单快返，例如来自 Shein 和网红几百件的定制化小订单都可以出。因为他们在前期使用了很多的打板师和缝纫师在工作，每天都在做这些工作。广东的很多服装厂，他们都给我们提出了这个问题，所以我们带着这个问题去寻找解决方案。 这是一个 10 万亿的市场，具体的需求量很大，但是需要找到愿意尝试的人。有少数几家愿意用自己的工厂来做这个实验。这几家公司都是二代准备接班，所以他们愿意尝试新的事物。 他们的想法是：如果能让优秀的裁剪师使用，哪怕需要 5000 次的试验，只要能解决这个问题，然后泛化到更多的机器人，那么这些厂家都会愿意尝试。 一位研究员分享了他对于智能机器人的商业化的研究成果： 接下来，大家分享了一些当前正在落地的 ToC 的商业化场景： 1、家用清洁机器人：扫地机器人，这是一个很成熟的 ToC 场景，机器人在家庭环境中执行日常清洁任务，只需要用到比较强的足部控制能力，即可实现商业化落地。 2、智能监控/跟拍机器人：例如用于记录孩子成长过程的机器人，它可以跟随孩子并记录视频，让父母在与孩子互动的同时进行拍摄，解放了父母的双手。 3、自动化厨房机器人：国内某家电公司正在研究全自动化厨房方案，使用自动化设备+机械臂，洗菜机等设备。用这个机械臂把放菜，按一个按钮，把炒好的菜端出来以实现烹饪过程的自动化。 五、具身智能创业的梦之队会长什么样？ 在我们进入第四阶段时，我们需要考虑