质朴发言：期待地搓手手：多模态大模型的 GPT 时刻｜Z 沙龙第 6 期

质朴发言：期待地搓手手：多模态大模型的 GPT 时刻｜Z 沙龙第 6 期 质朴发言：期待地搓手手：多模态大模型的 GPT 时刻｜Z 沙龙第 6 期 Modified April 9, 2024 在这个环境下，国内的 AI Native 公司需要有“自我造血能力”，而实现商业化的途径之一是从结果切入。在国内，AI native 公司可以通过两种途径： • 提供定制化的外包服务来吸引客户，例如针对特定行业或场景的 AI 解决方案。这种服务通常需要深入了解客户需求，以及高度定制化的技术实现。 • 通过算力定价，即根据客户使用的计算资源来收费。这种模式适用于那些依赖大量算力运行的 AI 服务，如大规模数据处理、复杂模型训练等。 在提供这些服务时，AI native 公司需要不断优化其算法和技术，以提高效率和降低成本，从而在市场上保持竞争力。 尽管面临挑战，但对未来 AI 技术发展仍持积极态度。在算法上在提高现有技术如 Net 的可用性和实时效率方面的进步； 在数据质量上，通过合成数据的方法、对以前质量不佳的数据进行标注和修正；这些都将有助于提升多模态模型在实际工作中的表现。 在整个赛道上面，我们认为新型的交互方式（如 3D 和视频）将提供重要的市场机会。 作为投资人，会优先从技术成熟度高的方向入手，选择实际场景，结果导向（如视频拼接、对动态要求没那么高的商品展示等），而非一开始就定在纯文生多模态模型，可能更现实。 投资人分享 2023 年看了近百个多模态项目，但没出手，原因如下： 对于图像类的项目， • 面向大众的项目，我们关注了二次元创作项目和宠物相关项目，观察到这类项目用户增长迅速但同样快速面临增长瓶颈。这可能是由于内容生态的薄弱，缺乏足够多样和丰富的漫画或视频内容所致。 • 面向设计师的项目，用户量表现不错，但盈利上限可能受限，可见天花板就是剪映。同时，国内市场付费意愿低，市场空间有限，出海可能更有利，但国内平台若想进入海外市场将面临很多挑战。 • 面向企业的项目，我们关注了电商领域相关项目，其中文生图和生视频类别增长迅速，收入增长显著。但对这些项目未来的收入天花板表示担忧，尤其是如果电商平台自行开展这些服务，独立创业公司将面临的挑战。另外，这些项目的毛利可能并不高，很多部分仍需人工参与。 对于视频类的项目，我们看好视频在 C 端的巨大发展潜力。随着技术的发展，视频内容的形式正在不断演变。 例如从传统的长视频转向更加流行的短视频格式，每一代视频形态的变化以及内容的迭代都有可能催生一个大型平台。AI 主导的内容生成可能会催生出新的视频平台。 大模型可能在搜索和推荐之后引领出一个全新的范式，虽然大模型可能不会在分发逻辑上产生质的变化。但是，这种生成式的改变有可能使得内容定制化达到新的高度。 目前，视频生成技术已经发展到可以生成 3 4 秒的视频内容。一些创业公司正在训练更大的模型，预计在今年能够生成长达 10 秒的视频。这意味着技术已可以支持短剧或类似内容的生成。 对于 3D 类的项目，内容生成的效果有了显著的提升，已达到可用于 C 端的水平。在 B 端，尽管在游戏和建筑行业，3D 技术已有初步应用； 但在满足这些行业更高精细程度的需求方面还有所不足。3D 技术的进一步发展可能受限于缺乏合适的硬件平台。可能 VR 内容需求增加之后，这块应用会出现大爆发。 投资人分享 虽然 3D 技术有其潜力，但其在非 AR 和非机器人应用中仍稍显遥远。收敛到业务相关的领域，离得最近就是图和视频。我们可以进一步区分 A 类和 B 类业务 A 类业务，关注在现有问题下更有效率地解决问题。这类业务面临较大挑战，因为大部分领域都有现有的行业巨头占据。A 类业务做得更多的是增强，为商家提供一些生产力工具。 B 类业务，提供新场景，在这一块更看好 C 端有新的场景出现。内容领域的发展经历了从阅读报纸和杂志的传统阶段，到现在的互联网主导内容推送阶段。 这种变化预示着定制化内容有巨大的发展空间。例如，抖音这样的平台最初只是短视频分享，但现在已涵盖本地生活、商品推广等内容，可见内容和信息分发逻辑的变革所带来的巨大机遇。 无论是标准化的内容还是定制化的服务，都要通过有效的供应链进行交付。这包括内容供应链、商品供应链和服务供应链，这些供应链的构建和优化对成功交付产品很重要。 在服务和商品领域，有拼多多和美团，在内容领域，是否也能有 C 端的应用能够整合供应链资源。对于创业公司和投资者而言，寻找并专注于具有独特价值的特定细分市场是关键，先找一些独特讨巧的品类，再慢慢滚雪球。 在中国，C 端的投资机会是 10 倍甚至 100 倍，但内容创造方面由于数据和素材的限制仍存在一定的挑战。因此，我们希望寻找能够快速实现的小规模但有潜力的项目开始。 出海很重要，以 Apple Music 为例，其在美国的定价为每月 10 美元，而在中国仅为每月 15 元人民币。尽管价格差异显著，美国市场的渗透率却远高于中国。 在成本全球统一的前提下，在海外收入会高很多。但同时，海外市场尤其对中国本土创业者来说，存在明显的挑战。成功的案例相对较少，但这也提供了特定的机遇空间。 创业公司在国内的优势则是相对少的隐私限制、庞大的用户量基础和多样的消费层次。在中国市场，任何一个细分领域都有可能发展成为巨大的商业机会。 大厂员工分享 国外市场付费环境良好，细分应用通过 APP 或网站实现盈利较为常见。相比之下，国内市场尚未广泛采纳这些产品为主流交易形式，但存在潜在的线下交易机会； 如在二手平台上交易如图像修复或数据分析的服务。这类服务在用户中有着较高的需求但在表面上不易察觉。 在国内，尤其是下沉市场中，用户对算法应用的接受方式可能与传统的 APP 商店不同。他们可能更习惯于通过社交媒体和电子商务平台获取这类服务。 2、多模态模型在不同市场的应用 a. B 端：医疗影像和制造业领域应用的探索 • 医疗领域的探索 大厂 AI 团队分享 我们团队之前积累了一些判别模型的经验，后来开始转向生成模型，这种方法的优势在于可以“不死板的输出”。而在医疗领域，需要模型精准输出，这类任务更偏向于判别式的问题。 多模态模型的应用将带来更精准的判断和执行，提高工作效率，并在工业、医疗、教育等领域具有广阔的应用前景 案例：医疗图像识别 需求是针对医疗影像做判别和分割，模型上选择 LLAVA 1.5 做图像理解/判别。数据方面，医疗领域的数据由客户提供，不需要爬。脱敏是目前在攻克的难点。实践中 UNet 比 transformer 应用更广 挑战包含两方面，生成质量不高和训练周期太长。对应解决方案上，一方面可以堆算力、拉高分辨率；另一方面，原始真实数据越多，合成效果数据越好 • 工业制造业领域的探索 讨论 在小家电行业中，大模型基于图纸生成装配流程面临两个主要问题：图纸作为商业机密需要私有化部署，以及图纸数量不足导致大模型在工业应用上受限。 深入业务的多模态模型应用，需要真实的业务数据，因此数据标注环节需客户参与。核心在于本地部署的需求是为了安全还是方便模型微调，这决定了所需模型的参数大小。 今天在做模型微调时，不需要大量的参数，因为它已预训练了大量的内容。在微调过程中需要高阶的数据。以前经常讲知识库，建立很多拓扑规则，然后再去做后面的应用。 但现在，这个过程可能会被推翻，因为模型需要更原始真实的内容。一旦建立了知识图谱，可能会对它的原意进行失真，无法获取原始的意思。 工业质检是基于视觉的一种检测方式，它是工业领域中最早被引入的应用场景之一。尽管它已相对成熟，但其并未深入到 B 端的核心应用场景中（如研发设计、生产制造）。 现在，我们希望将多模态和大模型应用在这个领域，以解决上一代无法解决的问题，通过大模型和精细调整来提升性能。 过去，知识都是通过传授经验的方式，现在有了多模态模型，我们是否可以通过视频学习，将这些经验或具体细节转化为改进生产效率的方法。 不论工业质检还是其他场景，拿大模型做，本质是从 99 分提升到 99.5 分的问题，对应最终收入也只是几十万的合同。 在这个领域，行业 knowhow 重要性大于算法和数据、解决方案大于产品。如果收敛到特定场景，现状是系统问题（加一个机械臂比算法强）和长尾问题（缺失数据）； AI 模型能力得不到发挥，商业化也跑不起来。因此，未来解决方案还是基础模型能力增强。所以，对于本轮 AI 来说，做发散的内容或工具会优于超级收敛的场景 ； 例如图像增强 AI 工具 Magnific，由两人团队开发，以 39 美元起步的高价，仍获得了消费者火爆的购买支持。 编者按： Magnific 是一款由 Javi Lopez 和 Emilio Nicolas 开发的 AI 图像增强工具，通过先进的算法提升图像的清晰度和细节，同时能根据用户输入的提示创造性地补充图像内容。 这款工具特别适用于专业领域的艺术家和设计师，帮助他们实现高分辨率和细节丰富的图像创作。 尽管处于测试阶段，但 Magnific 已经因其出色的图像处理能力受到了业界的关注和积极评价。官网链接：https://magnific.ai b. C 端数字人的落地案例 大厂团队分享 & 讨论 让虚拟人物融入用户的现实生活，人物一致性的难题目前，我们的虚拟人物和情感主要依赖于用户的主动互动，虚拟人物本身相对被动。虚拟角色并不真正了解用户，用户也不会将大量个人信息传递给 B 端或 C 端，这限制了虚拟角色的主动性。 我们的目标是让虚拟人物能够更加自然地融入用户的生活，例如参与到与用户息息相关的节日或其他场景中。 技术实现上，我们发现，人物在图像中的一致性是一个重大挑战。但我相信今年会有实质性的进展，像阿里、腾讯这样的大公司已经在进行相关工作； 最近还有一款受到大佬认可的开源项目 photo master，其人物还原度可以达到 90%。因此，我认为今年在文本生成图像的人物一致性方面可能会出现闭源突破。 对于 3D 生成的人物，目前主要有两种方式。第一种方式是完全利用 AI 来生成 3D 的所有元素，例如动画。 目前市场上已有多个玩家在采用这种方法，利用 AI 进行特效制作、打光等一系列的图像处理。 另一种方式则是将 3D 技术与现有视频结合，然后进行一些稳定性的处理。然而，目前这两种方案都还存在一定的局限性，离成熟商用还有一段距离。 创业者分享 很多算法的商业化其实在水下，很多修复算法的购买发生在二手平台上而非官方商店的软件里。 以声音生成技术的商业化为例： 我们注意到，这种技术对于不同的用户群体有不同的影响。 例如，对于豆包这个产品，有两种主要的用户，一部分是老板，一部分是小孩。小孩在使用豆包聊天后，他们的交流能力会得到提升，因为豆包可以复制他们的声音，使他们更加兴奋和感兴趣。 对于老人来说，如果有一个能复制他们身边人的声音的工具，会帮助他们缓解孤独和寂寞的感觉。 在 AI 技术方面，老年人和小孩更容易接受这种技术，即使这个技术制作的产品可能看起来不够真实。 例如，我们在制作媒体内容时，经常会有人希望我们能够复活他们的亲人。尽管我们认为这个产品可能看起来不够真实，但他们仍然觉得这是一种神奇的体验。 案例：逝者数字人 针对的主要是二三线城市的用户群体，其吸引点在于声音和照片的动态展示。这不仅是出售多模态的感官体验，更重要的是大模型角色扮演能力带来的体验提升。 要让用户达到"aha moment"（顿悟时刻），需要通过多轮对话实现，而这个过程中，前期的声音能力尤为关键。 因此，我们看好多模态技术，主要是因为它能引导大众市场接受并开始使用 AI 工具。这种技术不仅提供了新颖的体验，也能满足用户在情感层面的需求。 在商业化过程中，最吸引用户的往往不是技术本身，而是技术能带来的特定体验或满足的特定需求。 例如，在声音生成技术中，能模拟亲人或熟悉人物的声音可能比单纯的技术展示更有吸引力。因此，深入了解和沟通客户的需求对于商业化至关重要。 c. 端侧与多模态模型的结合 技术分享 实际上，模型部署在端侧的前期压力非常大，尤其是在处理高度复杂的 PS 问题时。目前只尝试了 1 3B 参数量的模型，现在部署加速的话，需要新的框架帮助。 此外，最近刚推出的推测性编码能将性能提升 5 倍到 10 倍以上。但这就会留下一些性能问题。 蒸馏、剪枝、量化是常见的三种策略。和同学们讨论后发现，蒸馏方面的效果并不稳定。这是一个可行的策略。但是真正部署的话，蒸馏带来的成本高收益小。所以现在最常见的策略是量化。 编者按：蒸馏（Distillation）、剪枝（Pruning）和量化（Quantization）是三种常见的多模态模型端侧部署策略，旨在减小模型大小、提高计算效率，同时尽可能保持模型的性能。 关于部署，各大厂商都在进行模型的研发，特别是在如何将模型部署到移动端上。vivo 最近开源发布了一款产品，将多模态模型部署到手机上。 如果手机内存较少，将动态模型部署到手机上可能会遇到一些问题。因此，进行端到端部署或执行动态模型是一个非常热门的方向。 "AI PIN" 和 "Rabbit R1"这两款产品已经验证了用户需求的存在，但我认为它们目前处于一个产品的过渡状态。 用户当前的需求状态正在推动这种转变，无论是对于手机还是云端服务，都需要一个辅助端口，这可以理解为一种过渡设备。 在手机出现之前，曾有名为 "BB 机" 的过渡设备，其作用是通知用户谁在打电话，然后用户可以找到最近的电话进行接听。 在这个环境下，国内的 AI Native 公司需要有“自我造血能力”，而实现商业化的途径之一是从结果切入。在国内，AI native 公司可以通过两种途径： • 提供定制化的外包服务来吸引客户，例如针对特定行业或场景的 AI 解决方案。这种服务通常需要深入了解客户需求，以及高度定制化的技术实现。 • 通过算力定价，即根据客户使用的计算资源来收费。这种模式适用于那些依赖大量算力运行的 AI 服务，如大规模数据处理、复杂模型训练等。 在提供这些服务时，AI native 公司需要不断优化其算法和技术，以提高效率和降低成本，从而在市场上保持竞争力。 尽管面临挑战，但对未来 AI 技术发展仍持积极态度。在算法上在提高现有技术如 Net 的可用性和实时效率方面的进步； 在数据质量上，通过合成数据的方法、对以前质量不佳的数据进行标注和修正；这些都将有助于提升多模态模型在实际工作中的表现。 在整个赛道上面，我们认为新型的交互方式（如 3D 和视频）将提供重要的市场机会。 作为投资人，会优先从技术成熟度高的方向入手，选择实际场景，结果导向（如视频拼接、对动态要求没那么高的商品展示等），而非一开始就定在纯文生多模态模型，可能更现实。 投资人分享 2023 年看了近百个多模态项目，但没出手，原因如下： 对于图像类的项目， • 面向大众的项目，我们关注了二次元创作项目和宠物相关项目，观察到这类项目用户增长迅速但同样快速面临增长瓶颈。这可能是由于内容生态的薄弱，缺乏足够多样和丰富的漫画或视频内容所致。 • 面向设计师的项目，用户量表现不错，但盈利上限可能受限，可见天花板就是剪映。同时，国内市场付费意愿低，市场空间有限，出海可能更有利，但国内平台若想进入海外市场将面临很多挑战。 • 面向企业的项目，我们关注了电商领域相关项目，其中文生图和生视频类别增长迅速，收入增长显著。但对这些项目未来的收入天花板表示担忧，尤其是如果电商平台自行开展这些服务，独立创业公司将面临的挑战。另外，这些项目的毛利可能并不高，很多部分仍需人工参与。 对于视频类的项目，我们看好视频在 C 端的巨大发展潜力。随着技术的发展，视频内容的形式正在不断演变。 例如从传统的长视频转向更加流行的短视频格式，每一代视频形态的变化以及内容的迭代都有可能催生一个大型平台。AI 主导的内容生成可能会催生出新的视频平台。 大模型可能在搜索和推荐之后引领出一个全新的范式，虽然大模型可能不会在分发逻辑上产生质的变化。但是，这种生成式的改变有可能使得内容定制化达到新的高度。 目前，视频生成技术已经发展到可以生成 3 4 秒的视频内容。一些创业公司正在训练更大的模型，预计在今年能够生成长达 10 秒的视频。这意味着技术已可以支持短剧或类似内容的生成。 对于 3D 类的项目，内容生成的效果有了显著的提升，已达到可用于 C 端的水平。在 B 端，尽管在游戏和建筑行业，3D 技术已有初步应用； 但在满足这些行业更高精细程度的需求方面还有所不足。3D 技术的进一步发展可能受限于缺乏合适的硬件平台。可能 VR 内容需求增加之后，这块应用会出现大爆发。 投资人分享 虽然 3D 技术有其潜力，但其在非 AR 和非机器人应用中仍稍显遥远。收敛到业务相关的领域，离得最近就是图和视频。我们可以进一步区分 A 类和 B 类业务 A 类业务，关注在现有问题下更有效率地解决问题。这类业务面临较大挑战，因为大部分领域都有现有的行业巨头占据。A 类业务做得更多的是增强，为商家提供一些生产力工具。 B 类业务，提供新场景，在这一块更看好 C 端有新的场景出现。内容领域的发展经历了从阅读报纸和杂志的传统阶段，到现在的互联网主导内容推送阶段。 这种变化预示着定制化内容有巨大的发展空间。例如，抖音这样的平台最初只是短视频分享，但现在已涵盖本地生活、商品推广等内容，可见内容和信息分发逻辑的变革所带来的巨大机遇。 无论是标准化的内容还是定制化的服务，都要通过有效的供应链进行交付。这包括内容供应链、商品供应链和服务供应链，这些供应链的构建和优化对成功交付产品很重要。 在服务和商品领域，有拼多多和美团，在内容领域，是否也能有 C 端的应用能够整合供应链资源。对于创业公司和投资者而言，寻找并专注于具有独特价值的特定细分市场是关键，先找一些独特讨巧的品类，再慢慢滚雪球。 在中国，C 端的投资机会是 10 倍甚至 100 倍，但内容创造方面由于数据和素材的限制仍存在一定的挑战。因此，我们希望寻找能够快速实现的小规模但有潜力的项目开始。 出海很重要，以 Apple Music 为例，其在美国的定价为每月 10 美元，而在中国仅为每月 15 元人民币。尽管价格差异显著，美国市场的渗透率却远高于中国。 在成本全球统一的前提下，在海外收入会高很多。但同时，海外市场尤其对中国本土创业者来说，存在明显的挑战。成功的案例相对较少，但这也提供了特定的机遇空间。 创业公司在国内的优势则是相对少的隐私限制、庞大的用户量基础和多样的消费层次。在中国市场，任何一个细分领域都有可能发展成为巨大的商业机会。 大厂员工分享 国外市场付费环境良好，细分应用通过 APP 或网站实现盈利较为常见。相比之下，国内市场尚未广泛采纳这些产品为主流交易形式，但存在潜在的线下交易机会； 如在二手平台上交易如图像修复或数据分析的服务。这类服务在用户中有着较高的需求但在表面上不易察觉。 在国内，尤其是下沉市场中，用户对算法应用的接受方式可能与传统的 APP 商店不同。他们可能更习惯于通过社交媒体和电子商务平台获取这类服务。 2、多模态模型在不同市场的应用 a. B 端：医疗影像和制造业领域应用的探索 • 医疗领域的探索 大厂 AI 团队分享 我们团队之前积累了一些判别模型的经验，后来开始转向生成模型，这种方法的优势在于可以“不死板的输出”。而在医疗领域，需要模型精准输出，这类任务更偏向于判别式的问题。 多模态模型的应用将带来更精准的判断和执行，提高工作效率，并在工业、医疗、教育等领域具有广阔的应用前景 案例：医疗图像识别 需求是针对医疗影像做判别和分割，模型上选择 LLAVA 1.5 做图像理解/判别。数据方面，医疗领域的数据由客户提供，不需要爬。脱敏是目前在攻克的难点。实践中 UNet 比 transformer 应用更广 挑战包含两方面，生成质量不高和训练周期太长。对应解决方案上，一方面可以堆算力、拉高分辨率；另一方面，原始真实数据越多，合成效果数据越好 • 工业制造业领域的探索 讨论 在小家电行业中，大模型基于图纸生成装配流程面临两个主要问题：图纸作为商业机密需要私有化部署，以及图纸数量不足导致大模型在工业应用上受限。 深入业务的多模态模型应用，需要真实的业务数据，因此数据标注环节需客户参与。核心在于本地部署的需求是为了安全还是方便模型微调，这决定了所需模型的参数大小。 今天在做模型微调时，不需要大量的参数，因为它已预训练了大量的内容。在微调过程中需要高阶的数据。以前经常讲知识库，建立很多拓扑规则，然后再去做后面的应用。 但现在，这个过程可能会被推翻，因为模型需要更原始真实的内容。一旦建立了知识图谱，可能会对它的原意进行失真，无法获取原始的意思。 工业质检是基于视觉的一种检测方式，它是工业领域中最早被引入的应用场景之一。尽管它已相对成熟，但其并未深入到 B 端的核心应用场景中（如研发设计、生产制造）。 现在，我们希望将多模态和大模型应用在这个领域，以解决上一代无法解决的问题，通过大模型和精细调整来提升性能。 过去，知识都是通过传授经验的方式，现在有了多模态模型，我们是否可以通过视频学习，将这些经验或具体细节转化为改进生产效率的方法。 不论工业质检还是其他场景，拿大模型做，本质是从 99 分提升到 99.5 分的问题，对应最终收入也只是几十万的合同。 在这个领域，行业 knowhow 重要性大于算法和数据、解决方案大于产品。如果收敛到特定场景，现状是系统问题（加一个机械臂比算法强）和长尾问题（缺失数据）； AI 模型能力得不到发挥，商业化也跑不起来。因此，未来解决方案还是基础模型能力增强。所以，对于本轮 AI 来说，做发散的内容或工具会优于超级收敛的场景 ； 例如图像增强 AI 工具 Magnific，由两人团队开发，以 39 美元起步的高价，仍获得了消费者火爆的购买支持。 编者按： Magnific 是一款由 Javi Lopez 和 Emilio Nicolas 开发的 AI 图像增强工具，通过先进的算法提升图像的清晰度和细节，同时能根据用户输入的提示创造性地补充图像内容。 这款工具特别适用于专业领域的艺术家和设计师，帮助他们实现高分辨率和细节丰富的图像创作。 尽管处于测试阶段，但 Magnific 已经因其出色的图像处理能力受到了业界的关注和积极评价。官网链接：https://magnific.ai b. C 端数字人的落地案例 大厂团队分享 & 讨论 让虚拟人物融入用户的现实生活，人物一致性的难题目前，我们的虚拟人物和情感主要依赖于用户的主动互动，虚拟人物本身相对被动。虚拟角色并不真正了解用户，用户也不会将大量个人信息传递给 B 端或 C 端，这限制了虚拟角色的主动性。 我们的目标是让虚拟人物能够更加自然地融入用户的生活，例如参与到与用户息息相关的节日或其他场景中。 技术实现上，我们发现，人物在图像中的一致性是一个重大挑战。但我相信今年会有实质性的进展，像阿里、腾讯这样的大公司已经在进行相关工作； 最近还有一款受到大佬认可的开源项目 photo master，其人物还原度可以达到 90%。因此，我认为今年在文本生成图像的人物一致性方面可能会出现闭源突破。 对于 3D 生成的人物，目前主要有两种方式。第一种方式是完全利用 AI 来生成 3D 的所有元素，例如动画。 目前市场上已有多个玩家在采用这种方法，利用 AI 进行特效制作、打光等一系列的图像处理。 另一种方式则是将 3D 技术与现有视频结合，然后进行一些稳定性的处理。然而，目前这两种方案都还存在一定的局限性，离成熟商用还有一段距离。 创业者分享 很多算法的商业化其实在水下，很多修复算法的购买发生在二手平台上而非官方商店的软件里。 以声音生成技术的商业化为例： 我们注意到，这种技术对于不同的用户群体有不同的影响。 例如，对于豆包这个产品，有两种主要的用户，一部分是老板，一部分是小孩。小孩在使用豆包聊天后，他们的交流能力会得到提升，因为豆包可以复制他们的声音，使他们更加兴奋和感兴趣。 对于老人来说，如果有一个能复制他们身边人的声音的工具，会帮助他们缓解孤独和寂寞的感觉。 在 AI 技术方面，老年人和小孩更容易接受这种技术，即使这个技术制作的产品可能看起来不够真实。 例如，我们在制作媒体内容时，经常会有人希望我们能够复活他们的亲人。尽管我们认为这个产品可能看起来不够真实，但他们仍然觉得这是一种神奇的体验。 案例：逝者数字人 针对的主要是二三线城市的用户群体，其吸引点在于声音和照片的动态展示。这不仅是出售多模态的感官体验，更重要的是大模型角色扮演能力带来的体验提升。 要让用户达到"aha moment"（顿悟时刻），需要通过多轮对话实现，而这个过程中，前期的声音能力尤为关键。 因此，我们看好多模态技术，主要是因为它能引导大众市场接受并开始使用 AI 工具。这种技术不仅提供了新颖的体验，也能满足用户在情感层面的需求。 在商业化过程中，最吸引用户的往往不是技术本身，而是技术能带来的特定体验或满足的特定需求。 例如，在声音生成技术中，能模拟亲人或熟悉人物的声音可能比单纯的技术展示更有吸引力。因此，深入了解和沟通客户的需求对于商业化至关重要。 c. 端侧与多模态模型的结合 技术分享 实际上，模型部署在端侧的前期压力非常大，尤其是在处理高度复杂的 PS 问题时。目前只尝试了 1 3B 参数量的模型，现在部署加速的话，需要新的框架帮助。 此外，最近刚推出的推测性编码能将性能提升 5 倍到 10 倍以上。但这就会留下一些性能问题。 蒸馏、剪枝、量化是常见的三种策略。和同学们讨论后发现，蒸馏方面的效果并不稳定。这是一个可行的策略。但是真正部署的话，蒸馏带来的成本高收益小。所以现在最常见的策略是量化。 编者按：蒸馏（Distillation）、剪枝（Pruning）和量化（Quantization）是三种常见的多模态模型端侧部署策略，旨在减小模型大小、提高计算效率，同时尽可能保持模型的性能。 关于部署，各大厂商都在进行模型的研发，特别是在如何将模型部署到移动端上。vivo 最近开源发布了一款产品，将多模态模型部署到手机上。 如果手机内存较少，将动态模型部署到手机上可能会遇到一些问题。因此，进行端到端部署或执行动态模型是一个非常热门的方向。 "AI PIN" 和 "Rabbit R1"这两款产品已经验证了用户需求的存在，但我认为它们目前处于一个产品的过渡状态。 用户当前的需求状态正在推动这种转变，无论是对于手机还是云端服务，都需要一个辅助端口，这可以理解为一种过渡设备。 在手机出现之前，曾有名为 "BB 机" 的过渡设备，其作用是通知用户谁在打电话，然后用户可以找到最近的电话进行接听。 虽然 "Rabbit one" 产品已经验证了市场需求（据说已有一万多人购买），但未来的趋势可能是向端化或专业一体化发展，这取决于硬件发展和模型突破。 数据存储方面，将数据放在云端的重要性并不大，因为网上评测显示，体验并没有太大差异。 比如，购买 Apple 产品的主要是轻户外用户，他们不太可能在信号覆盖不到的地方用产品。企业可能需要一些轻量化的 AI 模型，这些模型是判别式的，需要轻量化处理。 隐私是一个重要的考虑因素。"Rabbit" 和 "AI PIN" 的定位不完全相同，"Rabbit" 更像是轻便的手机，而 "AI PIN" 可能成为没有显示模块的投影设备，而不是智能穿戴设备。 这与 "Rewind" 项链类似，后者可以记录用户的生活，但如果设备实时捕捉到敏感信息（如银行卡密码），将这些信息完全放到云端是不安全的。 "Rewind" 的项链主要执行数据采集功能，采集的数据最终需要用电脑搜索，PC 端可能会有一些端侧的算力，大模型可能放在多个 PC 上。 下一期的 Z 沙龙主题是“AI+硬件”，敬请期待。剧透一下具体的议题点： 1、Al native 硬件：端侧 AI 变革将至。大模型与现有终端融合型态探讨，AI 手机、AIPC、AI XR、AI 可穿戴设备、AloT、AI 座舱。 2、芯片、成本以及数据隐私安全角度，端侧小模型有什么要求？ 3、如何解决端侧硬件能耗、存储、算力在 AI 硬件使用场景需求下的平衡？ 4、Al native 硬件头脑风暴，对现有产品吐槽，Al native 硬件杀手级场景会在什么地方？ 5、我要 Al native 硬件创业，供应链+软件+硬件，怎么搭积木？ 三、未来，多模态的 GPT 时刻 回看中国和美国市场在智能手机应用初期的发展趋势，中国起初侧重于解决实用问题（如翻墙、越狱、内存清理），随后转向功能性应用的开发（如手电筒、指南针、墨迹天气）。 类似地，OpenAI 的 GPT 推出后，初期应用主要是解决现有问题或提供便利服务，如帮助翻墙（套壳）、出加速推理框架、集成应用商店等。 接下来，预计 2024 年会出现一些以大模型为基础的高频工具，这些工具可能会在日常生活中提供更多便利。 要实现多模态的 GPT 时刻，需要大模型能够实