质朴发言：大模型未来发展：RAG vs 长文本，谁更胜一筹？｜Z 沙龙第 8 期

质朴发言：大模型未来发展：RAG vs 长文本，谁更胜一筹？｜Z 沙龙第 8 期质朴发言：大模型未来发展：RAG vs 长文本，谁更胜一筹？｜Z 沙龙第 8 期 Modified April 9, 2024 但是，这种通过一些方法提前对信息进行精炼和提取的思想，一定会在大模型的发展中长期发挥重要的作用。长文本处理和RAG 这两个技术会共同发展。对长文本处理已经有一些优化的方法。比如，通过微调的方法把训练的参数量已经提升到了十亿或者是百亿；在推理上的话，减少长文本的处理开销也有一些优化方法，比如 MIT 的韩松实验室有一个 Streaming LLM 的方法，可以识别出长文本中哪些是重点的 Context 或者 Token；然后保留这些部分和最近的一些信息，可以进行推理长度的优化，从而降低推理的成本。除了长文本处理在不断进步之外，RAG 最近也有很多新的技术，未来可能会结合 agent，在其他方面提高模型解决具体实际问题的能力。来自MIT、Meta AI、CMU 的研究者提出了一种名为 Streaming LLM 的方法，使语言模型能够流畅地处理无穷无尽的文本。使用 StreamingLLM，包括 Llama 2 7/13/70B、MPT 7/30B 在内的模型可以可靠地模拟 400 万个 token，甚至更多。与唯一可行的 baseline——重新计算滑动窗口相比，StreamingLLM 的速度提高了 22.2 倍，而没有损耗性能。论文地址：https://arxiv.org/abs/2309.17453 论文代码：https://github.com/mit han lab/streaming llm 以目前的推理成本来看，RAG必不可少，可能会隐藏在产品里。比如说网易的逆水寒，它里面做了很多 AI 的具体应用，比如 NPC 对话。 MiniMax 的模型有一个功能叫做 Glyph，它可以去控制模型输出的结果，可以标准化它的格式，对于很多场景来说，它的推理是非常有帮助的。逆水寒： • 《逆水寒》手游中的智能 NPC 系统，是利用网易伏羲 AI 技术，实装了国内首个游戏 GPT。这是一种基于深度学习的自然语言生成模型，可以根据上下文和输入，生成合理的文本输出。在游戏中，这意味着 NPC 不再是固定的对话框和任务分配者，而是可以与玩家自由对话，并且基于对话内容，自主给出有逻辑的行为反馈。 MiniMax • 限制返回格式（glyph）：该功能可以帮助用户强制要求模型按照配置的固定格式返回内容。逆水寒AI NPC 三、Context length 是否存在摩尔定律？ 1、观点一：存在目前，Context length正在持续增长，并且其增长速度远超摩尔定律。如果按照 18 个月翻倍的标准来计算，从之前的几百万、几千万，到现在达到十兆； Context length 在一年内的变化就已经远远超过翻倍。这种增长速度本身就已经打破了摩尔定律所描述的增长曲线。随着Context length 的增长，算力将成为一个瓶颈。当所有的推理和训练任务都转移到处理 Context 时，我们会发现仍然需要大量的能源。以前可能只需要一张 A100 显卡，而现在可能需要一整台 A100 服务器才能完成任务。从产业界的角度来看，无论是算力还是能源，都会限制其增长速度。因此，在考虑 Context 增长的同时，还需要考虑到成本和资源限制的问题。近日，Kimi 智能助手在长上下文窗口技术上再次取得突破，无损上下文长度提升了一个数量级到 200 万字。从模型预训练到对齐、推理环节月之暗面均有原生的重新设计和开发。月之暗面认为，大模型无损上下文长度的数量级提升，也会扩大对 AI 应用场景的想象力；包括完整代码库的分析理解、可以自主帮人类完成多步骤复杂任务的智能体 Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等等。月之暗面创始人杨植麟表示，“上下文长度可能存在摩尔定律，但需要同时优化长度和无损压缩水平两个指标，才是有意义的规模化。” 新闻地址：https://mp.weixin.qq.com/s/UjXKic9IAaf55ARqbnJ3Pg 2、观点二：不存在 Context的增长是包含了各个单元之间的逻辑关系，其复杂度的增长会高于计算能力的增长。而且，现在大模型还是有非常多问题的，即使是顶尖的大型模型，在应用于工业产品时，也需要将需求范围缩小到非常具体的领域。当需求被高度收敛时，相应的用户需求也会减小，这可能导致一种螺旋下降的趋势：投资减少，进一步导致研究和开发的动力减弱。编者按： • 应用价值的不确定性：Context length 的增加能带来多大的应用价值提升，还缺乏足够的实证支撑。一些研究表明，过长的 Context 可能引入噪音，对模型性能的提升效果并不明显。如果投入产出不成正比，继续增加 Context length 的动力会减弱。 • 数据质量的瓶颈制约：高质量的长文本数据是Context length 增长的基础，但现有的数据质量普遍不高，噪音、错误、不一致等问题严重。数据瓶颈可能成为 Context length 增长的羁绊，单纯增加 Context length 而不解决数据问题，效果可能适得其反。 3、观点三：不确定摩尔定律是基于一段时间技术积累后观察到的规律，需要大量的资本投入和成本控制来驱动。对于大模型和RAG 这类技术，业界目前可能还处于探索阶段，从时间窗口来看还非常短暂，仅仅一两年的时间，并且没有大规模投入到特定场景中应用；因此还没有足够的数据来进行经验总结。从这个角度来看，与晶体管发展的摩尔定律相比，Context length 的增长规律还不够成熟。四、模型层：大模型如何优化？如何有效对大模型测试？ 1、模型优化——优化数据质量在训练模型的时候，数据量并不是越大越好。真正重要的是训练数据的质量，而不仅仅是数量。使用 RAG 进行搜索的过程中，当数据量大了以后，它匹配出来的结果可能会有很多冗余。比如，我们去搜索一个新的领域，不知道哪些文章是最好的，如果搜索出了 100 篇，不可能让模型全部去处理，需要加一些权重；比如，文章的影响因子，或者是它的引用率、引用次数等，把这些因素考虑进去，然后对结果进行排序。但这涉及到一些问题，有些优秀的文章并不一定引用率很高，特别是在一些特定的领域，它们可能引用的文章也相对较少。针对此问题，研究人员提出了一些想法： • 学科的交叉会使得大模型效果更好。对于学科交叉的问题，最好的解决办法既不是依赖于长文本处理，也不是 RAG，而是微调。在训练模型的过程中，我们需要考虑如何控制在各个大的领域里进行搜索。我们现在面临的是海量的文献，不可能把所有的数据都加进去，还需要人工智能来辅助。现在面临的一个挑战，不仅要深度学习，还要广度学习，而且还要控制好搜索的范围，否则成本就会急剧上升。 • 我们的平台每天都有大量的科研数据，包括用户的行为数据和点赞数据等，这些数据对我们来说非常有用，当我们将这些数据纳入训练时，效果就非常明显。所以现在的挑战是如何检索出大量的文本，并从中筛选出真正有价值的信息，将其他的信息过滤掉，然后再将这些信息放入模型中。 • 在应用层面，包括成本和产品质量，问题的核心在于是否需要数据的可靠性。如果要可靠的数据，就要使用Agent。如果数据可以压缩或者有损，需要考虑其他的方法。 2、模型优化——节省计算资源现在大部分模型，即使是长文本模型，在反向传播阶段，从第一步到最后一步文本窗口不可能一直保持很长。一定是在最后的时候去解决这个问题，以节约计算资源。在科研中，我们接触到的预训练阶段的长度是4k 或 8k。学术界也有人提出，我们应该尽量让一个窗口内的数据尽可能相似，即在一个窗口或者一个数据条中，数据应该是相似的主题或内容。从论文来看，这可能对预训练有好处。 3、模型测试——大海捞针是否是唯一？目前主流测试还是靠大海捞针，现在有一些新的测试，提出了一个更加复杂的大海捞针 Benchmark。从产品侧，需要看受众端的用户。来自教育产品的从业者分享其观点：我们去试过把哈利波特做成一个鲜活的角色，帮助用户了解哈利波特内容。但家长对于内容的真实性和准确性要求是很高的，我们的产品无法达到他们的要求，所以这个方案就暂时搁置了。对于非家长的产品，用户直接面向小孩，这种精确度就比较适合孩子体验。所以，从应用侧讲，测试大模型需要考虑受众端的内容。来自情感陪伴的从业者分享观点：我们较关注用户的使用时长、满意度、分页系数等，对于不同的模型，我们直接进行AB 测试，哪个测试高，我们就会选择这个模型。编者按：目前大海捞针广泛用于长文本测试，这种方法并不完全合理，尤其是对于需要检索多个事实并在此基础上进行推理的应用。对此，研究人员提出了多针检索加推理测试，通过扩展 Greg Kamradt 的“LLMTest NeedleInAHaystack”项目，以支持多针评估，评估工具使用了 LangSmith 。项目地址：https://blog.langchain.dev/multi needle in a haystack/ 五、长文本及 RAG 在大模型场景落地时的角色 1、投资人的看法 • 投资人目前关注内存的增长。内存的增大使任务或应用有了更丰富的展现，从以前玩的简单游戏，到现在复杂的 3A 大作，上下文窗口的提升肯定能提升整个应用的能力。 • RAG的外挂知识库可能是很重要的资产。有些人会把 RAG 或者留存下来的外挂知识库看作是没有长期价值的资产。有些人认为 RAG 里面会留存下来一些有价值的东西，例如，对于某些客户或某一类行业的客户，会在库里面封装一些客户业务逻辑的知识。将来去服务这一类客户，或者满足这个客户的长期需求的过程中，无论用哪个模型，这个模型是无法知道这些私密、个人化的信息或路径的。这一部分对于公司将来能持续在这一类行业里面交付能力，是有长期价值的。投资人会评估哪种行业能够留存下这方面的东西。比如代码生成能力，在不断地积累人和代码生成的监督过程中，RAG 里面留存下来的信息可以持续帮助到模型。 2、情感陪伴一位情感陪伴行业的从业者分享了他的观点：我们认为RAG 是对 Long Context 的补充，特别是对外部知识的补充。如果没有 RAG，每次都需要将知识输入到 Context 中，但 Context 的长度有限，而且 Token 的使用也要成本。因此，RAG 可以使 Context 的内容更丰富，同时节省成本。在情感陪伴方面，为了让人物更加细腻，我们通常会使用prompt 来解决问题。在面向消费者的应用层面，将 Context 和 RAG 结合在一起是每个人在情感上最需要的。 https://mp.weixin.qq.com/s/UjXKic9IAaf55ARqbnJ3Pg 但是，这种通过一些方法提前对信息进行精炼和提取的思想，一定会在大模型的发展中长期发挥重要的作用。长文本处理和RAG 这两个技术会共同发展。对长文本处理已经有一些优化的方法。比如，通过微调的方法把训练的参数量已经提升到了十亿或者是百亿；在推理上的话，减少长文本的处理开销也有一些优化方法，比如 MIT 的韩松实验室有一个 Streaming LLM 的方法，可以识别出长文本中哪些是重点的 Context 或者 Token；然后保留这些部分和最近的一些信息，可以进行推理长度的优化，从而降低推理的成本。除了长文本处理在不断进步之外，RAG 最近也有很多新的技术，未来可能会结合 agent，在其他方面提高模型解决具体实际问题的能力。来自MIT、Meta AI、CMU 的研究者提出了一种名为 Streaming LLM 的方法，使语言模型能够流畅地处理无穷无尽的文本。使用 StreamingLLM，包括 Llama 2 7/13/70B、MPT 7/30B 在内的模型可以可靠地模拟 400 万个 token，甚至更多。与唯一可行的 baseline——重新计算滑动窗口相比，StreamingLLM 的速度提高了 22.2 倍，而没有损耗性能。论文地址：https://arxiv.org/abs/2309.17453 论文代码：https://github.com/mit han lab/streaming llm 以目前的推理成本来看，RAG必不可少，可能会隐藏在产品里。比如说网易的逆水寒，它里面做了很多 AI 的具体应用，比如 NPC 对话。 MiniMax 的模型有一个功能叫做 Glyph，它可以去控制模型输出的结果，可以标准化它的格式，对于很多场景来说，它的推理是非常有帮助的。逆水寒： • 《逆水寒》手游中的智能 NPC 系统，是利用网易伏羲 AI 技术，实装了国内首个游戏 GPT。这是一种基于深度学习的自然语言生成模型，可以根据上下文和输入，生成合理的文本输出。在游戏中，这意味着 NPC 不再是固定的对话框和任务分配者，而是可以与玩家自由对话，并且基于对话内容，自主给出有逻辑的行为反馈。 MiniMax • 限制返回格式（glyph）：该功能可以帮助用户强制要求模型按照配置的固定格式返回内容。逆水寒AI NPC 三、Context length 是否存在摩尔定律？ 1、观点一：存在目前，Context length正在持续增长，并且其增长速度远超摩尔定律。如果按照 18 个月翻倍的标准来计算，从之前的几百万、几千万，到现在达到十兆； Context length 在一年内的变化就已经远远超过翻倍。这种增长速度本身就已经打破了摩尔定律所描述的增长曲线。随着Context length 的增长，算力将成为一个瓶颈。当所有的推理和训练任务都转移到处理 Context 时，我们会发现仍然需要大量的能源。以前可能只需要一张 A100 显卡，而现在可能需要一整台 A100 服务器才能完成任务。从产业界的角度来看，无论是算力还是能源，都会限制其增长速度。因此，在考虑 Context 增长的同时，还需要考虑到成本和资源限制的问题。近日，Kimi 智能助手在长上下文窗口技术上再次取得突破，无损上下文长度提升了一个数量级到 200 万字。从模型预训练到对齐、推理环节月之暗面均有原生的重新设计和开发。月之暗面认为，大模型无损上下文长度的数量级提升，也会扩大对 AI 应用场景的想象力；包括完整代码库的分析理解、可以自主帮人类完成多步骤复杂任务的智能体 Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等等。月之暗面创始人杨植麟表示，“上下文长度可能存在摩尔定律，但需要同时优化长度和无损压缩水平两个指标，才是有意义的规模化。” 新闻地址：https://mp.weixin.qq.com/s/UjXKic9IAaf55ARqbnJ3Pg https://mp.weixin.qq.com/s/UjXKic9IAaf55ARqbnJ3Pg 2、观点二：不存在 Context的增长是包含了各个单元之间的逻辑关系，其复杂度的增长会高于计算能力的增长。而且，现在大模型还是有非常多问题的，即使是顶尖的大型模型，在应用于工业产品时，也需要将需求范围缩小到非常具体的领域。当需求被高度收敛时，相应的用户需求也会减小，这可能导致一种螺旋下降的趋势：投资减少，进一步导致研究和开发的动力减弱。编者按： • 应用价值的不确定性：Context length 的增加能带来多大的应用价值提升，还缺乏足够的实证支撑。一些研究表明，过长的 Context 可能引入噪音，对模型性能的提升效果并不明显。如果投入产出不成正比，继续增加 Context length 的动力会减弱。一些研究表明，过长的 Context 可能引入噪音，对模型性能的提升效果并不明显。如果投入产出不成正比，继续增加 Context length 的动力会减弱。 • 数据质量的瓶颈制约：高质量的长文本数据是Context length 增长的基础，但现有的数据质量普遍不高，噪音、错误、不一致等问题严重。数据瓶颈可能成为 Context length 增长的羁绊，单纯增加 Context length 而不解决数据问题，效果可能适得其反。数据瓶颈可能成为 Context length 增长的羁绊，单纯增加 Context length 而不解决数据问题，效果可能适得其反。 3、观点三：不确定摩尔定律是基于一段时间技术积累后观察到的规律，需要大量的资本投入和成本控制来驱动。对于大模型和RAG 这类技术，业界目前可能还处于探索阶段，从时间窗口来看还非常短暂，仅仅一两年的时间，并且没有大规模投入到特定场景中应用；因此还没有足够的数据来进行经验总结。从这个角度来看，与晶体管发展的摩尔定律相比，Context length 的增长规律还不够成熟。四、模型层：大模型如何优化？如何有效对大模型测试？ 1、模型优化——优化数据质量在训练模型的时候，数据量并不是越大越好。真正重要的是训练数据的质量，而不仅仅是数量。使用 RAG 进行搜索的过程中，当数据量大了以后，它匹配出来的结果可能会有很多冗余。比如，我们去搜索一个新的领域，不知道哪些文章是最好的，如果搜索出了 100 篇，不可能让模型全部去处理，需要加一些权重；比如，文章的影响因子，或者是它的引用率、引用次数等，把这些因素考虑进去，然后对结果进行排序。但这涉及到一些问题，有些优秀的文章并不一定引用率很高，特别是在一些特定的领域，它们可能引用的文章也相对较少。针对此问题，研究人员提出了一些想法： • 学科的交叉会使得大模型效果更好。对于学科交叉的问题，最好的解决办法既不是依赖于长文本处理，也不是 RAG，而是微调。在训练模型的过程中，我们需要考虑如何控制在各个大的领域里进行搜索。我们现在面临的是海量的文献，不可能把所有的数据都加进去，还需要人工智能来辅助。现在面临的一个挑战，不仅要深度学习，还要广度学习，而且还要控制好搜索的范围，否则成本就会急剧上升。在训练模型的过程中，我们需要考虑如何控制在各个大的领域里进行搜索。我们现在面临的是海量的文献，不可能把所有的数据都加进去，还需要人工智能来辅助。现在面临的一个挑战，不仅要深度学习，还要广度学习，而且还要控制好搜索的范围，否则成本就会急剧上升。 • 我们的平台每天都有大量的科研数据，包括用户的行为数据和点赞数据等，这些数据对我们来说非常有用，当我们将这些数据纳入训练时，效果就非常明显。所以现在的挑战是如何检索出大量的文本，并从中筛选出真正有价值的信息，将其他的信息过滤掉，然后再将这些信息放入模型中。所以现在的挑战是如何检索出大量的文本，并从中筛选出真正有价值的信息，将其他的信息过滤掉，然后再将这些信息放入模型中。 • 在应用层面，包括成本和产品质量，问题的核心在于是否需要数据的可靠性。如果要可靠的数据，就要使用Agent。如果数据可以压缩或者有损，需要考虑其他的方法。 2、模型优化——节省计算资源现在大部分模型，即使是长文本模型，在反向传播阶段，从第一步到最后一步文本窗口不可能一直保持很长。一定是在最后的时候去解决这个问题，以节约计算资源。在科研中，我们接触到的预训练阶段的长度是4k 或 8k。学术界也有人提出，我们应该尽量让一个窗口内的数据尽可能相似，即在一个窗口或者一个数据条中，数据应该是相似的主题或内容。从论文来看，这可能对预训练有好处。 3、模型测试——大海捞针是否是唯一？目前主流测试还是靠大海捞针，现在有一些新的测试，提出了一个更加复杂的大海捞针 Benchmark。从产品侧，需要看受众端的用户。来自教育产品的从业者分享其观点：我们去试过把哈利波特做成一个鲜活的角色，帮助用户了解哈利波特内容。但家长对于内容的真实性和准确性要求是很高的，我们的产品无法达到他们的要求，所以这个方案就暂时搁置了。对于非家长的产品，用户直接面向小孩，这种精确度就比较适合孩子体验。所以，从应用侧讲，测试大模型需要考虑受众端的内容。来自情感陪伴的从业者分享观点：我们较关注用户的使用时长、满意度、分页系数等，对于不同的模型，我们直接进行AB 测试，哪个测试高，我们就会选择这个模型。编者按：目前大海捞针广泛用于长文本测试，这种方法并不完全合理，尤其是对于需要检索多个事实并在此基础上进行推理的应用。对此，研究人员提出了多针检索加推理测试，通过扩展 Greg Kamradt 的“LLMTest NeedleInAHaystack”项目，以支持多针评估，评估工具使用了 LangSmith 。项目地址：https://blog.langchain.dev/multi needle in a haystack/ 五、长文本及 RAG 在大模型场景落地时的角色 1、投资人的看法 • 投资人目前关注内存的增长。内存的增大使任务或应用有了更丰富的展现，从以前玩的简单游戏，到现在复杂的 3A 大作，上下文窗口的提升肯定能提升整个应用的能力。 • RAG的外挂知识库可能是很重要的资产。有些人会把 RAG 或者留存下来的外挂知识库看作是没有长期价值的资产。有些人认为 RAG 里面会留存下来一些有价值的东西，例如，对于某些客户或某一类行业的客户，会在库里面封装一些客户业务逻辑的知识。将来去服务这一类客户，或者满足这个客户的长期需求的过程中，无论用哪个模型，这个模型是无法知道这些私密、个人化的信息或路径的。这一部分对于公司将来能持续在这一类行业里面交付能力，是有长期价值的。投资人会评估哪种行业能够留存下这方面的东西。比如代码生成能力，在不断地积累人和代码生成的监督过程中，RAG 里面留存下来的信息可以持续帮助到模型。有些人认为 RAG 里面会留存下来一些有价值的东西，例如，对于某些客户或某一类行业的客户，会在库里面封装一些客户业务逻辑的知识。将来去服务这一类客户，或者满足这个客户的长期需求的过程中，无论用哪个模型，这个模型是无法知道这些私密、个人化的信息或路径的。这一部分对于公司将来能持续在这一类行业里面交付能力，是有长期价值的。投资人会评估哪种行业能够留存下这方面的东西。比如代码生成能力，在不断地积累人和代码生成的监督过程中，RAG 里面留存下来的信息可以持续帮助到模型。 2、情感陪伴一位情感陪伴行业的从业者分享了他的观点：我们认为RAG 是对 Long Context 的补充，特别是对外部知识的补充。如果没有 RAG，每次都需要将知识输入到 Context 中，但 Context 的长度有限，而且 Token 的使用也要成本。因此，RAG 可以使 Context 的内容更丰富，同时节省成本。在情感陪伴方面，为了让人物更加细腻，我们通常会使用prompt 来解决问题。在面向消费者的应用层面，将 Context 和 RAG 结合在一起是每个人在情感上最需要的。对于情感陪伴来说，回忆是非常重要的。如果能让 Context 和 RAG 结合，直接作为大脑使用，那就达到了目的。图片和其他角度可以增加想象力，就像微信可以发送图片、视频、语音和进行语音电话一样。这些功能对于微信的发展非常重要。对于情感应用来说，如果你可以发送图片，然后你的朋友圈下面有人可以回复，这将为用户提供很大的情绪价值。目前，Agent 聊天仍然能够明显感觉到对方不是真人。 3、教育产品一位教育产品领域的从业者分享了他的见解：在教育产品中，我们需要打通孩子不同年龄段的信息，以提供更有逻辑性的服务。比如，学龄前的一个产品，它的登录是通过家长的手机端的APP，就是他的微信和手机号。目前我们只能通过标签的方式把这件事给连接起来，但这种方式是比较低效的。会场上一位专家提供了解决思路：可以采用特定的Agent，比如 Read Agent，来处理这个问题。他建议将 3 6 岁和 7 12 岁儿童的信息分别存储在两个数据库中，并使用大型模型对 3 6 岁儿童的信息进行总结，然后在每次需要读取时将其放入第二个数据库。这种方法的核心是利用数据压缩技术，以提高处理效率。 Read Agent 是由 Google DeepMind 开发的一个类似人类阅读的 LLM 智能体系统，它能将有效上下文长度扩大 3 20 倍，同时取得更高的准确率和 ROUGE 得分。 Read Agent 系统通过三个主要步骤实现： • 分割成片段，根据 LLM 的提示决定在连续文本中的何处暂停，形成片段； • 摘要记忆，将每个片段压缩成更短的摘要，关联上下文信息； • 交互查找，在给定任务和完整的摘要记忆中，决定查找哪些片段，将摘要与原始文本结合，解决任务。 ReadAgent 系统可以通过提示经过训练的 LLM 来实现。论文链接：https://arxiv.org/abs/2402.09727 项目链接：https://read agent.github.io/ 4、医疗领域在医疗领域，大模型在理解文本和图像方面表现出色，但它们在Mapping 上存在不足，传统的 RAG 和 Embedding model 可能效果不佳。与医疗公司建立合作关系成为一种有效的解决策略。通过合作，让医疗公司在 Embedding 的过程贡献他们的算法；包括他们对病例的诊断，将这些信息加到 Embedding 的工具库里，这些数据的向量数大致在百万到千万之间。同时，为保证技术真正应用，需找到有实际付费能力的客户。有研究人员发现，引入了In context learning，可以显著提升了效果。以 COVID 19 的 X 光诊断为例，我们可以先向模型展示一些样本，包括阴性和阳性病例。先给模型看一张阳性病例的图片，然后是阴性病例的。接下来，当模型再次看到新图片并询问其是阳性或阴性时，通过学习，判断效果会比无预先学习的情况下好很多。相比于那些已经通过人工标注训练的模型，如果能够实现 CNN 方法，它可能会比使用 RAG 方法更加经济高效。 5、未来发展趋势随着视频和图像时代的到来，信息传递的方式将发生显著变化，这时传统的文本编码和解码方式将不再适用。在这个新时代，"Token"不再仅仅代表一个文字，而是可能代表更复杂的信息单元，因此传统的NLP 方法将不足以处理计算机视觉领域的问题。在算力方面，一些公司下一代的计算芯片放弃GPU 架构，自己有一套硬件架构做深度学习，而且性能更高，耗电量会更少。从 2014 年至今，谷歌已经构建了 6 种不同的 TPU 芯片。虽然单体性能仍然与 H100 差距明显，但 TPU 更贴合谷歌自己生态内的系统。这也促使 Gemini 的内容生成速度非常快的，虽然精度没有那么高，但生成速度远超 GPT 和 Claude。下图以 Gemini pro 和 Claude 3 Haik 代码生成速度为例。 No access 视频 (1) 00:00 No access 视频 (1) 00:00 Gemini pro 代码生成速度示例 No access 视频 (2) 00:00 No access 视频 (2) 00:00 Claude 3 Haik 代码生成速度示例在谷歌发布 Gemini 大模型的同时，DeepMind 团队还写了 60 页技术报告阐述 Gemini 多模态的技术原理，报告提到谷歌用 TPU v5e 和 TPU v4 来训练 Gemini。当日，谷歌还发布了 TPU v5p，称训练速度比前代快 2.8 倍，有望帮助开发者和企业客户更快地训练大规模生成式 AI 模型。训练大模型需要大量的计算能力，因为它们通常在包含数十亿个单词的数据集上进行训练。传统的CPU 和 GPU 架构难以处理这种计算负载，通常会减慢训练过程并限制大模型的功能。Google TPU 专门针对矩阵乘法和二维卷积进行了优化。据谷歌的解析 TPU v4 论文，相较用英伟达 A100 构建的超级计算机，用谷歌 TPUv4 建的超级计算机速度快 1.2 1.7 倍，功耗降低 1.3 1.9 倍。目前，谷歌超过 90% 的 AI 训练都在 TPU 上。技术报告地址：https://storage.googleapis.com/deepmind media/gemini/gemini v1 5 report.pdf 原文链接：https://mp.weixin.qq.com/s/jrgowNLS cI ztRHaZNqNg 来源：质朴发言发文时间：2024.03.25 编者按：当前，AIGC的迭代速度正以指数级的速度增长。2024 年 2 月，谷歌发布的 Gemini 1.5 Pro；再次将上下文刷新为 100 万 token，创下了最长上下文窗口的纪录，相当于 1 小时的视频或者 70 万个单词。由于 G

在小宇宙note 阅读完整内容