深度｜Gemini 3预训练负责人揭秘Gemini 3巨大飞跃的关键，行业正从“数据无限”向“数据有限”范式转变

深度｜Gemini 3预训练负责人揭秘Gemini 3巨大飞跃的关键，行业正从“数据无限”向“数据有限”范式转变 深度｜Gemini 3预训练负责人揭秘Gemini 3巨大飞跃的关键，行业正从“数据无限”向“数据有限”范式转变 Modified February 21 Sebastian Bourgeaud： 我认为是这样的。这也与你之前问到的合成数据问题相关，我们在这方面的方法是相似的。 Matt Turck： 或许我们不必将话题引向未来，但另一个重要的问题和趋势是，模型如何能够用更少的数据进行学习，这也是你在谈到数据有限模式时所暗示的。无论是在DeepMind内部还是在行业内，你是否看到了一些有趣的方法，就像那个著名的类比所说的，模型能够像人类一样高效学习？ Sebastian Bourgeaud： 我想先澄清一下我之前所说的“数据有限模式”。我并不是指数据量减少了，而是指数据量是有限的。这种范式转变是从“数据无限”到“数据有限”。其次，模型架构研究在某种意义上正是为了解决这个问题。当你在模型架构方面取得改进时，通常意味着使用相同数量的数据训练模型可以获得更好的结果；或者说，要达到与之前模型相同的结果，所需的训练数据量更少。这是其中一个方面。但不可否认的是， 如今模型训练所需的数据量仍然远远超过了人类所能接触到的数据量。 当然，这其中还涉及到进化过程等因素。我觉得这类宏观讨论很难理解和跟进，因为要将人类的学习数据量与如今的预训练数据量进行对比，需要做出很多假设。但至少从表面上看，我们使用的数据量确实比人类多得多。 Matt Turck： 在整个行业中，预训练领域还有哪些发展方向让你感到兴奋？ Sebastian Bourgeaud： 我认为其中一个方向是长上下文能力。在Gemini1.5中，我们在长上下文能力方面取得了巨大的飞跃。这使得如今的模型和Agent能够处理诸如代码库之类的大型任务，因为它们的上下文长度显著增加。我认为未来一两年内，在这方面将会有更多的创新，不仅会提高长上下文处理的效率，还会进一步扩展模型的上下文长度。这是从能力层面来看，预训练在这方面有很大的潜力，非常值得关注。 相关地，至少在注意力机制方面，我们最近取得了一些非常有趣的发现，我认为这些发现将在未来几个月内塑造我们的许多研究方向，我个人对此非常兴奋。我想再次强调我之前提到的一点： 事情的进展往往是多种因素共同作用的结果。 有很多小型和中型的改进正在逐步推进，比如修复某个问题、解决某个漏洞，或者某项研究显示出了良好的前景。所有这些因素结合在一起，将再次推动行业取得重大进展。 Matt Turck： 回想我们之前谈到的Retro项目，你是该项目的合著者，该项目侧重于效率，让小型模型能够发挥更大的作用。而现在你身处Gemini 3的世界，这里涉及海量数据和超长上下文窗口的训练。你认为这种大型模型、超长上下文窗口的范式是否会使得检索增强生成和搜索变得不再必要，所有功能都将被整合到模型中？当然，企业数据方面可能是一个例外，但从总体来看是这样吗？ Sebastian Bourgeaud： 这是一个很有趣的问题。首先，我认为Retro项目的核心是检索信息而非存储信息，并不一定是为了让模型更小。它关注的是如何让模型在预训练阶段就能够进行更多的推理，而不仅仅是存储知识。这一点在今天仍然非常重要。有趣的是，直到最近，预训练的迭代周期一直比后训练慢得多。因此，在预训练方面做出这些重大改变，在风险和时间成本方面都相当高昂。而后训练阶段的检索增强生成或搜索等方法，迭代速度要快得多，也能带来非常出色的性能。在我看来， 从长远来看，最终的解决方案应该是通过可微分的端到端方式来实现这一目标， 这意味着可能需要在预训练阶段（或者未来类似的训练阶段）就学习检索能力，并将搜索功能整合到大规模训练中。我认为强化学习的规模化可能已经开启了这一进程，但在架构方面还有很多工作要做。这一点我们将在未来几年内看到。 我想强调的是，人们经常谈论模型架构，这确实是提升预训练性能的一个重要方面，但还有其他方面也同样重要，比如基础设施、数据和评估，这些方面往往没有得到同等程度的关注。评估尤其困难，在预训练中更是如此，因为它需要弥合两个差距。一方面，我们日常训练和评估所使用的模型通常比最终规模化后的模型更小、性能更弱。因此，评估方法必须能够预测大规模模型的性能，仍然能够为大规模模型指明正确的方向，也就是说，它必须是一个良好的代理指标。 另一方面，还存在后训练差距。模型在预训练后并不会直接投入使用，还会进行后续的训练。因此，我们在预训练阶段或对预训练模型进行的评估，必须能够很好地反映模型在后续训练后的表现。因此，在评估方面取得进展至关重要，这也非常困难。 评估方面的进步在很大程度上推动了我们在模型和数据改进方面的进展，因为它让我们能够准确衡量模型或数据的实际改进效果。 Matt Turck： DeepMind的评估都是内部构建的吗？你们有自己的评估体系？ Sebastian Bourgeaud： 是的，在很大程度上是这样， 而且越来越倾向于内部构建 。因为我们发现，外部基准测试虽然可以在短期内使用，但很快就会受到污染。也就是说，这些基准测试的内容会以不同的形式在网络上传播，如果我们的训练数据中包含了这些内容，就很难检测出来。因此，要避免自欺欺人，真正了解模型的实际性能，唯一的方法就是创建独立的评估集，并严格保密。 Matt Turck： 与此相关的一个问题是，对齐是你们在预训练阶段重点考虑的问题，还是更多地属于后训练阶段的范畴，或者两者都有？ Sebastian Bourgeaud： 我认为大部分对齐工作是在后续训练阶段进行的，但预训练阶段也有一些相关的工作。我不能在这里透露太多细节，但确实有一些方面与预训练相关，我们也会对此进行考量。 Matt Turck： 从一个非常简单的层面来看，我一直很好奇，以Gemini为例，如果核心数据集来自互联网，而互联网上有很多不良信息。那么对齐的首要原则是不是将这些不良信息排除在模型训练之外？ Sebastian Bourgeaud： 这是一个有趣的问题，我并没有一个确定的答案。但我们不希望模型产生这些不良内容。从根本上来说，模型需要了解这些不良信息，这样才能知道要远离它们。因此，我们至少需要让模型接触一部分这类信息，以便它能够识别这些不良内容并避免产生相关输出。否则，当用户提到某些不良信息时，模型可能根本不知道用户在说什么，也就无法判断这是不良信息。 Matt Turck： 我们来谈谈DeepThink，这是在Gemini 3发布几天后推出的思考型模型。首先，它是一个独立的模型，还是Gemini 3的一部分？我们应该如何看待它？ Sebastian Bourgeaud： 我不能对此发表太多具体评论。 Matt Turck： 当模型进行思考，用户需要等待10秒、20秒或更长时间时，后台发生了什么？ Sebastian Bourgeaud： 是的，我想在你之前的一些播客中已经详细讨论过这个问题。这本质上是一个生成思考过程的过程。与仅在模型内部进行计算不同，我们还会在序列长度层面进行计算，让模型有更多的思考空间。因此，模型会开始提出假设、测试假设、调用一些工具来验证假设、进行搜索等。最后，模型可能会回顾整个思考过程，为用户提供一个明确的答案。 Matt Turck： 行业已经逐渐接受了这种通用思考范式。 Sebastian Bourgeaud： 是的。 Matt Turck： 你能谈谈这其中的智能体部分以及谷歌的“反重力”项目吗？你觉得它有趣的地方在哪里？人们应该了解些什么？ Sebastian Bourgeaud： 这大概就是我之前提到的与我自己工作相关的内容。 Matt Turck： 我觉得这很有趣。 Sebastian Bourgeaud： 我们日常的很多工作都是执行层面的，比如监控实验进程等。我认为智能体在这方面能够带来最大的影响。回到预训练的话题，我认为视觉感知方面对于智能体来说非常重要，因为现在我们要求模型能够与计算机屏幕进行交互。因此， 具备出色的屏幕理解能力至关重要，这也是预训练阶段的一个重要方面。 Mat t Tu rck： 在“反重力”项目中，有一个非常有趣的“氛围编程”概念——当你提出需求时，你甚至不需要清楚地说明具体要求，模型就能理解你的意图。这种“氛围”是预训练阶段的成果，还是后训练阶段的产物？如何将“氛围”融入模型中？ Sebastia n Bou rg eaud： 这是一个有趣的问题。我想如果你问五个不同的研究者，可能会得到五个不同的答案。人们还会提到“大型模型的质感”，比如GPT 4.5在这方面就有很明显的表现，大概大型模型在感觉上会有所不同。我不会用这些具体的术语来描述，但我认为“氛围”本质上与此相关。如今， 在很大程度上，预训练可能在模型的“感觉”方面发挥着更大的作用，而不仅仅是后训练。 对于“氛围编程”来说，我认为这可能更多地与强化学习规模化和后训练 相关，因为通过大量的数据训练，模型能够很好地完成这类任务。 行业趋势与未来展望：技术方向、应用挑战与人才建议 Matt Turck： 我们来稍微宏观地看待这个问题，作为对话的最后一部分。我很好奇行业的整体发展趋势。今年神经信息处理系统大会上讨论的一个核心主题是持续学习。我想了解你的看法，尤其是从预训练的角度来看。因为目前我们的范式是每隔几个月或几年，就会训练一个全新的大型基础模型。首先，什么是持续学习？其次，如果持续学习成为主流，这将对重新训练产生什么影响？ Sebastian Bourgea ud ： 持续学习本质上是指随着新知识的发现，不断用这些知识更新模型。 比如，明天出现了一项新的科学突破，而我们昨天训练的基础模型并不知道这项突破。在预训练方面，我认为过去几年已经取得了很大的进展，这主要体现在后训练和搜索方面。通过使用搜索工具进行搜索调用，模型可以获取这些新信息。从某种意义上说，这也正是我们之前谈到的Retro项目所做的事情——通过检索数据，尝试将知识语料库与推理部分分离开来。这是一方面。 另一方面，在预训练方面，这也与我之前提到的长上下文能力相关。 一种实现持续学习的方式是不断扩展用户的上下文，让模型在上下文中获取更多的信息，从而具备持续学习的能力。 但当然，这可能还需要一场更大的范式转变。也许这就是人们所讨论的：能否改变训练算法，让模型能够持续地从来自现实世界的数据流中进行学习。 Matt Turck： 除了持续学习，你认为当前研究中还有哪些热门、有趣或令人关注的方向？ Sebastian Bourgeaud： 正如我之前提到的，目前有很多小型的改进正在积累，这是推动行业进步的一个重要因素。历史上，这种方式一直是推动进展的主要动力，我相信未来也会继续如此。我之前提到的长上下文架构和长上下文研究是其中一个方面。在预训练方面，注意力机制也是一个重要的研究方向。此外，从无限数据到有限数据或数据有限模式的范式转变，也将带来很多变化和有趣的研究。这只是预训练领域的情况。 另一方面，如今使用这些模型的人数正在迅速增长。因此，我们在预训练阶段也需要更多地考虑模型的部署成本——模型的使用成本有多高，能否大规模部署。在预训练阶段，我们可以采取哪些措施来提升模型质量，同时降低部署成本、减少资源消耗，这也是一个非常有趣的方向。 Matt Turck： 对于正在收听这期播客的学生或博士生来说，如果他们希望在几年后成为像你这样的人，你认为他们应该思考或关注哪些问题？这些问题不是一两年内就能解决的，而是更具长远意义、更有趣的问题？ Sebastian Bourgeaud： 有一点变得越来越重要，那就是在进行研究的同时，要了解系统层面的知识。我们现在构建的系统非常复杂。因此， 能够理解从TPU到研究层面的整个技术栈是一种非常重要的能力。 因为这样你就能发现不同层级之间的差距，而这些差距可能是其他人没有注意到的。同时，你也能够全面地思考你的研究想法对整个TPU技术栈的影响。我认为，能够做到这一点的人通常会产生很大的影响力。因此，在专业方向上，应该关注研究型工程和系统方面的内容。我是模型研究的负责人，而不仅仅是纯粹的模型架构研究。这是一个方面。我个人仍然对我们在Retro项目中开始的检索研究非常感兴趣。我认为这个领域之前还不够成熟，但现在情况正在发生变化。我有理由相信，在未来几年内，类似Retro的技术可能会应用于像Gemini这样的顶尖模型中。 Matt Turck： 为什么之前这个领域不够成熟，而现在情况可能会发生变化？ Sebastian Bourgeaud： 我认为这与我之前提到的复杂性有关，同时也因为后训练阶段的迭代速度更快，能够更快地实现相关功能。正如我之前所说，通过后训练阶段的搜索和数据处理，我们可以以更简单的方式让模型获得类似的能力。随着后训练和强化学习规模化的发展，这种情况可能会再次发生转变，使更多的功能回归到预训练阶段。 Matt Turck： 你认为目前人工智能领域是否存在过度投资的领域？也就是那些在逻辑上并不合理，但行业却投入了大量资金的领域？ Sebastian Bourgeaud： 我认为现在情况已经好多了。大约两年前，我看到很多人还在试图创建专门的模型来解决那些通用模型在半年或一年内就能够解决的任务。但现在人们已经逐渐意识到，对于通用任务或不需要极端专业模型的任务，使用通用模型（可能不是当前版本，而是下一个版本）可能就能够完成。这意味着， 关于如何使用模型、如何构建模型的应用框架等方面的研究变得越来越重要。同时，如何提高模型和这些应用框架的稳健性，使其能够减少错误并从错误中恢复，也是一个重要的研究方向。 Matt Turck： 与此相关的一个问题是，对于初创公司，你有什么建议或推荐？从创始人或风投的角度来看，基础模型的能力越来越强，并且训练数据越来越多样化。以前，模型只能进行对话，而现在已经能够处理金融工作、股权表等专业任务，这似乎缩小了初创公司的发展空间。你对此有何看法？ Sebastian Bourgeaud： 我认为初创公司可以回顾一下一年前或一年半前模型的能力，再看看现在模型的能力，然后进行合理的推断。模型正在不断进步的领域，未来可能会继续保持进步的趋势。而那些进展不大的领域，可能是更值得研究的方向。我现在没有具体的例子，但这是一个总体的建议。 Matt Turck： 在未来一两年内，你个人的职业发展中有什么让你感到兴奋的事情？ Sebastian Bourgeaud： 我非常喜欢日常工作中与众多优秀的人合作，并从他们身上学习。这在很大程度上驱动着我。每天上班，我都会与非常聪明的人交流，他们会教给我很多新的知识。这是我非常喜欢的一点。正如我多次提到的，有很多不同的因素正在共同作用，还有很多方面有提升的空间。我真的非常好奇，因为目前来看，这类工作的进展似乎看不到尽头。能够见证这一过程，看看我们能够走多远，这真的非常有趣。至少在未来一年左右，我认为这种快速发展的趋势不会放缓。 Matt Turck： 非常好。这是一个非常棒的收尾。Sebastian，非常感谢你参加这期播客。我们非常感激，这是一场非常精彩的对话。谢谢。 Sebastian Bourgeaud： 谢谢，Matt。 原 视频 ：”We’re Ahead of Where I Thought We’d Be” — Gemini 3 & the Future of AI https://www.youtube.com/watch?v=cNGDAqFXvew 编译：Lingyun Xu 请注意，本文编译自文末载明的原始链接，不代表Z Potentials立场。如果您对本文有任何想法或见解，欢迎在评论区留言互动探讨。 Z Potentials将继续提供更多关于人工智能、机器人、全球化等领域的优质内容。我们诚邀对未来充满憧憬的您加入我们的社群，与我们共同分享、学习、成长。 Sebastian Bourgeaud： 我认为是这样的。这也与你之前问到的合成数据问题相关，我们在这方面的方法是相似的。 Matt Turck： 或许我们不必将话题引向未来，但另一个重要的问题和趋势是，模型如何能够用更少的数据进行学习，这也是你在谈到数据有限模式时所暗示的。无论是在DeepMind内部还是在行业内，你是否看到了一些有趣的方法，就像那个著名的类比所说的，模型能够像人类一样高效学习？ Sebastian Bourgeaud： 我想先澄清一下我之前所说的“数据有限模式”。我并不是指数据量减少了，而是指数据量是有限的。这种范式转变是从“数据无限”到“数据有限”。其次，模型架构研究在某种意义上正是为了解决这个问题。当你在模型架构方面取得改进时，通常意味着使用相同数量的数据训练模型可以获得更好的结果；或者说，要达到与之前模型相同的结果，所需的训练数据量更少。这是其中一个方面。但不可否认的是， 如今模型训练所需的数据量仍然远远超过了人类所能接触到的数据量。 当然，这其中还涉及到进化过程等因素。我觉得这类宏观讨论很难理解和跟进，因为要将人类的学习数据量与如今的预训练数据量进行对比，需要做出很多假设。但至少从表面上看，我们使用的数据量确实比人类多得多。 Matt Turck： 在整个行业中，预训练领域还有哪些发展方向让你感到兴奋？ Sebastian Bourgeaud： 我认为其中一个方向是长上下文能力。在Gemini1.5中，我们在长上下文能力方面取得了巨大的飞跃。这使得如今的模型和Agent能够处理诸如代码库之类的大型任务，因为它们的上下文长度显著增加。我认为未来一两年内，在这方面将会有更多的创新，不仅会提高长上下文处理的效率，还会进一步扩展模型的上下文长度。这是从能力层面来看，预训练在这方面有很大的潜力，非常值得关注。 相关地，至少在注意力机制方面，我们最近取得了一些非常有趣的发现，我认为这些发现将在未来几个月内塑造我们的许多研究方向，我个人对此非常兴奋。我想再次强调我之前提到的一点： 事情的进展往往是多种因素共同作用的结果。 有很多小型和中型的改进正在逐步推进，比如修复某个问题、解决某个漏洞，或者某项研究显示出了良好的前景。所有这些因素结合在一起，将再次推动行业取得重大进展。 Matt Turck： 回想我们之前谈到的Retro项目，你是该项目的合著者，该项目侧重于效率，让小型模型能够发挥更大的作用。而现在你身处Gemini 3的世界，这里涉及海量数据和超长上下文窗口的训练。你认为这种大型模型、超长上下文窗口的范式是否会使得检索增强生成和搜索变得不再必要，所有功能都将被整合到模型中？当然，企业数据方面可能是一个例外，但从总体来看是这样吗？ Sebastian Bourgeaud： 这是一个很有趣的问题。首先，我认为Retro项目的核心是检索信息而非存储信息，并不一定是为了让模型更小。它关注的是如何让模型在预训练阶段就能够进行更多的推理，而不仅仅是存储知识。这一点在今天仍然非常重要。有趣的是，直到最近，预训练的迭代周期一直比后训练慢得多。因此，在预训练方面做出这些重大改变，在风险和时间成本方面都相当高昂。而后训练阶段的检索增强生成或搜索等方法，迭代速度要快得多，也能带来非常出色的性能。在我看来， 从长远来看，最终的解决方案应该是通过可微分的端到端方式来实现这一目标， 这意味着可能需要在预训练阶段（或者未来类似的训练阶段）就学习检索能力，并将搜索功能整合到大规模训练中。我认为强化学习的规模化可能已经开启了这一进程，但在架构方面还有很多工作要做。这一点我们将在未来几年内看到。 我想强调的是，人们经常谈论模型架构，这确实是提升预训练性能的一个重要方面，但还有其他方面也同样重要，比如基础设施、数据和评估，这些方面往往没有得到同等程度的关注。评估尤其困难，在预训练中更是如此，因为它需要弥合两个差距。一方面，我们日常训练和评估所使用的模型通常比最终规模化后的模型更小、性能更弱。因此，评估方法必须能够预测大规模模型的性能，仍然能够为大规模模型指明正确的方向，也就是说，它必须是一个良好的代理指标。 另一方面，还存在后训练差距。模型在预训练后并不会直接投入使用，还会进行后续的训练。因此，我们在预训练阶段或对预训练模型进行的评估，必须能够很好地反映模型在后续训练后的表现。因此，在评估方面取得进展至关重要，这也非常困难。 评估方面的进步在很大程度上推动了我们在模型和数据改进方面的进展，因为它让我们能够准确衡量模型或数据的实际改进效果。 Matt Turck： DeepMind的评估都是内部构建的吗？你们有自己的评估体系？ Sebastian Bourgeaud： 是的，在很大程度上是这样， 而且越来越倾向于内部构建 。因为我们发现，外部基准测试虽然可以在短期内使用，但很快就会受到污染。也就是说，这些基准测试的内容会以不同的形式在网络上传播，如果我们的训练数据中包含了这些内容，就很难检测出来。因此，要避免自欺欺人，真正了解模型的实际性能，唯一的方法就是创建独立的评估集，并严格保密。 Matt Turck： 与此相关的一个问题是，对齐是你们在预训练阶段重点考虑的问题，还是更多地属于后训练阶段的范畴，或者两者都有？ Sebastian Bourgeaud： 我认为大部分对齐工作是在后续训练阶段进行的，但预训练阶段也有一些相关的工作。我不能在这里透露太多细节，但确实有一些方面与预训练相关，我们也会对此进行考量。 Matt Turck： 从一个非常简单的层面来看，我一直很好奇，以Gemini为例，如果核心数据集来自互联网，而互联网上有很多不良信息。那么对齐的首要原则是不是将这些不良信息排除在模型训练之外？ Sebastian Bourgeaud： 这是一个有趣的问题，我并没有一个确定的答案。但我们不希望模型产生这些不良内容。从根本上来说，模型需要了解这些不良信息，这样才能知道要远离它们。因此，我们至少需要让模型接触一部分这类信息，以便它能够识别这些不良内容并避免产生相关输出。否则，当用户提到某些不良信息时，模型可能根本不知道用户在说什么，也就无法判断这是不良信息。 Matt Turck： 我们来谈谈DeepThink，这是在Gemini 3发布几天后推出的思考型模型。首先，它是一个独立的模型，还是Gemini 3的一部分？我们应该如何看待它？ Sebastian Bourgeaud： 我不能对此发表太多具体评论。 Matt Turck： 当模型进行思考，用户需要等待10秒、20秒或更长时间时，后台发生了什么？ Sebastian Bourgeaud： 是的，我想在你之前的一些播客中已经详细讨论过这个问题。这本质上是一个生成思考过程的过程。与仅在模型内部进行计算不同，我们还会在序列长度层面进行计算，让模型有更多的思考空间。因此，模型会开始提出假设、测试假设、调用一些工具来验证假设、进行搜索等。最后，模型可能会回顾整个思考过程，为用户提供一个明确的答案。 Matt Turck： 行业已经逐渐接受了这种通用思考范式。 Sebastian Bourgeaud： 是的。 Matt Turck： 你能谈谈这其中的智能体部分以及谷歌的“反重力”项目吗？你觉得它有趣的地方在哪里？人们应该了解些什么？ Sebastian Bourgeaud： 这大概就是我之前提到的与我自己工作相关的内容。 Matt Turck： 我觉得这很有趣。 Sebastian Bourgeaud： 我们日常的很多工作都是执行层面的，比如监控实验进程等。我认为智能体在这方面能够带来最大的影响。回到预训练的话题，我认为视觉感知方面对于智能体来说非常重要，因为现在我们要求模型能够与计算机屏幕进行交互。因此， 具备出色的屏幕理解能力至关重要，这也是预训练阶段的一个重要方面。 Mat t Tu rck： 在“反重力”项目中，有一个非常有趣的“氛围编程”概念——当你提出需求时，你甚至不需要清楚地说明具体要求，模型就能理解你的意图。这种“氛围”是预训练阶段的成果，还是后训练阶段的产物？如何将“氛围”融入模型中？ Sebastia n Bou rg eaud： 这是一个有趣的问题。我想如果你问五个不同的研究者，可能会得到五个不同的答案。人们还会提到“大型模型的质感”，比如GPT 4.5在这方面就有很明显的表现，大概大型模型在感觉上会有所不同。我不会用这些具体的术语来描述，但我认为“氛围”本质上与此相关。如今， 在很大程度上，预训练可能在模型的“感觉”方面发挥着更大的作用，而不仅仅是后训练。 对于“氛围编程”来说，我认为这可能更多地与强化学习规模化和后训练 相关，因为通过大量的数据训练，模型能够很好地完成这类任务。 行业趋势与未来展望：技术方向、应用挑战与人才建议 Matt Turck： 我们来稍微宏观地看待这个问题，作为对话的最后一部分。我很好奇行业的整体发展趋势。今年神经信息处理系统大会上讨论的一个核心主题是持续学习。我想了解你的看法，尤其是从预训练的角度来看。因为目前我们的范式是每隔几个月或几年，就会训练一个全新的大型基础模型。首先，什么是持续学习？其次，如果持续学习成为主流，这将对重新训练产生什么影响？ Sebastian Bourgea ud ： 持续学习本质上是指随着新知识的发现，不断用这些知识更新模型。 比如，明天出现了一项新的科学突破，而我们昨天训练的基础模型并不知道这项突破。在预训练方面，我认为过去几年已经取得了很大的进展，这主要体现在后训练和搜索方面。通过使用搜索工具进行搜索调用，模型可以获取这些新信息。从某种意义上说，这也正是我们之前谈到的Retro项目所做的事情——通过检索数据，尝试将知识语料库与推理部分分离开来。这是一方面。 另一方面，在预训练方面，这也与我之前提到的长上下文能力相关。 一种实现持续学习的方式是不断扩展用户的上下文，让模型在上下文中获取更多的信息，从而具备持续学习的能力。 但当然，这可能还需要一场更大的范式转变。也许这就是人们所讨论的：能否改变训练算法，让模型能够持续地从来自现实世界的数据流中进行学习。 Matt Turck： 除了持续学习，你认为当前研究中还有哪些热门、有趣或令人关注的方向？ Sebastian Bourgeaud： 正如我之前提到的，目前有很多小型的改进正在积累，这是推动行业进步的一个重要因素。历史上，这种方式一直是推动进展的主要动力，我相信未来也会继续如此。我之前提到的长上下文架构和长上下文研究是其中一个方面。在预训练方面，注意力机制也是一个重要的研究方向。此外，从无限数据到有限数据或数据有限模式的范式转变，也将带来很多变化和有趣的研究。这只是预训练领域的情况。 另一方面，如今使用这些模型的人数正在迅速增长。因此，我们在预训练阶段也需要更多地考虑模型的部署成本——模型的使用成本有多高，能否大规模部署。在预训练阶段，我们可以采取哪些措施来提升模型质量，同时降低部署成本、减少资源消耗，这也是一个非常有趣的方向。 Matt Turck： 对于正在收听这期播客的学生或博士生来说，如果他们希望在几年后成为像你这样的人，你认为他们应该思考或关注哪些问题？这些问题不是一两年内就能解决的，而是更具长远意义、更有趣的问题？ Sebastian Bourgeaud： 有一点变得越来越重要，那就是在进行研究的同时，要了解系统层面的知识。我们现在构建的系统非常复杂。因此， 能够理解从TPU到研究层面的整个技术栈是一种非常重要的能力。 因为这样你就能发现不同层级之间的差距，而这些差距可能是其他人没有注意到的。同时，你也能够全面地思考你的研究想法对整个TPU技术栈的影响。我认为，能够做到这一点的人通常会产生很大的影响力。因此，在专业方向上，应该关注研究型工程和系统方面的内容。我是模型研究的负责人，而不仅仅是纯粹的模型架构研究。这是一个方面。我个人仍然对我们在Retro项目中开始的检索研究非常感兴趣。我认为这个领域之前还不够成熟，但现在情况正在发生变化。我有理由相信，在未来几年内，类似Retro的技术可能会应用于像Gemini这样的顶尖模型中。 Matt Turck： 为什么之前这个领域不够成熟，而现在情况可能会发生变化？ Sebastian Bourgeaud： 我认为这与我之前提到的复杂性有关，同时也因为后训练阶段的迭代速度更快，能够更快地实现相关功能。正如我之前所说，通过后训练阶段的搜索和数据处理，我们可以以更简单的方式让模型获得类似的能力。随着后训练和强化学习规模化的发展，这种情况可能会再次发生转变，使更多的功能回归到预训练阶段。 Matt Turck： 你认为目前人工智能领域是否存在过度投资的领域？也就是那些在逻辑上并不合理，但行业却投入了大量资金的领域？ Sebastian Bourgeaud： 我认为现在情况已经好多了。大约两年前，我看到很多人还在试图创建专门的模型来解决那些通用模型在半年或一年内就能够解决