红杉 AI Ascent 2024 会议

红杉 AI Ascent 2024 会议 红杉 AI Ascent 2024 会议 我们现在已经到了能够将这种理解情境化的阶段。计算机将会查看词汇“多维”的并不仅仅是考虑到字母 a，而是理解提出这个词的完整上下文。令人惊奇的是，这个未来是如何我们人类思考的方式。我们不再将图像以死板的像素存储在计算机内存中。这不是我们的思考方式。我没有被教导把字母作为页面上一个像素的存在或缺失来理解。相反，我们将以一个概念的方式思考，这种方式在哲学上我们已经思考了几千年。 这里是我的希腊同胞，柏拉图，2500 年前，他说，我们所有人追求的、所有人努力实现的这个理想的概念形式，你有这个概念，比如一个字母 a，或者软件工程的概念，我们实际上能够围绕它构建一个模型。那么现在呢？我们讨论了第二种模式，即我们将在计算本身中有泛化的这个想法。这对我们每个人意味着什么呢？这对公司建设来说意味着很多。 今天我们已经将其集成到特定的流程和关键绩效指标 （KPIs） 中，Sonia 刚刚提到 Klarna 如何使用这一技术来加速他们在客户支持方面的 KPIs，他们知道，如果他们能够推动某些 KPIs，并且可以有一个实际检索信息、生成出色客户体验的系统。明天。这已经在发生了，将会有不同的用户界面，可能是支持实际被沟通的不同界面。我个人对此感到非常兴奋，因为在这个将概念呈现出来的未来中，因为在这个一切都被生成的未来中，最终整个公司可能开始像一个神经网络一样工作。 让我用一个具体的例子来详细说明。这是一个夸张的比喻，就像这个演讲中的一切一样，实际上，一切都是连续的。这些都是离散的。这是客户支持流程的一个夸张的描绘。你有客户服务部门，有特定的 KPIs。这些由文本、设备语言生成、客户个性化等驱动。这将馈入你正在优化的子模式、子树中。最终，你实际上会有一个完全连接的图。你实际上会从语言生成到最终的 KPIs，即客户服务，有反馈。这在某个时刻将成为一个抽象层，客户支持的管理、优化和改进将由神经网络完成。 现在让我们考虑独特客户，建立业务的另一个重要部分。再次，你有 AI 的基础元素，从语言生成到增长引擎，到广告定制和优化。这一切都将相互影响。再一次，强大的结论在于，这些抽象层最终将变得可互操作，以至于整个公司能够像一个神经网络一样运作。这就是一人公司崛起的时代，它将使我们不是做得更少，而是做得更多。更多的人能够解决问题，创造一个更好的社会。那么接下来会发生什么呢？ 现实是，这个房间里的人将决定接下来会发生什么。你们是正在建设这个未来的人。我们个人对未来非常兴奋，因为我们认为 AI 定位于帮助降低成本，提高生产力，在我们社会中一些最关键的领域实现更好的教育、更健康的人口、更高效的人口。 3. 《吴恩达红杉美国 AI 峰会谈 Agent Workflow 以及 4 种主流设计模式》 转自有新公众号：https://mp.weixin.qq.com/s/4ky OSLrHh2MxdT3AjqW1Q 今天分享的是吴恩达教授在美国红杉 AI 活动上关于 Agent 的最新趋势与洞察。吴恩达表示 Agent 工作流程与传统使用 LLM 的方式不同，它更加迭代和对话式。 目前，有 4 种主要的 Agent 设计模式，分别是： 1. Reflection：让 Agent 审视和修正自己生成的输出； 2. Tool Use：LLM 生成代码、调用 API 等进行实际操作； 3. Planning：让 Agent 分解复杂任务并按计划执行； 4. Multiagent Collaboration：多个 Agent 扮演不同角色合作完成任务； 这些设计模式目前还在快速发展中，有的比较成熟可靠，有的仍存在不确定性，但都展现了提高 AI 能力的潜力。 吴恩达认为，未来 AI Agent 能力将大幅扩展，我们需要学会将任务委托给 Agent 并耐心等待结果，而不是追求即时响应。另外，快速 token 生成也很重要，即使基于质量较低的 LLM，快速迭代生成新 token 也可能获得良好结果。 以下为这次分享的全部内容： 我期待与大家分享我对 AI Agent 所见到的东西，这是一个我认为每个人在构建 AI 时都应该注意的激动人心的趋势。同时，我也对所有其他的“接下来会发生什么”的展示感到兴奋。 AI Agent ，今天我们大多数人使用 LLM 的方式就像这样，通过一个非 Agent 性工作流程，你输入一个提示，它生成一个回答。这有点像如果你让一个人就某个话题写一篇论文，我说，请坐到键盘前，从头到尾不断地打字写完这篇论文，从不使用退格键。尽管这样做有多困难， LLM 却能做得出奇的好。 相比之下， Agent 性工作流程可能是这样的：让 AI 或 LLM 说，写一个论文大纲。你需要做任何网络研究吗？如果需要，让我们开始吧。然后写第一稿，然后阅读你自己的第一稿，思考哪些部分需要修改，然后修订你的草稿，你可以一遍又一遍地进行。因此，这个工作流程更加迭代，你可能让模型进行一些思考，然后修改文章，然后再思考，并通过多次迭代来完成这个过程。 许多人没有意识到的是，这样可以获得显著更好的结果。实际上，我自己也非常惊讶于对话工作流程的效果如何。我将在我的团队中做一个案例研究，使用几年前 OpenAI 发布的一个名为 Human Eval Benchmark 的编码基准来分析一些数据，但这有编码问题，比如给定非负整数列表，返回所有奇数元素或不均匀位置的总和。 结果是，像这样的代码片段。今天我们很多人会使用零次提示，意味着我们告诉 AI 写代码并在第一次尝试时运行它。说谁会那样编码？没有人会那样编码。我们只是打出代码并运行它。也许你可以。我做不到。结果是，如果你使用 GPT 3.5 零样本提示，它的正确率是 48%。 GPT 4 做得更好，正确率达到了 67.7%，但如果你围绕 GPT 3.5 使用一个 Agent 工作流程，实际上它的表现甚至比 GPT 4 还要好。如果你将这种类型的工作流程应用于 GPT 4，它也表现得非常好。你会注意到，GPT 3.5 与一个 Agent 工作流程相结合实际上超过了 GPT 4 的表现。 我认为这意味着，这对我们所有人构建应用程序的方式有着第二层次的影响。Agent 是一个经常被提及的术语和任务，有很多咨询报告讨论关于 Agent 、AI 的未来等等。 我们现在已经到了能够将这种理解情境化的阶段。计算机将会查看词汇“多维”的并不仅仅是考虑到字母 a，而是理解提出这个词的完整上下文。令人惊奇的是，这个未来是如何我们人类思考的方式。我们不再将图像以死板的像素存储在计算机内存中。这不是我们的思考方式。我没有被教导把字母作为页面上一个像素的存在或缺失来理解。相反，我们将以一个概念的方式思考，这种方式在哲学上我们已经思考了几千年。 这里是我的希腊同胞，柏拉图，2500 年前，他说，我们所有人追求的、所有人努力实现的这个理想的概念形式，你有这个概念，比如一个字母 a，或者软件工程的概念，我们实际上能够围绕它构建一个模型。那么现在呢？我们讨论了第二种模式，即我们将在计算本身中有泛化的这个想法。这对我们每个人意味着什么呢？这对公司建设来说意味着很多。 今天我们已经将其集成到特定的流程和关键绩效指标 （KPIs） 中，Sonia 刚刚提到 Klarna 如何使用这一技术来加速他们在客户支持方面的 KPIs，他们知道，如果他们能够推动某些 KPIs，并且可以有一个实际检索信息、生成出色客户体验的系统。明天。这已经在发生了，将会有不同的用户界面，可能是支持实际被沟通的不同界面。我个人对此感到非常兴奋，因为在这个将概念呈现出来的未来中，因为在这个一切都被生成的未来中，最终整个公司可能开始像一个神经网络一样工作。 让我用一个具体的例子来详细说明。这是一个夸张的比喻，就像这个演讲中的一切一样，实际上，一切都是连续的。这些都是离散的。这是客户支持流程的一个夸张的描绘。你有客户服务部门，有特定的 KPIs。这些由文本、设备语言生成、客户个性化等驱动。这将馈入你正在优化的子模式、子树中。最终，你实际上会有一个完全连接的图。你实际上会从语言生成到最终的 KPIs，即客户服务，有反馈。这在某个时刻将成为一个抽象层，客户支持的管理、优化和改进将由神经网络完成。 现在让我们考虑独特客户，建立业务的另一个重要部分。再次，你有 AI 的基础元素，从语言生成到增长引擎，到广告定制和优化。这一切都将相互影响。再一次，强大的结论在于，这些抽象层最终将变得可互操作，以至于整个公司能够像一个神经网络一样运作。这就是一人公司崛起的时代，它将使我们不是做得更少，而是做得更多。更多的人能够解决问题，创造一个更好的社会。那么接下来会发生什么呢？ 现实是，这个房间里的人将决定接下来会发生什么。你们是正在建设这个未来的人。我们个人对未来非常兴奋，因为我们认为 AI 定位于帮助降低成本，提高生产力，在我们社会中一些最关键的领域实现更好的教育、更健康的人口、更高效的人口。 3. 《吴恩达红杉美国 AI 峰会谈 Agent Workflow 以及 4 种主流设计模式》 转自有新公众号：https://mp.weixin.qq.com/s/4ky OSLrHh2MxdT3AjqW1Q 今天分享的是吴恩达教授在美国红杉 AI 活动上关于 Agent 的最新趋势与洞察。吴恩达表示 Agent 工作流程与传统使用 LLM 的方式不同，它更加迭代和对话式。 目前，有 4 种主要的 Agent 设计模式，分别是： 1. Reflection：让 Agent 审视和修正自己生成的输出； 2. Tool Use：LLM 生成代码、调用 API 等进行实际操作； 3. Planning：让 Agent 分解复杂任务并按计划执行； 4. Multiagent Collaboration：多个 Agent 扮演不同角色合作完成任务； 这些设计模式目前还在快速发展中，有的比较成熟可靠，有的仍存在不确定性，但都展现了提高 AI 能力的潜力。 吴恩达认为，未来 AI Agent 能力将大幅扩展，我们需要学会将任务委托给 Agent 并耐心等待结果，而不是追求即时响应。另外，快速 token 生成也很重要，即使基于质量较低的 LLM，快速迭代生成新 token 也可能获得良好结果。 以下为这次分享的全部内容： 我期待与大家分享我对 AI Agent 所见到的东西，这是一个我认为每个人在构建 AI 时都应该注意的激动人心的趋势。同时，我也对所有其他的“接下来会发生什么”的展示感到兴奋。 AI Agent ，今天我们大多数人使用 LLM 的方式就像这样，通过一个非 Agent 性工作流程，你输入一个提示，它生成一个回答。这有点像如果你让一个人就某个话题写一篇论文，我说，请坐到键盘前，从头到尾不断地打字写完这篇论文，从不使用退格键。尽管这样做有多困难， LLM 却能做得出奇的好。 相比之下， Agent 性工作流程可能是这样的：让 AI 或 LLM 说，写一个论文大纲。你需要做任何网络研究吗？如果需要，让我们开始吧。然后写第一稿，然后阅读你自己的第一稿，思考哪些部分需要修改，然后修订你的草稿，你可以一遍又一遍地进行。因此，这个工作流程更加迭代，你可能让模型进行一些思考，然后修改文章，然后再思考，并通过多次迭代来完成这个过程。 许多人没有意识到的是，这样可以获得显著更好的结果。实际上，我自己也非常惊讶于对话工作流程的效果如何。我将在我的团队中做一个案例研究，使用几年前 OpenAI 发布的一个名为 Human Eval Benchmark 的编码基准来分析一些数据，但这有编码问题，比如给定非负整数列表，返回所有奇数元素或不均匀位置的总和。 结果是，像这样的代码片段。今天我们很多人会使用零次提示，意味着我们告诉 AI 写代码并在第一次尝试时运行它。说谁会那样编码？没有人会那样编码。我们只是打出代码并运行它。也许你可以。我做不到。结果是，如果你使用 GPT 3.5 零样本提示，它的正确率是 48%。 GPT 4 做得更好，正确率达到了 67.7%，但如果你围绕 GPT 3.5 使用一个 Agent 工作流程，实际上它的表现甚至比 GPT 4 还要好。如果你将这种类型的工作流程应用于 GPT 4，它也表现得非常好。你会注意到，GPT 3.5 与一个 Agent 工作流程相结合实际上超过了 GPT 4 的表现。 我认为这意味着，这对我们所有人构建应用程序的方式有着第二层次的影响。Agent 是一个经常被提及的术语和任务，有很多咨询报告讨论关于 Agent 、AI 的未来等等。 我认为这更多是一个新兴的领域，当我使用它们时，有时候我对它们的表现感到惊讶，但至少在此刻，我感觉我不能总是可靠地让它们工作。让我通过几个方面来讲解这四种设计模式。如果你们中的一些人回去自己尝试，或者让你们的工程师使用这些，我认为你们会很快获得生产力的提升。 关于 Reflection，这里有个例子。比方说我让一个系统为我写代码完成一个给定的任务。然后我们有一个编码 Agent ，只是一个你提示写代码的 LLM ，比如说，“嘿，定义 doTask，像这样写一个函数。” 自我 Reflection 的一个例子可能是，如果你然后用类似这样的提示对 LLM 进行提示：“这里有一段代码是为了完成一个任务，只是把它们刚刚生成的完全相同的代码给它，然后说，仔细检查代码的正确性、效率、构造是否良好。只需要像这样写一个提示。” 结果可能是，你提示写代码的同一个 LLM ，可能能够发现诸如第 5 行的这个错误，并通过某种方式修复它。如果你现在拿它自己的反馈给它，并重新提示它，它可能会得出一个第二版本的代码，这个版本的代码可能比第一版本工作得更好。 不保证，但它经常足够有效，对很多应用来说值得一试，预示着如果你让它运行单元测试，如果它未通过单元测试，那么为什么会未通过单元测试？有那样的对话或许能弄清楚为什么未通过单元测试。所以试着改变一些东西，可能得到第三版本。 顺便说一下，对于那些想要了解更多这些技术的人，我对它们感到非常兴奋，对于四个部分中的每一个，我都在底部有一个推荐阅读部分，那里，包含了更多的参考资料。 再次预示，多 Agent 系统，我描述的是一个单独的代码 Agent ，你提示它进行自我对话。这个想法的一个自然演化是，不是一个单独的代码 Agent ，你可以有两个 Agent ，其中一个是代码 Agent ，另一个是反思 Agent 。这些可以是相同的基础 LLM ，但以不同的方式进行提示。我们说一个，你是专家级的代码撰写者，对吧？写代码。另一个说，你是专家级的代码审查者，审查这段代码。 这种工作流实际上很容易实现。我认为这是一种非常通用的技术，对许多工作流程而言。这将显著提高 LLM 的性能。 2.Tool Use 第二种设计模式是许多人已经看到的，基于 LLM 的系统使用的工具，左边是一个来自 Copilot 的截图。右边是我从 GPT 4 中提取的东西，但今天的 LLM ，如果你问它，什么是网上搜索中最好的咖啡机，对某些问题， LLM 会生成代码并运行代码。事实证明，有很多不同的工具被许多不同的人用于分析、获取信息、采取行动、个人生产力。 早期的工作转向使用，原来是在计算机视觉社区。因为在 LLM 之前，它们无法处理图像。所以唯一的选择是生成一个可以操纵图像的函数调用，比如生成一个图像或进行对象检测等。如果你实际上看看文献，很有趣的是，很多在使用方面的工作似乎都起源于视觉领域，因为在 GPT 4 等出现之前， LLM 对图像是盲目的，这就是使用，并扩展了 LLM 可以做的事情。 3.Planning 然后是规划，对于那些还没有大量玩过规划算法的人，我感觉很多人谈论 ChatGPT 时刻，你会惊叹，从未见过这样的东西。我认为你还没有使用规划算法。许多人会对 AI Agent 有种惊讶的感觉。 我无法想象 AI Agent 能做得这么好。我进行过实时演示，其中一些失败了，AI Agent 绕过了这些失败。我实际上遇到了不少这样的情况，是的，我无法相信我的 AI 系统刚刚自主地做到了那一点。 但一个从 HuggingGPT 论文中改编的例子，你说，请生成一张图片，图片中的女孩在读书，而且与图像example.jpg中的男孩姿势相同，请用语音描述新图像。所以给出这样一个例子，今天有 AI Agent ，你可以决定首先需要做的是确定男孩的姿势。然后，找到正确的模型，可能在 HuggingFace 上提取姿势。接下来需要找到姿势图像模型来合成一张女孩的图片，遵循指令。然后使用图像检测，最后使用文本到语音。 今天我们实际上有 Agent ，我不想说它们工作得很可靠，它们有点挑剔。它们不总是工作，但当它工作时，实际上相当了不起，但有了 Agent 循环，有时你也可以从早期的失败中恢复过来。所以我发现我已经在使用研究 Agent 。所以我的一些工作，一部分研究，但我不觉得，自己去谷歌搜索并花很长时间。我应该发送给研究 Agent ，几分钟后回来看看它找到了什么，有时它有效，有时没有，但这已经是我的个人工作流程的一部分了。 4.Multiagent Collaboration 最后一个设计模式，多 Agent 合作，这个，听起来很有趣，但它的效果比你可能想象的要好得多。左边是一篇名为 ChatDev 的论文的截图，这完全是开源的，实际上是开源的。你们许多人看到了，闪亮的社交 ChatDev 是开源的，在我的笔记本电脑上运行。ChatDev 是一个多 Agent 系统的示例，你可以提示一个 LLM 有时表现得像软件工程公司的 CEO，有时像设计师，有时像产品经理，有时像测试人员。 通过提示 LLM 告诉它现在你是 CEO，现在你是软件工程师，它们合作，进行扩展的对话，以至于如果你告诉它，请开发一个游戏，开发一个多人游戏，它们实际上会花费几分钟编写代码，测试它，迭代它，并最终生成一个出人意料的复杂程序。 这种多 Agent 合作听起来可能有些奇特，但实际上它的效果比你可能想象的要好。这不仅仅是因为这些 Agent 之间的合作能够带来更加丰富和多样的输入，而且因为它能够模拟出一个更加接近真实工作环境的场景，其中不同角色和专业知识的人员为了共同的目标而努力。这种方式的强大之处在于它能够让 LLM 不仅仅是执行单一任务的工具，而是成为一个能够处理复杂问题和工作流程的协作系统。 这种方法的潜在价值巨大，因为它为自动化和提升工作流程的效率提供了新的可能性。例如，通过模拟一个软件开发团队的不同角色，一个企业可以自动化某些开发任务，从而加快项目的进度并减少错误。同样，这种多 Agent 合作方式也可以应用于其他领域，如内容创作、教育和培训、以及策略规划等，进一步拓宽 LLM 在各个行业的应用范围。 总结 总之，通过 Agent 反思、规划与多 Agent 合作等设计模式，我们不仅能够提升 LLM 的性能，还能够拓展它们的应用领域，使它们成为更加强大和灵活的工具。随着这些技术的不断发展和完善，我们期待着未来 AI Agent 能够在更多的场景中发挥关键作用，为人们带来更加智能和高效的解决方案。 它并不总是有效。有时候它不起作用，有时候它令人惊讶，但这项技术确实在变得更好。还有一个设计模式，事实证明，多 Agent 辩论，即不同 Agent 之间的辩论，例如，可以让 ChatGPT 和 Gemini 互相辩论，这实际上也能带来更好的表现。 因此，让多个模拟的空气 Agent 一起工作也是一个强大的设计模式。总结一下，我认为这些是我见过的模式。我认为，如果我们能够使用这些模式，我们中的许多人可以很快实现实践上的提升。我认为， Agent 推理设计模式将会很重要。 这是我的简短总结幻灯片。我预计，因为 Agent 工作流，AI 能做的任务将在今年大幅扩展。一个实际上让人难以习惯的事情是，当我们向 LLM 发出提示时，我们希望立即得到回应。实际上，十年前当我在 Google 讨论我们称之为大框搜索时，输入长提示的原因之一，我未能成功推动的原因之一是因为当你进行网络搜索时，你希望在半秒钟内得到回应，对吧？这就是人性，即时抓取，即时反馈。 对于许多 Agent 工作流，我认为我们需要学会将任务委托给 AI Agent ，并耐心等待几分钟，甚至几小时以获得回应，但就像我见过许多新手经理将任务委托给某人，然后五分钟后检查一样，对吧？这不是生产性的。 我认为我们也需要学会这样做，与我们的一些 AI Agent 打交道，虽然这很难。我以为我听到了一些损失。然后一个重要趋势是，快速 token 生成器很重要，因为在这些 Agent 工作流中，我们不断迭代。所以 LLM 为 LLM 生成 token ，能够以远超任何人阅读速度的速度生成 token 是非常棒的。 我认为，即使是来自稍微低质量的 LLM ，快速生成更多 token 也可能与来自更好 LLM 的慢 token 相比，获得好的结果。这可能有点争议，因为它可能让你更多次地绕这个循环，有点像我在第一张幻灯片上展示的 GPDC 和一个 Agent 架构的结果。 坦率地说，我非常期待 Claude5 和 Claude4，GPT 5 和 Gemini 2.0 以及所有这些你们正在构建的精彩模型。我部分感觉，如果你期待在 GPT 5 上运行你的东西，零样本提示，你可能真的会在某些应用上获得比你想象的更接近那种水平的表现，通过 Agent 推理，但在一个早期模型上，我认为，这是一个重要趋势。 老实说，通往 AGI 之路感觉像是一次旅程而非一个目的地，但我认为这种 Agent 工作流程可能帮助我们在这个非常长的旅程上向前迈出一小步。 红杉资本召集了人工智能领域的领导者，进行了一天的对话、演讲和演示。 会议地址：https://sequoiacap.com/article/ai ascent 2024/ 红杉资本召集了人工智能领域的领导者，进行了一天的对话、演讲和演示。 会议地址：https://sequoiacap.com/article/ai ascent 2024/ 3 月 20 日，红杉在旧金山举办了第二届 AI Ascent 活动，汇聚了 100 名人工智能领域的领先创始人和研究人员，讨论合作伙伴帕特·格雷迪 （Pat Grady） 所说的“人类有史以来最伟大的价值创造机会”。合伙人索尼娅·黄 （Sonya Huang） 为生成式人工智能 （Generative AI） 彻底改变行业并提供惊人的生产力提升的承诺如何开始成为人们关注的焦点奠定了基础。合伙人康斯坦丁·布勒 （Konstantine Buhler） 展望了人工智能将如何融入未来的公司。 在这一天中，红杉与人工智能领导者进行了交谈，包括 OpenAI 的 Sam Altman、Figma 的 Dylan Field、Mistral 的 Alfred Mensch、Anthropic 的 Daniela Amodei、AI Fund 的 吴恩达（Andrew Ng） 、ServiceNow 的 CJ Desai 和独立研究员 Andrej Karpathy 。会谈内容涵盖大型和小型模型的优点、推理 Agents 的兴起、计算的未来以及不断发展的人工智能生态系统。 下面是会议的几个公开视频： 转自 有新（欢迎订阅有新 Newin）： 1. 《Andrej Karpathy 美国红杉资本最新对谈，达到 AGI 或需全新架构》 Andrej Karpathy 美国红杉资本最新对谈，达到 AGI 或需全新架构 这是 OpenAI 创始成员、前 Tesla AI 高级总监 Andrej Karpathy 在美国红杉资本 AI Ascent 活动上与投资人 Stephanie Zhan 的最新对话，到场的还有硅谷知名的其它 AI 独角兽公司与早期投资人。 Andrej Karpathy 早年师从于 Jeff Hinton 以及李飞飞，他的成名作是在斯坦福的深度学习课程，并在 2015 年共同创立了 OpenAI ，随后受 Elon 邀请加入 Tesla AI 团队。在这场美国红杉的活动上，Andrej 分享了构建更加开放和充满活力的 AI 生态系统的重要性，与 Elon Musk 合作的感觉，以及我们如何利用 AI 让构建事物变得更加容易......以下是 Andrej 这次对谈的全部内容： 回到共同创立 OpenAI 的时光，你最喜欢的时刻是什么？ 就在那里，第一个办公室，之前可能是在 Greg 的公寓里，也许这不算。我们可能在这里待了大约两年，而巧克力工厂就在楼下，所以总是闻起来很香。我想团队大概是 10、20 个人左右。我们在这里有过一些非常有趣的经历，其中一个是 Jensen 在 GTC 上暗示的，就在昨天或前天。Jensen 描述了他是如何带来第一个 DGX，并将其交付给 OpenAI 的。就是发生在那里的，我们都在那边房间签字。 即使在七年前， AGI 似乎也是一个极其不可能实现的任务，甚至在我们一生中。现在它似乎近在眼前。你对未来十年的看法是什么？ 我想几年前，我觉得 AGI 并不清楚它会如何实现。这非常学术化，你会考虑不同的方法，而现在情况很明朗，有很多空间，每个人都在试图填补这个空间，有很多的优化。 大致上，事情发展的方式是每个人都在尝试构建我称之为 LLMs 的东西。基本上我喜欢把它看作是一个操作系统，你必须获得一堆基本的外设，将它们连接到这个新的 CPU 或类似的东西上。外设当然包括文本、图像、音频和所有的模态。然后你有一个 CPU ，即 LLM Transformer 本身，然后它也连接到我们已经为自己建立起来的所有 Software 1.0 Infra 。 每个人都在尝试构建类似的东西，然后将其作为一种可定制的东西提供给经济的所有不同角落。大致上每个人都在努力构建这样的东西。整体上，它的发展方向是我们可以启动和关闭这些相对独立的 Agent ，我们可以给它们提供高层次的任务，并在各种方面进行专业化。这将会是非常有趣和令人兴奋的，而且不只是一个 Agent ，而是许多 Agent。 如果未来的这种看法是正确的，我们应该怎样改变我们的生活方式呢？ 我不知道。我猜我们必须试图去构建它，影响它，确保它是好的。只是尽力确保它能够良好地发展。 我想谈一下大家都在谈论的问题，那就是 OpenAI 正在主导生态系统。今天这里的大多数观众都是创始人，他们试图创造一个小的利基，祈祷 OpenAI 不会一夜之间把他们干掉。你认为其他玩家在哪些领域存在建立新独立公司的机会？而 OpenAI 将在哪些领域继续主导，即使它的野心在增长？ 基本上是 OpenAI 正在努力构建这个 LLMs 操作系统，就像我们今天早些时候听到的一样，它正试图开发这个平台，上面可以安置不同行业的不同公司。 现在，操作系统的类比也非常有趣，因为当你看到像 Windows 之类的东西时，这些也是操作系统，它们附带一些默认的 App，就像浏览器随 Windows 一起提供，你可以使用 Edge 浏览器。 以同样的方式， OpenAI 或任何其他公司可能会推出一些默认的 App，打引号说，但这并不意味着你不能有不同的浏览器在其上运行，就像不同的聊天 Agent 在那个 Infra 上运行一样。因此，可能会有一些默认的 App，但也可能会有一个繁荣的生态系统，其中包含各种调整到经济的不同角落的应用程序。我真的很喜欢早期 iPhone 应用的类比以及它们的样子。它们都有点像笑话，需要时间才能发展。 我绝对认同，我们现在正在经历同样的事情。人们正在努力弄清楚这个东西擅长什么？它不擅长什么？我该如何使用它？我该如何编程？我该如何调试？我该如何实际执行真正的任务？以及什么样的监督？因为它相当自主，但又不是完全自主。那么监督是什么样的？评估又是什么样的？有许多事情需要考虑，并且要了解它的心理学。这需要一些时间来确切地了解如何使用这个 Infra ，我们会在接下来的几年里看到这一点。 目前， LLMs 、 OpenAI 、Anthropic、Mistral、Llama、Gemini 以及整个开源模型生态系统，现在有一整套小模型的长尾。你如何预见生态系统的未来发展？ 再次，操作系统的类比很有趣，比如说，我们基本上有几个专有系统的寡头，比如说 Windows 、MacOS 等等。然后我们也有 Linux ，而 Linux 有无穷无尽的发行版，我想也许它会看起来有点像那样。 我也认为我们在命名方面要小心，因为你列出的很多，比如 Llama、Mistral 等等，我其实不会说它们是开源的，所以就像将一个二进制文件扔给一个操作系统一样，你可以用它工作。它有用，但不是完全有用。 还有一些上限，完全开源的 LLM 会更好一些，他们完全公开了编译操作系统所需的全部 Infra ，从数据中训练模型、收集数据等等。当你只是得到一个二进制文件时，当然会更好，因为你可以 finetune 模型，这是有用的，但这有点微妙，但你不能完全 finetune 模型，因为你 finetune 模型越多，它就越可能在其他方面退化。 实际上，如果你想增加功能，你不想减弱其他功能，你可能会想在以前的数据集分布和新的数据集分布之间进行某种混合训练，因为你不想减弱以前的分布，你应该增加知识。如果你只给出权重，你就做不到这一点，你需要训练循环，你需要数据集等等。 你实际上在如何使用这些模型方面受到了限制。再次，它肯定是有帮助的，但我们需要稍微更好的语言来描述它。有开放权重模型、开源模型，然后是专有模型，我想这可能是生态系统。可能它看起来会与我们今天拥有的非常相似。 另一个我想谈的是规模。简单地说，规模似乎是唯一重要的，数据规模，计算规模。因此，大型研究实验室、大型科技巨头如今拥有巨大的优势。你对此持什么看法？这难道就是全部吗？如果不是，还有什么其他因素？ 我会说规模绝对是第一位的。我确实认为在那里有细节需要处理。很多也涉及到数据集的准备等等，使其非常好和干净，等等，那非常重要，这些都是你可以获得的计算效率提升。有数据、算法，然后当然，模型的训练，使其变得非常庞大。 规模将是主要的决定因素，确实是第一个原则性组成部分，但还有许多其他你需要做对的事情，这就像规模设置了某种速度限制，但你确实需要一些其他的东西，但如果你没有规模，那么你基本上就无法训练一些庞大的模型。 如果你只是进行 finetune 等训练模型，那么也许规模要求就不那么高，但是，我们还没有真正看到这种情况完全实现。 你能分享更多你认为同样重要但在规模之后的一些因素吗？ 首先是，你不能只是训练这些模型。如果你只给了钱和规模，实际上要构建这些模型仍然非常困难。部分原因是 Infra 还是很新的，还在发展中，还没有完全成熟，但是在规模上训练这些模型非常困难，它是一个非常复杂的分布式优化问题。 目前这方面的人才还相对稀缺。基本上变成了这种疯狂的事情，在数以万计的 GPU 上运行，所有这些 GPU 在不同时间点都会随机出现故障，监控和让它正常运行实际上是一个非常困难的挑战。 直到最近， GPU 并不是为像万级的 GPU 工作负载而设计的。很多 Infra 都在这种压力下发出了吱吱声，我们需要解决这个问题。现在，如果你只是给某人大量资金或大量规模或大量 GPU ，我不确定他们是否可以轻松制造出这样的模型，这就是为什么，这不仅仅是规模的问题。 你实际上需要大量的专业知识，无论是 Infra 方面、算法方面，还是数据方面，都需要小心处理。这些是主要的组成部分。 生态系统发展如此迅速，即使我们一年前认为存在的一些挑战也越来越多地得到了解决。幻觉、上下文、窗口、多模态能力、推理能力都在变得更好、更快、更便宜。在你看来，今天 LLM 研究面临的让你夜不能寐的挑战是什么？你认为哪些问题是即时的但也是可解决的，我们可以继续努力解决的？ 在算法方面，我正在思考的一个问题是扩散模型和自回归模型之间的明显分歧。它们都是表示概率分布的方式，事实证明，不同的情景似乎对其中一种方式更适合。可能有一些空间可以将它们统一起来，或者以某种方式将它们连接起来。还有一些最佳方案，或者找出如何得到混合架构之类的东西。 对我来说，有些奇怪的是，我们在模型空间中有两个单独的点，它们都非常好。我觉得有些不对劲，中间什么都没有。我们会看到这个空间被挖掘出来，那里有一些有趣的问题。还有可能我会指出的另一件事是，在运行所有这些东西的能量效率方面仍然存在巨大的差距。 我的大脑大约是 20 瓦。Jensen 刚在 GTC 上谈到了他们即将建造的庞大超级计算机。现在，这些数字是以兆瓦为单位的，也许你不需要那么多来运行一个大脑。我不知道你确切需要多少，但可以肯定地说，我们的能源效率可能低了一千到一百万倍。因为我们设计的计算机只是不适合这样的工作负载。 英伟达 GPU 在这方面是一个不错的方向，因为你需要极高的并行性。我们实际上并不关心某种程度上顺序计算，这种计算在某种程度上是数据相关的。我们只需要将相同的算法传播到许多不同的数组元素或者某种程度上进行操作。 所以我会说，第一点是将计算机架构调整到新的数据工作流。第二点是在一些我们目前正在看到改进的领域上继续努力。也许第一点可能是精度。我们看到精度从最初的 64 位双精度降低到，我不知道是 4、5、6 或者甚至 1.58，这取决于你读哪些论文，精度是一个重要的杠杆。 然后第二个杠杆当然是稀疏性。这也是另一个重要的差距。就像你的大脑并不总是完全激活一样。稀疏性是另一个重要的杠杆，但是最后一个杠杆，我也觉得，就是冯·诺依曼体系结构，以及它们构建计算机的方式，你正在将数据在内存和处理器之间来回传递，处理器在做所有的计算。 这都是有问题的，有些是因为你的大脑是如何工作的，这也是为什么它效率如此高的原因。现在是计算机架构非常令人兴奋的时候。我不是计算机架构师，但，似乎我们的效率低了一千到一百万倍，或者是这个数量级。应该有非常令人兴奋的创新可以将其降低。 你曾与我们这一代的许多伟大人物一起工作过。Sam、Greg 以及 OpenAI 团队的其他成员，还有 Elon Musk。Elon 分享了构建文化和团队方面的许多哲学，一个有关划船队的美国队与日本队的笑话，假设你有两个队，日本队有 4 名划手和 1 名舵手，而美国队有 4 名舵手和 1 名划手，有人猜到美国队何时失败吗？也就是他们解雇了划手。Elon 分享了这个例子，这是他思考如何招聘合适的人员、构建合适的团队的一种反映，从与这些不可思议的领导者密切合作中，你学到了什么？ Elon 经营这家公司的方式非常独特。我实际上认为人们不太能够理解这种独特性。你甚至阅读了很多关于他的东西，仍然无法理解，这很难描述。我甚至不知道从哪里开始，但这是一个非常独特、不同寻常的事情。 我喜欢说他不经营最大的初创公司，这是一种...我甚至不知道如何描述。我觉得我需要花更多的时间去思考，但第一点是，他喜欢非常小、强大、高度技术化的团队。 在公司中，通常情况下，团队会成长壮大。Elon 一直都是对增长持反对态度的力量，我必须努力招聘人才，基本上是乞求才能雇佣人才，而且另一件事是，通常情况下，在大公司中，你很难摆脱低绩效者。 Elon 对默认情况下剔除低绩效者非常友好。实际上，我不得不为了留住人才而努力。因为他默认情况下会想要解雇人员，这是一件事情，保持一个小、强大、高度技术化的团队，没有非技术的中层管理。 第二点是这个公司的运作方式和氛围，当他走进办公室时的感觉，他希望这是一个充满活力的地方，人们在走来走去，他们在忙碌地工作，他们在绘制某些东西，他们在编码，他不喜欢停滞，他不希望看起来像那样，他不喜欢大型会议。 总是鼓励人们如果会议没用就离开。 你实际上确实可以看到这一点，或者你知道这是一个大型会议，有些人如果你既不贡献也不学习，就离开。这是完全鼓励的，这是你不经常看到的。氛围是第二个重要的杠杆，他在文化上真正灌输了这一点。也许这其中的一部分也是因为很多变得更大的公司，他们会宠爱员工。这种情况要少得多。文化上你在那里是为了做最好