Anthropic联合创始人：AI的“扩展法则”与通往人类级智能的可预测之路 | 附全文1.5万字+视频

Anthropic联合创始人：AI的“扩展法则”与通往人类级智能的可预测之路 | 附全文1.5万字+视频 Anthropic联合创始人：AI的“扩展法则”与通往人类级智能的可预测之路 | 附全文1.5万字+视频 Modified July 31, 2025 No access 731 1 00:00 但我想最后，我认为规模法则所描绘的图景是一种渐进式进步。所以我认为你将在Claude中看到的是，随着每次发布，它在许多不同的方面都在稳步改进。但我认为，扩展实际上暗示了一种平滑的曲线，朝着我所期望的那种人类水平的人工智能或通用人工智能发展。这里有很多观众会为此感到兴奋的特殊功能吗？ 主持人 : 您可以提供一些测试版，一些alpha泄露，让大家了解您认为人们会喜欢的新API的哪些方面。 贾里德 : 我认为我最兴奋的事情是解锁越来越长的任务时间跨度。我认为随着时间的推移，我们将看到Claude作为一个可以承担越来越大的工作量的协作者。 主持人 : 这就是您所说的，所有这些未来的模型都能够承担越来越大的任务。现在，它们能够完成以小时为单位的任务了吗？ 贾里德 : 是的，我认为是这样。我认为这是一个非常不精确的衡量标准。但我想现在，如果你看看软件工程任务，我认为Meter确实对人们完成各种任务所需的时间进行了基准测试。是的，我认为这是以小时为单位的时间尺度。我认为就像人们广泛地使用人工智能一样，我对人工智能持怀疑态度的人会正确地说，人工智能会犯很多愚蠢的错误。它可以做一些绝对精彩并让你感到惊讶的事情，但它也可能犯一些基本错误。我认为人工智能的一个基本特征，即人工智能的形态与人类智能的不同之处在于，有很多事情我做不了，但我至少可以判断它们是否做得正确。我认为对于人工智能来说，判断与生成能力更为接近，这意味着我认为人们在与人工智能交互中可以发挥的主要作用是充当管理者来理智地检查工作。 主持人 : 这非常有趣，因为我们在YC去年的批次中观察到的一件事是，很多公司在推出和销售产品时，仍然更多地将其作为副驾驶来销售，比如你会有一个客户支持的副驾驶，在你发送给客户回复之前，仍然需要最后的人工批准。但我认为仅在春季批次中就发生了一件事变化，我认为很多AI模型非常有能力端到端地完成任务，正如你所说，这非常了不起。创始人现在直接销售完全工作流程的替代品。你如何看待这转化为你希望这里的听众构建的东西？ 贾里德 : 我认为有很多可能性。基本上，这是一个关于什么程度的成功或表现是可以接受的问题。有些任务达到大约70%的正确率就足够了，而另一些任务则需要达到99.9%才能部署。我认为老实说，我认为为70 80%就足够的使用案例构建可能更有趣，因为那样你才能真正触及人工智能能力的边界。但我认为我们也在努力提高可靠性。我认为我们将看到越来越多的这类任务。我认为目前，人机协作将是最有趣的地方，因为我认为对于最先进的任务，你真的需要在环中有人。但我确实认为，从长远来看，会有越来越多的任务可以完全自动化。 主持人 : 你能详细说说你认为在这种人与人工智能循环协作中，世界会是什么样子吗？因为达里奥的《爱与恩典的机器》一文描绘了一幅非常乐观的图景。我们如何通过这个循环实现这一目标，具体细节是什么？ 贾里 德 : 我认为我们已经看到一些这样的情况发生了。至少当我和在生物医学研究领域工作的人交谈时，通过适当的协调，我认为现在有可能利用前沿人工智能模型，为药物发现等领域产生有趣且有价值的见解。所以我认为这已经开始发生了。我想其中一个我思考过的方面是，有些智能需要大量的深度，而有些智能需要大量的广度。例如，在数学中，你可以花十年时间来试图证明一个定理，比如黎曼猜想或费马大定理。我认为这有点像解决一个非常具体、非常困难的问题。我认为在很多科学领域，可能在生物学中更多，也许有趣的是在心理学或历史学中，将非常非常大量的、来自许多不同领域的信息整合起来才是关键。我认为人工智能模型在预训练阶段吸收了人类文明的所有知识。因此，我怀疑利用人工智能的这种特性，即它比任何一位人类专家知道得多得多，可以收获很多成果。因此，你可以通过整合许多不同的专业领域，比如在生物学领域，来获取研究的见解。 所以我认为我们在使人工智能更擅长更深层次的任务方面取得了很大进展，比如解决硬编码问题，解决困难的数学问题。但我怀疑在某些领域存在特殊的悬而未决的问题，在这些领域，整合可能没有人类专家拥有的知识，这种智能非常有用。所以我认为这是我期望看到的更多的事情，即利用人工智能的知识广度。 至于它将如何具体展开，我真的不知道。预测未来真的非常非常困难。规模法则为你提供了一种预测未来的方法，它表明这种趋势将会持续下去。我认为我们从长远来看看到的很多趋势，我期望它们会继续下去。我的意思是，经济、国内生产总值，这些类型的趋势是真正可靠的未来指标。但我认为就细节而言，事情将如何实施，我认为这真的非常非常难说。 主持人 : 你认为是否有更多开发者可以进入并使用这些新模型构建的具体领域？我的意思是，对于编码任务，已经完成了很多工作。但是，有哪些任务具有更多的新领域，并且正在被当前的模型解锁？ 贾里德 : 我来自研究背景，而不是商业背景。所以我不知道我有什么特别深刻的见解。但我认为总的来说，任何需要大量技能的地方，并且这项任务主要涉及坐在电脑前，与数据交互。我认为金融行业，那些经常使用Excel表格的人。我认为我期望法律行业也会受到影响，尽管也许法律行业受到更多的监管，需要更多的专业知识作为认可。但我认为所有这些领域都可能是新领域。我认为我提到的另一点是，我们如何将人工智能整合到现有业务中？我认为，当电力出现时，有一个很长的采用周期。而且，比如说，使用电的最早、最简单的方式不一定就是最好的。你想要的不仅仅是用电动机来取代蒸汽机。你想要某种程度上重塑工厂的运作方式。而且我认为，尽可能快地利用人工智能将其整合到经济的各个部分，我预计这里面蕴藏着巨大的潜力。 主持人 : 现在，另一个问题是，你接受过广泛的物理学训练，而且你是最早真正观察到这种规模法则趋势的人之一。这可能源于你是一名物理学家，并且看到了自然界中自然发生的所有这些指数现象。这种训练对于你在人工智能领域进行世界一流的研究有何帮助？ 贾里德 : 我认为从物理学的角度来看，有用的地方在于寻找最大的图景，最宏观的趋势，然后试图使它们尽可能精确。所以，我记得遇到过一些杰出的人工智能研究人员，他们会说诸如“学习正在呈指数级收敛”之类的话。我只会问一些非常愚蠢的问题，比如，你确定它是指数级的吗？这会不会仅仅是幂律？它是二次的吗？这东西到底是如何收敛的？而且这是一个非常愚蠢、简单的问题。但基本上，我认为在尽可能精确地把握你所看到的大趋势方面，有很多成果可以摘取，而且可能仍然有很多。因为那会给你提供很多工具，我不知道。它允许你问，真正推动变革意味着什么？我认为对于缩放定律，最重要的目标是找到一个更好的缩放定律斜率。因为这意味着当你投入更多的计算资源时，你将比其他AI开发者获得越来越大的优势。但在你精确地把握你所看到的趋势之前，你不知道击败它到底意味着什么，你能击败它多少，以及如何系统地知道你是否实现了这个目标。所以，我认为这些就是我使用的工具。不一定非得字面上地应用，比如说，量子场论到人工智能。我认为这有点太具体了。 主持人 : 那么，是否存在特定的物理学启发法，比如重整化、对称性，在持续观察或测量这个趋势时，能派上大用场？ 贾里德 : 如果你观察人工智能模型，你会发现它们很大。神经网络很大。它们有数十亿，现在是数万亿的参数。这意味着它们是由大型矩阵构成的。基本上，研究神经网络非常大情况下的近似值，特别是组成神经网络的矩阵很大的情况，实际上是很有用的。这实际上是物理学和数学中一种众所周知的近似方法。那是已经被应用的东西。但我认为，总的来说，提出非常天真、愚蠢的问题能让你走得很远。我认为人工智能，在某种意义上，就我们训练人工智能模型的当前形式而言，实际上可能只有10到15年的历史。这意味着这是一个非常新的领域。很多最基本的问题还没有得到解答，比如可解释性问题，人工智能模型究竟是如何运作的。所以，我认为在这个层面有很多东西要学习，而不是应用非常、非常花哨的技术。 主持人 : 你会应用物理学中的特定工具来进行可解释性研究吗？ 贾里德 : 我会说，可解释性更像是生物学。它更像是神经科学。所以，我认为这些是相关的工具。那里还有更多的数学知识，但我认为它更像是试图理解大脑的特征。人工智能相对于神经科学的优势在于，你可以真正测量人工智能中的一切。你无法测量大脑中每个神经元、每个突触的活动，但你可以在人工智能中做到这一点。因此，有更多、更多的数据可用于逆向工程，以了解人工智能模型是如何工作的。 主持人 : 现在，关于缩放定律的一个方面是，它们在超过五个数量级上都成立，这太疯狂了。这是一个有点反常的问题，但什么样的经验迹象会让你相信曲线正在改变，也许我们正在脱离曲线？ 贾里德 : 我认为这是一个非常难的问题，对吧，因为我主要使用缩放定律来诊断人工智能训练是否中断。所以，我认为一旦你看到一些东西，并且你发现它非常吸引人，它就会变得非常、非常有趣，可以用来检查它在哪里失效。但我认为我的第一反应是，如果缩放定律失效，那是因为我们在某种程度上搞砸了人工智能训练。也许我们弄错了神经网络的架构，或者训练中存在我们看不到的瓶颈，或者我们使用的算法的精度存在一些问题。所以，我认为至少要花很多功夫才能说服我，至少在这些经验法则的层面上，扩展不再有效，因为在过去5年的经验中，很多时候，当扩展似乎失效时，那是因为我们做错了。 主持人 : 有意思。所以，我想接下来要谈论一个非常具体的、紧密相关的问题，那就是保持这条曲线持续发展所需的巨大计算能力。当计算资源变得更加稀缺时会发生什么？你会深入到精度阶梯的哪个层次？你们是否探索像FP4这样的技术？你们是否探索像三元表示这样的技术？你对此有什么看法？ 贾里德 : 是的。我认为现在人工智能非常低效，因为人工智能蕴含着巨大的价值。因此，解锁最强大的前沿模型具有巨大的价值。因此，像Anthropic这样的公司以及其他公司都在尽可能快地行动，以提高人工智能训练和人工智能推理的效率，并解锁前沿能力。但很多重点实际上在于解锁前沿。我认为随着时间的推移，随着人工智能变得越来越普及，我认为我们将真正大幅降低推理和训练的成本，与我们现在的水平相比。我的意思是，目前，我们看到算法上以及在扩大计算规模和每年推理效率方面，都有大约3倍到10倍的增长。我猜这个笑话是，我们将让计算机回到二进制时代。所以，我认为随着时间的推移，我们将看到更低得多的精度，这是使推理更有效率的众多途径之一。 但总的来说，我们目前在人工智能发展方面非常、非常、非常不平衡。人工智能正在非常迅速地改进。事物正在非常迅速地变化。我们还没有完全实现当前模型的潜力，但我们正在解锁越来越多的能力。所以，我认为人工智能变化不那么快时的平衡状态看起来像是人工智能极其廉价。但很难知道我们是否会到达那个状态。比如，人工智能可能会越来越快地变得更好，以至于智能方面的改进会释放出更多的潜能。因此，我们可能会继续关注这一点，而不是专注于将精度降至FP2。这非常符合杰文斯悖论。 主持人 : 随着智能变得越来越好，人们会越来越想要它。这并不是在降低成本，这就是讽刺之处，对吧？ 贾里德 : 是的，我们肯定已经看到，在某些时候，人工智能变得足够容易获得。也就是说，我认为随着人工智能系统变得越来越强大，能够完成我们越来越多的工作，为前沿能力付费是值得的。所以，我认为我一直有并且将继续有的一个问题是，所有的价值都在前沿吗？或者说，在那些没那么强大但更便宜的系统中，是否存在大量的价值？而且我认为这种时间跨度的图景可能是一种思考方式。我认为你可以做很多非常简单的、小块的任务，但我认为能够使用一个可以端到端完成非常复杂任务的AI模型，而不是要求我们人类来协调一个更笨的模型，将任务分解成非常非常小的片段并将它们组合起来，会方便得多。所以，我确实期望很多价值将来自最强大的模型，但我可能是错的。这可能取决于，而且可能真正取决于AI集成商有效利用AI的能力。 主持人 : 对于在座的各位，大家都处于职业生涯的早期，拥有巨大的潜力，你有什么建议，让他们在未来这些模型变得如此强大的情况下保持竞争力？大家应该擅长什么，学习什么，才能继续做好工作？ 贾里德 : 我认为，正如我所提到的，理解这些模型如何工作，并能够真正有效地利用和集成它们，这具有很大的价值，而且我认为在构建前沿技术方面也具有很大的价值。我不知道，我们可以把时间交给观众提问。 主持人 : 让我们把时间交给观众提问。 观众问答 观众 : 我有一个关于缩放损失的快速问题。你展示了很多缩放定律都像是线性的，但是我们有指数级的计算能力增长，但我们在缩放定律中只有线性的进展。但在你的最后一张幻灯片上，你展示了你期望突然出现指数级增长，以及我们节省了多少时间。我想问，你为什么认为突然在这个图表上我们是指数级的而不是线性的了？谢谢。 贾里德 : 是的，这是一个非常好的问题，我也不知道。我的意思是，关于米的研究发现有点像一个经验性的发现。我倾向于这样考虑这个问题：为了完成越来越复杂、时间跨度更长的任务，你真正需要的是某种自我纠正的能力。你需要能够识别出你制定了一个计划，然后你开始执行这个计划，但每个人都知道我们的计划有点毫无价值，当我们遇到现实时，我们会犯错。因此，我认为决定模型能够完成的任务的时间跨度的很大程度上是它们注意到自己做错了什么并纠正它的能力。而且我认为这不算是很多的信息。仅仅注意到一两次你犯了错误以及如何纠正这个错误，并不一定需要智能发生巨大的变化。但如果你解决了你的错误，也许你会，大概，将任务的视野长度扩大一倍。因为就像与其被困在这里，你会被困在两倍远的地方。所以我认为这就是我所看到的图景，即你可以通过相对适度的改进，来解锁越来越长的视野，改进你理解任务和自我纠正的能力。但这只是，这些只是空谈。我认为经验趋势也许是最有趣的事情，也许我们可以为为什么这个趋势是正确的构建更详细的模型，但大概你的猜测和我的一样好。 观众2 :我这边也有一个问题。真是荣幸。所以基本上，在增加时间范围方面，我觉得，我对神经网络的心理模型非常简单。如果你想让它们做某事，你就要用这样的数据来训练。所以如果你想，如果你想增加时间范围，你必须慢慢地获得，例如，验证信号。现在我认为一种方法是通过产品来实现。比如，Claude的代理，然后你使用验证信号来逐步改进模型。现在我的问题是，这对于例如编码来说效果非常好，在编码中你有一个足够好的产品，你可以部署它然后获得验证信号。但其他领域呢？比如在其他领域，我们只是扩大数据标注员的规模来实现通用人工智能，还是有更好的方法？ 贾里德 : 是的，这是个好问题。我的意思是，当一些怀疑论者问我，为什么我认为我们能够扩展并获得像广泛的人类水平的人工智能时，基本上是因为你所说的。存在某种非常具有操作性的路径，你只是为人工智能模型构建越来越多不同的任务，这些任务越来越复杂，时间跨度越来越长。然后你只是转动曲柄，在那些更复杂、更长的任务上用强化学习进行训练。所以我觉得那是人工智能进展的最坏情况。我的意思是，考虑到在人工智能领域的投资规模，以及我认为人工智能正在创造的价值水平，我认为如果必要的话，人们会这么做。也就是说，我认为有很多方法可以简化它。最好的方法是训练一个人工智能模型来监督和管理，比如用Claude来说明你正在训练什么，当你有一个人工智能模型提供监督，而不仅仅是说，你是否正确地完成了这个极其复杂的任务？比如，你是否成为了教职员工并获得了终身教职？这会花费六年或七年吗？这是否是一个端到端的任务，在七年后，你最终要么获得终身教职，要么没有？这太荒谬了。这是非常低效的，但它可以提供更详细的监督，指出你做得好或做得差。我认为，随着我们能够在这种方式下越来越多地使用人工智能，我们或许能够更有效地训练那些长期任务。而且我认为我们在某种程度上已经在这么做了。 主持人 : 我们来回答最后一个问题。 观众3 : 是的，我想在此基础上进一步探讨。当你基本上在开发这些任务，然后用强化学习训练它们时，你会尝试使用大型语言模型来创建这些任务吗？比如你用于强化学习的任务，还是仍然使用人工？ 贾里德 : 很好的问题。我觉得两者都有。我的意思是，很明显，我们尽可能多地使用人工智能来构建任务，比如说，用代码生成任务。我们也会要求人类创建任务。所以基本上是这些事情的混合。我认为随着人工智能变得越来越好，我们希望能越来越多地利用人工智能。当然，这些任务的难度前沿也在不断提高。所以我认为人类仍然会参与其中。好的，谢谢。 主持人 : 好的，让我们为贾里德鼓掌。非常感谢。 No access 731 1 00:00 No access 731 1 00:00 但我想最后，我认为规模法则所描绘的图景是一种渐进式进步。所以我认为你将在Claude中看到的是，随着每次发布，它在许多不同的方面都在稳步改进。但我认为，扩展实际上暗示了一种平滑的曲线，朝着我所期望的那种人类水平的人工智能或通用人工智能发展。这里有很多观众会为此感到兴奋的特殊功能吗？ 主持人 : 您可以提供一些测试版，一些alpha泄露，让大家了解您认为人们会喜欢的新API的哪些方面。 贾里德 : 我认为我最兴奋的事情是解锁越来越长的任务时间跨度。我认为随着时间的推移，我们将看到Claude作为一个可以承担越来越大的工作量的协作者。 主持人 : 这就是您所说的，所有这些未来的模型都能够承担越来越大的任务。现在，它们能够完成以小时为单位的任务了吗？ 贾里德 : 是的，我认为是这样。我认为这是一个非常不精确的衡量标准。但我想现在，如果你看看软件工程任务，我认为Meter确实对人们完成各种任务所需的时间进行了基准测试。是的，我认为这是以小时为单位的时间尺度。我认为就像人们广泛地使用人工智能一样，我对人工智能持怀疑态度的人会正确地说，人工智能会犯很多愚蠢的错误。它可以做一些绝对精彩并让你感到惊讶的事情，但它也可能犯一些基本错误。我认为人工智能的一个基本特征，即人工智能的形态与人类智能的不同之处在于，有很多事情我做不了，但我至少可以判断它们是否做得正确。我认为对于人工智能来说，判断与生成能力更为接近，这意味着我认为人们在与人工智能交互中可以发挥的主要作用是充当管理者来理智地检查工作。 主持人 : 这非常有趣，因为我们在YC去年的批次中观察到的一件事是，很多公司在推出和销售产品时，仍然更多地将其作为副驾驶来销售，比如你会有一个客户支持的副驾驶，在你发送给客户回复之前，仍然需要最后的人工批准。但我认为仅在春季批次中就发生了一件事变化，我认为很多AI模型非常有能力端到端地完成任务，正如你所说，这非常了不起。创始人现在直接销售完全工作流程的替代品。你如何看待这转化为你希望这里的听众构建的东西？ 贾里德 : 我认为有很多可能性。基本上，这是一个关于什么程度的成功或表现是可以接受的问题。有些任务达到大约70%的正确率就足够了，而另一些任务则需要达到99.9%才能部署。我认为老实说，我认为为70 80%就足够的使用案例构建可能更有趣，因为那样你才能真正触及人工智能能力的边界。但我认为我们也在努力提高可靠性。我认为我们将看到越来越多的这类任务。我认为目前，人机协作将是最有趣的地方，因为我认为对于最先进的任务，你真的需要在环中有人。但我确实认为，从长远来看，会有越来越多的任务可以完全自动化。 主持人 : 你能详细说说你认为在这种人与人工智能循环协作中，世界会是什么样子吗？因为达里奥的《爱与恩典的机器》一文描绘了一幅非常乐观的图景。我们如何通过这个循环实现这一目标，具体细节是什么？ 贾里 德 : 我认为我们已经看到一些这样的情况发生了。至少当我和在生物医学研究领域工作的人交谈时，通过适当的协调，我认为现在有可能利用前沿人工智能模型，为药物发现等领域产生有趣且有价值的见解。所以我认为这已经开始发生了。我想其中一个我思考过的方面是，有些智能需要大量的深度，而有些智能需要大量的广度。例如，在数学中，你可以花十年时间来试图证明一个定理，比如黎曼猜想或费马大定理。我认为这有点像解决一个非常具体、非常困难的问题。我认为在很多科学领域，可能在生物学中更多，也许有趣的是在心理学或历史学中，将非常非常大量的、来自许多不同领域的信息整合起来才是关键。我认为人工智能模型在预训练阶段吸收了人类文明的所有知识。因此，我怀疑利用人工智能的这种特性，即它比任何一位人类专家知道得多得多，可以收获很多成果。因此，你可以通过整合许多不同的专业领域，比如在生物学领域，来获取研究的见解。 所以我认为我们在使人工智能更擅长更深层次的任务方面取得了很大进展，比如解决硬编码问题，解决困难的数学问题。但我怀疑在某些领域存在特殊的悬而未决的问题，在这些领域，整合可能没有人类专家拥有的知识，这种智能非常有用。所以我认为这是我期望看到的更多的事情，即利用人工智能的知识广度。 至于它将如何具体展开，我真的不知道。预测未来真的非常非常困难。规模法则为你提供了一种预测未来的方法，它表明这种趋势将会持续下去。我认为我们从长远来看看到的很多趋势，我期望它们会继续下去。我的意思是，经济、国内生产总值，这些类型的趋势是真正可靠的未来指标。但我认为就细节而言，事情将如何实施，我认为这真的非常非常难说。 主持人 : 你认为是否有更多开发者可以进入并使用这些新模型构建的具体领域？我的意思是，对于编码任务，已经完成了很多工作。但是，有哪些任务具有更多的新领域，并且正在被当前的模型解锁？ 贾里德 : 我来自研究背景，而不是商业背景。所以我不知道我有什么特别深刻的见解。但我认为总的来说，任何需要大量技能的地方，并且这项任务主要涉及坐在电脑前，与数据交互。我认为金融行业，那些经常使用Excel表格的人。我认为我期望法律行业也会受到影响，尽管也许法律行业受到更多的监管，需要更多的专业知识作为认可。但我认为所有这些领域都可能是新领域。我认为我提到的另一点是，我们如何将人工智能整合到现有业务中？我认为，当电力出现时，有一个很长的采用周期。而且，比如说，使用电的最早、最简单的方式不一定就是最好的。你想要的不仅仅是用电动机来取代蒸汽机。你想要某种程度上重塑工厂的运作方式。而且我认为，尽可能快地利用人工智能将其整合到经济的各个部分，我预计这里面蕴藏着巨大的潜力。 主持人 : 现在，另一个问题是，你接受过广泛的物理学训练，而且你是最早真正观察到这种规模法则趋势的人之一。这可能源于你是一名物理学家，并且看到了自然界中自然发生的所有这些指数现象。这种训练对于你在人工智能领域进行世界一流的研究有何帮助？ 贾里德 : 我认为从物理学的角度来看，有用的地方在于寻找最大的图景，最宏观的趋势，然后试图使它们尽可能精确。所以，我记得遇到过一些杰出的人工智能研究人员，他们会说诸如“学习正在呈指数级收敛”之类的话。我只会问一些非常愚蠢的问题，比如，你确定它是指数级的吗？这会不会仅仅是幂律？它是二次的吗？这东西到底是如何收敛的？而且这是一个非常愚蠢、简单的问题。但基本上，我认为在尽可能精确地把握你所看到的大趋势方面，有很多成果可以摘取，而且可能仍然有很多。因为那会给你提供很多工具，我不知道。它允许你问，真正推动变革意味着什么？我认为对于缩放定律，最重要的目标是找到一个更好的缩放定律斜率。因为这意味着当你投入更多的计算资源时，你将比其他AI开发者获得越来越大的优势。但在你精确地把握你所看到的趋势之前，你不知道击败它到底意味着什么，你能击败它多少，以及如何系统地知道你是否实现了这个目标。所以，我认为这些就是我使用的工具。不一定非得字面上地应用，比如说，量子场论到人工智能。我认为这有点太具体了。 主持人 : 那么，是否存在特定的物理学启发法，比如重整化、对称性，在持续观察或测量这个趋势时，能派上大用场？ 贾里德 : 如果你观察人工智能模型，你会发现它们很大。神经网络很大。它们有数十亿，现在是数万亿的参数。这意味着它们是由大型矩阵构成的。基本上，研究神经网络非常大情况下的近似值，特别是组成神经网络的矩阵很大的情况，实际上是很有用的。这实际上是物理学和数学中一种众所周知的近似方法。那是已经被应用的东西。但我认为，总的来说，提出非常天真、愚蠢的问题能让你走得很远。我认为人工智能，在某种意义上，就我们训练人工智能模型的当前形式而言，实际上可能只有10到15年的历史。这意味着这是一个非常新的领域。很多最基本的问题还没有得到解答，比如可解释性问题，人工智能模型究竟是如何运作的。所以，我认为在这个层面有很多东西要学习，而不是应用非常、非常花哨的技术。 主持人 : 你会应用物理学中的特定工具来进行可解释性研究吗？ 贾里德 : 我会说，可解释性更像是生物学。它更像是神经科学。所以，我认为这些是相关的工具。那里还有更多的数学知识，但我认为它更像是试图理解大脑的特征。人工智能相对于神经科学的优势在于，你可以真正测量人工智能中的一切。你无法测量大脑中每个神经元、每个突触的活动，但你可以在人工智能中做到这一点。因此，有更多、更多的数据可用于逆向工程，以了解人工智能模型是如何工作的。 主持人 : 现在，关于缩放定律的一个方面是，它们在超过五个数量级上都成立，这太疯狂了。这是一个有点反常的问题，但什么样的经验迹象会让你相信曲线正在改变，也许我们正在脱离曲线？ 贾里德 : 我认为这是一个非常难的问题，对吧，因为我主要使用缩放定律来诊断人工智能训练是否中断。所以，我认为一旦你看到一些东西，并且你发现它非常吸引人，它就会变得非常、非常有趣，可以用来检查它在哪里失效。但我认为我的第一反应是，如果缩放定律失效，那是因为我们在某种程度上搞砸了人工智能训练。也许我们弄错了神经网络的架构，或者训练中存在我们看不到的瓶颈，或者我们使用的算法的精度存在一些问题。所以，我认为至少要花很多功夫才能说服我，至少在这些经验法则的层面上，扩展不再有效，因为在过去5年的经验中，很多时候，当扩展似乎失效时，那是因为我们做错了。 主持人 : 有意思。所以，我想接下来要谈论一个非常具体的、紧密相关的问题，那就是保持这条曲线持续发展所需的巨大计算能力。当计算资源变得更加稀缺时会发生什么？你会深入到精度阶梯的哪个层次？你们是否探索像FP4这样的技术？你们是否探索像三元表示这样的技术？你对此有什么看法？ 贾里德 : 是的。我认为现在人工智能非常低效，因为人工智能蕴含着巨大的价值。因此，解锁最强大的前沿模型具有巨大的价值。因此，像Anthropic这样的公司以及其他公司都在尽可能快地行动，以提高人工智能训练和人工智能推理的效率，并解锁前沿能力。但很多重点实际上在于解锁前沿。我认为随着时间的推移，随着人工智能变得越来越普及，我认为我们将真正大幅降低推理和训练的成本，与我们现在的水平相比。我的意思是，目前，我们看到算法上以及在扩大计算规模和每年推理效率方面，都有大约3倍到10倍的增长。我猜这个笑话是，我们将让计算机回到二进制时代。所以，我认为随着时间的推移，我们将看到更低得多的精度，这是使推理更有效率的众多途径之一。 但总的来说，我们目前在人工智能发展方面非常、非常、非常不平衡。人工智能正在非常迅速地改进。事物正在非常迅速地变化。我们还没有完全实现当前模型的潜力，但我们正在解锁越来越多的能力。所以，我认为人工智能变化不那么快时的平衡状态看起来像是人工智能极其廉价。但很难知道我们是否会到达那个状态。比如，人工智能可能会越来越快地变得更好，以至于智能方面的改进会释放出更多的潜能。因此，我们可能会继续关注这一点，而不是专注于将精度降至FP2。这非常符合杰文斯悖论。 主持人 : 随着智能变得越来越好，人们会越来越想要它。这并不是在降低成本，这就是讽刺之处，对吧？ 贾里德 : 是的，我们肯定已经看到，在某些时候，人工智能变得足够容易获得。也就是说，我认为随着人工智能系统变得越来越强大，能够完成我们越来越多的工作，为前沿能力付费是值得的。所以，我认为我一直有并且将继续有的一个问题是，所有的价值都在前沿吗？或者说，在那些没那么强大但更便宜的系统中，是否存在大量的价值？而且我认为这种时间跨度的图景可能是一种思考方式。我认为你可以做很多非常简单的、小块的任务，但我认为能够使用一个可以端到端完成非常复杂任务的AI模型，而不是要求我们人类来协调一个更笨的模型，将任务分解成非常非常小的片段并将它们组合起来，会方便得多。所以，我确实期望很多价值将来自最强大的模型，但我可能是错的。这可能取决于，而且可能真正取决于AI集成商有效利用AI的能力。 主持人 : 对于在座的各位，大家都处于职业生涯的早期，拥有巨大的潜力，你有什么建议，让他们在未来这些模型变得如此强大的情况下保持竞争力？大家应该擅长什么，学习什么，才能继续做好工作？ 贾里德 : 我认为，正如我所提到的，理解这些模型如何工作，并能够真正有效地利用和集成