5.31-6.7｜本周顶尖 AI 论文

5.31 6.7｜本周顶尖 AI 论文 🥇 5.31 6.7｜本周顶尖 AI 论文 Modified June 8 Google 的新研究展示了一个自定义 agent 运行框架能把通用模型在形式数学上推到多远。LEAP 用 agent 式脚手架包住通用 LLM，把每一步都落到 Lean 编译器中，并基于验证器反馈迭代。它不是微调一个专门的定理证明器，而是利用非形式化推理、指令遵循和自我修正，然后强制每个形式化步骤在继续之前通过编译器检查。 • 先分解，再验证： 这个脚手架采用自然的证明分解和验证器引导式精炼。模型把困难定理拆成子目标，起草非形式化蓝图，Lean 编译器检查每个形式化步骤，把模糊推理转成机器可检查证明。 • 完整解出 Putnam： 在 2025 Putnam Competition 上，LEAP 解出了全部 12 道题，追平了专用前沿数学模型的最新突破，而且基座 LLM 没有做数学专项训练。 • IMO 级证明大幅跃升： 在 Lean IMO Bench 上，LEAP 把通用 LLM 的单次形式化解题率从低于 10% 提升到 70%，超过了专门的金牌级 IMO 系统所设下的 48%。 • 为什么重要： 这是一个强信号：针对最难推理领域之一，差距可以由构建良好的运行框架弥合，而不一定需要定制模型。杠杆位于通用模型周围的脚手架和验证器循环。 论文 | 推文 4. Scaling Laws for Agent Harnesses 大多数运行框架调优都会把每个 token 和每次工具调用都视为“量越多越重要”。这篇论文显示，事实大多并非如此，并提出 Effective Feedback Compute（EFC）：一个轨迹级扩展坐标。它只把信息充分、有效、非冗余，并且被保留下来影响后续决策的反馈计入信用，再按任务需求归一化。 • 原始预算几乎无法预测成功： 在受控扩展实验中，原始 token 数和工具调用数对结果变化的解释能力有限，R squared 分别只有 0.33 和 0.42。常见成本代理指标对 agent 是否真正成功的预测能力很弱。 • 有效反馈几乎解释了一切： 按任务需求归一化的 Oracle EFC 达到 0.99 的 R squared。一旦测量对象变成真正有用且被保留下来的反馈，扩展行为几乎完全可预测。 • 固定预算下，质量胜过数量： 在匹配预算的干预实验里，提高反馈质量让成功率从 0.27 提升到 0.90，同时原始成本和工具调用数保持不变。收益来自更好的反馈，而不是更多反馈。 • 为什么重要： 运行框架扩展更少取决于你花了多少算力，更主要取决于原始预算转化为持久、足够完成任务的反馈的效率。这把运行框架工程重新定义为反馈质量问题，并提供了一个可优化坐标。 论文 | 推文 5. AutoLab 前沿模型真的能像优秀研究者那样，在困难工程问题上持续打磨吗？AutoLab 是一个用于回答这个问题的基准测试，面向超长时程、闭环优化。它包含 36 个真实、由专家策划的任务，横跨四个领域：系统优化、谜题与挑战、模型开发、CUDA kernel 优化。每个任务都会给 agent 一个正确但刻意不够优的基线，并要求它在严格的墙钟时间预算内改进。 • 持续性胜过强起点： 最终表现的主导预测因子，不是初始方案质量，而是 agent 在迭代改进中的持续性。能不断探测和改进的模型会赢，不管起点在哪里。 • 大多数模型太早停下： Claude Opus 4.6 展示了强大的长时程优化能力，但大多数前沿模型，包括几个专有模型，要么过早终止，要么消耗预算却几乎没有进展。 • 时间感知是缺口： 结果指向时间感知和持续迭代，而不是原始的单次尝试能力，才是真正强大的长时程 agent 缺少的关键。 • 为什么重要： 首轮基准测试奖励聪明的首次尝试，但真实研究和工程奖励耐力。AutoLab 测量的是多小时任务中真正区分 agent 的东西，而且基准测试、运行框架和任务产物都已开源。 论文 | 推文 6. Reusable Context Engineering 上下文膨胀会悄悄杀死长时程运行，而常见修法通常被写进 agent 自己的提示词或权重中，因此难以迁移。AdaCoM 采取了不同路径：训练一个独立的外部模型，通过灵活的修改动作管理冻结 agent 的上下文，并用 reinforcement learning 做端到端优化。agent 本身从不改变；改变的只是流入 agent 的上下文。 • 外部上下文管理器： 一个专用模型编辑 agent 的工作上下文，决定保留、压缩或丢弃什么。因为它位于 agent 外部，所以可以作为即插即用组件复用，而不是针对每个主干模型重新工程化。 • 用 reinforcement learning 训练： 管理器针对任务结果端到端优化，学习上下文编辑策略，而不是依赖手写启发式规则或固定截断规则。 • 可在相似 agent 间迁移： 迁移实验显示，AdaCoM 在能力相近的 agent 之间泛化最有效，指向真正可复用的上下文管理器。它通过保留任务约束和进度，同时裁剪陈旧内容，改进 web search 和 deep research。 • 为什么重要： 把上下文管理当作一个独立、可训练、可迁移的模块，可以把它从 agent 本体中解耦出来。这比把上下文逻辑塞进每个提示词更干净，也能在不触碰底层模型的情况下从外部修复膨胀问题。 论文 | 推文 7. Learn From Your Own Latents LLM 通过预测 token 学习，而 JEPA 和 data2vec 这类世界模型通过预测自身内部表征学习。这篇论文给出了一个样本复杂度理论，解释为什么后一种方式可能在数据效率上高得多。它使用一个可处理的概率上下文无关文法作为分析设定，在这个设定中，组合结构可以被精确测量。 • 数据效率存在指数级差距： 预测自身潜表示所需样本数与树深 L 无关，保持常数；而监督学习和基于 token 的自监督学习需要的样本数会随 L 指数增长。优势是结构性的，不是偶然的。 • 潜表示为什么会赢： 潜表示目标直接暴露数据的组合式、层级式结构，因此学习器不必从表面 token 重新恢复这些结构。这就是数据效率收益背后的机制。 • 层级结构可能是隐式的： 分析表明，像 H JEPA 那样显式做层级堆叠可能很大程度上是冗余的，因为 data2vec 这类方法已经能隐式学习层级结构。 • 为什么重要： 当基于 token 预测的扩展定律遇到数据上限时，这为“预测抽象表征，而不是预测 token”的自监督目标提供了原则性论证。它为世界模型式训练为什么可能在样本效率上击败暴力的 next token prediction 提供了理论基础。 论文 | 推文 8. A Primer on Post Training Reasoning Data 这篇入门论文第一次把分散的后训练推理数据文献放到同一个地方，整合了 150 多篇公开研究和系统报告。这些内容过去分散在数据集论文、RL 技术笔记和实验室报告中。它围绕四个问题组织这个领域：存在哪些数据对象，什么让它们有用，它们如何构造，以及它们如何扩展。关键重构是：推理数据条目不只是一个提示词 回答对；它打包了问题或状态、模型行为、评审反馈和归因元数据，其有用性相对于验证器和语料库其余部分来定义，而不是孤立定义。 论文 | 推文 9. State Externalizing Harnesses Harness 1 是一个 20B 搜索 agent，在有状态运行框架中通过 reinforcement learning 训练。这个运行框架会把常规状态维护卸载到环境中。它的论点是：搜索 agent 通常被训练成面对不断增长对话记录的策略，这迫使 RL 同时优化真正的搜索决策，以及哪些证据有用、哪些主张已检查这类可恢复状态。Harness 1 把这类状态从策略移到环境侧工作记忆中，包括候选池、带重要性标签的精选集合、紧凑证据链接和验证记录。这个 20B agent 在八个检索基准测试上达到 0.730 的平均精选召回率，比开源基线高 11.4 分，并且追平或超过大得多的前沿搜索器，在未见领域上泛化更强。 论文 | 推文 10. Do More Agents Help? 这篇论文研究增加 agent 数量是否真的能让单个由 LLM 驱动的多 agent 系统变得更好，使用的是 Sequential Iterative Multi Agent System（SIMAS）框架。发现是：性能不会随着 agent 数量单调提升，而是呈现收益递减；最终还会因为协调开销而退化。有效系统仍然需要强大的基座模型，最优 agent 数量取决于任务类型，而集体智能其实是策略性交互设计的产物，并不是 agent 数量变多后的必然结果。给构建者的启发是：设计交互，而不是只堆更多 agent。 论文 | 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 Google 的新研究展示了一个自定义 agent 运行框架能把通用模型在形式数学上推到多远。LEAP 用 agent 式脚手架包住通用 LLM，把每一步都落到 Lean 编译器中，并基于验证器反馈迭代。它不是微调一个专门的定理证明器，而是利用非形式化推理、指令遵循和自我修正，然后强制每个形式化步骤在继续之前通过编译器检查。 • 先分解，再验证： 这个脚手架采用自然的证明分解和验证器引导式精炼。模型把困难定理拆成子目标，起草非形式化蓝图，Lean 编译器检查每个形式化步骤，把模糊推理转成机器可检查证明。 • 完整解出 Putnam： 在 2025 Putnam Competition 上，LEAP 解出了全部 12 道题，追平了专用前沿数学模型的最新突破，而且基座 LLM 没有做数学专项训练。 • IMO 级证明大幅跃升： 在 Lean IMO Bench 上，LEAP 把通用 LLM 的单次形式化解题率从低于 10% 提升到 70%，超过了专门的金牌级 IMO 系统所设下的 48%。 • 为什么重要： 这是一个强信号：针对最难推理领域之一，差距可以由构建良好的运行框架弥合，而不一定需要定制模型。杠杆位于通用模型周围的脚手架和验证器循环。 论文 | 推文 论文 推文 4. Scaling Laws for Agent Harnesses 大多数运行框架调优都会把每个 token 和每次工具调用都视为“量越多越重要”。这篇论文显示，事实大多并非如此，并提出 Effective Feedback Compute（EFC）：一个轨迹级扩展坐标。它只把信息充分、有效、非冗余，并且被保留下来影响后续决策的反馈计入信用，再按任务需求归一化。 • 原始预算几乎无法预测成功： 在受控扩展实验中，原始 token 数和工具调用数对结果变化的解释能力有限，R squared 分别只有 0.33 和 0.42。常见成本代理指标对 agent 是否真正成功的预测能力很弱。 • 有效反馈几乎解释了一切： 按任务需求归一化的 Oracle EFC 达到 0.99 的 R squared。一旦测量对象变成真正有用且被保留下来的反馈，扩展行为几乎完全可预测。 • 固定预算下，质量胜过数量： 在匹配预算的干预实验里，提高反馈质量让成功率从 0.27 提升到 0.90，同时原始成本和工具调用数保持不变。收益来自更好的反馈，而不是更多反馈。 • 为什么重要： 运行框架扩展更少取决于你花了多少算力，更主要取决于原始预算转化为持久、足够完成任务的反馈的效率。这把运行框架工程重新定义为反馈质量问题，并提供了一个可优化坐标。 论文 | 推文 论文 推文 5. AutoLab 前沿模型真的能像优秀研究者那样，在困难工程问题上持续打磨吗？AutoLab 是一个用于回答这个问题的基准测试，面向超长时程、闭环优化。它包含 36 个真实、由专家策划的任务，横跨四个领域：系统优化、谜题与挑战、模型开发、CUDA kernel 优化。每个任务都会给 agent 一个正确但刻意不够优的基线，并要求它在严格的墙钟时间预算内改进。 • 持续性胜过强起点： 最终表现的主导预测因子，不是初始方案质量，而是 agent 在迭代改进中的持续性。能不断探测和改进的模型会赢，不管起点在哪里。 • 大多数模型太早停下： Claude Opus 4.6 展示了强大的长时程优化能力，但大多数前沿模型，包括几个专有模型，要么过早终止，要么消耗预算却几乎没有进展。 • 时间感知是缺口： 结果指向时间感知和持续迭代，而不是原始的单次尝试能力，才是真正强大的长时程 agent 缺少的关键。 • 为什么重要： 首轮基准测试奖励聪明的首次尝试，但真实研究和工程奖励耐力。AutoLab 测量的是多小时任务中真正区分 agent 的东西，而且基准测试、运行框架和任务产物都已开源。 论文 | 推文 论文 推文 6. Reusable Context Engineering 上下文膨胀会悄悄杀死长时程运行，而常见修法通常被写进 agent 自己的提示词或权重中，因此难以迁移。AdaCoM 采取了不同路径：训练一个独立的外部模型，通过灵活的修改动作管理冻结 agent 的上下文，并用 reinforcement learning 做端到端优化。agent 本身从不改变；改变的只是流入 agent 的上下文。 • 外部上下文管理器： 一个专用模型编辑 agent 的工作上下文，决定保留、压缩或丢弃什么。因为它位于 agent 外部，所以可以作为即插即用组件复用，而不是针对每个主干模型重新工程化。 • 用 reinforcement learning 训练： 管理器针对任务结果端到端优化，学习上下文编辑策略，而不是依赖手写启发式规则或固定截断规则。 • 可在相似 agent 间迁移： 迁移实验显示，AdaCoM 在能力相近的 agent 之间泛化最有效，指向真正可复用的上下文管理器。它通过保留任务约束和进度，同时裁剪陈旧内容，改进 web search 和 deep research。 • 为什么重要： 把上下文管理当作一个独立、可训练、可迁移的模块，可以把它从 agent 本体中解耦出来。这比把上下文逻辑塞进每个提示词更干净，也能在不触碰底层模型的情况下从外部修复膨胀问题。 论文 | 推文 论文 推文 7. Learn From Your Own Latents LLM 通过预测 token 学习，而 JEPA 和 data2vec 这类世界模型通过预测自身内部表征学习。这篇论文给出了一个样本复杂度理论，解释为什么后一种方式可能在数据效率上高得多。它使用一个可处理的概率上下文无关文法作为分析设定，在这个设定中，组合结构可以被精确测量。 • 数据效率存在指数级差距： 预测自身潜表示所需样本数与树深 L 无关，保持常数；而监督学习和基于 token 的自监督学习需要的样本数会随 L 指数增长。优势是结构性的，不是偶然的。 • 潜表示为什么会赢： 潜表示目标直接暴露数据的组合式、层级式结构，因此学习器不必从表面 token 重新恢复这些结构。这就是数据效率收益背后的机制。 • 层级结构可能是隐式的： 分析表明，像 H JEPA 那样显式做层级堆叠可能很大程度上是冗余的，因为 data2vec 这类方法已经能隐式学习层级结构。 • 为什么重要： 当基于 token 预测的扩展定律遇到数据上限时，这为“预测抽象表征，而不是预测 token”的自监督目标提供了原则性论证。它为世界模型式训练为什么可能在样本效率上击败暴力的 next token prediction 提供了理论基础。 论文 | 推文 论文 推文 8. A Primer on Post Training Reasoning Data 这篇入门论文第一次把分散的后训练推理数据文献放到同一个地方，整合了 150 多篇公开研究和系统报告。这些内容过去分散在数据集论文、RL 技术笔记和实验室报告中。它围绕四个问题组织这个领域：存在哪些数据对象，什么让它们有用，它们如何构造，以及它们如何扩展。关键重构是：推理数据条目不只是一个提示词 回答对；它打包了问题或状态、模型行为、评审反馈和归因元数据，其有用性相对于验证器和语料库其余部分来定义，而不是孤立定义。 论文 | 推文 论文 推文 9. State Externalizing Harnesses Harness 1 是一个 20B 搜索 agent，在有状态运行框架中通过 reinforcement learning 训练。这个运行框架会把常规状态维护卸载到环境中。它的论点是：搜索 agent 通常被训练成面对不断增长对话记录的策略，这迫使 RL 同时优化真正的搜索决策，以及哪些证据有用、哪些主张已检查这类可恢复状态。Harness 1 把这类状态从策略移到环境侧工作记忆中，包括候选池、带重要性标签的精选集合、紧凑证据链接和验证记录。这个 20B agent 在八个检索基准测试上达到 0.730 的平均精选召回率，比开源基线高 11.4 分，并且追平或超过大得多的前沿搜索器，在未见领域上泛化更强。 论文 | 推文 论文 推文 10. Do More Agents Help? 这篇论文研究增加 agent 数量是否真的能让单个由 LLM 驱动的多 agent 系统变得更好，使用的是 Sequential Iterative Multi Agent System（SIMAS）框架。发现是：性能不会随着 agent 数量单调提升，而是呈现收益递减；最终还会因为协调开销而退化。有效系统仍然需要强大的基座模型，最优 agent 数量取决于任务类型，而集体智能其实是策略性交互设计的产物，并不是 agent 数量变多后的必然结果。给构建者的启发是：设计交互，而不是只堆更多 agent。 论文 | 推文 论文 推文 原帖链接：https://x.com/dair ai/status/2063644231030214958 原帖链接：https://x.com/dair ai/status/2063644231030214958 欢迎来到本周顶尖 AI 论文（5 月 31 日至 6 月 7 日）。 1. Self Revising Discovery Systems 这篇来自 MIT 的论文认为，真正的科学发现并不是生成答案，而是搜索空间本身发生变化，并且 AI 科学家必须在没有明确提示的情况下觉察这种变化。论文提出了一个范畴论框架：证据、产物、操作和验证器都被赋予类型；所谓发现，被定义为对表征体系的原则性修订，而不是在固定体系内继续扩大搜索。 • 发现意味着改变体系： 系统被设计成能够检测表征体系何时应该变化，并自主完成修订。这把 AI 科学家从“更快的搜索器”重新定义为能够移动搜索空间边界的系统。 • 有类型的范畴论基础： 证据、产物、操作和验证器都被形式化地赋予类型。旧结果通过函子式传输带入新体系，而真正的发现对应的是仅靠传输无法解释的剩余内容。 • 描述长度门控让系统保持诚实： 只有当提出的修订能降低总描述长度时，它才会被接受。这把真实的结构性收益和单纯增加复杂度区分开来。在一次运行中，388 个候选方案只产生 25 个被接受的修订，接受率被有意严格控制在 6.4%。 • 为什么重要： 两个具体实例，蛋白质力学建模，以及带有类型化技能和验证检查点的知识 计算图，展示了范畴论既可以作为形式语言，也可以作为工程规格。相比只靠搜索的 AI 科学家，这是一份更有原则的自主发现蓝图。 论文 | 推文 论文 推文 2. Disentangling Agent Self Evolution 这篇论文提出了每个 agent 构建者迟早都会遇到的问题：如果一个 agent 会重写自己的运行框架（harness），更强的模型是否会带来更好的自我演化 agent？答案是否定的。原因在于，“自我演化”实际上包含两种彼此独立、扩展方式完全不同的能力。研究把“更新运行框架”和“从运行框架中获益”分开：前者由演化模型负责修改记忆、工具、提示词和技能；后者由求解模型在任务中实际利用这些修改。 • 更新质量在模型层级间基本持平： 对运行框架的修改质量几乎不依赖模型强度。Qwen3.5 9B 写出的更新带来的收益，和 Claude Opus 4.6 相近，所以在演化模型一侧为前沿模型付费，几乎买不到额外收益。 • 收益并非单调增长： 利用更好运行框架的能力呈现曲线。弱模型收益很小，中等模型受益最大，最强模型反而低于中等模型，常见原因是它们不依赖脚手架也能完成任务。 • 失败模式很具体： 较弱的求解模型要么无法激活相关运行框架组件，要么不能稳定遵循组件指令。这就是即使修改本身不错，它们带来的收益仍然很小的原因。 • 为什么重要： 实用杠杆是把便宜模型放在演化侧，把能力预算花在求解侧。agent 自我改进里，真正起大作用的是系统设计，而不是单纯的模型规模。 论文 | 推文 论文 推文 3. LEAP