5.18-5.24｜本周顶尖 AI 论文

5.18 5.24｜本周顶尖 AI 论文 🥇 5.18 5.24｜本周顶尖 AI 论文 Modified May 25 MeMo 为任意 frozen LLM 增加了一个单独训练的 memory model，代表 base model 存储、检索并整合事实。memory 更新与 base model 权重更新解耦，因此系统支持 continual learning，并避免 catastrophic forgetting。RAG 做不到这一点，因为 vector store 本质上只是一个接了 learned encoder 的数据库。 • 把 memory 做成可学习子系统： MeMo 有明确的 read、write 和 integrate 接口，而不是依赖 context window。它的立场是：agent 里的 memory 应该是模块化、可学习、带门控的。 • 解耦的更新节奏： 新事实通过 memory model 的训练循环吸收，不触碰 backbone 权重。这让每周知识更新变得可行，不需要重新训练，也不用在 vector DB 里反复折腾。 • continual learning 鲁棒性： 在评估任务中，系统能在吸收新知识的同时保留旧知识，处理了 fine tuning 的已知失败模式和检索式 memory 的已知限制。 • 为什么重要： 大多数生产 agent 系统仍然只是给 LLM 接一个 vector store，然后把它称为 memory。MeMo 提出 memory 应该是带显式接口的已训练组件，这会影响长期运行 agent platform 的架构方式。 论文 | 推文 4. AIRA Meta 的 AIRA 是一个能自主发现神经网络架构的 agent 系统，在 24 小时计算预算内，产出的模型在 350M、1B 和 3B 规模上超过 Llama 3.2。搜索过程拆给两个专门化 agent：AIRA Compose 搜索宏观架构，AIRA Design 实现低层机制。在这个非玩具搜索问题上，这种拆分优于单个端到端 agent。 • 双 agent 分解： planner 选择结构，implementer 填充机制。这个模式不仅适用于 neural architecture search，也能泛化到 pipeline 组装、query planning、prompt scaffolding 和 tool use programs。 • 在三种规模、预算内击败 Llama 3.2： 在搜索本身 24 小时计算预算内，发现的架构在 350M、1B 和 3B 参数规模上达到或超过 Llama 3.2。这已经能与数月人工 ablation study 竞争。 • 这是搜索，不是合成： 发现的模型不是由 LLM 写代码补丁再嫁接进框架，而是通过双 agent 循环引导的结构化搜索发现的完整架构。 • 为什么重要： 如果 agentic search 能端到端产出有竞争力的架构，那么 NAS 和 ML 研究工作流的大部分环节，都可能从手工搜索算法转向 agent 系统自动化。 论文 | 推文 5. Weak Model Critic Comparator 把 GPT 5.4 nano 包进 critic comparator 编排循环后，在 SWE bench Verified 上达到 76.4%，与独立 Gemini 3 Pro 和 Claude Opus 4.5 Thinking 持平。关键做法是让弱模型采样 k=8 个候选 patch，再用执行和证明信号选择胜者，而不是让模型自我排序。 • k=8 候选 + verifier 击败 frontier model： 弱模型的 top k 里经常已经包含正确 patch。瓶颈不是 base model 能力，而是 selector。 • 用执行和证明信号做选择： 候选会被运行和验证，而不是交给 LLM judge 打分。critic 和 comparator 是循环里的两个独立角色，各自任务都很窄。 • 用更低 per call 成本达到 frontier 表现： 即使算上 8 倍采样，从 nano tier proposal 里选择也比调用一次 frontier model 更便宜，因为主要成本驱动因素是模型大小，而不是调用次数。 • 为什么重要： 这是一个可复现的 recipe，可以用更便宜的模型获得 frontier level coding agent 结果。这个结果也重新框定了 SWE bench 进展的来源：不只是更强 base model，更是编排质量。 论文 | 推文 6. MetaCogAgent MetaCogAgent 为 multi agent system 加入 metacognition，让每个 agent 自己决定该回答还是委派。当前 multi agent system 的瓶颈是过度委派和委派不足，而 metacognitive gate 是同时管理这两者的有原则做法。每个 agent 的 Metacognitive Unit（MCU）会生成 confidence score，并据此路由到 delegation hub。 • confidence driven routing： 每个 agent 的 MCU 会把 verbalized confidence 和 profile based confidence 合并成一个分数。低置信度任务会被路由到 delegation hub，而不是硬答。 • 自感知专门化优于固定 router： MetaCogAgent 在 MetaCog Eval 上达到 82.4%，而 skill fixed router 是 70.2%，single agent 是 65.3%。ablation 显示，自我评估和自适应委派都带来实质收益。 • 涌现式专门化： 不同 confidence profile 会纯粹从反馈中出现，例如编码任务高置信度、检索任务低置信度。除了初始 system prompt，没有额外编码专门化。 • 为什么重要： multi agent system 通常依赖固定 router 或简单 round robin。一个可学习、感知不确定性的 delegation gate，提供了能适配任务难度的原语，而且不需要重新训练 routing layer。 论文 | 推文 7. Production Agent Architecture Methodology 这篇方法论论文讨论如何为生产级 LLM agent 选择并组合 runtime architecture pattern。核心论点是：大多数团队无意中让框架默认值替他们做了关键架构决策。论文引入 stochastic deterministic boundary（SDB）作为命名原语，并提出一个六模式目录，按 coordination、state、control 三类运行时关切组织。 • stochastic deterministic boundary： 它是 proposer、verifier、commit、reject 四部分 contract，用来标记 LLM 把控制权交给确定性基础设施的位置。论文盘点了五个常用开源 agent 框架如何放置这个边界，而这些位置往往是隐式的。 • 三类关切 × 六种模式目录： 六种模式沿三类正交关切组织。coordination pattern 回答工作如何拆分和合并；state pattern 回答系统如何记忆；control pattern 回答谁决定运行什么，以及何时停止。 • 把模式当成有意识的选择： 每个 pattern 都有 typed contract specification，包括输入类型、输出类型、deadline、retry budget 和 partial result policy。目录扩展靠通过这个流程，而不是继续添加 ad hoc abstraction。 • 为什么重要： 生产 agent 的失败很少来自 LLM 本身，更多来自默认做出的架构选择。这套方法给团队一种方式，把这些选择显性化，并主动做决定。 论文 | 推文 8. NanoGPT Bench 一项新评估：coding agent 是否能做真正的 AI R&D。Intology 在 NanoGPT Bench 套件上运行 Codex、Claude Code 和 Autoresearch，并报告这些 agent 只恢复了人类在同样问题上 9.3% 的进展。coding agent 把大部分计算花在 hyperparameter tuning 上，很少尝试算法研究。Claude Code 和 Autoresearch 更常推理算法变化，但仍倾向于回避实现。这个头部结果给当前“self improving agent”热潮降温：要产出真正研究进展，需要一种不同的 effort 分布，而不是当前 coding agent 在默认 scaffold 下收敛到的分布。 论文 | 推文 9. General Agent Prime Intellect 的 General Agent 是一个完全合成的 reinforcement learning 环境，其任务语料会自我演化，并随时间变难。该版本包含 4504 个 tool use 任务，覆盖 1040 个领域和 8159 个独特工具。合成任务创建被表述为 Synthesizer 和 Solver 之间的双人游戏：Synthesizer 提出新的任务族，Solver 运行 rollout 测量 pass rate。pass rate 落在校准难度区间内的任务会被纳入语料库，hard tier 会作为下一轮扩展的种子。这个框架把 RL 环境创建这个历史上的主要瓶颈，变成了一个自动化 agentic search 问题。 论文 | 推文 10. Contrastive Neuron Attribution Nous Research 发布 Contrastive Neuron Attribution（CNA），这是一种 steering LLM behavior 的方法：通过识别并 ablate MLP basis 中的稀疏 circuit 来改变模型行为，不需要训练 sparse autoencoder、不修改权重，也不会降低通用能力 benchmark。给定一小组能触发目标行为及其反向行为的 contrastive prompt pair，CNA 会隔离出激活差异最大的前 0.1% MLP neuron。ablate 这个很小的 circuit 后，目标行为会被移除，而模型其余部分保持完整。在 residual stream 方法如 Contrastive Activation Addition（CAA）开始退化的高强度设置下，这种干预仍然稳健。该方法已在 8 个 instruct tuned model 的 refusal circuit 上验证，包括 Llama 3.1 70B、Llama 3.2 3B、Qwen2.5 72B 和 Qwen2.5 14B。 论文 | 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 MeMo 为任意 frozen LLM 增加了一个单独训练的 memory model，代表 base model 存储、检索并整合事实。memory 更新与 base model 权重更新解耦，因此系统支持 continual learning，并避免 catastrophic forgetting。RAG 做不到这一点，因为 vector store 本质上只是一个接了 learned encoder 的数据库。 • 把 memory 做成可学习子系统： MeMo 有明确的 read、write 和 integrate 接口，而不是依赖 context window。它的立场是：agent 里的 memory 应该是模块化、可学习、带门控的。 • 解耦的更新节奏： 新事实通过 memory model 的训练循环吸收，不触碰 backbone 权重。这让每周知识更新变得可行，不需要重新训练，也不用在 vector DB 里反复折腾。 • continual learning 鲁棒性： 在评估任务中，系统能在吸收新知识的同时保留旧知识，处理了 fine tuning 的已知失败模式和检索式 memory 的已知限制。 • 为什么重要： 大多数生产 agent 系统仍然只是给 LLM 接一个 vector store，然后把它称为 memory。MeMo 提出 memory 应该是带显式接口的已训练组件，这会影响长期运行 agent platform 的架构方式。 论文 | 推文 论文 推文 4. AIRA Meta 的 AIRA 是一个能自主发现神经网络架构的 agent 系统，在 24 小时计算预算内，产出的模型在 350M、1B 和 3B 规模上超过 Llama 3.2。搜索过程拆给两个专门化 agent：AIRA Compose 搜索宏观架构，AIRA Design 实现低层机制。在这个非玩具搜索问题上，这种拆分优于单个端到端 agent。 • 双 agent 分解： planner 选择结构，implementer 填充机制。这个模式不仅适用于 neural architecture search，也能泛化到 pipeline 组装、query planning、prompt scaffolding 和 tool use programs。 • 在三种规模、预算内击败 Llama 3.2： 在搜索本身 24 小时计算预算内，发现的架构在 350M、1B 和 3B 参数规模上达到或超过 Llama 3.2。这已经能与数月人工 ablation study 竞争。 • 这是搜索，不是合成： 发现的模型不是由 LLM 写代码补丁再嫁接进框架，而是通过双 agent 循环引导的结构化搜索发现的完整架构。 • 为什么重要： 如果 agentic search 能端到端产出有竞争力的架构，那么 NAS 和 ML 研究工作流的大部分环节，都可能从手工搜索算法转向 agent 系统自动化。 论文 | 推文 论文 推文 5. Weak Model Critic Comparator 把 GPT 5.4 nano 包进 critic comparator 编排循环后，在 SWE bench Verified 上达到 76.4%，与独立 Gemini 3 Pro 和 Claude Opus 4.5 Thinking 持平。关键做法是让弱模型采样 k=8 个候选 patch，再用执行和证明信号选择胜者，而不是让模型自我排序。 • k=8 候选 + verifier 击败 frontier model： 弱模型的 top k 里经常已经包含正确 patch。瓶颈不是 base model 能力，而是 selector。 • 用执行和证明信号做选择： 候选会被运行和验证，而不是交给 LLM judge 打分。critic 和 comparator 是循环里的两个独立角色，各自任务都很窄。 • 用更低 per call 成本达到 frontier 表现： 即使算上 8 倍采样，从 nano tier proposal 里选择也比调用一次 frontier model 更便宜，因为主要成本驱动因素是模型大小，而不是调用次数。 • 为什么重要： 这是一个可复现的 recipe，可以用更便宜的模型获得 frontier level coding agent 结果。这个结果也重新框定了 SWE bench 进展的来源：不只是更强 base model，更是编排质量。 论文 | 推文 论文 推文 6. MetaCogAgent MetaCogAgent 为 multi agent system 加入 metacognition，让每个 agent 自己决定该回答还是委派。当前 multi agent system 的瓶颈是过度委派和委派不足，而 metacognitive gate 是同时管理这两者的有原则做法。每个 agent 的 Metacognitive Unit（MCU）会生成 confidence score，并据此路由到 delegation hub。 • confidence driven routing： 每个 agent 的 MCU 会把 verbalized confidence 和 profile based confidence 合并成一个分数。低置信度任务会被路由到 delegation hub，而不是硬答。 • 自感知专门化优于固定 router： MetaCogAgent 在 MetaCog Eval 上达到 82.4%，而 skill fixed router 是 70.2%，single agent 是 65.3%。ablation 显示，自我评估和自适应委派都带来实质收益。 • 涌现式专门化： 不同 confidence profile 会纯粹从反馈中出现，例如编码任务高置信度、检索任务低置信度。除了初始 system prompt，没有额外编码专门化。 • 为什么重要： multi agent system 通常依赖固定 router 或简单 round robin。一个可学习、感知不确定性的 delegation gate，提供了能适配任务难度的原语，而且不需要重新训练 routing layer。 论文 | 推文 论文 推文 7. Production Agent Architecture Methodology 这篇方法论论文讨论如何为生产级 LLM agent 选择并组合 runtime architecture pattern。核心论点是：大多数团队无意中让框架默认值替他们做了关键架构决策。论文引入 stochastic deterministic boundary（SDB）作为命名原语，并提出一个六模式目录，按 coordination、state、control 三类运行时关切组织。 • stochastic deterministic boundary： 它是 proposer、verifier、commit、reject 四部分 contract，用来标记 LLM 把控制权交给确定性基础设施的位置。论文盘点了五个常用开源 agent 框架如何放置这个边界，而这些位置往往是隐式的。 • 三类关切 × 六种模式目录： 六种模式沿三类正交关切组织。coordination pattern 回答工作如何拆分和合并；state pattern 回答系统如何记忆；control pattern 回答谁决定运行什么，以及何时停止。 • 把模式当成有意识的选择： 每个 pattern 都有 typed contract specification，包括输入类型、输出类型、deadline、retry budget 和 partial result policy。目录扩展靠通过这个流程，而不是继续添加 ad hoc abstraction。 • 为什么重要： 生产 agent 的失败很少来自 LLM 本身，更多来自默认做出的架构选择。这套方法给团队一种方式，把这些选择显性化，并主动做决定。 论文 | 推文 论文 推文 8. NanoGPT Bench 一项新评估：coding agent 是否能做真正的 AI R&D。Intology 在 NanoGPT Bench 套件上运行 Codex、Claude Code 和 Autoresearch，并报告这些 agent 只恢复了人类在同样问题上 9.3% 的进展。coding agent 把大部分计算花在 hyperparameter tuning 上，很少尝试算法研究。Claude Code 和 Autoresearch 更常推理算法变化，但仍倾向于回避实现。这个头部结果给当前“self improving agent”热潮降温：要产出真正研究进展，需要一种不同的 effort 分布，而不是当前 coding agent 在默认 scaffold 下收敛到的分布。 论文 | 推文 论文 推文 9. General Agent Prime Intellect 的 General Agent 是一个完全合成的 reinforcement learning 环境，其任务语料会自我演化，并随时间变难。该版本包含 4504 个 tool use 任务，覆盖 1040 个领域和 8159 个独特工具。合成任务创建被表述为 Synthesizer 和 Solver 之间的双人游戏：Synthesizer 提出新的任务族，Solver 运行 rollout 测量 pass rate。pass rate 落在校准难度区间内的任务会被纳入语料库，hard tier 会作为下一轮扩展的种子。这个框架把 RL 环境创建这个历史上的主要瓶颈，变成了一个自动化 agentic search 问题。 论文 | 推文 论文 推文 10. Contrastive Neuron Attribution Nous Research 发布 Contrastive Neuron Attribution（CNA），这是一种 steering LLM behavior 的方法：通过识别并 ablate MLP basis 中的稀疏 circuit 来改变模型行为，不需要训练 sparse autoencoder、不修改权重，也不会降低通用能力 benchmark。给定一小组能触发目标行为及其反向行为的 contrastive prompt pair，CNA 会隔离出激活差异最大的前 0.1% MLP neuron。ablate 这个很小的 circuit 后，目标行为会被移除，而模型其余部分保持完整。在 residual stream 方法如 Contrastive Activation Addition（CAA）开始退化的高强度设置下，这种干预仍然稳健。该方法已在 8 个 instruct tuned model 的 refusal circuit 上验证，包括 Llama 3.1 70B、Llama 3.2 3B、Qwen2.5 72B 和 Qwen2.5 14B。 论文 | 推文 论文 推文 原帖链接：https://x.com/dair ai/status/2058537927823556668 原帖链接：https://x.com/dair ai/status/2058537927823556668 本周顶尖 AI 论文（5 月 18 日 5 月 24 日） 1. Code as Agent Harness 一篇 100 多页的综述，把 agent harness 当成一等研究对象，而不是包在 LLM 外面的胶水代码。作者认为，code as harness 是通向通用 agency 最有前景的路径，未来的 agent 系统应该满足四个属性：可执行、可检查、有状态、受治理。报告整合了 harness 层的方法、应用和开放问题。 • 把 harness engineering 作为一门学科： 论文把 harness 设计定义为一门不同于模型训练的科学，它有自己的原语、失败模式和评估标准。这套分类法为比较 agent 系统提供了过去文献里缺失的共同词汇。 • 面向生产 agent 的四属性测试： 可执行、可检查、有状态、受治理。每个属性都对应一类运维层面的关切。作者用它审计当前开源 agent 框架，并指出默认配置在哪些地方不够。 • 代码作为统一底座： 在浏览、工具使用和多步推理中，把决策编译成代码的 harness，在综述覆盖的 benchmark 上持续优于 JSON call 编排。论文把原因追溯到生成轨迹的确定性、可组合性和可检查性。 • 为什么重要： 如果 code as harness 是正确底座，那么下一轮 agent system 进展会更多来自 harness 层创新，而不是新 base model。这篇综述给构建者提供了一份结构化参考。 论文 | 推文 论文 推文 2. OpenAI 反驳单位距离猜想 OpenAI 的一个内部推理模型给出了 Erdős 1946 年单位距离猜想的反例，这是 AI 系统首次自主解决一个知名开放数学问题。近 80 年来，数学家一直认为方格在放置 n 个点以最大化单位距离点对时基本最优。新的构造使用带 3 幂 Galois 群的 totally real number fields 的无限 unramified tower，生成的 n 点集合拥有超过 n^(1.014) 个单位距离。9 位外部数学家准备了一篇人类验证过的伴随论文，其中包括 Noga Alon、Tim Gowers 和 Melanie Matchett Wood。 • 首次自主解决核心开放问题： 证明是在没有人类指导数学实质内容的情况下发现的。外部数学家随后对其进行验证、消化，并重写成可发表版本。 • 是深层数论，不是搜索： 该构造使用 Golod Shafarevich 理论和 Galois cohomology，而不是枚举或暴力搜索。模型选择并组合了代数数论工具，这些工具远离数学解题常见训练分布。 • 由领域专家验证： 9 位外部数学家验证了该证明，其中包括一些此前对该猜想最严苛的批评者。伴随论文呈现了经过消化的人类验证版 AI 生成反例。 • 为什么重要： 一个模型自主解决 80 年开放问题，会改变人们对 frontier reasoning system 能为研究数学贡献什么的先验判断。它也提出了实际问题：署名、验证，以及数学共同体如何整合 AI 发现的结果。 论文 | 推文 论文 推文 3. Memory as a Model