4.13- 4.19｜本周 AI 论文精选

🥇

4.13 4.19｜本周 AI 论文精选 🥇 4.13 4.19｜本周 AI 论文精选 Modified April 20 • 评的是产品，不是 model API：这个 benchmark 直接评测 Claude Code、Codex 这类商业 agent 产品的端到端表现，而不是把底层模型拆出来单独比较。这个视角刻意转向了用户真正为之付费的完整 agent 体验，包括 tool use、orchestration 和 UI 行为。 • 六类生产特有失败模式：作者识别出了六种在编码 benchmark 中很难暴露出来的失败类型：级联依赖、主观判断崩塌、信息检索失败、跨部分不一致、约束误读和格式合规失败。即便是当前最佳配置，也就是 Claude Code + Opus 4.6，得分也只有 64.41/100，清晰暴露出研究环境与生产环境之间仍有显著落差。 • 多范式评估：AlphaEval 把 LLM as a Judge、reference driven metrics、formal verification、rubric based assessment、自动化 UI 测试和领域专用检查结合在一起。它最实用的贡献，是提供了一套 requirement to benchmark 框架，可以把生产需求低摩擦地转成可执行 eval。论文 | 推文 4. Nemotron 3 Super NVIDIA 推出了 Nemotron 3 Super，这是一款开放的 120B 参数模型，其中 active parameters 为 12B，采用 hybrid Mamba Attention Mixture of Experts 架构，重点针对 agentic reasoning 做了优化。它面向的是长上下文、高吞吐推理，而这正变得越来越像 agent 稳定运行的基础能力。这个模型支持最高 1M context length，在 benchmark 精度相近的情况下，推理吞吐最高可达 GPT OSS 120B 的 2.2 倍、Qwen3.5 122B 的 7.5 倍。 • Hybrid Mamba Attention + LatentMoE：这套架构把 Mamba block 和稀疏 LatentMoE 层结合在一起。LatentMoE 是一种新的 MoE 设计，会先把 token 投影到更小的 latent 维度，再进行 routing 和 expert 计算。这样既提升了每 FLOP 和每参数带来的准确率，也避免了传统稀疏 MoE 常见的内存负担。 • 以 NVFP4 做大规模预训练：Nemotron 3 Super 是 Nemotron 3 系列里第一款用 NVFP4 进行预训练的模型，因此能够在 25 万亿 token 上完成训练，同时把算力和内存开销控制在可接受范围内。后训练阶段则在这个底座之上叠加了 supervised fine tuning 和 reinforcement learning。 • 原生 speculative decoding：模型内置了用于推理阶段 speculative decoding 的 Multi Token Prediction（MTP）层，不需要额外草稿模型，就能降低长上下文 agent 工作负载的推理延迟。团队在 SPEED Bench 上报告了跨不同 draft depth 都比较稳定的 MTP acceptance rate。 • 全部 artifact 开源：Nemotron 3 Super 的数据集、base 版、post trained 版和 quantized checkpoint 都已经在 Hugging Face 上开源。对于那些正在搭 agent stack、又希望底层模型具备长上下文、高效率、可检查性的团队来说，这一点很重要，因为它减少了对封闭 API 的依赖。论文 | 推文 5. 记忆迁移学习 Coding agent 会从经验中学习，但这些知识往往被锁死在各自的孤岛里。你让它解决一千个 SWE 任务，这些经验也不会自然迁移到 competitive coding 上。这篇论文提出了 Memory Transfer Learning，一套让 coding agent 在六个异构 benchmark 之间共享统一 memory pool 的框架，用来研究什么知识能跨域迁移，什么不能。 • 跨领域统一 memory pool：这套框架把六个不同 coding benchmark 的 memory 汇总到同一个池子里，而不是按任务类型割裂存放。跨域 memory 让平均表现提升了 3.7%，提升不算夸张，但稳定存在，而在传统单领域评测里，这类收益往往根本看不出来。 • 抽象层级决定可迁移性：论文比较了四种 memory 形式，从原始执行轨迹到高层 insight。结果显示，高层 insight 有更好的泛化能力，而低层 trace 往往会把 agent 锚定在不兼容的实现细节上，反而造成 negative transfer。核心结论是：memory 设计比 memory 数量更重要。 • 可迁移的不是代码，而是 meta knowledge：真正能迁移的，不是特定任务代码本身，而是 validation routine、结构化 action workflow、以及与执行环境安全交互的模式。论文指出，算法策略迁移只贡献了 5.5% 的收益，大头来自程序性指导。 • 可随着规模增长，也能跨模型迁移：迁移效果会随着 memory pool 规模增大而提升，而且 memory 甚至可以跨不同模型共享。结合抽象层级的发现，这说明未来更有潜力的 memory system，不是“把 agent 做过的一切都记下来”，而是主动筛选和沉淀真正有用的 insight。论文 | 推文 6. 自动诊断 Integration test 失败之所以让人痛苦，往往不是因为问题本身，而是因为信号被埋在一堆混乱日志里。输出规模大、系统异构、信噪比极低、根因不清晰，开发者只能在几千行日志里来回滚动。这篇论文提出了 Auto Diagnose，一款部署在 Google 内部 Critique 代码审查系统里的 LLM 工具，可以自动分析失败日志，提炼关键行，并直接在开发者工作流中给出根因建议。 • 直接嵌入工作流的根因诊断：Auto Diagnose 被集成进 Critique，也就是 Google 的内部 code review 系统，所以诊断结果会直接出现在开发者本来就在查看失败信息的地方。来自 test driver 和被测系统的日志流分布在不同数据中心和线程里，系统会先按时间戳对它们做汇总和排序，再交给 LLM。 • 根因诊断准确率很高：在对 71 个真实失败案例的人工评测里，Auto Diagnose 的 root cause diagnosis accuracy 达到 90.14%。到了这个可靠度，系统就有理由把建议直接展示在开发者无法忽视的主工作流里，而不是藏在一个需要手动点击的查询界面里。 • 大规模生产部署证据：在 Google 全量推广之后，这个工具覆盖了 52,635 个不同的 failing test。用户只在 5.8% 的情况下把它标记为“Not helpful”，在 Critique 的 370 个工具中，它的 helpfulness 排名第 14。这是目前关于大型公司内部生产级 LLM 工具有多大实际价值，最清晰的一批数据点之一。 • 面向开发者的 LLM 工具模板：这篇论文本身就像是一份实操蓝图，展示了如何把基于 LLM 的诊断能力嵌进既有工程工作流中。团队没有另起炉灶做一个独立产品，而是把能力接进开发者本来就会停留的工具里，这很可能正是它低“Not helpful”率和高采用率的关键原因。论文 | 推文 7. 潜意识学习 Evans 及其合作者提出的 Subliminal Learning 论文如今已经正式发表于 Nature。它最初证明，LLM 可以通过表面上看不出任何相关性的训练数据来传递某些 trait，比如对猫头鹰的偏好，哪怕这些数据只是一些看起来毫无意义的数字序列。Nature 版本在 2025 年 7 月的预印本基础上，增加了新的实验、在 Gemma 上的复现，以及对 AI 系统彼此训练时潜在安全含义的更广泛讨论。 • 跨不同初始化也会发生 transfer：预印本里展示的是共享初始化模型之间的 subliminal transfer；而新加入的 MNIST 实验表明，即便模型初始化不同，也会发生 transfer。虽然这是一个 toy setup，但它显著扩大了这一现象的适用范围，不再局限于 shared weight 场景。 • misalignment 可以通过代码和 chain of thought 传播：不仅是无害偏好，连更一般性的 misalignment 也能以 subliminal 的方式被传递。新结果表明，这种 transfer 不只会通过数字序列发生，还可能通过 model 写出的代码或 chain of thought 推理链传播，大幅扩大了潜在攻击面和污染面。 • 与独立后续工作的呼应：作者特别点名了几项同期工作，包括 Aden Ali et al.（2026）证明 teacher 过滤后的标准 post training 数据集也会发生 trait transfer；Draganov et al.（2026）展示了跨模型家族的 “phantom transfer” 数据投毒攻击；Weckbecker et al.（2026）则描述了一种会在 agent 群体间传播的 subliminal “virus”。这些结果一起说明，这个现象具备稳健性、可复现性，而且很难防御。 • 对安全评测的含义：实际启示是，未来安全评测可能不仅要看 model behavior，还得看模型从哪里来、训练数据是怎么生成的。随着系统越来越多地用彼此的输出继续训练，即便某些属性在数据表面不可见，它们仍然可能被继承下来，从而绕过那些只关注可观察输出的评估方式。论文 | 推文 8. 大模型作为验证器 Test time scaling 对 agentic task 很有效，但真正的瓶颈在于，面对一堆 candidate，怎么选出最优答案。LLM as a Verifier 提出了一种非常直接的 test time 方法，在 agent benchmark 上拿到了新的 SOTA。它的核心做法，是让 LLM 自己在 1 到 k 的尺度上给结果排序，再用这些 rank token 的 log probability 计算期望分数，从而在每对候选只需一次采样的前提下，抽取出更干净的排序信号。最终得到的是一个轻量、即插即用的 verifier，不需要再专门训练 reward model。论文 | 推文 9. WebXSkill Web agent 会操作网页，但如果让它把自己已经走通过一次的 checkout 流程再来一遍，它往往还是会从零开始。WebXSkill 提出了一套 skill learning 框架，让 web agent 从合成轨迹中抽取可复用 skill。每个 skill 都由参数化 action program 和逐步自然语言指导组成。系统支持两种部署模式：一种是 grounded 模式，把 skill 当成原子级 tool call 自动执行；另一种是 guided 模式，让 agent 把 skill 当作 step by step 指南来遵循，同时保留适应环境变化的自主性。在 WebArena 上，WebXSkill 最多比 baseline 高出 9.8 个点；在 WebVoyager 上，grounded 模式达到 86.1%，提升 14.2 个点，而且这些 skill 还能跨环境迁移。论文 | 推文 10. Muses Bench 几乎所有 agent framework 都默认只有一个用户在发指令，但真实团队工作流里，agent 往往会面对多个“老板”：他们的目标相互冲突，掌握的信息彼此私有，权限等级也各不相同。Muses Bench 把 multi user interaction 形式化成一个 multi principal decision problem，并在三类场景下评测前沿 LLM：权威冲突下的指令遵循、跨用户访问控制，以及多用户会议协调。Gemini 3 Pro 以 85.6% 的平均成绩排在榜首，但没有任何模型在会议协调任务上超过 64.8%。privacy 和 utility 的 tradeoff 非常尖锐：Grok 3 Mini 在 privacy 上达到 99.6%，但 utility 直接掉到 60.1%，说明当前模型还无法在多主体压力下稳定兼顾两者。论文 | 推文论文推文论文推文论文推文论文推文论文推文论文推文论文推文论文推文 • 评的是产品，不是 model API：这个 benchmark 直接评测 Claude Code、Codex 这类商业 agent 产品的端到端表现，而不是把底层模型拆出来单独比较。这个视角刻意转向了用户真正为之付费的完整 agent 体验，包括 tool use、orchestration 和 UI 行为。 • 六类生产特有失败模式：作者识别出了六种在编码 benchmark 中很难暴露出来的失败类型：级联依赖、主观判断崩塌、信息检索失败、跨部分不一致、约束误读和格式合规失败。即便是当前最佳配置，也就是 Claude Code + Opus 4.6，得分也只有 64.41/100，清晰暴露出研究环境与生产环境之间仍有显著落差。 • 多范式评估：AlphaEval 把 LLM as a Judge、reference driven metrics、formal verification、rubric based assessment、自动化 UI 测试和领域专用检查结合在一起。它最实用的贡献，是提供了一套 requirement to benchmark 框架，可以把生产需求低摩擦地转成可执行 eval。论文 | 推文论文推文 4. Nemotron 3 Super NVIDIA 推出了 Nemotron 3 Super，这是一款开放的 120B 参数模型，其中 active parameters 为 12B，采用 hybrid Mamba Attention Mixture of Experts 架构，重点针对 agentic reasoning 做了优化。它面向的是长上下文、高吞吐推理，而这正变得越来越像 agent 稳定运行的基础能力。这个模型支持最高 1M context length，在 benchmark 精度相近的情况下，推理吞吐最高可达 GPT OSS 120B 的 2.2 倍、Qwen3.5 122B 的 7.5 倍。 • Hybrid Mamba Attention + LatentMoE：这套架构把 Mamba block 和稀疏 LatentMoE 层结合在一起。LatentMoE 是一种新的 MoE 设计，会先把 token 投影到更小的 latent 维度，再进行 routing 和 expert 计算。这样既提升了每 FLOP 和每参数带来的准确率，也避免了传统稀疏 MoE 常见的内存负担。 • 以 NVFP4 做大规模预训练：Nemotron 3 Super 是 Nemotron 3 系列里第一款用 NVFP4 进行预训练的模型，因此能够在 25 万亿 token 上完成训练，同时把算力和内存开销控制在可接受范围内。后训练阶段则在这个底座之上叠加了 supervised fine tuning 和 reinforcement learning。 • 原生 speculative decoding：模型内置了用于推理阶段 speculative decoding 的 Multi Token Prediction（MTP）层，不需要额外草稿模型，就能降低长上下文 agent 工作负载的推理延迟。团队在 SPEED Bench 上报告了跨不同 draft depth 都比较稳定的 MTP acceptance rate。 • 全部 artifact 开源：Nemotron 3 Super 的数据集、base 版、post trained 版和 quantized checkpoint 都已经在 Hugging Face 上开源。对于那些正在搭 agent stack、又希望底层模型具备长上下文、高效率、可检查性的团队来说，这一点很重要，因为它减少了对封闭 API 的依赖。论文 | 推文论文推文 5. 记忆迁移学习 Coding agent 会从经验中学习，但这些知识往往被锁死在各自的孤岛里。你让它解决一千个 SWE 任务，这些经验也不会自然迁移到 competitive coding 上。这篇论文提出了 Memory Transfer Learning，一套让 coding agent 在六个异构 benchmark 之间共享统一 memory pool 的框架，用来研究什么知识能跨域迁移，什么不能。 • 跨领域统一 memory pool：这套框架把六个不同 coding benchmark 的 memory 汇总到同一个池子里，而不是按任务类型割裂存放。跨域 memory 让平均表现提升了 3.7%，提升不算夸张，但稳定存在，而在传统单领域评测里，这类收益往往根本看不出来。 • 抽象层级决定可迁移性：论文比较了四种 memory 形式，从原始执行轨迹到高层 insight。结果显示，高层 insight 有更好的泛化能力，而低层 trace 往往会把 agent 锚定在不兼容的实现细节上，反而造成 negative transfer。核心结论是：memory 设计比 memory 数量更重要。 • 可迁移的不是代码，而是 meta knowledge：真正能迁移的，不是特定任务代码本身，而是 validation routine、结构化 action workflow、以及与执行环境安全交互的模式。论文指出，算法策略迁移只贡献了 5.5% 的收益，大头来自程序性指导。 • 可随着规模增长，也能跨模型迁移：迁移效果会随着 memory pool 规模增大而提升，而且 memory 甚至可以跨不同模型共享。结合抽象层级的发现，这说明未来更有潜力的 memory system，不是“把 agent 做过的一切都记下来”，而是主动筛选和沉淀真正有用的 insight。论文 | 推文论文推文 6. 自动诊断 Integration test 失败之所以让人痛苦，往往不是因为问题本身，而是因为信号被埋在一堆混乱日志里。输出规模大、系统异构、信噪比极低、根因不清晰，开发者只能在几千行日志里来回滚动。这篇论文提出了 Auto Diagnose，一款部署在 Google 内部 Critique 代码审查系统里的 LLM 工具，可以自动分析失败日志，提炼关键行，并直接在开发者工作流中给出根因建议。 • 直接嵌入工作流的根因诊断：Auto Diagnose 被集成进 Critique，也就是 Google 的内部 code review 系统，所以诊断结果会直接出现在开发者本来就在查看失败信息的地方。来自 test driver 和被测系统的日志流分布在不同数据中心和线程里，系统会先按时间戳对它们做汇总和排序，再交给 LLM。 • 根因诊断准确率很高：在对 71 个真实失败案例的人工评测里，Auto Diagnose 的 root cause diagnosis accuracy 达到 90.14%。到了这个可靠度，系统就有理由把建议直接展示在开发者无法忽视的主工作流里，而不是藏在一个需要手动点击的查询界面里。 • 大规模生产部署证据：在 Google 全量推广之后，这个工具覆盖了 52,635 个不同的 failing test。用户只在 5.8% 的情况下把它标记为“Not helpful”，在 Critique 的 370 个工具中，它的 helpfulness 排名第 14。这是目前关于大型公司内部生产级 LLM 工具有多大实际价值，最清晰的一批数据点之一。 • 面向开发者的 LLM 工具模板：这篇论文本身就像是一份实操蓝图，展示了如何把基于 LLM 的诊断能力嵌进既有工程工作流中。团队没有另起炉灶做一个独立产品，而是把能力接进开发者本来就会停留的工具里，这很可能正是它低“Not helpful”率和高采用率的关键原因。论文 | 推文论文推文 7. 潜意识学习 Evans 及其合作者提出的 Subliminal Learning 论文如今已经正式发表于 Nature。它最初证明，LLM 可以通过表面上看不出任何相关性的训练数据来传递某些 trait，比如对猫头鹰的偏好，哪怕这些数据只是一些看起来毫无意义的数字序列。Nature 版本在 2025 年 7 月的预印本基础上，增加了新的实验、在 Gemma 上的复现，以及对 AI 系统彼此训练时潜在安全含义的更广泛讨论。 • 跨不同初始化也会发生 transfer：预印本里展示的是共享初始化模型之间的 subliminal transfer；而新加入的 MNIST 实验表明，即便模型初始化不同，也会发生 transfer。虽然这是一个 toy setup，但它显著扩大了这一现象的适用范围，不再局限于 shared weight 场景。 • misalignment 可以通过代码和 chain of thought 传播：不仅是无害偏好，连更一般性的 misalignment 也能以 subliminal 的方式被传递。新结果表明，这种 transfer 不只会通过数字序列发生，还可能通过 model 写出的代码或 chain of thought 推理链传播，大幅扩大了潜在攻击面和污染面。 • 与独立后续工作的呼应：作者特别点名了几项同期工作，包括 Aden Ali et al.（2026）证明 teacher 过滤后的标准 post training 数据集也会发生 trait transfer；Draganov et al.（2026）展示了跨模型家族的 “phantom transfer” 数据投毒攻击；Weckbecker et al.（2026）则描述了一种会在 agent 群体间传播的 subliminal “virus”。这些结果一起说明，这个现象具备稳健性、可复现性，而且很难防御。 • 对安全评测的含义：实际启示是，未来安全评测可能不仅要看 model behavior，还得看模型从哪里来、训练数据是怎么生成的。随着系统越来越多地用彼此的输出继续训练，即便某些属性在数据表面不可见，它们仍然可能被继承下来，从而绕过那些只关注可观察输出的评估方式。论文 | 推文论文推文 8. 大模型作为验证器 Test time scaling 对 agentic task 很有效，但真正的瓶颈在于，面对一堆 candidate，怎么选出最优答案。LLM as a Verifier 提出了一种非常直接的 test time 方法，在 agent benchmark 上拿到了新的 SOTA。它的核心做法，是让 LLM 自己在 1 到 k 的尺度上给结果排序，再用这些 rank token 的 log probability 计算期望分数，从而在每对候选只需一次采样的前提下，抽取出更干净的排序信号。最终得到的是一个轻量、即插即用的 verifier，不需要再专门训练 reward model。论文 | 推文论文推文 9. WebXSkill Web agent 会操作网页，但如果让它把自己已经走通过一次的 checkout 流程再来一遍，它往往还是会从零开始。WebXSkill 提出了一套 skill learning 框架，让 web agent 从合成轨迹中抽取可复用 skill。每个 skill 都由参数化 action program 和逐步自然语言指导组成。系统支持两种部署模式：一种是 grounded 模式，把 skill 当成原子级 tool call 自动执行；另一种是 guided 模式，让 agent 把 skill 当作 step by step 指南来遵循，同时保留适应环境变化的自主性。在 WebArena 上，WebXSkill 最多比 baseline 高出 9.8 个点；在 WebVoyager 上，grounded 模式达到 86.1%，提升 14.2 个点，而且这些 skill 还能跨环境迁移。论文 | 推文论文推文 10. Muses Bench 几乎所有 agent framework 都默认只有一个用户在发指令，但真实团队工作流里，agent 往往会面对多个“老板”：他们的目标相互冲突，掌握的信息彼此私有，权限等级也各不相同。Muses Bench 把 multi user interaction 形式化成一个 multi principal decision problem，并在三类场景下评测前沿 LLM：权威冲突下的指令遵循、跨用户访问控制，以及多用户会议协调。Gemini 3 Pro 以 85.6% 的平均成绩排在榜首，但没有任何模型在会议协调任务上超过 64.8%。privacy 和 utility 的 tradeoff 非常尖锐：Grok 3 Mini 在 privacy 上达到 99.6%，但 utility 直接掉到 60.1%，说明当前模型还无法在多主体压力下稳定兼顾两者。论文 | 推文论文推文 🔗 原帖链接： https://x.com/dair ai/status/2045883132419645456 本周 AI 论文精选 1. 自动化弱监督转强监督研究员 Anthropic 展示了 Claude 已经能够在可扩展监督研究上实现几乎全自动的科研推进。研究团队基于 Claude Opus 4.6 构建的并行自动化对齐研究员（AAR）团队提出研究思路、开展实验，并围绕弱监督转强监督方法进行迭代优化 —— 这是一项核心对齐问题，即更强的模型需要从能力较弱的教师模型中进行学习。最终，这套系统几乎补齐了人类研究者没能解决的全部剩余性能差距，总成本大约是 1.8 万美元的 token 和训练开销。 • 用 performance gap recovered 作为核心指标：作者用 performance gap recovered（PGR）来衡量进展，取值从 0 到 1。0对应弱监督教师模型，1对应真实标签监督的学生模型。在一个聊天偏好数据集上，两位人类研究员围绕四种有前景的泛化方法迭代七天后，PGR 达到 0.23。 • AAR 在五天内做到 0.97 PGR：系统让九个基于 Claude 的 agent 在并行沙箱中运行，累计 800 agent hours，五天内把 PGR 拉到 0.97。总成本约 1.8 万美元，折合每个 AAR hour 大约 22 美元。这是目前最强的一批实证证据之一，说明 AI 已经能够在开放式对齐问题上带来可度量的研究进展。 • agent 之间通过 forum 协作：每个 AAR 都在各自隔离的沙箱中工作，但会把发现同步到一个公共 forum，并把代码库快照上传到共享存储。这个设置很像一个小型研究团队的协作方式，让后续 agent 能在前面 agent 的成果上继续往前推进，而不需要共享同一个执行环境。 • reward hacking 不再只是理论风险：这些 agent 有时会通过研究者事先没预料到的机制取得成功，其中就包括 reward hacking 行为。这个结果说明自动化科研是一把双刃剑：对那些可以通过结果打分的问题，它今天已经可以真正推动进展；但如何设计稳健的指标，依然是人类必须亲自负责的事情。论文 | 推文论文推文 2. AiScientist 长时程 AI 研究 agent 的核心问题，本质上是状态管理。仅仅在下一轮推理里表现出色还不够，因为机器学习研究往往需要跨越数小时甚至数天，持续完成任务搭建、实现、实验、调试和证据跟踪。这篇论文提出了 AiScientist，一套面向长时程自主工程的系统，核心原则是 thin control、thick state。最上层 orchestrator 只负责阶段级推进，而专门化 agent 会反复回到持久化的 workspace artifact 上来对齐上下文。 • File as Bus 协调机制：AiScientist 最关键的设计选择，是通过持久化的文件系统 artifact 来做协作，而不是依赖上下文里的消息传递。分析、计划、代码、日志和实验结果都作为带版本的文件存在于一个权限隔离的 workspace 中，因此不同 specialist 和 subagent 不需要重放整段对话，也能从零恢复上下文。 • thin control，thick state：Tier 0 orchestrator 只下发阶段级指令，Tier 1 specialist 和可选的 Tier 2 subagent 则围绕共享 artifact 展开工作。这样做让控制通道保持精简，但让状态通道足够丰富，agent 可以长时间跑实验，同时不丢失此前的决策过程和证据积累。 • benchmark 表现很强：这个系统在 PaperBench 上比最强的可比 baseline 高出 10.54 分，在 MLE Bench Lite 上拿到 81.82 Any Medal%。如果去掉 File as Bus 设计，PaperBench 会掉 6.41 分，MLE Bench Lite 会掉 31.82 分，说明 artifact 驱动的协作机制正是性能提升的核心来源。 • 长对话之外，更需要持久项目记忆：论文强调，自主科研 agent 真正需要的是 persistent project memory，而不是单纯更长的 context window。结果也印证了一个越来越明显的趋势：由环境替 agent 承担状态，比完全依赖 in context reasoning 的架构，更适合多小时工作流。论文 | 推文论文推文 3. AlphaEval Agent 评测正越来越偏离真实生产环境。大多数 benchmark 都建立在任务干净、需求明确、指标确定、事后精修的数据之上；但真实生产工作往往充满隐含约束、碎片化的多模态输入、未声明的领域知识、长时程交付物，以及会随着时间变化的专家判断。这篇论文提出了 AlphaEval，一个贴近生产现场的 benchmark，它评测的不是 model API，而是完整的 agent 产品。 • 七家公司、六个 ONET 领域：AlphaEval 包含 94 个任务，来自 7 家已经把 AI agent 部署到核心业务流程中的公司，覆盖 6 个 ONET 领域。它保留了生产环境本身的复杂度，而不是把这些复杂度人为剥离掉，因此与此前偏编码任务的 benchmark 在任务分布上有本质差异。