🥇5.11-5.17｜本周 AI 顶级论文

🥇5.11 5.17｜本周 AI 顶级论文 🥇5.11 5.17｜本周 AI 顶级论文 Modified May 17 A Geometric Calculator Inside a Neural Network Goodfire 报告了一项 mechanistic interpretability 工作，在一个 LLM 内部识别出了几何计算器。模型把数字表示为 Fourier features，其中 activation space 里的圆对应某个基数下的取模数字。算术运算被实现为这些圆上的旋转，形成一种 residue number system 的变体，而且不要求模数互质。同一个 circuit 似乎还会在算术之外被复用。 • 数字作为旋转圆： 数值量被编码为 activation space 中圆上的位置，加法则被实现为旋转。这种编码延续了此前关于 LLM 用 Fourier features 表示数字的发现。 • 类似 residue system 的结构： 这些圆组成了 residue number system 的变体。不同于教科书里的 residue system，这里的模数不需要互质，这是论文引入的机制细节。 • 在算术之外复用： 同样的旋转机制也出现在模型内部的非数学场景中，说明这个几何计算器更像一种通用内部结构，而不是只服务于数学的 subnetwork。 • 重要性： 这个发现为可解释性研究者提供了一个具体、可复现的 circuit 目标，并把几何表征分析与 toy settings 之外的功能行为连接起来。 论文 | 推文 4. δ mem δ mem 为一个冻结的 full attention model 增加了紧凑的在线 associative memory state。这个 state 是一个固定尺寸矩阵，在生成过程中通过 delta rule learning 更新，它的 readout 会对 backbone 的 attention output 产生 low rank corrections。它不需要 fine tuning，不替换 backbone，也不扩展 context。 • 冻结 backbone： 基座模型权重保持不变。δ mem 只添加一个小型在线 state，以及一对 low rank read/write projections。 • Delta rule update 集成进 attention： memory matrix 在生成过程中通过 delta rule learning 更新，readout 产生对 attention computation 的 additive query 和 output corrections，而不是作为单独的 retrieval step。 • 8x8 state 的结果： 一个 8x8 在线记忆把冻结 backbone 的平均分提升到 1.10x，并比最强的非 δ mem memory baseline 高 1.15x。在 memory heavy benchmarks 上差距更大：MemoryAgentBench 上 1.31x，LoCoMo 上 1.20x。通用能力基本保留。 • 重要性： 这个机制为 long horizon memory 提供了 context extension 和 external retrieval 之外的另一条路径，而且在冻结 frontier models 上部署开销很小。 论文 | 推文 5. Beyond Individual Intelligence Beyond Individual Intelligence 这是一篇覆盖 200+ 篇论文的 multi agent systems 调研，沿着三个轴组织：collaboration mechanisms、failure attribution 和 self evolution。每个轴都被视为一条独立研究线。self evolution 章节梳理了 memory、meta learning 和 procedure editing 方法之间的交汇。 • 三个相互正交的轴： Collaboration mechanisms 关注谁与谁沟通、如何沟通。Failure attribution 关注如何在多个 agents 之间定位错误。Self evolution 关注系统如何随时间更新自身行为。 • 把 failure attribution 当作一等主题： 在 multi agent systems 中，错误会沿着协调协议传播，使 attribution 变得困难。该调研把 attribution methodology 当作一个研究领域，而不只是 debugging 活动。 • Self evolution 的领域地图： 该章节识别了 memory work、meta learning 和 procedure editing 方法之间的重叠，并提出每个方向中的开放问题。 • 重要性： 这套 taxonomy 为比较 multi agent systems 提供了词汇，能区分过去研究中经常被混在一起的不同维度。 论文 | 推文 6. AutoTTS AutoTTS 把 test time scaling 重新表述为搜索问题。它不是直接设计 branching、pruning 和 stopping heuristics，而是让用户构建一个 discovery environment，在其中自动搜索 TTS strategies。Width depth TTS 被重新表述为基于预采集 reasoning trajectories 和 probe signals 的 controller synthesis，因此候选 controllers 可以在不重复调用 LLM 的情况下被评估。 • Discovery environment 加 offline evaluator： 人类指定 states、actions 和 feedback。一个 explorer LLM 迭代提出候选 controllers。Controllers 基于预采集 trajectories 评估，而不是重新采样 base model。 • Beta parameterization 与 trace level feedback： Beta parameterization 让 controller space 更适合搜索。Execution trace feedback 不只告诉 explorer 某个候选失败了，还提供失败原因。 • 数学推理 benchmarks 上的结果： 搜索得到的 controllers 在 accuracy cost Pareto frontier 上超过手工设计的 TTS recipes，并且 zero shot transfer 到 held out benchmarks 和不同 model scales。总 discovery cost：39.9 美元，160 分钟。 • 重要性： 对 TTS strategies 做自动搜索，在低成本下已经能与手工调参 heuristics 竞争，这会改变研究精力应该投入的位置。 论文 | 推文 7. AI Co Mathematician AI Co Mathematician Google DeepMind 发布 AI Co Mathematician，这是一个面向数学家的 agentic research workbench。系统是异步、有状态的环境，支持在长 session 中进行 ideation、literature discovery、computational analysis、theorem verification 和 knowledge development。它在 FrontierMath Tier 4 上达到 48%，是已评估 AI 系统中的新高。 • 异步、有状态的 workbench： 系统作为持久环境运行，数学家可以并行驱动多个 workstreams。长时间运行的计算、文献搜索和验证步骤可以在后台执行。 • 管理不确定性和意图： Workbench 会记录失败尝试，在需求不明确时澄清用户意图，并输出可检查的形式化数学结果，而不只是可阅读文本。 • FrontierMath Tier 4 达到 48%： 在已评估 AI 系统中，这是 FrontierMath 最难层级的新高分。早期应用中，它在活跃研究 session 里解决了开放问题，提出了新的研究方向，并找回了被忽视的引用。 • 重要性： 这种 workbench 设计模式，即异步、有状态、多 workstream，可以推广到 session 持续数天而不是几分钟的专家 workflow。 论文 | 推文 8. AEvo AEvo 把迭代式自我改进 loop 拆成两个角色：candidate proposer 负责生成下一次尝试，meta agent 负责观察 traces，并编辑用于提出未来 candidates 的 procedure。过去的运行记录，也就是 candidates、feedback、traces 和 failures，会作为 meta agent 修改 procedure 时读取的 memory。AEvo 在 agentic 和 reasoning benchmarks 上，相比最强 evolution baseline 获得 26% 相对提升；在相同 iteration budget 下，在三个开放式优化任务上达到 SOTA。该工作展示了一种把累积的 agentic search logs 操作化的方法：不在每轮结束后丢弃这些 logs，而是把它们作为 procedure level updates 的输入。 论文 | 推文 9. The Memory Curse in LLM Agents 这项研究关注长历史如何影响 LLM agent 行为。在 7 个 LLM、4 个 social dilemma games、500 轮交互中，扩大可访问历史会在 28 个 model game 组合里的 18 个组合中削弱合作。对 378,000 条 reasoning traces 的 lexical analysis 显示，其机制不是怀疑增加，而是 forward looking intent 被侵蚀：长历史会把模型拉向对过去交互的推理，而不是对未来收益的推理。一个只用 forward looking traces 训练的 LoRA adapter 可以缓解这种衰减，并 zero shot transfer 到新 games。Memory sanitization 在保持 prompt length 固定的同时，用 synthetic cooperative records 替换历史，可以恢复合作，这说明触发因素是内容而不是长度。移除显式 chain of thought 往往能减轻 collapse，说明 deliberation 会放大这种影响。论文为 long running agent systems 提供了诊断方法和干预方式，其中关键问题是 history quality，而不只是 history length。 论文 | 推文 10. Token Superposition Training 这是 Nous Research 本周第二篇预训练论文。Token Superposition Training（TST）是对标准 LLM pretraining loop 的一种修改，在匹配 FLOPs 的条件下实现 2 到 3 倍 wall clock speedup，同时不改变模型架构、optimizer、tokenizer 或训练数据。在训练的前三分之一阶段，模型读取并预测连续的 token bags：输入侧对 embeddings 求平均，输出侧用修改后的 cross entropy 预测下一个 bag。剩余训练阶段则回到标准 next token prediction。推理时的模型与常规预训练得到的模型完全相同。TST 已在 270M、600M 和 3B dense scales 上验证，也在一个 10B A1B mixture of experts model 上验证；在 MoE 设置中，它用 4,768 B200 GPU hours 达到更低最终 loss，而 baseline 需要 12,311。加上 Lighthouse Attention，这是同一实验室本周第二个报告无需架构改动却能显著加速的 pretraining loop modification。 论文 | 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 Goodfire 报告了一项 mechanistic interpretability 工作，在一个 LLM 内部识别出了几何计算器。模型把数字表示为 Fourier features，其中 activation space 里的圆对应某个基数下的取模数字。算术运算被实现为这些圆上的旋转，形成一种 residue number system 的变体，而且不要求模数互质。同一个 circuit 似乎还会在算术之外被复用。 • 数字作为旋转圆： 数值量被编码为 activation space 中圆上的位置，加法则被实现为旋转。这种编码延续了此前关于 LLM 用 Fourier features 表示数字的发现。 • 类似 residue system 的结构： 这些圆组成了 residue number system 的变体。不同于教科书里的 residue system，这里的模数不需要互质，这是论文引入的机制细节。 • 在算术之外复用： 同样的旋转机制也出现在模型内部的非数学场景中，说明这个几何计算器更像一种通用内部结构，而不是只服务于数学的 subnetwork。 • 重要性： 这个发现为可解释性研究者提供了一个具体、可复现的 circuit 目标，并把几何表征分析与 toy settings 之外的功能行为连接起来。 论文 | 推文 论文 推文 4. δ mem δ mem 为一个冻结的 full attention model 增加了紧凑的在线 associative memory state。这个 state 是一个固定尺寸矩阵，在生成过程中通过 delta rule learning 更新，它的 readout 会对 backbone 的 attention output 产生 low rank corrections。它不需要 fine tuning，不替换 backbone，也不扩展 context。 • 冻结 backbone： 基座模型权重保持不变。δ mem 只添加一个小型在线 state，以及一对 low rank read/write projections。 • Delta rule update 集成进 attention： memory matrix 在生成过程中通过 delta rule learning 更新，readout 产生对 attention computation 的 additive query 和 output corrections，而不是作为单独的 retrieval step。 • 8x8 state 的结果： 一个 8x8 在线记忆把冻结 backbone 的平均分提升到 1.10x，并比最强的非 δ mem memory baseline 高 1.15x。在 memory heavy benchmarks 上差距更大：MemoryAgentBench 上 1.31x，LoCoMo 上 1.20x。通用能力基本保留。 • 重要性： 这个机制为 long horizon memory 提供了 context extension 和 external retrieval 之外的另一条路径，而且在冻结 frontier models 上部署开销很小。 论文 | 推文 论文 推文 5. Beyond Individual Intelligence 这是一篇覆盖 200+ 篇论文的 multi agent systems 调研，沿着三个轴组织：collaboration mechanisms、failure attribution 和 self evolution。每个轴都被视为一条独立研究线。self evolution 章节梳理了 memory、meta learning 和 procedure editing 方法之间的交汇。 • 三个相互正交的轴： Collaboration mechanisms 关注谁与谁沟通、如何沟通。Failure attribution 关注如何在多个 agents 之间定位错误。Self evolution 关注系统如何随时间更新自身行为。 • 把 failure attribution 当作一等主题： 在 multi agent systems 中，错误会沿着协调协议传播，使 attribution 变得困难。该调研把 attribution methodology 当作一个研究领域，而不只是 debugging 活动。 • Self evolution 的领域地图： 该章节识别了 memory work、meta learning 和 procedure editing 方法之间的重叠，并提出每个方向中的开放问题。 • 重要性： 这套 taxonomy 为比较 multi agent systems 提供了词汇，能区分过去研究中经常被混在一起的不同维度。 论文 | 推文 论文 推文 6. AutoTTS AutoTTS 把 test time scaling 重新表述为搜索问题。它不是直接设计 branching、pruning 和 stopping heuristics，而是让用户构建一个 discovery environment，在其中自动搜索 TTS strategies。Width depth TTS 被重新表述为基于预采集 reasoning trajectories 和 probe signals 的 controller synthesis，因此候选 controllers 可以在不重复调用 LLM 的情况下被评估。 • Discovery environment 加 offline evaluator： 人类指定 states、actions 和 feedback。一个 explorer LLM 迭代提出候选 controllers。Controllers 基于预采集 trajectories 评估，而不是重新采样 base model。 • Beta parameterization 与 trace level feedback： Beta parameterization 让 controller space 更适合搜索。Execution trace feedback 不只告诉 explorer 某个候选失败了，还提供失败原因。 • 数学推理 benchmarks 上的结果： 搜索得到的 controllers 在 accuracy cost Pareto frontier 上超过手工设计的 TTS recipes，并且 zero shot transfer 到 held out benchmarks 和不同 model scales。总 discovery cost：39.9 美元，160 分钟。 • 重要性： 对 TTS strategies 做自动搜索，在低成本下已经能与手工调参 heuristics 竞争，这会改变研究精力应该投入的位置。 论文 | 推文 论文 推文 7. AI Co Mathematician Google DeepMind 发布 AI Co Mathematician，这是一个面向数学家的 agentic research workbench。系统是异步、有状态的环境，支持在长 session 中进行 ideation、literature discovery、computational analysis、theorem verification 和 knowledge development。它在 FrontierMath Tier 4 上达到 48%，是已评估 AI 系统中的新高。 • 异步、有状态的 workbench： 系统作为持久环境运行，数学家可以并行驱动多个 workstreams。长时间运行的计算、文献搜索和验证步骤可以在后台执行。 • 管理不确定性和意图： Workbench 会记录失败尝试，在需求不明确时澄清用户意图，并输出可检查的形式化数学结果，而不只是可阅读文本。 • FrontierMath Tier 4 达到 48%： 在已评估 AI 系统中，这是 FrontierMath 最难层级的新高分。早期应用中，它在活跃研究 session 里解决了开放问题，提出了新的研究方向，并找回了被忽视的引用。 • 重要性： 这种 workbench 设计模式，即异步、有状态、多 workstream，可以推广到 session 持续数天而不是几分钟的专家 workflow。 论文 | 推文 论文 推文 8. AEvo AEvo 把迭代式自我改进 loop 拆成两个角色：candidate proposer 负责生成下一次尝试，meta agent 负责观察 traces，并编辑用于提出未来 candidates 的 procedure。过去的运行记录，也就是 candidates、feedback、traces 和 failures，会作为 meta agent 修改 procedure 时读取的 memory。AEvo 在 agentic 和 reasoning benchmarks 上，相比最强 evolution baseline 获得 26% 相对提升；在相同 iteration budget 下，在三个开放式优化任务上达到 SOTA。该工作展示了一种把累积的 agentic search logs 操作化的方法：不在每轮结束后丢弃这些 logs，而是把它们作为 procedure level updates 的输入。 论文 | 推文 论文 推文 9. The Memory Curse in LLM Agents 这项研究关注长历史如何影响 LLM agent 行为。在 7 个 LLM、4 个 social dilemma games、500 轮交互中，扩大可访问历史会在 28 个 model game 组合里的 18 个组合中削弱合作。对 378,000 条 reasoning traces 的 lexical analysis 显示，其机制不是怀疑增加，而是 forward looking intent 被侵蚀：长历史会把模型拉向对过去交互的推理，而不是对未来收益的推理。一个只用 forward looking traces 训练的 LoRA adapter 可以缓解这种衰减，并 zero shot transfer 到新 games。Memory sanitization 在保持 prompt length 固定的同时，用 synthetic cooperative records 替换历史，可以恢复合作，这说明触发因素是内容而不是长度。移除显式 chain of thought 往往能减轻 collapse，说明 deliberation 会放大这种影响。论文为 long running agent systems 提供了诊断方法和干预方式，其中关键问题是 history quality，而不只是 history length。 论文 | 推文 论文 推文 10. Token Superposition Training 这是 Nous Research 本周第二篇预训练论文。Token Superposition Training（TST）是对标准 LLM pretraining loop 的一种修改，在匹配 FLOPs 的条件下实现 2 到 3 倍 wall clock speedup，同时不改变模型架构、optimizer、tokenizer 或训练数据。在训练的前三分之一阶段，模型读取并预测连续的 token bags：输入侧对 embeddings 求平均，输出侧用修改后的 cross entropy 预测下一个 bag。剩余训练阶段则回到标准 next token prediction。推理时的模型与常规预训练得到的模型完全相同。TST 已在 270M、600M 和 3B dense scales 上验证，也在一个 10B A1B mixture of experts model 上验证；在 MoE 设置中，它用 4,768 B200 GPU hours 达到更低最终 loss，而 baseline 需要 12,311。加上 Lighthouse Attention，这是同一实验室本周第二个报告无需架构改动却能显著加速的 pretraining loop modification。 论文 | 推文 论文 推文 原帖链接：https://x.com/dair ai/status/2056018543850754283 原帖链接：https://x.com/dair ai/status/2056018543850754283 本周 AI 顶级论文（5 月 11 日 5 月 17 日） 1. Lighthouse Attention Nous Research 提出了一种用于长上下文预训练的 training only attention wrapper。Lighthouse Attention 用一个分层、无梯度的选择层包装标准 SDPA，对 queries、keys 和 values 做对称压缩与解压，同时保持从左到右的因果性。这个 wrapper 会在训练末尾附近通过一个很短的恢复阶段被移除，因此部署后的模型在推理时仍然运行普通 attention，不需要任何架构改动。初步 LLM 实验显示，与 full attention baseline 相比，它的总训练时间更短，最终 loss 更低。 • 可亚二次扩展的 wrapper，部署时仍是普通模型： 分层 selector 降低了长上下文训练成本，但不修改底层 attention operator。恢复阶段之后，训练得到的权重在推理时与标准 SDPA 兼容。 • 对称压缩保持因果性： Queries、keys 和 values 通过同一套层级结构压缩和解压，使 wrapper 与 left to right attention 保持兼容。 • 训练更快，最终 loss 更低： 在匹配 FLOPs 的条件下，初步实验报告了更快的 wall clock 训练速度和更低的最终 loss，其中在 512K context 下 forward latency 快了 21 倍。 • 重要性： 这种只影响训练、部署模型保持不变的改法，绕开了高效 attention 方法通常在部署阶段面临的取舍。 论文 | 推文 论文 推文 想把后续系列直接收到邮箱？可以在这里订阅：https://nlp.elvissaravia.com/ 2. Is Grep All You Need? 这篇论文评估了 coding agent 中 grep 风格的文本搜索与基于 embedding 的检索。在合适的 agent harness 包装下，grep 在 coding agent 任务中能够追平甚至超过 embedding retrieval。研究把 harness 的贡献和 retrieval primitive 的贡献拆开分析，发现通常被归因于 embeddings 的性能差异，其实大部分来自 harness design。 • 直接比较 grep 与 embeddings： 在受控条件下评估 coding agent 任务，grep based retrieval 达到或超过 embedding based retrieval。 • Harness design 是主导变量： 固定 index、改变 harness 带来的性能波动，比反过来更大，说明过去很多 retrieval 对比可能被 harness 差异混淆了。 • 对代码库结构