3.23-3.29｜本周顶级AI论文速览

3.23 3.29｜本周顶级AI论文速览 3.23 3.29｜本周顶级AI论文速览 Modified March 31 Francois Chollet与ARC奖基金会推出ARC AGI 3，这是一项交互式评测基准，通过全新的抽象回合制环境来研究智能体智能。与前代版本不同，ARC AGI 3要求智能体在无明确指令的情况下进行探索、推断目标、构建环境动态的内部模型，并规划有效的行动序列，使其成为截至2026年3月唯一尚未达到性能饱和的通用智能体智能评测基准。 • 人类与人工智能存在巨大差距：人类能够100%完成所有环境任务，而顶尖人工智能系统的得分却不足1%。对比来看，相关系统在ARC AGI 1上的得分可达93%，在ARC AGI 2上为68.8%，但在ARC AGI 3上的表现却大幅下滑。这一差距表明，当前系统缺乏人类在应对全新任务时所展现出的灵活自适应效率。 • 交互式回合制设计：不同于仅在固定输入上测试模式识别能力的静态评测基准，ARC AGI 3的环境采用回合制模式：智能体必须执行行动、观察结果、更新内部模型并规划后续步骤。这测试的是一种本质上截然不同的智能形式，更贴近人类学习新游戏或探索陌生系统的方式。 • 仅依托核心知识先验：该评测基准完全摒弃语言与外部知识，其环境仅依托核心知识先验——即全人类共有的通用认知基础单元，以此确保评测结果反映的是真正的自适应推理能力，而非对训练数据的记忆或检索。 • 基于效率的评分机制：评分体系以人类行动基准为依据。每个关卡均设置严格限制，智能体的操作次数不得超过人类表现的5倍，以此杜绝暴力搜索策略奏效。若人类平均需执行10次操作，人工智能智能体在达到50次后便会被强制终止。 Paper | Tweet 4. Claudini 研究人员证实，依托Claude Code构建的自主研究流程，能够自主发现针对大语言模型的全新对抗性攻击算法，其性能显著优于现有的30余种同类方法。这项名为Claudini的研究表明，借助大语言模型智能体可有效实现安全领域的渐进式研究自动化，而白盒红队测试正是尤为适配这一模式的应用场景。 • 智能体自主研发的攻击方法超越所有基准方案：以GCG等现有攻击算法为基础，Claude Code智能体通过迭代优化生成全新算法，在针对GPT OSS Safeguard 20B模型的核生化相关查询攻击中，成功率最高可达40%，而现有所有算法的攻击成功率均不足10%。这一成果有力证明了人工智能自动化研究能够产出真正具有创新性的突破。 • 具备跨模型泛化攻击能力：所发现的攻击算法可突破训练环境限制实现泛化。在替代模型上优化的攻击策略可直接迁移至未公开模型，针对Meta SecAlign 70B模型的攻击成功率达到100%，而最优基准算法的成功率仅为56%。这种跨模型泛化性让该研究成果在红队测试中具备极高的实际应用价值。 • 红队测试适配自主研究的原因：白盒对抗性红队测试之所以高度适配自动化研究，是因为现有算法可提供优质的优化起点，且优化目标能够反馈密集、可量化的指标。智能体可在每一次迭代中监测优化进度，而非依赖稀疏的信号反馈。 • 开源发布：研究团队已公开所有自主发现的攻击方法、基准算法实现代码及评估代码。这不仅能助力安全领域研究人员深入分析相关算法并构建防御机制，还能为自动化安全研究建立一套可复现的方法论。 Paper | Tweet 5. Attention Residuals 月之暗面人工智能公司的Kimi团队提出了注意力残差机制（AttnRes），该技术将Transformer中固定单元权重的残差连接，替换为对前序层输出的softmax注意力机制。采用预归一化（PreNorm）的残差连接是现代大语言模型的标准配置，但其以固定单元权重累加所有层输出，会导致隐状态随网络深度无节制增长，逐步稀释每一层的特征贡献。 • 基于内容的深度层级选择：注意力残差机制允许每一层通过学习得到的、与输入相关的权重，选择性聚合早期特征表示。模型不再平等对待所有前序层，而是针对每个输入自主学习哪些早期层最为关键，从而实现更具表达力的跨深度信息传递。 • 面向可扩展性的分块注意力残差：为使该方法在大规模场景下切实可行，研究者提出了分块注意力残差（Block AttnRes），将网络层划分为多个模块，并对模块级特征表示施加注意力机制。这一设计降低了内存占用，同时保留了完整注意力残差机制的大部分性能增益，使其能够应用于工业级规模的预训练任务。 • 缓解预归一化稀释问题：将注意力残差机制融入Kimi Linear架构（总参数量480亿/激活参数量30亿），并基于1.4万亿词元进行预训练的结果表明，该机制有效缓解了预归一化带来的特征稀释问题，使跨深度的输出幅值与梯度分布更为均匀，直接解决了这一已知的架构缺陷。 • 稳定的规模扩展增益：缩放定律实验证实，该改进效果在不同模型尺寸下均保持稳定，消融实验也验证了基于内容的深度层级选择的有效性。在所有评估任务中，模型的下游任务性能均得到提升。 Paper | Tweet 6. MemCollab 基于大语言模型的智能体在执行任务过程中会构建实用的记忆，但这类记忆通常仅局限于单个模型内部。MemCollab提出了一种协作式记忆框架，该框架通过对比不同智能体在同一任务中生成的推理轨迹，构建与智能体无关的通用记忆，从而实现单一记忆系统在异构模型间的共享。 • 记忆迁移问题：现有方法采用面向单个智能体的记忆构建方式，将存储的知识与单一模型的推理模式紧密绑定。若直接在不同智能体间迁移此类记忆，往往会导致性能下降，因为其中混杂了任务相关知识与智能体特有的偏差。MemCollab直接解决了这一核心局限。 • 对比式轨迹蒸馏：该框架对不同智能体解决同一任务时的推理轨迹进行对比分析。通过这一对比过程，提炼出抽象的推理约束，这些约束能够捕捉任务层面共有的不变规律，同时剔除智能体专属的干扰特征，最终生成可被任意智能体利用的通用记忆。 • 任务感知检索：MemCollab引入了一种基于任务类别调控记忆访问的检索机制，确保推理阶段仅调用相关的约束信息，避免无关记忆干扰智能体的推理过程。 • 跨模型架构性能提升：在数学推理与代码生成基准测试中的实验表明，MemCollab能够持续提升各类智能体的推理准确率与推理效率，其中还包括在架构差异显著的跨模态模型间共享记忆的场景。 Paper | Tweet 7. Composer 2 Cursor发布了Composer 2技术报告。该专用模型面向智能体软件工程场景打造，展现出出色的长期规划能力与代码智能水平，同时在交互使用中保持高效性能。报告详细阐述了领域专用模型的训练流程：以持续预训练为起点，再通过强化学习实现能力升级。 • 两阶段训练流程：模型先通过持续预训练提升知识储备与潜在编码能力，随后开展大规模强化学习，优化端到端代码生成效果。强化学习阶段重点增强模型推理能力、多步骤精准执行能力，以及在长周期真实编码任务中的逻辑连贯性。 • 一体化训练基础设施：Cursor搭建了专用基础设施，支持模型在与部署环境一致的框架中训练，工具与架构完全对等。训练环境高度贴合实际应用场景，有效缩小了模型训练表现与部署表现之间的差距。 • 全新内部基准测试集：为评估模型在高难度任务中的表现，团队推出CursorBench基准测试集，数据源自大型代码库（含Cursor自身代码库）中的真实软件工程问题。在该测试集上，Composer 2相较前代Composer模型，准确率实现大幅提升。 • 前沿水准性能表现：在公开基准测试中，该模型于Cursor框架下，Terminal Bench得分61.7，多语言版SWE bench得分73.7，性能比肩当前顶尖系统。报告证实，结合强化学习的领域专用训练，可打造出与超大规模通用模型相抗衡的产品。 Paper | Tweet 8. PivotRL PivotRL是英伟达推出的一种回合级强化学习算法，旨在对大语言模型进行可落地的后置训练，以适配长时序智能体任务。该方法基于现有监督微调轨迹开展工作，兼具监督微调的计算效率与端到端强化学习的域外泛化精度。PivotRL会识别“关键节点”，即采样动作在结果中呈现高方差、具备高信息价值的中间回合，并将训练信号聚焦于这些关键决策点。与标准监督微调相比，该方法使域内精度提升4.17%，域外精度提升10.04%，同时仅用四分之一的推演回合量，就达到了与端到端强化学习相当的精度。PivotRL已被英伟达的Nemotron 3 Super 120B A12B模型采用，作为规模化生产环境下智能体后置训练的核心算法。 Paper | Tweet 9. Workflow Optimization for LLM Agents 这是一份来自IBM的综合性调研报告，梳理了当前设计与优化大语言模型智能体工作流的各类前沿方法，并将这类工作流视作智能体计算图（ACGs）。该报告从三个维度对现有研究进行梳理：工作流结构的确定时机、工作流的优化对象，以及指导优化的评估信号。报告还对可复用工作流模板、特定运行实例的实现图以及执行轨迹进行了区分，涵盖的方法包括AFlow（基于算子图的蒙特卡洛树搜索）、智能体系统自动化设计（通过元智能体进行代码空间搜索）以及进化式多智能体系统设计。对于构建生产级智能体系统的团队而言，这份报告极具参考价值——在这类系统中，模型调用、信息检索、工具使用与验证环节之间的衔接设计，其重要性不亚于模型本身的能力。 Paper | Tweet 10. BIGMAS 即便是最优秀的推理模型，在问题复杂度超过一定阈值后也会出现精度骤降的情况。BIGMAS（类脑图结构多智能体系统）将专业化的大语言模型智能体作为动态构建的有向图中的节点，其协作方式完全借鉴认知神经科学中的全局工作空间理论，通过一个集中式共享工作区实现。图设计智能体（GraphDesigner）会对每个问题实例进行分析，并生成面向特定任务的有向智能体图以及工作区协议。该框架可构建结构各异的图结构，其复杂程度与任务需求相匹配——从用于简单算术运算的紧凑三节点流水线，到适用于多步规划的九节点循环结构。BIGMAS能够持续提升标准大语言模型与大型推理模型的推理性能，表现优于现有的多智能体基准方案。 Paper | Tweet Paper Tweet Paper Tweet Paper Tweet Paper Tweet Paper Tweet Paper Tweet Paper Tweet Paper Tweet Francois Chollet与ARC奖基金会推出ARC AGI 3，这是一项交互式评测基准，通过全新的抽象回合制环境来研究智能体智能。与前代版本不同，ARC AGI 3要求智能体在无明确指令的情况下进行探索、推断目标、构建环境动态的内部模型，并规划有效的行动序列，使其成为截至2026年3月唯一尚未达到性能饱和的通用智能体智能评测基准。 • 人类与人工智能存在巨大差距：人类能够100%完成所有环境任务，而顶尖人工智能系统的得分却不足1%。对比来看，相关系统在ARC AGI 1上的得分可达93%，在ARC AGI 2上为68.8%，但在ARC AGI 3上的表现却大幅下滑。这一差距表明，当前系统缺乏人类在应对全新任务时所展现出的灵活自适应效率。 • 交互式回合制设计：不同于仅在固定输入上测试模式识别能力的静态评测基准，ARC AGI 3的环境采用回合制模式：智能体必须执行行动、观察结果、更新内部模型并规划后续步骤。这测试的是一种本质上截然不同的智能形式，更贴近人类学习新游戏或探索陌生系统的方式。 • 仅依托核心知识先验：该评测基准完全摒弃语言与外部知识，其环境仅依托核心知识先验——即全人类共有的通用认知基础单元，以此确保评测结果反映的是真正的自适应推理能力，而非对训练数据的记忆或检索。 • 基于效率的评分机制：评分体系以人类行动基准为依据。每个关卡均设置严格限制，智能体的操作次数不得超过人类表现的5倍，以此杜绝暴力搜索策略奏效。若人类平均需执行10次操作，人工智能智能体在达到50次后便会被强制终止。 Paper | Tweet Paper Tweet 4. Claudini 研究人员证实，依托Claude Code构建的自主研究流程，能够自主发现针对大语言模型的全新对抗性攻击算法，其性能显著优于现有的30余种同类方法。这项名为Claudini的研究表明，借助大语言模型智能体可有效实现安全领域的渐进式研究自动化，而白盒红队测试正是尤为适配这一模式的应用场景。 • 智能体自主研发的攻击方法超越所有基准方案：以GCG等现有攻击算法为基础，Claude Code智能体通过迭代优化生成全新算法，在针对GPT OSS Safeguard 20B模型的核生化相关查询攻击中，成功率最高可达40%，而现有所有算法的攻击成功率均不足10%。这一成果有力证明了人工智能自动化研究能够产出真正具有创新性的突破。 • 具备跨模型泛化攻击能力：所发现的攻击算法可突破训练环境限制实现泛化。在替代模型上优化的攻击策略可直接迁移至未公开模型，针对Meta SecAlign 70B模型的攻击成功率达到100%，而最优基准算法的成功率仅为56%。这种跨模型泛化性让该研究成果在红队测试中具备极高的实际应用价值。 • 红队测试适配自主研究的原因：白盒对抗性红队测试之所以高度适配自动化研究，是因为现有算法可提供优质的优化起点，且优化目标能够反馈密集、可量化的指标。智能体可在每一次迭代中监测优化进度，而非依赖稀疏的信号反馈。 • 开源发布：研究团队已公开所有自主发现的攻击方法、基准算法实现代码及评估代码。这不仅能助力安全领域研究人员深入分析相关算法并构建防御机制，还能为自动化安全研究建立一套可复现的方法论。 Paper | Tweet Paper Tweet 5. Attention Residuals 月之暗面人工智能公司的Kimi团队提出了注意力残差机制（AttnRes），该技术将Transformer中固定单元权重的残差连接，替换为对前序层输出的softmax注意力机制。采用预归一化（PreNorm）的残差连接是现代大语言模型的标准配置，但其以固定单元权重累加所有层输出，会导致隐状态随网络深度无节制增长，逐步稀释每一层的特征贡献。 • 基于内容的深度层级选择：注意力残差机制允许每一层通过学习得到的、与输入相关的权重，选择性聚合早期特征表示。模型不再平等对待所有前序层，而是针对每个输入自主学习哪些早期层最为关键，从而实现更具表达力的跨深度信息传递。 • 面向可扩展性的分块注意力残差：为使该方法在大规模场景下切实可行，研究者提出了分块注意力残差（Block AttnRes），将网络层划分为多个模块，并对模块级特征表示施加注意力机制。这一设计降低了内存占用，同时保留了完整注意力残差机制的大部分性能增益，使其能够应用于工业级规模的预训练任务。 • 缓解预归一化稀释问题：将注意力残差机制融入Kimi Linear架构（总参数量480亿/激活参数量30亿），并基于1.4万亿词元进行预训练的结果表明，该机制有效缓解了预归一化带来的特征稀释问题，使跨深度的输出幅值与梯度分布更为均匀，直接解决了这一已知的架构缺陷。 • 稳定的规模扩展增益：缩放定律实验证实，该改进效果在不同模型尺寸下均保持稳定，消融实验也验证了基于内容的深度层级选择的有效性。在所有评估任务中，模型的下游任务性能均得到提升。 Paper | Tweet Paper Tweet 6. MemCollab 基于大语言模型的智能体在执行任务过程中会构建实用的记忆，但这类记忆通常仅局限于单个模型内部。MemCollab提出了一种协作式记忆框架，该框架通过对比不同智能体在同一任务中生成的推理轨迹，构建与智能体无关的通用记忆，从而实现单一记忆系统在异构模型间的共享。 • 记忆迁移问题：现有方法采用面向单个智能体的记忆构建方式，将存储的知识与单一模型的推理模式紧密绑定。若直接在不同智能体间迁移此类记忆，往往会导致性能下降，因为其中混杂了任务相关知识与智能体特有的偏差。MemCollab直接解决了这一核心局限。 • 对比式轨迹蒸馏：该框架对不同智能体解决同一任务时的推理轨迹进行对比分析。通过这一对比过程，提炼出抽象的推理约束，这些约束能够捕捉任务层面共有的不变规律，同时剔除智能体专属的干扰特征，最终生成可被任意智能体利用的通用记忆。 • 任务感知检索：MemCollab引入了一种基于任务类别调控记忆访问的检索机制，确保推理阶段仅调用相关的约束信息，避免无关记忆干扰智能体的推理过程。 • 跨模型架构性能提升：在数学推理与代码生成基准测试中的实验表明，MemCollab能够持续提升各类智能体的推理准确率与推理效率，其中还包括在架构差异显著的跨模态模型间共享记忆的场景。 Paper | Tweet Paper Tweet 7. Composer 2 Cursor发布了Composer 2技术报告。该专用模型面向智能体软件工程场景打造，展现出出色的长期规划能力与代码智能水平，同时在交互使用中保持高效性能。报告详细阐述了领域专用模型的训练流程：以持续预训练为起点，再通过强化学习实现能力升级。 • 两阶段训练流程：模型先通过持续预训练提升知识储备与潜在编码能力，随后开展大规模强化学习，优化端到端代码生成效果。强化学习阶段重点增强模型推理能力、多步骤精准执行能力，以及在长周期真实编码任务中的逻辑连贯性。 • 一体化训练基础设施：Cursor搭建了专用基础设施，支持模型在与部署环境一致的框架中训练，工具与架构完全对等。训练环境高度贴合实际应用场景，有效缩小了模型训练表现与部署表现之间的差距。 • 全新内部基准测试集：为评估模型在高难度任务中的表现，团队推出CursorBench基准测试集，数据源自大型代码库（含Cursor自身代码库）中的真实软件工程问题。在该测试集上，Composer 2相较前代Composer模型，准确率实现大幅提升。 • 前沿水准性能表现：在公开基准测试中，该模型于Cursor框架下，Terminal Bench得分61.7，多语言版SWE bench得分73.7，性能比肩当前顶尖系统。报告证实，结合强化学习的领域专用训练，可打造出与超大规模通用模型相抗衡的产品。 Paper | Tweet Paper Tweet 8. PivotRL PivotRL是英伟达推出的一种回合级强化学习算法，旨在对大语言模型进行可落地的后置训练，以适配长时序智能体任务。该方法基于现有监督微调轨迹开展工作，兼具监督微调的计算效率与端到端强化学习的域外泛化精度。PivotRL会识别“关键节点”，即采样动作在结果中呈现高方差、具备高信息价值的中间回合，并将训练信号聚焦于这些关键决策点。与标准监督微调相比，该方法使域内精度提升4.17%，域外精度提升10.04%，同时仅用四分之一的推演回合量，就达到了与端到端强化学习相当的精度。PivotRL已被英伟达的Nemotron 3 Super 120B A12B模型采用，作为规模化生产环境下智能体后置训练的核心算法。 Paper | Tweet Paper Tweet 9. Workflow Optimization for LLM Agents 这是一份来自IBM的综合性调研报告，梳理了当前设计与优化大语言模型智能体工作流的各类前沿方法，并将这类工作流视作智能体计算图（ACGs）。该报告从三个维度对现有研究进行梳理：工作流结构的确定时机、工作流的优化对象，以及指导优化的评估信号。报告还对可复用工作流模板、特定运行实例的实现图以及执行轨迹进行了区分，涵盖的方法包括AFlow（基于算子图的蒙特卡洛树搜索）、智能体系统自动化设计（通过元智能体进行代码空间搜索）以及进化式多智能体系统设计。对于构建生产级智能体系统的团队而言，这份报告极具参考价值——在这类系统中，模型调用、信息检索、工具使用与验证环节之间的衔接设计，其重要性不亚于模型本身的能力。 Paper | Tweet Paper Tweet 10. BIGMAS 即便是最优秀的推理模型，在问题复杂度超过一定阈值后也会出现精度骤降的情况。BIGMAS（类脑图结构多智能体系统）将专业化的大语言模型智能体作为动态构建的有向图中的节点，其协作方式完全借鉴认知神经科学中的全局工作空间理论，通过一个集中式共享工作区实现。图设计智能体（GraphDesigner）会对每个问题实例进行分析，并生成面向特定任务的有向智能体图以及工作区协议。该框架可构建结构各异的图结构，其复杂程度与任务需求相匹配——从用于简单算术运算的紧凑三节点流水线，到适用于多步规划的九节点循环结构。BIGMAS能够持续提升标准大语言模型与大型推理模型的推理性能，表现优于现有的多智能体基准方案。 Paper | Tweet Paper Tweet 🔗 原文链接： https://x.com/dair ai/status/203826... https://x.com/dair ai/status/203826... 本周的顶级AI论文 (March 23 March 29) 1. Hyperagents 自改进人工智能系统有望降低对人工工程设计的依赖，但现有方法依赖固定的、人工构建的元级机制，从根本上限制了其改进速度。超级智能体提出了自指型智能体，将任务智能体与元智能体整合为单一可编辑程序，使系统不仅能优化其任务执行行为，还能改进生成后续优化效果的底层机制。 • 元认知自我修正：其核心洞见在于，元层面的修正过程本身具备可编辑性。这使得系统能够实现元认知自我修正，即不仅优化自身的执行行为，还能优化其自我提升的方式。以往的自我提升系统（如达尔文哥德尔机，DGM）依赖编码能力与自我提升能力之间的固定匹配关系，而这种关系无法泛化至编码领域之外。 • 通用领域自我提升：达尔文哥德尔机超级智能体（DGM H）打破了任务执行能力与自我修正技能必须相互匹配的预设。这使得系统能够在任意可计算任务上实现自我加速迭代，将自我拓展的范围从DGM最初适用的编码领域延伸至更多领域。 • 可迁移元级优化：系统不仅会随时间提升任务执行效果，还能在生成新智能体的机制上发现结构性优化方案，例如引入持久化记忆与性能追踪机制。这类元层面的优化成果可跨领域迁移，并在多次运行中持续累积。 • 性能超越现有系统：在各类不同领域中，DGM H的表现均优于不具备自我提升能力或开放式探索能力的基准模型，同时也超越了以往的自我提升系统。该研究为开放式人工智能系统的发展提供了前瞻视角，这类系统能够持续优化其自我提升的探索路径。 Paper | Tweet Paper Tweet 2. Agentic AI and the Next Intelligence Explosion 谷歌研究人员发布的一份新报告指出，将人工智能“奇点”描绘成单一超级智能体自我迭代进化至近乎神级的智能水平，这一认知从根本上就是错误的。研究作者结合进化论、社会学以及自主智能体人工智能领域的最新进展提出观点：人类历史上此前每一次智能大爆发均源于社会层面的发展，而非个体层面的突破，下一次智能爆发也将遵循同样的规律。 • 思维社群：像DeepSeek R1这类前沿推理模型，其能力提升并非单纯依靠“更长时间的思考”。相反，这些模型会模拟内部的“思维社群”，通过自发开展认知辩论、相互论证、验证与调和，从而解决复杂任务。正是这种对话式结构，让模型在高难度推理任务中具备了准确率上的显著优势。 • 人机融合体：我们正步入一个混合主体时代，集体自主能动性将超越个体掌控。由无数个体组成的企业或国家，本身就拥有独立的法律地位，其展现出的集体自主能动性，是任何单个成员都无法完全掌控的。而人机协作的组合形态，也正呈现出相同的发展趋势。 • 从二元对齐到制度对齐：自主智能体智能的规模化发展，需要从基于人类反馈强化学习的二元对齐，转向制度层面的对齐。通过仿照社会组织与市场机制设计数字协议，我们能够为人工智能系统构建一套具备制衡机制的社会基础设施，而非孤立地对单个智能体进行对齐调校。 • 组合式智能：下一次智能大爆发不会诞生单一的硅基大脑，而是会形成如同城市一般分工细化、不断扩张的复杂组合式社群。没有任何一个智能体是孤立存在的，团队科学、小型群体社会学与社会心理学的研究方法，将成为下一代人工智能研发的核心蓝图。 Paper | Tweet Paper Tweet 3. ARC AGI 3