6.14-6.21｜本周顶尖 AI 论文

6.14 6.21｜本周顶尖 AI 论文 🥇 6.14 6.21｜本周顶尖 AI 论文 Modified June 22 PreAct 会使用电脑的智能体通过屏幕操作真实软件，但它们每次都从零开始解决任务。让它重复一个任务时，它会重新读取屏幕、重新推理每一次点击，再次付出完整成本。PreAct 通过把第一次成功运行编译成一个小型状态机程序来解决这个问题：状态负责检查屏幕，转移负责执行动作。后续重复运行时，它会重放这个程序，而不是再次调用智能体。 • 把运行过程编译成状态机： 一个完成的任务会被捕获为显式程序，而不是自由形式轨迹，把一次性方案变成可复用、可确定执行的产物。 • 重放时不需要逐步调用模型： 因为重复任务不再需要每一步都调用语言模型，重放已编译程序比智能体快 8.5 到 13 倍。 • 结构上更安全： PreAct 每一步都会检查屏幕是否符合程序预期，再执行动作；一旦不匹配就把控制权交还给智能体。它只保存独立评测器确认能从干净状态完成任务的程序。 • 重要性： 这会把电脑使用型智能体，从每次都重新推理的交互式工具，变成可重复运行的操作系统式能力。这正是把它们部署到周期性真实工作中所需要的。 论文 | 推文 4. Can LLM Agents Infer World Models? Can LLM Agents Infer World Models? LLM 智能体真的能构建一个自己看不见的环境模型吗？这项工作通过智能体自动机学习，让这个问题变得可评分。智能体需要通过和 oracle 交互，发现一个隐藏的确定性有限自动机；它有两个接口：成员查询用来询问某个字符串是否属于目标语言，等价查询用来询问提出的自动机是否正确。这形成了一个干净、可扩展的交互式发现测试平台。 • 可评分的世界模型测试： 把世界模型推断转化为 DFA 学习，可以得到客观成功标准和可测量的交互效率，并且能用经典自动机学习算法作为强而清晰的基线。 • 可控、可扩展的难度： 隐藏自动机的规模就是难度旋钮，因此基准可以平滑扩展任务复杂度，而不是依赖一组固定谜题。 • 智能体仍落后于经典算法： 当前智能体有时能完成非平凡的交互式发现，但随着 DFA 规模增长，性能会急剧下降。轨迹分析显示，它们在查询规划、证据整合和假设构建上反复失败。 • 重要性： 推理模型在这里明显胜过非推理模型，但它们和经典算法之间仍有巨大差距。这说明系统化、交互式的世界模型构建，仍是一项未解决能力，而不是规模增长自然带来的副产物。 论文 | 推文 5. From Trainee to Trainer From Trainee to Trainer 谁应该为 RL 智能体设计训练环境：实践者，还是策略本身？面向 LLM 的 RL 流水线通常依赖人工在阶段之间重新设计环境，由实践者猜测哪种配置最能提升当前策略。本文把这项工作交给模型，提出 LLM as Environment Engineer 框架，让策略诊断自己的弱点，并提出下一步要训练的环境。 • 策略设计自己的课程： 不再由人类在阶段之间重塑环境，而是由当前策略结合失败轨迹和上下文信息，分析自身问题，并提出下一阶段训练环境配置的修改方案。 • 由失败驱动的环境编辑： 因为这些建议基于策略的真实失败模式，课程会针对真正阻碍模型的具体缺口，而不是泛泛提高难度。 • 受训者成为训练者： 一个关键发现是，当前 RL 检查点比原始基础模型更适合作为环境工程师。这表明，学会行动也会提升模型诊断自身不足的能力。 • 重要性： 阶段之间的人工环境设计，是 LLM 强化学习里最难扩展的部分之一。让策略引导自己的课程，可以移除一个缓慢的人类参与步骤，而这个步骤一直限制着智能体强化学习。 论文 | 推文 6. OpenClaw Skill OpenClaw Skill 为 LLM 智能体配备有效技能，是构建真实系统时最关键的工作之一。但大多数技能归纳工作一次只蒸馏一条轨迹，这会产生狭窄且脆弱的技能。OpenClaw Skill 提出 Collective Skill Tree Search：一种基于树搜索的技能构建框架，用来构建结构化、多样化、可泛化的技能树，并训练智能体真正使用这棵树。 • Collective Skill Tree Search： CSTS 不是把单条轨迹蒸馏成单个技能，而是在候选技能树上搜索，并用多个模型生成和评估技能，让技能库捕获多样策略。 • 结构化、可复用的技能树： 按层级组织技能，可以产生能跨工具使用、多步推理和环境交互泛化的能力，而不是过拟合到某一个任务。 • 训练智能体利用技能： 构建技能树只完成了一半，所以框架还配套了学习步骤，教智能体有效检索并应用构建好的技能层级。 • 重要性： 可复用技能库正在成为高能力智能体的骨架。从逐轨迹蒸馏转向集体树搜索，是构建长期有用技能库的一条具体路径。 论文 | 推文 7. Back on Track Back on Track 扩散式大语言模型生成文本的方式，无法无缝适配为自回归模型构建的强化学习配方；训练它们进行推理时，会暴露出两个具体问题。首先奖励稀疏，单个终端奖励无法指导中间生成步骤；其次策略更新有时会漂移到不自然的轨迹，而不是保持在真实生成路径上。本文提出 Process Aligned Policy Optimization，用来同时解决这两个问题。 • 明确命名两个失败模式： 这项工作把稀疏奖励和轨迹漂移识别为扩散式 LLM 推理训练稳定性的核心障碍，而不是把训练不稳定当成黑箱。 • 感知步骤的过程奖励： PAPO 把终端奖励转化为更细粒度、逐步的指导信号，让中间去噪步骤获得学习信号，而不是只能等到序列结束时得到一个分数。 • 由熵引导的重演： 在高不确定性的关键时刻，该方法会重放真实生成路径，使更新与模型实际生成文本的方式保持一致，而不是追逐人为构造的轨迹。 • 重要性： 扩散式 LLM 是自回归模型之外的严肃替代路线。为它们提供稳定的推理 RL 配方，并在 GSM8K、MATH500 等基准上把结果从 4.5% 提升到 42.2%，有助于缩小两种范式之间的推理差距。 论文 8. AtomMem LLM 智能体的长期记忆通常会以两种方式失效：粗粒度摘要会随时间漂移，不受约束的更新会破坏已经存储的内容。AtomMem 把记忆单元保持得很小，使用 Fact Executor 从长交互中选择性提取高价值原子事实，并把它们组织成层级事件结构和时间化用户画像；同时，关联记忆图会在检索时重新连接碎片化记忆。该方法在 LoCoMo 长期记忆基准上报告了当前最优结果。 论文 | 推文 9. Beyond Domains LLM 网页智能体通常像工具调用器一样工作：每轮读取一个新页面，然后输出一个低层动作。因此，任务跨度和 LLM 生成次数都会膨胀。这项工作用 SkillMigrator 让网页技能可以跨站点复用。它会把归纳出的技能存储为可迁移交互模式，并用页面布局结构作为键，而不是依赖指令相似度或站点元数据。这样，在新站点出现相同交互形态时，旧技能也能触发。在 WebArena 和 Mind2Web 上，它在成功率相当的情况下，将平均 LLM 动作数量降低了 8% 到 10%。 论文 | 推文 10. The Stanford EDGAR Filings Dataset 干净、长上下文文档在预训练中仍然稀缺，尤其是在金融领域。这个数据集发布把美国 SEC 公司与财务披露重建为版式忠实、token 高效的 MultiMarkdown，并发布 SEFD v1，其中包含 152B token，来自一个估计 550B token 的档案库，覆盖 1,850 万份申报文件，且与 Common Crawl 语料的重叠不到 0.1%。它还附带两个衍生基准：EDGAR Forecast 用于数值预测，EDGAR OCR 用于金融表格转录，以支持金融推理、预测和文档理解。 论文 论文 推文 论文 推文 论文 推文 论文 推文 论文 论文 推文 论文 推文 论文 会使用电脑的智能体通过屏幕操作真实软件，但它们每次都从零开始解决任务。让它重复一个任务时，它会重新读取屏幕、重新推理每一次点击，再次付出完整成本。PreAct 通过把第一次成功运行编译成一个小型状态机程序来解决这个问题：状态负责检查屏幕，转移负责执行动作。后续重复运行时，它会重放这个程序，而不是再次调用智能体。 • 把运行过程编译成状态机： 一个完成的任务会被捕获为显式程序，而不是自由形式轨迹，把一次性方案变成可复用、可确定执行的产物。 • 重放时不需要逐步调用模型： 因为重复任务不再需要每一步都调用语言模型，重放已编译程序比智能体快 8.5 到 13 倍。 • 结构上更安全： PreAct 每一步都会检查屏幕是否符合程序预期，再执行动作；一旦不匹配就把控制权交还给智能体。它只保存独立评测器确认能从干净状态完成任务的程序。 • 重要性： 这会把电脑使用型智能体，从每次都重新推理的交互式工具，变成可重复运行的操作系统式能力。这正是把它们部署到周期性真实工作中所需要的。 论文 | 推文 论文 推文 4. Can LLM Agents Infer World Models? LLM 智能体真的能构建一个自己看不见的环境模型吗？这项工作通过智能体自动机学习，让这个问题变得可评分。智能体需要通过和 oracle 交互，发现一个隐藏的确定性有限自动机；它有两个接口：成员查询用来询问某个字符串是否属于目标语言，等价查询用来询问提出的自动机是否正确。这形成了一个干净、可扩展的交互式发现测试平台。 • 可评分的世界模型测试： 把世界模型推断转化为 DFA 学习，可以得到客观成功标准和可测量的交互效率，并且能用经典自动机学习算法作为强而清晰的基线。 • 可控、可扩展的难度： 隐藏自动机的规模就是难度旋钮，因此基准可以平滑扩展任务复杂度，而不是依赖一组固定谜题。 • 智能体仍落后于经典算法： 当前智能体有时能完成非平凡的交互式发现，但随着 DFA 规模增长，性能会急剧下降。轨迹分析显示，它们在查询规划、证据整合和假设构建上反复失败。 • 重要性： 推理模型在这里明显胜过非推理模型，但它们和经典算法之间仍有巨大差距。这说明系统化、交互式的世界模型构建，仍是一项未解决能力，而不是规模增长自然带来的副产物。 论文 | 推文 论文 推文 5. From Trainee to Trainer 谁应该为 RL 智能体设计训练环境：实践者，还是策略本身？面向 LLM 的 RL 流水线通常依赖人工在阶段之间重新设计环境，由实践者猜测哪种配置最能提升当前策略。本文把这项工作交给模型，提出 LLM as Environment Engineer 框架，让策略诊断自己的弱点，并提出下一步要训练的环境。 • 策略设计自己的课程： 不再由人类在阶段之间重塑环境，而是由当前策略结合失败轨迹和上下文信息，分析自身问题，并提出下一阶段训练环境配置的修改方案。 • 由失败驱动的环境编辑： 因为这些建议基于策略的真实失败模式，课程会针对真正阻碍模型的具体缺口，而不是泛泛提高难度。 • 受训者成为训练者： 一个关键发现是，当前 RL 检查点比原始基础模型更适合作为环境工程师。这表明，学会行动也会提升模型诊断自身不足的能力。 • 重要性： 阶段之间的人工环境设计，是 LLM 强化学习里最难扩展的部分之一。让策略引导自己的课程，可以移除一个缓慢的人类参与步骤，而这个步骤一直限制着智能体强化学习。 论文 | 推文 论文 推文 6. OpenClaw Skill 为 LLM 智能体配备有效技能，是构建真实系统时最关键的工作之一。但大多数技能归纳工作一次只蒸馏一条轨迹，这会产生狭窄且脆弱的技能。OpenClaw Skill 提出 Collective Skill Tree Search：一种基于树搜索的技能构建框架，用来构建结构化、多样化、可泛化的技能树，并训练智能体真正使用这棵树。 • Collective Skill Tree Search： CSTS 不是把单条轨迹蒸馏成单个技能，而是在候选技能树上搜索，并用多个模型生成和评估技能，让技能库捕获多样策略。 • 结构化、可复用的技能树： 按层级组织技能，可以产生能跨工具使用、多步推理和环境交互泛化的能力，而不是过拟合到某一个任务。 • 训练智能体利用技能： 构建技能树只完成了一半，所以框架还配套了学习步骤，教智能体有效检索并应用构建好的技能层级。 • 重要性： 可复用技能库正在成为高能力智能体的骨架。从逐轨迹蒸馏转向集体树搜索，是构建长期有用技能库的一条具体路径。 论文 | 推文 论文 推文 7. Back on Track 扩散式大语言模型生成文本的方式，无法无缝适配为自回归模型构建的强化学习配方；训练它们进行推理时，会暴露出两个具体问题。首先奖励稀疏，单个终端奖励无法指导中间生成步骤；其次策略更新有时会漂移到不自然的轨迹，而不是保持在真实生成路径上。本文提出 Process Aligned Policy Optimization，用来同时解决这两个问题。 • 明确命名两个失败模式： 这项工作把稀疏奖励和轨迹漂移识别为扩散式 LLM 推理训练稳定性的核心障碍，而不是把训练不稳定当成黑箱。 • 感知步骤的过程奖励： PAPO 把终端奖励转化为更细粒度、逐步的指导信号，让中间去噪步骤获得学习信号，而不是只能等到序列结束时得到一个分数。 • 由熵引导的重演： 在高不确定性的关键时刻，该方法会重放真实生成路径，使更新与模型实际生成文本的方式保持一致，而不是追逐人为构造的轨迹。 • 重要性： 扩散式 LLM 是自回归模型之外的严肃替代路线。为它们提供稳定的推理 RL 配方，并在 GSM8K、MATH500 等基准上把结果从 4.5% 提升到 42.2%，有助于缩小两种范式之间的推理差距。 论文 论文 8. AtomMem LLM 智能体的长期记忆通常会以两种方式失效：粗粒度摘要会随时间漂移，不受约束的更新会破坏已经存储的内容。AtomMem 把记忆单元保持得很小，使用 Fact Executor 从长交互中选择性提取高价值原子事实，并把它们组织成层级事件结构和时间化用户画像；同时，关联记忆图会在检索时重新连接碎片化记忆。该方法在 LoCoMo 长期记忆基准上报告了当前最优结果。 论文 | 推文 论文 推文 9. Beyond Domains LLM 网页智能体通常像工具调用器一样工作：每轮读取一个新页面，然后输出一个低层动作。因此，任务跨度和 LLM 生成次数都会膨胀。这项工作用 SkillMigrator 让网页技能可以跨站点复用。它会把归纳出的技能存储为可迁移交互模式，并用页面布局结构作为键，而不是依赖指令相似度或站点元数据。这样，在新站点出现相同交互形态时，旧技能也能触发。在 WebArena 和 Mind2Web 上，它在成功率相当的情况下，将平均 LLM 动作数量降低了 8% 到 10%。 论文 | 推文 论文 推文 10. The Stanford EDGAR Filings Dataset 干净、长上下文文档在预训练中仍然稀缺，尤其是在金融领域。这个数据集发布把美国 SEC 公司与财务披露重建为版式忠实、token 高效的 MultiMarkdown，并发布 SEFD v1，其中包含 152B token，来自一个估计 550B token 的档案库，覆盖 1,850 万份申报文件，且与 Common Crawl 语料的重叠不到 0.1%。它还附带两个衍生基准：EDGAR Forecast 用于数值预测，EDGAR OCR 用于金融表格转录，以支持金融推理、预测和文档理解。 论文 论文 原帖链接：https://x.com/dair ai/status/2068724104815890889 原帖链接：https://x.com/dair ai/status/2068724104815890889 本周顶尖 AI 论文（6 月 14 日至 6 月 21 日） 1. SpatialClaw 通用视觉语言模型在 3D 和 4D 场景的空间推理上仍然容易失效，因为它们通常会直接输出文本答案，而不是先进行测量。NVIDIA 提出的 SpatialClaw 是一个无需训练的框架，它重新思考了动作接口，让由 VLM 支撑的智能体通过代码进行推理。智能体会在一个持久化 Jupyter 内核中，每一步写入一个 Python 单元；这个内核预先加载了感知原语和科学计算库，智能体可以查看中间结果，并在多步过程中调整策略。 • 把代码作为动作接口： SAM3 分割、Depth Anything 3 重建、几何工具等感知能力，会以普通 Python 可调用函数的形式暴露出来，因此智能体可以通过程序组合它们，而不是只凭像素猜测空间关系。 • 持久、有状态的内核： 掩码、深度图、相机几何和轨迹都是普通 Python 变量，内核会在多轮之间保留它们，所以某一步生成的任何对象，后续仍可用于组合、检查和修正。 • 无需适配也有强结果： 在覆盖静态和动态任务的 20 个空间推理基准上，SpatialClaw 达到 59.9% 的平均准确率，比此前的空间智能体高 11.2 个百分点，并且在来自两个模型家族的 6 个 VLM 主干上都有稳定提升。 • 重要性： 因为它无需训练且与模型无关，SpatialClaw 把代码执行变成了空间推理的通用底座。任何有能力的 VLM 都可以接入，而不必做专门的空间微调。 论文 | 推文 论文 推文 2. Compositional Skill Routing 真实任务很少只对应一个技能。它们通常需要把多个技能组合起来，但大多数技能路由仍然把问题看作是从技能库中挑选一个工具。这项工作形式化了 Compositional Skill Routing：智能体必须从大型技能库中选择并排序多个可复用技能，来满足复杂查询。论文还提出了 SkillWeaver，一个围绕该问题构建的“分解、检索、组合”流水线。 • 三阶段流水线： SkillWeaver 先用 LLM 把查询分解成子任务，再用带 FAISS 索引的双编码器为每个子任务匹配技能，随后进行依赖感知规划，组装出可执行计划。 • 更贴近现实的基准： 作者发布了 CompSkillBench，包含 300 个组合式查询，覆盖 2,209 个真实 MCP server 技能和 24 个功能类别，让路由在真实工具生态上接受测试，而不是只面对玩具技能库。 • 分解才是瓶颈： 任务分解质量成为主要限制因素。Iterative Skill Aware Decomposition 会把检索信息反馈回分解步骤，使准确率从 51.0% 提升到 67.7%。 • 重要性： 当智能体技能库扩展到数千个条目时，单工具路由已经不够。把路由看成组合式规划问题，才让智能体能处理真正的多步骤请求。 论文 | 推文 论文 推文 3. PreAct