5.4-5.10｜本周 AI 论文精选

5.4 5.10｜本周 AI 论文精选 5.4 5.10｜本周 AI 论文精选 Modified May 11 • 从一开始就直接学习序列生成： 这个策略不是按 next token 去训练，而是在奖励驱动下直接学习完整序列生成。这会把模型的归纳偏置转向“生成裁判偏好的续写方式”，在长文本生成场景里尤其重要，因为 token 级损失在这种任务上往往已经没有足够的区分力。 • 各项指标都有实打实的提升： 与标准预训练相比，事实性相对提升 36.2%，安全性提升 18.5%，生成质量的胜率最高可达 86.3%。安全性和事实性的提升幅度已经大到足以说明：这些特性在预训练阶段安装进去，比事后再补更容易。 • 为什么重要： 你现在手上的后训练模型，已经可以反过来帮助下一代模型把预训练做得更好。这构成了一个发生在预训练层的递归改进回路，而那正是大多数行为取向真正被锁定的地方。 论文 | 推文 4. Connect Four AlphaZero from Scratch 这篇论文提出了一种评估 coding agents 的新方式：只给它们一个极简任务描述、严格预算，然后要求它们自主从零重建一次著名机器学习突破的完整系统。Connect Four + AlphaZero 是第一个实例。这个任务规模小到可以在笔记本上运行，但又足够难，必须让 agent 真的走完一轮研究工程闭环。Claude Opus 4.7 在消费级硬件上用 3 小时实现了完整流程（MCTS、神经价值网络与策略网络、自博弈、训练日程），并在先手情况下以 8 局 7 胜击败 Pascal Pons solver。测试中的其他前沿 coding agent，最好成绩也没有超过 8 局 2 胜。 • 从“打补丁”走向“搭系统”： 现有很多 coding agent 基准，测的是单元测试修复和小补丁。这一基准衡量的是：agent 能否仅凭一段简短规格说明，就搭起一个非平凡的机器学习系统。这更接近真实生产中的研究工程工作形态。 • 严格预算下的真实研究闭环： agent 必须在固定计算预算和消费级硬件条件下，自己设计搜索算法、训练网络、安排自博弈日程，并调试整条训练循环。它不能躲进现成库里，这也是为什么这个任务具备区分度。 • 前沿 coding agents 之间出现了非常清晰的能力分层： Claude Opus 4.7 在先手对抗 Pascal Pons solver 时达到 8 局 7 胜。其他测试过的前沿 coding agent 没有任何一个超过 8 局 2 胜。这个差距已经大到足以说明：这个基准确实在测某种真实存在的端到端机器学习工程能力。 • 为什么重要： 以补丁为主的基准已经开始趋于饱和。“重建一次突破”的任务为整个领域提供了一个更难的上限，也更直接映射到人们真正想部署给 agent 的那些工作负载。 论文 | 推文 5. Coordination as Architecture 多 agent LLM 系统在生产环境中的失败率高达 41% 到 87%，而这些失败中的大多数，问题都不在基础模型能力，而在协调机制。现有很多关于多 agent 架构的论文比较，甚至都无法告诉你：性能提升到底来自“更好的协调”，还是只是某种配置拿到了更多上下文而已。这篇论文主张，应当把协调视为一个可配置的架构层，它应该与 agent 逻辑和信息访问解耦，并且作者通过一个“信息受控”的实验支撑了这一观点。 • 信息受控的方法论： 相同的 LLM、相同的工具、相同的提示模板、相同的单次调用输出上限。唯一发生变化的，只有协调结构。只有在信息访问保持恒定的前提下，协调机制本身的贡献才第一次真正变得可测量。 • 把协调视为独立的一层： 论文提出，应把协调结构（谁和谁通信、何时通信、用什么聚合规则）视为一条一等公民级别的架构轴。这样一来，团队就可以单独讨论协调层的变更，而无需每次都把整套系统全部重跑。 • 为这个领域建立术语体系： 直到现在，“multi agent 比 single agent 更强”的论断，仍然普遍混杂了上下文窗口不对称的影响。这篇论文提供了真正测试协调性主张所需的方法论和术语体系，是多 agent 研究线里一份来得很及时的基础设施。 • 为什么重要： 如果 41% 到 87% 的失败都来自协调缺陷，那么修好协调，可能就是构建者能做的最高杠杆动作。这篇论文把这种直觉，变成了一个可测量的工程目标，而不是继续停留在“感觉上是这样”的争论里。 论文 | 推文 6. Horizon Generalization Microsoft Research 做了一项受控研究，其中唯一变化的变量就是任务 horizon 的长度。决策规则相同、推理结构相同，唯一不同的是距离目标还剩多长的动作序列。核心发现是：horizon 本身就是训练瓶颈。随着目标距离拉长，探索会以组合爆炸的方式增长，credit assignment 也会变得模糊。那些在短 horizon 上学得很顺的模型，一旦到了长 horizon 任务上就会崩掉，即便底层推理结构完全一样。解决办法不是加更多算力，而是缩短 horizon。 • 把 horizon 当成一等变量： 通过保持决策规则和推理过程不变、只改变序列长度，这篇论文把 horizon 单独隔离成一个独立训练瓶颈。这样就能把“agent 不会推理”和“agent 无法拼接长序列”区分开来，而此前的大多数工作都把这两者混在一起。 • Macro action 能立刻稳定训练： 用 macro actions 重新参数化动作空间，把许多底层动作压缩为单个高层动作之后，训练会立刻稳定下来。agent 学的仍然是同一任务，只不过换成了更粗粒度的时间尺度，从而让 credit assignment 保持可处理。 • 推理时可以泛化到更长的 horizon： 在缩短后的 horizon 上训练出来的模型，能够在推理阶段泛化到更长 horizon。论文把这一性质称为 horizon generalization，而这正是最实用的一点，因为它意味着你可以用更低成本训练，再把它部署到更长链条的任务上。 • 为什么重要： 大多数团队会把长 horizon 失败归因为模型容量不够。这篇论文给出的结论是：问题不是容量，而是 horizon。本该在训练阶段先降低 horizon，这样既能马上得到稳定性，又能在推理阶段白拿泛化能力，而不必重训一个更大的 backbone。 论文 | 推文 7. 1,000 Synthetic Computers Microsoft Research 构建了 1,000 台合成计算机。每一台都带有逼真的目录结构、文档和各类数字痕迹，然后在这些环境之上运行长 horizon 模拟。一个 agent 扮演用户并设定生产力目标，另一个 agent 负责执行工作。每次模拟平均会运行 8 小时 agent 时间，并跨越 2,000+ 轮交互，相当于把人类一个月左右的工作压缩进一条轨迹。基于这类经验数据进行训练后，模型在 domain 内和 domain 外的生产力评测上都取得了显著提升。 • 逼真的合成环境： 这 1,000 台计算机都带有目录结构、文档和工作痕迹，尽可能逼近真实用户的工作环境。正是这种逼真性，让这些轨迹能成为真正有价值的训练数据，而不是只能拿来展示的评测玩具。 • 双 agent 模拟闭环： 一个用户 agent 设定生产力目标，另一个 worker agent 围绕这些目标执行任务。这样的结构会自然产生多轮、目标驱动的长轨迹，更接近真实生产力工作，而不是现有基准里那些短而脚本化的任务。 • 设计目标就是扩展到数十亿个世界： 这套框架一开始就被设计为可以扩展到数百万乃至数十亿个合成用户世界，这与前沿 computer use agents 未来真正所需的经验数据规模是匹配的。长 horizon 训练的瓶颈是数据，而这是一套可信的数据生产方案。 • 为什么重要： computer use agents 当前的瓶颈，已经不再是模型能力，而是逼真的长 horizon 训练数据。合成环境扩展，是少数几条不依赖大规模真实用户遥测数据的路径之一，因此对于构建 computer use stack 的团队来说，它很可能会成为一种务实默认方案。 论文 | 推文 8. Contextual Agentic Memory is a Memo 今天大多数 agent memory，其实并不是真正意义上的“记忆”，而更像一份 memo。向量存储、RAG 缓冲区和 scratchpad 实现的是查找，而不是巩固。这篇论文借用了神经科学中的 Complementary Learning Systems 理论：生物智能会把快速的海马体存储，与缓慢的新皮层巩固配对使用，而当前 AI agents 只实现了前半段（快速写入、相似性召回、没有抽象化步骤）。作者证明，在具备组合新颖性的任务上，这种机制存在明确的泛化上限：只要 memory 仍然停留在 retrieval only，agent 就无法把抽象规则应用到那些在 memory store 中并不像任何已有样本的输入上，同时也会长期暴露在 memory poisoning 风险之下。如果你正在构建长时运行的 agents，并把 memory 当成一个向量索引来使用，这篇论文会非常清晰地指出你到底缺失了什么。 论文 | 推文 9. Agentic imodels 整个 interpretability 文献传统上都是围绕“人类阅读者”来构建的。但随着越来越多分析工作被交给 agents，interpretability 的目标对象也应该发生转移。Microsoft Research 提出了 Agentic imodels：它通过一个 autoresearch 闭环，让 coding agent（Claude Code、Codex）持续迭代出兼容 scikit learn 的回归器，同时要求它们既准确，又能被其他 LLM 读懂。这里的 interpretability，不再是人类是否容易看懂，而是一个小型 LLM 能否仅通过模型的字符串表示、预测结果、特征影响和反事实解释，就从 str 输出中模拟这个已拟合模型的行为。在 65 个表格数据集上，这种自动发现出来的模型把 Pareto frontier 推到了所有经典可解释基线（决策树、GAM、稀疏线性模型）之外，并在 BLADE 基准上的 4 个下游 agentic data science 系统中，带来了 8% 到 73% 的提升。 论文 | 推文 10. Skills as Verifiable Artifacts 如果你在交付 agent skills，那么在运行时环境里，那些“签过名、通过清关”的 skills 往往会被默认当成可信对象。这篇论文主张：skill 在完成验证之前，本质上都应被视为不可信代码，运行时系统也应该执行这种默认策略，而不是根据来源去推断信任。没有 skill verification 的话，HITL 就不得不在每一次不可逆调用前都介入，最终会退化成任何稍有规模的系统里都不可避免的“橡皮图章式”审批。有了验证这一道独立的门控流程后，HITL 就只需要为那些尚未验证的部分触发。既然 skills 已经成为一等部署产物，那我们也完全应该把过去几十年软件供应链的教训应用进来：一旦系统只是根据签名去推断信任，后果往往都不会太好。在 agent skill library 变成下一个攻击面之前，这是给 SKILL.md 提出的一个非常正确的要求。 论文 | 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 论文 推文 • 从一开始就直接学习序列生成： 这个策略不是按 next token 去训练，而是在奖励驱动下直接学习完整序列生成。这会把模型的归纳偏置转向“生成裁判偏好的续写方式”，在长文本生成场景里尤其重要，因为 token 级损失在这种任务上往往已经没有足够的区分力。 • 各项指标都有实打实的提升： 与标准预训练相比，事实性相对提升 36.2%，安全性提升 18.5%，生成质量的胜率最高可达 86.3%。安全性和事实性的提升幅度已经大到足以说明：这些特性在预训练阶段安装进去，比事后再补更容易。 • 为什么重要： 你现在手上的后训练模型，已经可以反过来帮助下一代模型把预训练做得更好。这构成了一个发生在预训练层的递归改进回路，而那正是大多数行为取向真正被锁定的地方。 论文 | 推文 论文 推文 4. Connect Four AlphaZero from Scratch 这篇论文提出了一种评估 coding agents 的新方式：只给它们一个极简任务描述、严格预算，然后要求它们自主从零重建一次著名机器学习突破的完整系统。Connect Four + AlphaZero 是第一个实例。这个任务规模小到可以在笔记本上运行，但又足够难，必须让 agent 真的走完一轮研究工程闭环。Claude Opus 4.7 在消费级硬件上用 3 小时实现了完整流程（MCTS、神经价值网络与策略网络、自博弈、训练日程），并在先手情况下以 8 局 7 胜击败 Pascal Pons solver。测试中的其他前沿 coding agent，最好成绩也没有超过 8 局 2 胜。 • 从“打补丁”走向“搭系统”： 现有很多 coding agent 基准，测的是单元测试修复和小补丁。这一基准衡量的是：agent 能否仅凭一段简短规格说明，就搭起一个非平凡的机器学习系统。这更接近真实生产中的研究工程工作形态。 • 严格预算下的真实研究闭环： agent 必须在固定计算预算和消费级硬件条件下，自己设计搜索算法、训练网络、安排自博弈日程，并调试整条训练循环。它不能躲进现成库里，这也是为什么这个任务具备区分度。 • 前沿 coding agents 之间出现了非常清晰的能力分层： Claude Opus 4.7 在先手对抗 Pascal Pons solver 时达到 8 局 7 胜。其他测试过的前沿 coding agent 没有任何一个超过 8 局 2 胜。这个差距已经大到足以说明：这个基准确实在测某种真实存在的端到端机器学习工程能力。 • 为什么重要： 以补丁为主的基准已经开始趋于饱和。“重建一次突破”的任务为整个领域提供了一个更难的上限，也更直接映射到人们真正想部署给 agent 的那些工作负载。 论文 | 推文 论文 推文 5. Coordination as Architecture 多 agent LLM 系统在生产环境中的失败率高达 41% 到 87%，而这些失败中的大多数，问题都不在基础模型能力，而在协调机制。现有很多关于多 agent 架构的论文比较，甚至都无法告诉你：性能提升到底来自“更好的协调”，还是只是某种配置拿到了更多上下文而已。这篇论文主张，应当把协调视为一个可配置的架构层，它应该与 agent 逻辑和信息访问解耦，并且作者通过一个“信息受控”的实验支撑了这一观点。 • 信息受控的方法论： 相同的 LLM、相同的工具、相同的提示模板、相同的单次调用输出上限。唯一发生变化的，只有协调结构。只有在信息访问保持恒定的前提下，协调机制本身的贡献才第一次真正变得可测量。 • 把协调视为独立的一层： 论文提出，应把协调结构（谁和谁通信、何时通信、用什么聚合规则）视为一条一等公民级别的架构轴。这样一来，团队就可以单独讨论协调层的变更，而无需每次都把整套系统全部重跑。 • 为这个领域建立术语体系： 直到现在，“multi agent 比 single agent 更强”的论断，仍然普遍混杂了上下文窗口不对称的影响。这篇论文提供了真正测试协调性主张所需的方法论和术语体系，是多 agent 研究线里一份来得很及时的基础设施。 • 为什么重要： 如果 41% 到 87% 的失败都来自协调缺陷，那么修好协调，可能就是构建者能做的最高杠杆动作。这篇论文把这种直觉，变成了一个可测量的工程目标，而不是继续停留在“感觉上是这样”的争论里。 论文 | 推文 论文 推文 6. Horizon Generalization Microsoft Research 做了一项受控研究，其中唯一变化的变量就是任务 horizon 的长度。决策规则相同、推理结构相同，唯一不同的是距离目标还剩多长的动作序列。核心发现是：horizon 本身就是训练瓶颈。随着目标距离拉长，探索会以组合爆炸的方式增长，credit assignment 也会变得模糊。那些在短 horizon 上学得很顺的模型，一旦到了长 horizon 任务上就会崩掉，即便底层推理结构完全一样。解决办法不是加更多算力，而是缩短 horizon。 • 把 horizon 当成一等变量： 通过保持决策规则和推理过程不变、只改变序列长度，这篇论文把 horizon 单独隔离成一个独立训练瓶颈。这样就能把“agent 不会推理”和“agent 无法拼接长序列”区分开来，而此前的大多数工作都把这两者混在一起。 • Macro action 能立刻稳定训练： 用 macro actions 重新参数化动作空间，把许多底层动作压缩为单个高层动作之后，训练会立刻稳定下来。agent 学的仍然是同一任务，只不过换成了更粗粒度的时间尺度，从而让 credit assignment 保持可处理。 • 推理时可以泛化到更长的 horizon： 在缩短后的 horizon 上训练出来的模型，能够在推理阶段泛化到更长 horizon。论文把这一性质称为 horizon generalization，而这正是最实用的一点，因为它意味着你可以用更低成本训练，再把它部署到更长链条的任务上。 • 为什么重要： 大多数团队会把长 horizon 失败归因为模型容量不够。这篇论文给出的结论是：问题不是容量，而是 horizon。本该在训练阶段先降低 horizon，这样既能马上得到稳定性，又能在推理阶段白拿泛化能力，而不必重训一个更大的 backbone。 论文 | 推文 论文 推文 7. 1,000 Synthetic Computers Microsoft Research 构建了 1,000 台合成计算机。每一台都带有逼真的目录结构、文档和各类数字痕迹，然后在这些环境之上运行长 horizon 模拟。一个 agent 扮演用户并设定生产力目标，另一个 agent 负责执行工作。每次模拟平均会运行 8 小时 agent 时间，并跨越 2,000+ 轮交互，相当于把人类一个月左右的工作压缩进一条轨迹。基于这类经验数据进行训练后，模型在 domain 内和 domain 外的生产力评测上都取得了显著提升。 • 逼真的合成环境： 这 1,000 台计算机都带有目录结构、文档和工作痕迹，尽可能逼近真实用户的工作环境。正是这种逼真性，让这些轨迹能成为真正有价值的训练数据，而不是只能拿来展示的评测玩具。 • 双 agent 模拟闭环： 一个用户 agent 设定生产力目标，另一个 worker agent 围绕这些目标执行任务。这样的结构会自然产生多轮、目标驱动的长轨迹，更接近真实生产力工作，而不是现有基准里那些短而脚本化的任务。 • 设计目标就是扩展到数十亿个世界： 这套框架一开始就被设计为可以扩展到数百万乃至数十亿个合成用户世界，这与前沿 computer use agents 未来真正所需的经验数据规模是匹配的。长 horizon 训练的瓶颈是数据，而这是一套可信的数据生产方案。 • 为什么重要： computer use agents 当前的瓶颈，已经不再是模型能力，而是逼真的长 horizon 训练数据。合成环境扩展，是少数几条不依赖大规模真实用户遥测数据的路径之一，因此对于构建 computer use stack 的团队来说，它很可能会成为一种务实默认方案。 论文 | 推文 论文 推文 8. Contextual Agentic Memory is a Memo 今天大多数 agent memory，其实并不是真正意义上的“记忆”，而更像一份 memo。向量存储、RAG 缓冲区和 scratchpad 实现的是查找，而不是巩固。这篇论文借用了神经科学中的 Complementary Learning Systems 理论：生物智能会把快速的海马体存储，与缓慢的新皮层巩固配对使用，而当前 AI agents 只实现了前半段（快速写入、相似性召回、没有抽象化步骤）。作者证明，在具备组合新颖性的任务上，这种机制存在明确的泛化上限：只要 memory 仍然停留在 retrieval only，agent 就无法把抽象规则应用到那些在 memory store 中并不像任何已有样本的输入上，同时也会长期暴露在 memory poisoning 风险之下。如果你正在构建长时运行的 agents，并把 memory 当成一个向量索引来使用，这篇论文会非常清晰地指出你到底缺失了什么。 论文 | 推文 论文 推文 9. Agentic imodels 整个 interpretability 文献传统上都是围绕“人类阅读者”来构建的。但随着越来越多分析工作被交给 agents，interpretability 的目标对象也应该发生转移。Microsoft Research 提出了 Agentic imodels：它通过一个 autoresearch 闭环，让 coding agent（Claude Code、Codex）持续迭代出兼容 scikit learn 的回归器，同时要求它们既准确，又能被其他 LLM 读懂。这里的 interpretability，不再是人类是否容易看懂，而是一个小型 LLM 能否仅通过模型的字符串表示、预测结果、特征影响和反事实解释，就从 str 输出中模拟这个已拟合模型的行为。在 65 个表格数据集上，这种自动发现出来的模型把 Pareto frontier 推到了所有经典可解释基线（决策树、GAM、稀疏线性模型）之外，并在 BLADE 基准上的 4 个下游 agentic data science 系统中，带来了 8% 到 73% 的提升。 论文 | 推文 论文 推文 10. Skills as Verifiable Artifacts 如果你在交付 agent skills，那么在运行时环境里，那些“签过名、通过清关”的 skills 往往会被默认当成可信对象。这篇论文主张：skill 在完成验证之前，本质上都应被视为不可信代码，运行时系统也应该执行这种默认策略，而不是根据来源去推断信任。没有 skill verification 的话，HITL 就不得不在每一次不可逆调用前都介入，最终会退化成任何稍有规模的系统里都不可避免的“橡皮图章式”审批。有了验证这一道独立的门控流程后，HITL 就只需要为那些尚未验证的部分触发。既然 skills 已经成为一等部署产物，那我们也完全应该把过去几十年软件供应链的教训应用进来：一旦系统只是根据签名去推断信任，后果往往都不会太好。在 agent skill library 变成下一个攻击面之前，这是给 SKILL.md 提出的一个非常正确的要求。 论文 | 推文 论文 推文 原帖链接：https://x.com/dair ai/status/2053495521243799717 原帖链接：https://x.com/dair ai/status/2053495521243799717 本周 AI 论文精选（5 月 4 日 5 月 10 日） 1. HeavySkill 这是今年发布的、关于 Agent harness 设计中更干净利落的一种思路。论文认为，真正决定 harness 性能的，不是外层的 orchestration 代码，而是一个单一的内部技能：先并行推理，再进行审议。只要把这个模式内化进模型，周围大部分脚手架都可以变成可选项。HeavySkill 把这个思路系统化为一个可以挂在任意 harness 之下运行的两阶段流水线，然后通过 RLVR 将它训练成一种可学习的技能。最终得到的是一种更像“模型能力提升”而不是“harness 小修小补”的增益。 • 这是一个两阶段技能，而不是 orchestration 胶水层： 第一阶段在多条采样推理链上并行展开推理。第二阶段执行一次审议流程，对这些推理链进行比较、批评与综合，并产出最终答案。无论外层 harness 如何变化，这条流水线本身都不变，因此它可以跨任务迁移。 • GPT OSS 20B 在 LiveCodeBench 上从 69.7% 提升到 85.5%： 在 heavy thinking 变体（HM@4）下，这个 20B 模型在高难度编程基准上提升了 15.8 个百分点。同样的做法也让 R1 Distill Qwen 32B 在 IFEval 上从 35.7% 提升到 69.3%，几乎把其指令遵循得分翻了一倍。 • 通过可学习技能获得 Pass@N 级别表现： 多个模型在通过 RLVR 内化 HeavySkill 后，都达到了 Pass@N 级别的表现。这正是让“并行推理 + 审议”这一模式具备可迁移性的关键属性。这个技能能够脱离训练时所在的 harness 而继续发挥作用。 • 为什么重要： 一旦你能把 harness 层面的优势训练进模型里，原本的 harness 增益就会开始看起来更像模型增益。如果“并行推理 + 审议”真的就是那个核心内部技能，那么长期趋势就会是：模型在出厂时就自带这种能力，而不是依赖外部再叠一层 orchestration 胶水。 论文 | 推文 论文 推文 2. Conductor Sakana AI 的这篇 ICLR 2026 论文提出了一个 7B 的 Conductor 模型。它不是自己直接解题，而是通过编排其他 LLM，拿到了 GPQA Diamond 和 LiveCodeBench 上的 SOTA。Conductor 通过强化学习同时学习两件事：一是设计 worker agents 之间的通信拓扑结构（无论这些 agents 来自开源还是闭源），二是为每个 worker 设计更聚焦的提示词，从而调动各自的优势。这个 orchestrator 不再只是一个包裹层，而变成了一套可学习的策略。 • 拓扑设计 + 定向提示： 单个 RL 策略同时决定“谁和谁通信”，以及“每个 worker 被告知什么”。通过在随机化的 agent 池上训练，Conductor 能在推理阶段适配任意 agent 组合，甚至包括它在训练时从未见过的 agents。 • 递归拓扑会自然涌现： 当它被允许把自己也作为一个 worker 来调用时，Conductor 会形成递归拓扑，从而通过在线迭代适配，解锁一种新的动态 test time scaling 方式。协调本身变成了一条独立于模型规模和上下文长度之外的新扩展轴。 • 单靠协调，就能在 AIME25 和 GPQA D 上获得约 3% 的提升： 相比表现最好的单个 worker，提升幅度大约在 3% 左右。作者指出，这个量级与前沿模型跨代升级带来的提升相当。区别在于，这里的增益来自可学习的路由策略，而不是更大规模的预训练。 • 为什么重要： 这是迄今为止最清晰的论据之一，说明 orchestrator 本身就应该是模型。路由决策不该只是一个包装层，而应该被建模为可学习策略。对于需要组合多个模型提供方的生产级 agent stack 来说，这才是正确的抽象方式。 论文 | 推文 论文 推文 3. Self Improving Pretraining 如今大多数 LLM 在安全性、事实性和推理能力上的修补，都是在后训练阶段才加上去的。可到了那个阶段，很多模式其实已经定型了。这篇来自 Meta FAIR 的论文，把这些行为约束直接前移到了预训练阶段。团队使用一个强大的后训练模型，同时充当重写器和裁判：它先把预训练语料的后缀重写成更高质量、更安全的续写方向，再将训练中模型的 rollout 与原始后缀和重写后缀进行对比打分，并把这个分数作为预训练中的强化学习信号。换句话说，模型从一开始学的就不再只是 next token prediction，而是在质量、安全性和事实性奖励下学习序列生成。 • 后训练模型既是重写器，也是裁判： 强模型会在预训练阶段改写语料后缀，再对训练中模型生成的结果同时对照原始后缀与改写后缀进行评判。安全性、事实性和质量不再是事后的过滤器，而是在训练早期就变成奖励信号，让策略能更早内化这些目标。