当AI学会"吃一堑长一智"：基于记忆的动态奖励

当AI学会"吃一堑长一智"：基于记忆的动态奖励 当AI学会"吃一堑长一智"：基于记忆的动态奖励 Modified April 22 复旦团队的MEDS框架提出了一个巧妙的解决方案。 但真正让人眼前一亮的，是他们发现的一个现象：AI内部的计算过程，能够反映它的推理思路。 这个发现很反直觉。 我们通常认为，要判断两个回答的推理思路是否相似，需要理解它们的语义内容，这很复杂。 但研究团队发现，只需要看AI在生成答案时。 内部神经网络各层的输出值（叫做logits），就能捕捉到推理模式的相似性。 CleanShot 2026 04 18 at 00.07.37@2x.png 这张图展示了logits如何编码推理结构。 想象AI的大脑有很多层，每一层都会产生一些中间计算结果。 如果两个回答用了相似的推理路径，它们在各层的计算结果就会很像； 反之，不同的推理路径会产生明显不同的计算模式。 更关键的是，这些信息是"免费"的——AI在思考时本来就会产生这些中间结果，直接拿来用就行，几乎不增加计算成本。 这就像给每个推理过程打上了一个独特的"指纹"。 案例解剖：同样的错误答案，不同的错误原因 研究团队展示了一个特别有启发性的案例。 CleanShot 2026 04 18 at 00.09.33@2x.png 还是那道"Good number"问题，正确答案是1344。 但AI生成了多个错误回答，其中有三个都输出了1342这个错误答案。 如果只看最终答案，你会以为它们犯了同样的错误。但仔细看推理过程就会发现： 第一类错误（Cluster A）的推理模式： • 一开始就认定"必须是质数的平方" • 直接开始用代码暴力枚举验证 • 从头到尾没有怀疑过这个前提 第二类错误（Cluster B）的推理模式： • 先假设"质数平方"结构 • 尝试推导其他可能的数学形式 • 发现推不下去后，才退回到枚举法 两种错误的"病因"完全不同：第一类是"思维僵化"，第二类是"推导失败后的妥协"。 更神奇的是，右边的热力图完美地反映了这种差异。 颜色越深代表数值越大。 你可以看到，同一类错误内部的热力图模式很相似，但不同类错误之间，热力图的颜色分布明显不同。 这说明什么？AI内部的计算过程，不仅能区分最终答案，更能区分到达答案的思维路径。 MEDS的三步机制：让AI记住犯过的错 基于这个洞察，MEDS设计了一个优雅的三步机制： 第一步：提取"推理指纹"对每个回答，提取AI后半层神经网络的计算结果（前半层主要处理文字理解，后半层才涉及深层推理），在最终答案的第一个字位置，拼接成一个特征向量。 这就是这个回答的"推理指纹"。 第二步：维护"错误记忆库"对每个问题，维护一个历史错误回答的特征库。 用聚类算法，自动识别出不同的错误模式。 这个记忆库是动态的，会随着训练不断更新。 就像老师给学生建立一个"错题本"，但这个错题本不仅记录错误答案，还记录了"为什么会错"。 第三步：动态调整惩罚力度当AI生成一个新的错误回答时，看它属于哪一类错误。 如果这类错误已经"人丁兴旺"（说明这个坑已经掉进去很多次了），就给它更重的惩罚。 惩罚的强度和这类错误出现的次数相关，但有个上限，既能有效抑制重复错误，又不会过度惩罚。 这个设计的精妙之处在于： 它不是简单地鼓励"不一样"，而是精准地打击"重复的错误模式"。 正确的回答不受影响，新的错误尝试也不会被过度惩罚，只有那些已经反复出现的错误陷阱，才会被重点标记。 为什么这样做有效？ 直觉上很好理解。 重复出现的错误，说明AI在当前的"思维习惯"下，很容易掉进这个坑。 通过额外惩罚，相当于在这个坑边上竖了一个大大的警示牌："这里危险，已经摔过很多次了！" 这样AI就会被迫去探索其他可能性，而不是在同一个错误上浪费时间。 研究团队还给出了严格的数学证明： 在理论上，这种惩罚机制能够保证或提升AI的整体表现。 因为惩罚只针对错误（而且是已经重复的错误），从优化的角度看，这种调整不会让AI变差，只会让它变好。 实验结果：不只是数字的提升 在五个数学推理数据集上，MEDS取得了全面领先的结果。 但比数字更重要的，是它改变了AI的探索行为。 最显著的提升出现在Qwen3 8B模型上： • 在OlympiadBench数据集，准确率从70.81提升到82.67，相对提升17% • 在MATH500数据集，准确率从83.62提升到92.51，提升了近9个百分点 • 平均来看，在所有数据集上都取得了最好的表现 但更重要的发现是：MEDS不仅让AI答对了更多题，还让它的思考方式变得更加多样化。 研究团队用两个指标来衡量： 同一时刻的多样性：在同一个训练阶段，对同一个问题生成的多个回答有多不一样。 跨时间的多样性：训练后期生成的回答，相比早期是否出现了新的推理思路。 实验显示，MEDS在这两个指标上都明显优于传统方法。 而且，从AI内部的计算分布来看，MEDS的计算结果更加均匀，不会过度集中在某几个方向上，说明探索行为确实更加多样化。 这就像一个学生，不仅做对了更多题，而且解题思路也变得更加开阔了。 一个有趣的验证：AI的"推理指纹"靠谱吗？ 研究团队还做了一个验证：用AI内部的计算结果来判断推理相似性，真的靠谱吗？ 他们随机抽取了800个错误回答，先用Claude模型根据11种常见错误类型进行标注，然后和基于内部计算结果的聚类对比。 结果显示，两者的一致性达到61.2%。 这个数字看起来不算特别高，但要知道，基于内部计算的聚类是完全自动的，不需要任何人工标注。 能达到60%以上的一致性，已经相当可观了。 更关键的是，聚类质量和最终的答题准确率高度相关：聚类做得越好（越能准确识别不同的错误模式），AI最终的准确率就越高。 这说明，"推理指纹"确实捕捉到了推理结构的本质特征。 还能做得更好吗？ 研究团队说，他们目前对AI内部计算结果的利用方式还比较简单，只是直接拼接后半层的数值。 是否有更聪明的方式来提取"推理指纹"？ 比如，是否可以用注意力机制来加权不同层的重要性？ 或者用更精细的特征工程来捕捉层与层之间的交互模式？这些都是值得探索的方向。 另外，MEDS目前主要在数学推理任务上验证，在其他类型的任务（比如写代码、生成图片）上是否同样有效，还需要更多实验来确认。 写在最后：一个被忽视的常识 MEDS的核心创新，其实是把人类学习中一个很自然的机制，引入到了AI训练中。 我们都知道，犯过的错误要记住，重复的错误要警惕。 小时候老师会让我们整理错题本，不就是这个道理吗？ 但在AI训练中，这个看似简单的常识，却一直没有被系统地实现。 现有的训练方法都只看"当下"，不看"过去"。 每一轮训练都是独立的，AI不知道自己之前在哪里栽过跟头。 MEDS的价值，不仅在于提升了几个点的准确率，更在于它打开了一个新的思路：AI的训练，不应该只看当前这一步，还应该看历史轨迹。 AI的"记忆"不应该只存在于参数更新中，也可以显式地存储和利用。 未来，我们可能会看到更多利用历史信息来指导训练的方法，让AI真正学会"吃一堑长一智"。 毕竟，这是人类几千年来总结出的学习智慧，为什么不能教给AI呢？ 原文链接: https://blog.qiaomu.ai/2026 04 17 qp2x50 复旦团队的MEDS框架提出了一个巧妙的解决方案。 但真正让人眼前一亮的，是他们发现的一个现象：AI内部的计算过程，能够反映它的推理思路。 这个发现很反直觉。 我们通常认为，要判断两个回答的推理思路是否相似，需要理解它们的语义内容，这很复杂。 但研究团队发现，只需要看AI在生成答案时。 内部神经网络各层的输出值（叫做logits），就能捕捉到推理模式的相似性。 这张图展示了logits如何编码推理结构。 想象AI的大脑有很多层，每一层都会产生一些中间计算结果。 如果两个回答用了相似的推理路径，它们在各层的计算结果就会很像； 反之，不同的推理路径会产生明显不同的计算模式。 更关键的是，这些信息是"免费"的——AI在思考时本来就会产生这些中间结果，直接拿来用就行，几乎不增加计算成本。 这就像给每个推理过程打上了一个独特的"指纹"。 案例解剖：同样的错误答案，不同的错误原因 研究团队展示了一个特别有启发性的案例。 还是那道"Good number"问题，正确答案是1344。 但AI生成了多个错误回答，其中有三个都输出了1342这个错误答案。 如果只看最终答案，你会以为它们犯了同样的错误。但仔细看推理过程就会发现： 第一类错误（Cluster A）的推理模式： • 一开始就认定"必须是质数的平方" • 直接开始用代码暴力枚举验证 • 从头到尾没有怀疑过这个前提 第二类错误（Cluster B）的推理模式： • 先假设"质数平方"结构 • 尝试推导其他可能的数学形式 • 发现推不下去后，才退回到枚举法 两种错误的"病因"完全不同：第一类是"思维僵化"，第二类是"推导失败后的妥协"。 更神奇的是，右边的热力图完美地反映了这种差异。 颜色越深代表数值越大。 你可以看到，同一类错误内部的热力图模式很相似，但不同类错误之间，热力图的颜色分布明显不同。 这说明什么？AI内部的计算过程，不仅能区分最终答案，更能区分到达答案的思维路径。 MEDS的三步机制：让AI记住犯过的错 基于这个洞察，MEDS设计了一个优雅的三步机制： 第一步：提取"推理指纹"对每个回答，提取AI后半层神经网络的计算结果（前半层主要处理文字理解，后半层才涉及深层推理），在最终答案的第一个字位置，拼接成一个特征向量。 这就是这个回答的"推理指纹"。 第二步：维护"错误记忆库"对每个问题，维护一个历史错误回答的特征库。 用聚类算法，自动识别出不同的错误模式。 这个记忆库是动态的，会随着训练不断更新。 就像老师给学生建立一个"错题本"，但这个错题本不仅记录错误答案，还记录了"为什么会错"。 第三步：动态调整惩罚力度当AI生成一个新的错误回答时，看它属于哪一类错误。 如果这类错误已经"人丁兴旺"（说明这个坑已经掉进去很多次了），就给它更重的惩罚。 惩罚的强度和这类错误出现的次数相关，但有个上限，既能有效抑制重复错误，又不会过度惩罚。 这个设计的精妙之处在于： 它不是简单地鼓励"不一样"，而是精准地打击"重复的错误模式"。 正确的回答不受影响，新的错误尝试也不会被过度惩罚，只有那些已经反复出现的错误陷阱，才会被重点标记。 为什么这样做有效？ 直觉上很好理解。 重复出现的错误，说明AI在当前的"思维习惯"下，很容易掉进这个坑。 通过额外惩罚，相当于在这个坑边上竖了一个大大的警示牌："这里危险，已经摔过很多次了！" 这样AI就会被迫去探索其他可能性，而不是在同一个错误上浪费时间。 研究团队还给出了严格的数学证明： 在理论上，这种惩罚机制能够保证或提升AI的整体表现。 因为惩罚只针对错误（而且是已经重复的错误），从优化的角度看，这种调整不会让AI变差，只会让它变好。 实验结果：不只是数字的提升 在五个数学推理数据集上，MEDS取得了全面领先的结果。 但比数字更重要的，是它改变了AI的探索行为。 最显著的提升出现在Qwen3 8B模型上： • 在OlympiadBench数据集，准确率从70.81提升到82.67，相对提升17% • 在MATH500数据集，准确率从83.62提升到92.51，提升了近9个百分点 • 平均来看，在所有数据集上都取得了最好的表现 但更重要的发现是：MEDS不仅让AI答对了更多题，还让它的思考方式变得更加多样化。 研究团队用两个指标来衡量： 同一时刻的多样性：在同一个训练阶段，对同一个问题生成的多个回答有多不一样。 跨时间的多样性：训练后期生成的回答，相比早期是否出现了新的推理思路。 实验显示，MEDS在这两个指标上都明显优于传统方法。 而且，从AI内部的计算分布来看，MEDS的计算结果更加均匀，不会过度集中在某几个方向上，说明探索行为确实更加多样化。 这就像一个学生，不仅做对了更多题，而且解题思路也变得更加开阔了。 一个有趣的验证：AI的"推理指纹"靠谱吗？ 研究团队还做了一个验证：用AI内部的计算结果来判断推理相似性，真的靠谱吗？ 他们随机抽取了800个错误回答，先用Claude模型根据11种常见错误类型进行标注，然后和基于内部计算结果的聚类对比。 结果显示，两者的一致性达到61.2%。 这个数字看起来不算特别高，但要知道，基于内部计算的聚类是完全自动的，不需要任何人工标注。 能达到60%以上的一致性，已经相当可观了。 更关键的是，聚类质量和最终的答题准确率高度相关：聚类做得越好（越能准确识别不同的错误模式），AI最终的准确率就越高。 这说明，"推理指纹"确实捕捉到了推理结构的本质特征。 还能做得更好吗？ 研究团队说，他们目前对AI内部计算结果的利用方式还比较简单，只是直接拼接后半层的数值。 是否有更聪明的方式来提取"推理指纹"？ 比如，是否可以用注意力机制来加权不同层的重要性？ 或者用更精细的特征工程来捕捉层与层之间的交互模式？这些都是值得探索的方向。 另外，MEDS目前主要在数学推理任务上验证，在其他类型的任务（比如写代码、生成图片）上是否同样有效，还需要更多实验来确认。 写在最后：一个被忽视的常识 MEDS的核心创新，其实是把人类学习中一个很自然的机制，引入到了AI训练中。 我们都知道，犯过的错误要记住，重复的错误要警惕。 小时候老师会让我们整理错题本，不就是这个道理吗？ 但在AI训练中，这个看似简单的常识，却一直没有被系统地实现。 现有的训练方法都只看"当下"，不看"过去"。 每一轮训练都是独立的，AI不知道自己之前在哪里栽过跟头。 MEDS的价值，不仅在于提升了几个点的准确率，更在于它打开了一个新的思路：AI的训练，不应该只看当前这一步，还应该看历史轨迹。 AI的"记忆"不应该只存在于参数更新中，也可以显式地存储和利用。 未来，我们可能会看到更多利用历史信息来指导训练的方法，让AI真正学会"吃一堑长一智"。 毕竟，这是人类几千年来总结出的学习智慧，为什么不能教给AI呢？ 原文链接: https://blog.qiaomu.ai/2026 04 17 qp2x50 当AI学会"吃一堑长一智"：基于记忆的动态奖励 为什么AI在训练时会像着了魔一样，反复犯同样的错误？ 就像一个学生做数学题，第一次因为"看错题目条件"丢了分，第二次还是同样的原因，第三次、第四次……明明每次都在"学习"，却总是在同一个坑里摔跟头。 这不是偶然，而是当前AI训练方式的一个致命盲区。 隐藏陷阱 现在主流的AI训练方法，都在用一个叫"熵正则化"的技术来鼓励模型"多样化探索"。 听起来合理，但问题出在哪里？ 它鼓励的是表面上的不一样，而不是真正思路上的多样性。 什么意思？假如AI在解一道数学题："找出最小的'Good number'，它有三个不同的正因数，这三个因数之和等于2022。" AI可能会生成这样几个回答： • "这个数一定是质数的平方" • "满足条件的数必须是某个质数的平方" • "根据因数个数，这个数应该是质数平方的形式" 表面上看，这三个回答用词不同，看起来很"多样"。 但它们的核心推理逻辑完全一样，都困在"质数平方"这个错误假设里。 更要命的是，这个错误假设会在训练中被反复采样、反复强化，最终形成一个稳定的"错误陷阱"，AI怎么也爬不出来。 这张图揭示了问题：训练早期，AI还能尝试不同的解题思路（左图的高熵分布）； 但随着训练进行，策略逐渐坍缩到一个狭窄的错误模式上（右图）。 不同的错误表述，共享着同一个失败的推理框架。 就像一个学生，虽然每次答题的措辞不同，但都在用同一个错误的解题思路。 一个意外的发现：AI的"思考指纹"