[算法学习] Minimax - CISPO

[算法学习] Minimax CISPO [算法学习] Minimax CISPO Modified August 27, 2025 然而，即便有了这些改进，重要性采样比（importance sampling ratio）的裁剪机制仍可能限制模型对低概率关键步骤的探索。成为进一步提升RL训练效率的新障碍。为了解决这一问题，MiniMax团队在最新发布的混合架构模型M1的RL训练中，引入了一种全新的策略优化算法——CISPO。 CISPO的核心思想：不再像PPO/GRPO一样对策略更新进行直接裁剪，而是通过裁剪重要性采样权重来稳定训练。这一改变旨在“不丢弃任何token的贡献”，特别是那些对推理至关重要但在初始策略中出现概率极低的token。初步的实验结果表明，CISPO在相同训练步数下性能优于GRPO和DAPO，并且只需约一半的训练步数即可达到与DAPO相当的性能。更重要的是，CISPO的引入使得像MiniMax M1这样参数规模达4560亿、上下文长度达100万的超大模型能够在3周内完成强化学习微调，算力成本约53.47万美元——这一效率优势也是M1发布后获得全网关注的重要原因。强化学习策略优化基础：PPO算法近端策略优化（PPO）是近年来应用最广泛的策略梯度算法之一。PPO通过对策略更新加入限制（信赖域限制）来保证训练稳定，具体做法是在目标函数中对重要性采样比进行裁剪。形式上，PPO以策略参数 θ 为优化对象，其典型的剪辑目标可表示为： J PPO (θ)=E (q,a)∼D,o i ∼π θ old (⋅∣q) ⎣ ⎡ ∣o i ∣ 1 t=1 ∑ ∣o i ∣ min(r i,t (θ) A ^ i,t ,clip(r i,t (θ),1−ε,1+ε) A ^ i,t ) ⎦ ⎤ −βD KL (π θ ∥π ref ) 其中 (q,a) 表示从数据分布 D （如人类反馈数据或环境交互获得的数据）采样的问题和对应参考答案， o i 表示策略在给定问题q下生成的第i个输出， π θ old 是更新前的旧策略。 ∣o i ∣ 表示输出序列的长度。 r i,t (θ) 称为重要性采样权重，定义为新旧策略在同一状态下选择同一动作（token）的概率比。 r 1意味着当前新策略更倾向于选择该token，r<1则表示新策略相对旧策略不太倾向该token。在PPO中，当优势值估计 A ^ i,t 为正数时，表示该动作比基准策略表现好，策略会尝试增大对应token的概率，反之则减少概率。裁剪操作 clip(r,1−ε,1+ε) 将比率r限制在 [1−ε,1+ε] 范围内，从而避免策略更新幅度过大而破坏旧策略附近的策略分数。这种剪辑的近似信赖域限制可显著提高训练稳定性。此外， −βD KL (π θ ∥π ref ) 项是一个关于策略和参考策略（通常是初始策略或一个冻结的旧策略）之间的KL散度惩罚，进一步约束新旧策略不要偏离太远。在实际实现中，PPO通常不直接采用KL项，而是通过裁剪比率的方式达到类似效果；但在一些RLHF设置下，也有将参考策略设为预训练模型并加KL惩罚以维持模型语言流畅度的做法。 GRPO 算法群体相对策略优化（GRPO）是DeepSeek团队在强化学习微调LLM时提出的算法改进。GRPO主要有两点不同于PPO之处：一是取消了价值函数（critic），二是采用群体相对的优势估计。具体来说，GRPO 每次针对一个问题 q，让旧策略 π θ old 生成一个“回答组”，产生了g个不同的答案 o 1 ,o 2 ,…,o g 。然后通过一个奖励函数或奖励模型对每个答案进行评分，得到 R i 表示第 i 个答案的奖励值。GRPO将每个样本 i 的优势 A ^ i 定义为该样本奖励相对于组内平均水平的差值（通常还会除以标准差进行归一化）。这样的优势定义无需值函数估计，避免了训练一个额外的价值网络，显著减少了内存占用和算法复杂化。有了群体优势，GRPO的策略优化目标基本沿袭PPO的形式，同样采用剪辑的重要性采样比来约束更新幅度。此外，DeepSeek在实现GRPO时还直接加入了KL惩罚项，以进一步稳定训练。[算法学习] Deepseek的算法创新：GRPO（Group Relative Policy Optimization） DeepSeek在后续的研究中报告了GRPO存在的一个问题：在强化数学推理能力时，GRPO未能有效促进长链式推理行为的出现，甚至在某些实验中对性能产生了负面影响。经过一系列消融实验，他们将原因归结为PPO/GRPO损失函数中的不当裁剪操作。具体来说，某些与反思性行为（reflective behaviors）相关的token（例如英文中的“However”、“Recheck”、“Wait”、“Aha”等）在基座模型中出现频率极低，却往往是推理路径上的关键“分叉点” 。这些token在强化学习更新时，如果因为优势为正被尝试提高概率，就会出现很大的 r i,t 值（因为旧策略中它们概率很小）。按照PPO/GRPO的裁剪规则，首次更新时这些token对应的r通常超出上限而被裁剪（即梯度被截断在剪辑范围内）。结果在后续的多轮(off policy)更新中，这些token基本不再参与梯度更新（因为一开始就被裁剪掉了贡献）。换言之，PPO/GRPO的机制过早地丢弃了这些对探索极其重要的低概率token的学习信号。这在DeepSeek采用的混合架构模型中表现尤为明显，成为限制进一步扩展RL训练的瓶颈。另一方面，那些高概率的常规token由于初始 r 比较小，并未被裁剪，反而可能主导了梯度，使策略趋向保守。这一发现表明：传统裁剪策略在保证稳定性的同时，可能牺牲了探索潜力。因此，有必要寻找新的策略优化方法，在保持训练稳定的前提下，充分利用所有token的梯度信息。 DAPO算法及其改进技术面对上述问题，OpenBMB等开源社区研究者提出了DAPO算法，其全名为“Decoupled Clip and Dynamic sAmpling Policy Optimization”，直译为“解耦裁剪与动态采样的策略优化”。DAPO可以被视作对GRPO的一系列改进集合，旨在提升大模型长序列RL训练的效率和稳定性。DAPO包含的关键策略有： Clip Higher（提高上限）在PPO/GRPO中，裁剪范围默认对称为 [1−ε,1+ε] 。DAPO观察到，下限 1−ε 主要用于防止概率过度降低（避免策略崩溃），不宜调大；而上限 1+ε 若设得过低，会过度限制低概率token提高其概率。这意味着“探索”类token（初始概率小）受到的限制更严苛，反而“利用”类token（初始概率大）不受约束。 Clip Higher通过将裁剪上下限解耦为 ε low 和 ε high 来解决此问题，适度增大上限 ε high 的取值。在DAPO的实现中， ε low 保持0.2不变，而 ε high 提高到0.28 。虽然提升幅度不算巨大，但已经留出了更多空间来提升低概率token的概率。这一调整增加了策略的熵值，促进了更多样化样本的生成。需要指出的是，在DeepSeek的后续实验中认为0.28的上限增量仍然有限；但Clip Higher策略本身提供了一个思路：通过提高上剪辑阈值促进探索。 Dynamic Sampling（动态采样）这是针对训练中“无梯度”样本增多的问题提出的对策。在GRPO设定下，如果某个提示（prompt）对应的一组g个回答全部获得满分奖励，或全部得分为0，那么组内样本的相对优势 A ^ 将全部为0 。这意味着这一prompt对策略梯度没有贡献。随着训练推进，模型逐渐变强，“全对”或“全错”的提示占比会上升，有效的梯度样本数反而下降，导致批梯度的方差增大、信号变弱。为此，DAPO在每次构造训练batch时，动态地重复采样一些提示，过滤掉那些全部正确或全部错误的case，直到保证每个提示对应的g个样本中既非全对也非全错。这样，每个提示在该batch中都有有效的梯度信号，保持batch内始终有足够的梯度来源。这一策略相当于自适应调整数据集：难度太高或太低的样本会被补充更多多样输出，从而稳定训练信号。Dynamic Sampling提高了采样成本，但实验显示其可以显著改善训练的样本效率和稳定性。 Token Level Policy Gradient Loss（逐token策略梯度损失） GRPO的原始实现中，损失是样本级聚合的：即先对每个样本的所有token求平均损失，再对样本求平均。这种做法在长序列情况下会导致长序列样本贡献被稀释，以及低质量长序列对梯度的不良影响。DAPO改为逐token计算并累积梯度，不给长序列特殊权重，从而确保每个token的反馈都直接影响策略更新。他们发现这种调整有助于抑制无关长段的影响，并提高长推理链条中关键步骤的学习效果。 Overlong Reward Shaping（超长惩罚）为减少因截断序列而产生的奖励噪声，DAPO对超出预设长度的生成进行了奖励惩罚或截断策略。比如，当回答长度超过某阈值时，可能对奖励进行递减，避免无休止地生成无关内容。这一技巧可稳定训练过程，对抗由于超长输出导致的梯度不稳定。通过几种技术组合，DAPO在多项基准上取得了优于基础GRPO的结果。在数学推理数据集上，引入Clip Higher后熵值下降问题显著缓解；应用Dynamic Sampling后模型训练的有效样本利用率提高，在相同步数下获得更好成绩。综合全部策略，DAPO使Qwen 2.5 32B模型在AIME 2024数学竞赛模拟测试中取得50分，相比DeepSeek的R1 Zero（基于GRPO的实现）只用了一半训练步骤却成绩更高。证明了针对LLM长序列RL训练的问题设计特定对策的价值。 CISPO [[算法学习] Deepseek的算法创新：GRPO（Group Relative Policy Optimization）](https://waytoagi.feishu.cn/wiki/CIAbwJgMdirwYJk1I35clgPPnFc) 然而，即便有了这些改进，重要性采样比（importance sampling ratio）的裁剪机制仍可能限制模型对低概率关键步骤的探索。成为进一步提升RL训练效率的新障碍。为了解决这一问题，MiniMax团队在最新发布的混合架构模型M1的RL训练中，引入了一种全新的策略优化算法——CISPO。 CISPO的核心思想：不再像PPO/GRPO一样对策略更新进行直接裁剪，而是通过裁剪重要性采样权重来稳定训练。这一改变旨在“不丢弃任何token的贡献”，特别是那些对推理至关重要但在初始策略中出现概率极低的token。初步的实验结果表明，CISPO在相同训练步数下性能优于GRPO和DAPO，并且只需约一半的训练步数即可达到与DAPO相当的性能。更重要的是，CISPO的引入使得像MiniMax M1这样参数规模达4560亿、上下文长度达100万的超大模型能够在3周内完成强化学习微调，算力成本约53.47万美元——这一效率优势也是M1发布后获得全网关注的重要原因。强化学习策略优化基础：PPO算法近端策略优化（PPO）是近年来应用最广泛的策略梯度算法之一。PPO通过对策略更新加入限制（信赖域限制）来保证训练稳定，具体做法是在目标函数中对重要性采样比进行裁剪。形式上，PPO以策略参数 θ 为优化对象，其典型的剪辑目标可表示为： J PPO (θ)=E (q,a)∼D,o i ∼π θ old (⋅∣q) ⎣ ⎡ ∣o i ∣ 1 t=1 ∑ ∣o i ∣ min(r i,t (θ) A ^ i,t ,clip(r i,t (θ),1−ε,1+ε) A ^ i,t ) ⎦ ⎤ −βD KL (π θ ∥π ref ) 其中 (q,a) 表示从数据分布 D （如人类反馈数据或环境交互获得的数据）采样的问题和对应参考答案， o i 表示策略在给定问题q下生成的第i个输出， π θ old 是更新前的旧策略。 ∣o i ∣ 表示输出序列的长度。 r i,t (θ) 称为重要性采样权重，定义为新旧策略在同一状态下选择同一动作（token）的概率比。 r 1意味着当前新策略更倾向于选择该token，r<1则表示新策略相对旧策略不太倾向该token。在PPO中，当优势值估计 A ^ i,t 为正数时，表示该动作比基准策略表现好，策略会尝试增大对应token的概率，反之则减少概率。裁剪操作 clip(r,1−ε,1+ε) 将比率r限制在 [1−ε,1+ε] 范围内，从而避免策略更新幅度过大而破坏旧策略附近的策略分数。这种剪辑的近似信赖域限制可显著提高训练稳定性。此外， −βD KL (π θ ∥π ref ) 项是一个关于策略和参考策略（通常是初始策略或一个冻结的旧策略）之间的KL散度惩罚，进一步约束新旧策略不要偏离太远。在实际实现中，PPO通常不直接采用KL项，而是通过裁剪比率的方式达到类似效果；但在一些RLHF设置下，也有将参考策略设为预训练模型并加KL惩罚以维持模型语言流畅度的做法。 GRPO 算法群体相对策略优化（GRPO）是DeepSeek团队在强化学习微调LLM时提出的算法改进。GRPO主要有两点不同于PPO之处：一是取消了价值函数（critic），二是采用群体相对的优势估计。具体来说，GRPO 每次针对一个问题 q，让旧策略 π θ old 生成一个“回答组”，产生了g个不同的答案 o 1 ,o 2 ,…,o g 。然后通过一个奖励函数或奖励模型对每个答案进行评分，得到 R i 表示第 i 个答案的奖励值。GRPO将每个样本 i 的优势 A ^ i 定义为该样本奖励相对于组内平均水平的差值（通常还会除以标准差进行归一化）。这样的优势定义无需值函数估计，避免了训练一个额外的价值网络，显著减少了内存占用和算法复杂化。有了群体优势，GRPO的策略优化目标基本沿袭PPO的形式，同样采用剪辑的重要性采样比来约束更新幅度。此外，DeepSeek在实现GRPO时还直接加入了KL惩罚项，以进一步稳定训练。[算法学习] Deepseek的算法创新：GRPO（Group Relative Policy Optimization） [[算法学习] Deepseek的算法创新：GRPO（Group Relative Policy Optimization）](https://waytoagi.feishu.cn/wiki/CIAbwJgMdirwYJk1I35clgPPnFc) DeepSeek在后续的研究中报告了GRPO存在的一个问题：在强化数学推理能力时，GRPO未能有效促进长链式推理行为的出现，甚至在某些实验中对性能产生了负面影响。经过一系列消融实验，他们将原因归结为PPO/GRPO损失函数中的不当裁剪操作。具体来说，某些与反思性行为（reflective behaviors）相关的token（例如英文中的“However”、“Recheck”、“Wait”、“Aha”等）在基座模型中出现频率极低，却往往是推理路径上的关键“分叉点” 。这些token在强化学习更新时，如果因为优势为正被尝试提高概率，就会出现很大的 r i,t 值（因为旧策略中它们概率很小）。按照PPO/GRPO的裁剪规则，首次更新时这些token对应的r通常超出上限而被裁剪（即梯度被截断在剪辑范围内）。结果在后续的多轮(off policy)更新中，这些token基本不再参与梯度更新（因为一开始就被裁剪掉了贡献）。换言之，PPO/GRPO的机制过早地丢弃了这些对探索极其重要的低概率token的学习信号。这在DeepSeek采用的混合架构模型中表现尤为明显，成为限制进一步扩展RL训练的瓶颈。另一方面，那些高概率的常规token由于初始 r 比较小，并未被裁剪，反而可能主导了梯度，使策略趋向保守。这一发现表明：传统裁剪策略在保证稳定性的同时，可能牺牲了探索潜力。因此，有必要寻找新的策略优化方法，在保持训练稳定的前提下，充分利用所有token的梯度信息。 DAPO算法及其改进技术面对上述问题，OpenBMB等开源社区研究者提出了DAPO算法，其全名为“Decoupled Clip and Dynamic sAmpling Policy Optimization”，直译为“解耦裁剪与动态采样的策略优化”。DAPO可以被视作对GRPO的一系列改进集合，旨在提升大模型长序列RL训练的效率和稳定性。DAPO包含的关键策略有： Clip Higher（提高上限）在PPO/GRPO中，裁剪范围默认对称为 [1−ε,1+ε] 。DAPO观察到，下限 1−ε 主要用于防止概率过度降低（避免策略崩溃），不宜调大；而上限 1+ε 若设得过低，会过度限制低概率token提高其概率。这意味着“探索”类token（初始概率小）受到的限制更严苛，反而“利用”类token（初始概率大）不受约束。 Clip Higher通过将裁剪上下限解耦为 ε low 和 ε high 来解决此问题，适度增大上限 ε high 的取值。在DAPO的实现中， ε low 保持0.2不变，而 ε high 提高到0.28 。虽然提升幅度不算巨大，但已经留出了更多空间来提升低概率token的概率。这一调整增加了策略的熵值，促进了更多样化样本的生成。需要指出的是，在DeepSeek的后续实验中认为0.28的上限增量仍然有限；但Clip Higher策略本身提供了一个思路：通过提高上剪辑阈值促进探索。 Dynamic Sampling（动态采样）这是针对训练中“无梯度”样本增多的问题提出的对策。在GRPO设定下，如果某个提示（prompt）对应的一组g个回答全部获得满分奖励，或全部得分为0，那么组内样本的相对优势 A ^ 将全部为0 。这意味着这一prompt对策略梯度没有贡献。随着训练推进，模型逐渐变强，“全对”或“全错”的提示占比会上升，有效的梯度样本数反而下降，导致批梯度的方差增大、信号变弱。为此，DAPO在每次构造训练batch时，动态地重复采样一些提示，过滤掉那些全部正确或全部错误的case，直到保证每个提示对应的g个样本中既非全对也非全错。这样，每个提示在该batch中都有有效的梯度信号，保持batch内始终有足够的梯度来源。这一策略相当于自适应调整数据集：难度太高或太低的样本会被补充更多多样输出，从而稳定训练信号。Dynamic Sampling提高了采样成本，但实验显示其可以显著改善训练的样本效率和稳定性。 Token Level Policy Gradient Loss（逐token策略梯度损失） GRPO的原始实现中，损失是样本级聚合的：即先对每个样本的所有token求平均损失，再对样本求平均。这种做法在长序列情况下会导致长序列样本贡献被稀释，以及低质量长序列对梯度的不良影响。DAPO改为逐token计算并累积梯度，不给长序列特殊权重，从而确保每个token的反馈都直接影响策略更新。他们发现这种调整有助于抑制无关长段的影响，并提高长推理链条中关键步骤的学习效果。 Overlong Reward Shaping（超长惩罚）为减少因截断序列而产生的奖励噪声，DAPO对超出预设长度的生成进行了奖励惩罚或截断策略。比如，当回答长度超过某阈值时，可能对奖励进行递减，避免无休止地生成无关内容。这一技巧可稳定训练过程，对抗由于超长输出导致的梯度不稳定。通过几种技术组合，DAPO在多项基准上取得了优于基础GRPO的结果。在数学推理数据集上，引入Clip Higher后熵值下降问题显著缓解；应用Dynamic Sampling后模型训练的有效样本利用率提高，在相同步数下获得更好成绩。综合全部策略，DAPO使Qwen 2.5 32B模型在AIME 2024数学竞赛模拟测试中取得50分，相比DeepSeek的R1 Zero（基于GRPO的实现）只用了一半训练步骤却成绩更高。证明了针对LLM长序列RL训练的问题设计特定对策的价值。 CISPO 背景 CISPO （Clipped Importance Sampling Policy Optimization，即裁剪重要性采样权重的策略优化）源于MiniMax团队在论文 MiniMax M1: Scaling Test Time Compute Efficiently with Lightning Attention 中的首次发布，文中提到的新算法通过对策略优化过程中的重要性采样权重进行裁剪，避免了传统方法中对梯度更新的直接裁剪，从而保留所有token的学习信号。 MiniMax M1: Scaling Test Time Compute Efficiently with Lightning Attention 今年的强化学习（RL）在LLM的应用取得了显著进展。与传统的有监督微调不同，RL微调可以在推理过程层面优化模型，让模型学会多步推理、自我验证、策略探索等复杂行为，从而在数学推理、代码生成功能等任务上取得更佳表现。“推理尺度（reasoning scale）” 的扩展为LLM开辟了新的能力边界。然而，要在LLM上应用RL也面临很多挑战，包括训练不稳定、样本效率低下（严重依赖高质量样本数据）以及高算力成本等等。策略优化算法是RL微调的核心。在强化学习领域，Proximal Policy Optimization（PPO）算法因其稳定性和简单性被广泛应用，包括在RLHF中训练对话模型等。但当直接将PPO用于大模型（尤其是需要长链式推理的场景）时，出现了一些瓶颈：模型策略熵坍塌、奖励噪声大、训练不稳定等。为了解决这些问题，业界提出了各种改进算法。最出圈的应该就是当时Deepseek R1发布时同时开源的GRPO算法（Group Relative Policy Optimization），GRPO通过采样一组回答并用组内平均奖励作为“基准”，使策略的优势估计相对更稳定。此后，研究者对GRPO进一步改进。例如DeepSeek R1 Zero探索了基于GRPO的多轮自举训练，开源社区也提出了一系列增强方案。近期，OpenBMB等团队在开源实践中总结出四项关键技术并提出DAPO（Decoupled Clip and Dynamic Sampling Policy Optimization）算法：用“Clip Higher”策略缓解熵下降，“Dynamic Sampling”提高训练效率稳定性，“Token Level Loss”针对长推理序列优化梯度，“Overlong Reward Shaping”降低超长序列的噪声奖励。这些改进使得RL训练在长链推理任务中的表现有所提升。例如，DAPO算法在开源的Qwen 2.5 32B模型上将AIME数学竞赛题的得分提高到50分，使用的训练步数仅为DeepSeek R1的一半。