张梦飞：为什么DeepSeek-R1是推理模型？那GPT-4是什么模型？我的定义和思考

张梦飞：为什么DeepSeek R1是推理模型？那GPT 4是什么模型？我的定义和思考 张梦飞：为什么DeepSeek R1是推理模型？那GPT 4是什么模型？我的定义和思考 Modified February 15, 2025 关键点：这里的“环境”是人类的主观评价，通过人类的打分来训练奖励模型，再用奖励模型指导写作助手优化输出。人类的反馈是核心，而不是直接从动态环境中学习。 总结 • RL：机器人在房间里找出口，直接从环境的奖励信号中学习。 • RLHF：写作助手根据人类的打分来优化文章生成，通过人类反馈训练奖励模型来指导优化。 不过相比较于降低的训练成本。R1 Zero最大的贡献在于：他探明了LLM可以通过无需任何监督微调数据即可获得强大的推理能力的道路。因为本文不讨论成本的问题，所以我们现回到他们的核心差异上：有没有使用“SFT”来决定性的提高模型的推理能力。 那么首先，我们要理解SFT和RL是什么？他们有什么差异 SFT（Supervised Fine Tuning）的定义：是一种对预训练语言模型进行微调的方法，通过在特定任务的数据集上进行有监督训练，使模型更好地适应特定任务 更深入的具体的理解，我们来看看在训练中，SFT是在如何对模型产生影响的： SFT的训练数据集通常包含两列：指令（输入）和答案（输出）。例如： 问题 答案 2+3等于多少？ 5 5 2等于多少？ 3 法国的首都是哪里？ 巴黎 日本的首都是哪里？ 东京 每一行代表一个样本，第一列是输入指令（问题），第二列是对应的输出（答案）。 在进行训练时，会经历以下步骤： 1、输入数据：模型收到了问题“2+3等于多少？” 2、模型预测：模型立即生成一个预测答案，例如“4”。（模型会根据之前的预训练基础，去预测下一个“token”，在这里小白可能需要补课，大模型的原理，但展示可以简单理解为预测一个答案，预测的可能对，也可能错） 3、计算损失：这时使用损失函数计算模型预测的答案“4”与真实答案“5”之间的差异。 4、参数更新：根据预测答案与真实答案之间的差异值，来动态调整模型中的参数。 5、持续训练：重复上述过程，直到模型的预测值与真实答案之间的差异达到最小化，此时结束这一个样本的训练（也可以理解为与真实答案完全一致。但这是一个拟合的过程，数字会要求与答案完全一样，但是语言类就不一定需要完全一样，可以允许一定的差值）。 6、循环往复：持续进行以上的步骤，使用海量的样本量持续训练。 在这个过程中，模型并不是简单地“猜测答案然后根据对错调整参数”，而是通过复杂的算法，以最小化预测值与真实值之间的差异来逐步优化参数。这种训练方式使模型能够学习到训练数据集中的一般规律，从而在面对未见过的数据时具有一定的泛化能力。 比如，即使数据集里可能并没有8 6等于多少，这样的数据集问题。但是大模型依然可以通过学习“2+3等于多少？”和“5 2等于多少？”等样本，在其内部形成一套计算方式，即使这套方式人类无法理解也无法感知，但是我们能观察到，大模型能够产生对类似的算术问题进行泛化的能力，在没有见过3+4答案的情况下，通过内部的逻辑，最终正确给出“3+4等于多少？”这样的未见过问题的答案。 但是这个训练过程，是一种拿着答案调整自身的过程，模型不断的调整参数，直到自己能够正确预测对所有的数据集的答案。 那在R1 Zero模型，在进行RL训练的时候发生了什么呢？ R1 Zero模型采用了一种名为 GRPO（Group Relative Policy Optimization）的强化学习方法，通过生成多个候选答案并根据预定义规则评估这些答案，从而优化模型的推理能力。 以下是R1 Zero模型的RL训练过程： R1 Zero在训练时，使用了一个模版，让大模型在输出的时候遵循，可以理解为System Prompt。 模板原文是： A conversation between User and Assistant, The user asks a question, and the Assistant solves it.The assistant first thinks about the reasoning process in the mind and then provides the userwith the answer. The reasoning process and answer are enclosed within <think </think and<answer </answer tags, respectively, i.e., <think reasoning process here </think <answer answer here </answer .User: prompt. Assistant: 翻译： 用户和助手之间的对话。用户提出一个问题，助手解决它。助手首先在脑海中思考推理过程，然后为用户提供答案。推理过程和答案分别用<think </think 和<answer </answer 标签包裹，即 <think 这里的推理过程</think <answer 这里的答案<answer 。用户:提示。助手: 这里主要是强调了，助手首先在脑海中思考推理过程，然后为用户提供答案。推理过程和答案分别用<think </think 和<answer </answer 标签包裹。 同样是使用这个数据集，进行训练： 问题 答案 2+3等于多少？ 5 5 2等于多少？ 3 法国的首都是哪里？ 巴黎 日本的首都是哪里？ 东京 1. 输入数据：模型收到了问题“2+3等于多少？” 2. 模式生成多个输出： 模型接收到问题“2+3等于多少？”后，生成多个可能的答案，每个答案包含推理过程和最终答案。例如： • 输出1：巴拉巴拉的思考过程，甚至有可能是乱码内容，4。 • 输出2：<think 巴拉巴拉的推思考过程，甚至有可能是乱码内容”</think ，<answer 5</answer 。 • 输出3：<think 1+1=2，2+2=4, 2+3=6”</think ，<answer “6”</answer 。 3. 评估输出：使用预定义的规则对每个输出进行评估，并使用奖励函数计算每个输出的奖励值： • 输出1：奖励值为0.0（格式错误，答案错误）。 • 输出2：奖励值为2.0（格式正确，答案正确）。 • 输出3：奖励值为1.0（格式正确，答案错误）。 预定义的规则只有两条： 1、准确度奖励：准确度奖励模型评估响应是否正确。 2、格式奖励：强制模型将其思维过程放在'< think '和'</ think '标记之间。把答案放在<answer 和<answer 之间。 4. 相对策略优化（GRPO）： 将每个输出的奖励与平均奖励进行比较，强化那些高于平均奖励的输出，惩罚那些低于平均奖励的输出。例如，输出2的奖励高于平均奖励，因此算法会调整参数以增加模式生成高奖励输出的概率。 5. 持续训练： 通过使用海量的样本，进行迭代，模型会不断优化其参数和输出策略，逐渐生成更稳定的生成准确和符合格式的答案。 在RL的过程中，自始至终并没有告诉过模型正确的答案是什么，而是根据模型的输出结果来生成一个奖励和惩罚值，比如：第一个预测答案，在推理阶段获得了1分奖励、结果阶段被采取了2分扣分。第二个预测答案，在推理阶段获得了1分奖励、结果阶段获得了3分奖励。 那么模型就会根据当前的奖励情况，对自己产生高奖励的策略强化，低奖励的策略弱化。在大量的自我调整和训练中，得到一个自我进化的最佳策略。 在这个迭代过程中，实验者发现，模型在训练过程中会自然地优化其思考过程，在R1 Zero的训练中，还产生了令大家津津乐道的“顿悟”时刻。 在上图中，可以看到输出了一定的内容后，模型突然反应过来，“等等，等等，我可以在这里多停留一下，多进行一些思考。” 这是一个非常神奇的事情，在没有人告诉他也没有任何明确的指令，告知他可以在思考的时候多思考一些时间，以获得一个更有可能获得奖励的结果（正确结果）。而R1 Zero仅仅通过使用两个“简单”的强化学习规则的训练，在不断的试错和调整中，自我进化学会了为问题分配更多的思考时间以获得更好的结果的策略，并且还以人类语言的方式进行了表达。 看到这里，为何R1是推理模型的答案已经呼之欲出，不知道大家是否能够感受到他们的不同，写到这里的时候我就出门了，然而我在开车的时候突然想到，甚是欣喜。 GPT4类型的模型不是推理模型，因为他们并不会主动“思考”，而是直接给出答案，所谓的思维链也不过是他“答案的一部分”。 R1类型的模型是推理模型，因为他们会主动思考，再给出答案。他思考并不是答案的一部分，是完全不同的两个阶段。 有些抽象？ 我们来回顾一下以GPT 4o为代表的非推理模型，提高推理能力的过程。 此类模型，通过不断的对比预测答案和真实答案之间的差异，不断的调整模型本身的参数，尽可能的提高正确答案的出现概率，本质上，这是一种概率匹配。通过不断的调整自己向答案靠拢，当模型训练完成时。 模型的链路只有两个环节： 1、收到问题 2、输出答案 即使当用户使用COT思考后输出答案，使用“Think step by step”的prompt进行引导，让模型输出了所谓的“思维链”，但这依然是模型为了匹配用户提出的问题，而“直接输出的答案”。 在非推理模型中，通过提示词引导模型带有思维链的输出，与不带思维链的输出，在本质上没有任何区别。 他们都是基于模型的固有的模式匹配。输出的所谓的“思维链”依然是针对你的“问题要求”进行的预测输出。 这是我使用Qwen2.5做的举例， 我们再来细细体会一下他的区别，这两个答案的推理过程，本质上是没有任何区别的。 无论是有了COT的和没有COT的，都是模型分别对我的问题直接产生的预测性输出。这个所谓的“思维链”本身就是模型给出的“答案”的一部分。并没有产生思考的过程。可以理解为“伪思考” 而我们看看以R1为代表的推理模型： 在R1的训练中，模型本身并不知道正确答案，也没有人告诉他在<think 阶段多停留就可以获得更好的结果，是模型在不断接受奖励和惩罚来强化和弱化相应的策略的时候，突然“顿悟”，他主动发现，可以在<think 阶段停留更长的时间，以得到更趋近于正确的答案。 我们通过论文可以了解到，在在RL的训练中，只使用了两个奖励规则： 准确度奖励：准确度奖励模型评估响应是否正确。 关键点：这里的“环境”是人类的主观评价，通过人类的打分来训练奖励模型，再用奖励模型指导写作助手优化输出。人类的反馈是核心，而不是直接从动态环境中学习。 总结 • RL：机器人在房间里找出口，直接从环境的奖励信号中学习。 • RLHF：写作助手根据人类的打分来优化文章生成，通过人类反馈训练奖励模型来指导优化。 关键点：这里的“环境”是人类的主观评价，通过人类的打分来训练奖励模型，再用奖励模型指导写作助手优化输出。人类的反馈是核心，而不是直接从动态环境中学习。 总结 • RL：机器人在房间里找出口，直接从环境的奖励信号中学习。 • RLHF：写作助手根据人类的打分来优化文章生成，通过人类反馈训练奖励模型来指导优化。 不过相比较于降低的训练成本。R1 Zero最大的贡献在于：他探明了LLM可以通过无需任何监督微调数据即可获得强大的推理能力的道路。因为本文不讨论成本的问题，所以我们现回到他们的核心差异上：有没有使用“SFT”来决定性的提高模型的推理能力。 那么首先，我们要理解SFT和RL是什么？他们有什么差异 SFT（Supervised Fine Tuning）的定义：是一种对预训练语言模型进行微调的方法，通过在特定任务的数据集上进行有监督训练，使模型更好地适应特定任务 更深入的具体的理解，我们来看看在训练中，SFT是在如何对模型产生影响的： SFT的训练数据集通常包含两列：指令（输入）和答案（输出）。例如： 问题 答案 2+3等于多少？ 5 5 2等于多少？ 3 法国的首都是哪里？ 巴黎 日本的首都是哪里？ 东京 问题 问题 答案 答案 2+3等于多少？ 2+3等于多少？ 5 5 5 2等于多少？ 5 2等于多少？ 3 3 法国的首都是哪里？ 法国的首都是哪里？ 巴黎 巴黎 日本的首都是哪里？ 日本的首都是哪里？ 东京 东京 每一行代表一个样本，第一列是输入指令（问题），第二列是对应的输出（答案）。 在进行训练时，会经历以下步骤： 1、输入数据：模型收到了问题“2+3等于多少？” 2、模型预测：模型立即生成一个预测答案，例如“4”。（模型会根据之前的预训练基础，去预测下一个“token”，在这里小白可能需要补课，大模型的原理，但展示可以简单理解为预测一个答案，预测的可能对，也可能错） 3、计算损失：这时使用损失函数计算模型预测的答案“4”与真实答案“5”之间的差异。 4、参数更新：根据预测答案与真实答案之间的差异值，来动态调整模型中的参数。 5、持续训练：重复上述过程，直到模型的预测值与真实答案之间的差异达到最小化，此时结束这一个样本的训练（也可以理解为与真实答案完全一致。但这是一个拟合的过程，数字会要求与答案完全一样，但是语言类就不一定需要完全一样，可以允许一定的差值）。 6、循环往复：持续进行以上的步骤，使用海量的样本量持续训练。 在这个过程中，模型并不是简单地“猜测答案然后根据对错调整参数”，而是通过复杂的算法，以最小化预测值与真实值之间的差异来逐步优化参数。这种训练方式使模型能够学习到训练数据集中的一般规律，从而在面对未见过的数据时具有一定的泛化能力。 比如，即使数据集里可能并没有8 6等于多少，这样的数据集问题。但是大模型依然可以通过学习“2+3等于多少？”和“5 2等于多少？”等样本，在其内部形成一套计算方式，即使这套方式人类无法理解也无法感知，但是我们能观察到，大模型能够产生对类似的算术问题进行泛化的能力，在没有见过3+4答案的情况下，通过内部的逻辑，最终正确给出“3+4等于多少？”这样的未见过问题的答案。 但是这个训练过程，是一种拿着答案调整自身的过程，模型不断的调整参数，直到自己能够正确预测对所有的数据集的答案。 那在R1 Zero模型，在进行RL训练的时候发生了什么呢？ R1 Zero模型采用了一种名为 GRPO（Group Relative Policy Optimization）的强化学习方法，通过生成多个候选答案并根据预定义规则评估这些答案，从而优化模型的推理能力。 以下是R1 Zero模型的RL训练过程： R1 Zero在训练时，使用了一个模版，让大模型在输出的时候遵循，可以理解为System Prompt。 模板原文是： A conversation between User and Assistant, The user asks a question, and the Assistant solves it.The assistant first thinks about the reasoning process in the mind and then provides the userwith the answer. The reasoning process and answer are enclosed within <think </think and<answer </answer tags, respectively, i.e., <think reasoning process here </think <answer answer here </answer .User: prompt. Assistant: 翻译： 用户和助手之间的对话。用户提出一个问题，助手解决它。助手首先在脑海中思考推理过程，然后为用户提供答案。推理过程和答案分别用<think </think 和<answer </answer 标签包裹，即 <think 这里的推理过程</think <answer 这里的答案<answer 。用户:提示。助手: A conversation between User and Assistant, The user asks a question, and the Assistant solves it.The assistant first thinks about the reasoning process in the mind and then provides the userwith the answer. The reasoning process and answer are enclosed within <think </think and<answer </answer tags, respectively, i.e., <think reasoning process here </think <answer answer here </answer .User: prompt. Assistant: 翻译： 用户和助手之间的对话。用户提出一个问题，助手解决它。助手首先在脑海中思考推理过程，然后为用户提供答案。推理过程和答案分别用<think </think 和<answer </answer 标签包裹，即 <think 这里的推理过程</think <answer 这里的答案<answer 。用户:提示。助手: 这里主要是强调了，助手首先在脑海中思考推理过程，然后为用户提供答案。推理过程和答案分别用<think </think 和<answer </answer 标签包裹。 同样是使用这个数据集，进行训练： 问题 答案 2+3等于多少？ 5 5 2等于多少？ 3 法国的首都是哪里？ 巴黎 日本的首都是哪里？ 东京 问题 问题 答案 答案 2+3等于多少？ 2+3等于多少？ 5 5 5 2等于多少？ 5 2等于多少？ 3 3 法国的首都是哪里？ 法国的首都是哪里？ 巴黎 巴黎 日本的首都是哪里？ 日本的首都是哪里？ 东京 东京 1. 输入数据：模型收到了问题“2+3等于多少？” 2. 模式生成多个输出： 模型接收到问题“2+3等于多少？”后，生成多个可能的答案，每个答案包含推理过程和最终答案。例如： • 输出1：巴拉巴拉的思考过程，甚至有可能是乱码内容，4。 • 输出2：<think 巴拉巴拉的推思考过程，甚至有可能是乱码内容”</think ，<answer 5</answer 。 • 输出3：<think 1+1=2，2+2=4, 2+3=6”</think ，<answer “6”</answer 。 3. 评估输出：使用预定义的规则对每个输出进行评估，并使用奖励函数计算每个输出的奖励值： • 输出1：奖励值为0.0（格式错误，答案错误）。 • 输出2：奖励值为2.0（格式正确，答案正确）。 • 输出3：奖励值为1.0（格式正确，答案错误）。 预定义的规则只有两条： 1、准确度奖励：准确度奖励模型评估响应是否正确。 2、格式奖励：强制模型将其思维过程放在'< think '和'</ think '标记之间。把答案放在<answer 和<answer 之间。 预定义的规则只有两条： 1、准确度奖励：准确度奖励模型评估响应是否正确。 2、格式奖励：强制模型将其思维过程放在'< think '和'</ think '标记之间。把答案放在<answer 和<answer 之间。 4. 相对策略优化（GRPO）： 将每个输出的奖励与平均奖励进行比较，强化那些高于平均奖励的输出，惩罚那些低于平均奖励的输出。例如，输出2的奖励高于平均奖励，因此算法会调整参数以增加模式生成高奖励输出的概率。 将每个输出的奖励与平均奖励进行比较，强化那些高于平均奖励的输出，惩罚那些低于平均奖励的输出。例如，输出2的奖励高于平均奖励，因此算法会调整参数以增加模式生成高奖励输出的概率。 5. 持续训练： 通过使用海量的样本，进行迭代，模型会不断优化其参数和输出策略，逐渐生成更稳定的生成准确和符合格式的答案。 通过使用海量的样本，进行迭代，模型会不断优化其参数和输出策略，逐渐生成更稳定的生成准确和符合格式的答案。 在RL的过程中，自始至终并没有告诉过模型正确的答案是什么，而是根据模型的输出结果来生成一个奖励和惩罚值，比如：第一个预测答案，在推理阶段获得了1分奖励、结果阶段被采取了2分扣分。第二个预测答案，在推理阶段获得了1分奖励、结果阶段获得了3分奖励。 那么模型就会根据当前的奖励情况，对自己产生高奖励的策略强化，低奖励的策略弱化。在大量的自我调整和训练中，得到一个自我进化的最佳策略。 在这个迭代过程中，实验者发现，模型在训练过程中会自然地优化其思考过程，在R1 Zero的训练中，还产生了令大家津津乐道的“顿悟”时刻。 在上图中，可以看到输出了一定的内容后，模型突然反应过来，“等等，等等，我可以在这里多停留一下，多进行一些思考。” 这是一个非常神奇的事情，在没有人告诉他也没有任何明确的指令，告知他可以在思考的时候多思考一些时间，以获得一个更有可能获得奖励的结果（正确结果）。而R1 Zero仅仅通过使用两个“简单”的强化学习规则的训练，在不断的试错和调整中，自我进化学会了为问题分配更多的思考时间以获得更好的结果的策略，并且还以人类语言的方式进行了表达。 看到这里，为何R1是推理模型的答案已经呼之欲出，不知道大家是否能够感受到他们的不同，写到这里的时候我就出门了，然而我在开车的时候突然想到，甚是欣喜。 GPT4类型的模型不是推理模型，因为他们并不会主动“思考”，而是直接给出答案，所谓的思维链也不过是他“答案的一部分”。 R1类型的模型是推理模型，因为他们会主动思考，再给出答案。他思考并不是答案的一部分，是完全不同的两个阶段。 有些抽象？ 我们来回顾一下以GPT 4o为代表的非推理模型，提高推理能力的过程。 此类模型，通过不断的对比预测答案和真实答案之间的差异，不断的调整模型本身的参数，尽可能的提高正确答案的出现概率，本质上，这是一种概率匹配。通过不断的调整自己向答案靠拢，当模型训练完成时。 模型的链路只有两个环节： 1、收到问题 2、输出答案 即使当用户使用COT思考后输出答案，使用“Think step by step”的prompt进行引导，让模型输出了所谓的“思维链”，但这依然是模型为了匹配用户提出的问题，而“直接输出的答案”。 在非推理模型中，通过提示词引导模型带有思维链的输出，与不带思维链的输出，在本质上没有任何区别。 他们都是基于模型的固有的模式匹配。输出的所谓的“思维链”依然是针对你的“问题要求”进行的预测输出。 这是我使用Qwen2.5做的举例， 我们再来细细体会一下他的区别，这两个答案的推理过程，本质上是没有任何区别的。 无论是有了COT的和没有COT的，都是模型分别对我的问题直接产生的预测性输出。这个所谓的“思维链”本身就是模型给出的“答案”的一部分。并没有产生思考的过程。可以理解为“伪思考” 而我们看看以R1为代表的推理模型： 在R1的训练中，模型本身并不知道正确答案，也没有人告诉他在<think 阶段多停留就可以获得更好的结果，是模型在不断接受奖励和惩罚来强化和弱化相应的策略的时候，突然“顿悟”，他主动发现，可以在<think 阶段停留更长的时间，以得到更趋近于正确的答案。 我们通过论文可以了解到，在在RL的训练中，只使用了两个奖励规则： 准确度奖励：准确度奖励模型评估响应是否正确。 例如，对于具有确定性结果的数学问题，该模型需要以指定格式（例如，在方框内）提供最终答案，从而实现基于可靠规则的正确性验证。类似地，对于 LeetCode 问题，可以使用编译器根据预定义的测试用例生成反馈。. 格式奖励：强制模型将其思维过程放在'< think '和'</ think '标记之间。把答案放在<answer 和<answer 之间。 试想一下，基于以上两个规则，模型分明可以按照格式要求，在'< think '和'</ think '中间只输出一个字，或者随便的输出一些乱码，只要格式正确，最终的答案正确就可以获得高奖励了。 但是，模型在不断的训练中自我发现，如果在<think 中多停留，更有可能获得高奖励。于是模型开始主动的“思考”以获得一个更高奖励的答案。 在这里有感受到区别吗？在推理模型的<think 过程中，也就是产生“CoT”的过程，是一种自发的，主动的现象。他的cot过程，不是范式的预测性匹配答案，而是为了得到更好的结果而选择主动执行的部分。这个过程是模型主动认为，这是“思考”的部分，这不是他“答案”的一部分。 这个cot并不受出题人的控制，是模型自发、主动施展的一种能力。我们当前使用的R1是经过了人类对齐之后的版本，而R1 Zero版本，他的思维链输出是语言混乱的，这也许是模型在其内部形成了他固有的一套逻辑，在使用这套逻辑推演时显化出来的内容不太能让人类所理解。 但，这已经代表了。在模型回答问题前，他进行了一步“思考”。 这是模型自我进行的区分，并不是我们根据<think <answer 的标签进行的区分，甚至这个标签可以是<1 <2 可以是任何。但是模型自我发现，在正式回答问题前，存在一个阶段，在这个阶段进行更长时间的停留，就可以获得一个更好的答案。 只不过，我们将这个过程定义为“思考”。 不知道我是否有讲清楚这个微妙的区别，总结一下以R1为代表的推理模型，他们的回复逻辑是： 1、收到答案 2、一个“思考”的过程 3、输出答案 再次强调一下，这个推理模型的“思维链”过程，与非推理模型的看似“思维链”的思考过程的不同： 1、非推理模型的所谓思维链，是为了响应你的指令而产生的预测性匹配，思维链本身就是组成“答案”的一部分。 2、推理模型的思维链，是为了获得更好的答案，模型自发产生的主动性“思考”。对推理模型来说，思维链并不是是答案的一部分，他们主动认识了“思考”阶段和“答案”的阶段差异。 我们再引入一个模型，在R1的论文中有提到，他们使用精选的COT样本，以SFT的方式，基于Qwen2.5进行训练，训练出了几个R1的蒸馏版本。 被COT样本使用SFT训练的蒸馏模型，大家认为它属于推理模型吗？ 3 2 1 我认为他不属于推理模型。 因为训练的最终响应看似是拥有了R1的思维链和输出格式，但这本质上依然是模型在内部模式下对问题进行的预测性匹配输出，他产生的“思维链”，并不是其为了得到最终的正确答案进行的中间阶段思考。他产生的思维链，依然是答案的一部分。 好了，我也不知道自己是否有讲清楚，本文仅仅是我自己的个人思考，代表我的个人观点。权当抛砖引玉，欢迎大家在评论区讨论。 这一篇文章来源于我自己的困惑而进行的探索和思考，再进行多次讨论后总觉隔靴搔痒，理解不透彻。 而在我自己整理后，发现已经有小伙伴点名了他们的区别。但是因为深度的不够，即使告诉了答案，我也无法理解，总有隔靴搔痒之感。 昨夜开车时，突然有恍然大悟之感，甚是欢喜。于是写下来与君分享，希望对诸位能有所帮助。 过年期间DeepSeek爆火，我也并没有想蹭什么流量，只觉与o1一样的产物，并未过多关注，直到我闲暇看了一下DeepSeek团队发表的《DeepSeek R1: Incentivizing Reasoning Capability in LLMs viaReinforcement Learning》论文，其中详细阐述了R1的训练过程，其中的一个点让我特别关注。 原文中如下阐释： As shown in Table 5, simply distilling DeepSeek R1'soutputs enables the efficient DeepSeek R1 7B (i.e.,DeepSeek R1 Distill Qwen 7B, abbreviated similarlybelow) to outperform non reasoning models like GPT 4o 0513 across the board. As shown in Table 5, simply distilling DeepSeek R1'soutputs enables the efficient DeepSeek R1 7B (i.e.,DeepSeek R1 Distill Qwen 7B, abbreviated similarlybelow) to outperform non reasoning models like GPT 4o 0513 across the board. 翻译过来就是： 如表5所示，简单地提取DeepSeek R1的输出可以使高效的DeepSeek R1 7b（即DeepSeek R1 distill qwen 7b，缩写如下）全面优于非推理模型，如gpt