DeepSeek V4是怎么训练出来的？58页论文深入解读

DeepSeek V4是怎么训练出来的？58页论文深入解读 DeepSeek V4是怎么训练出来的？58页论文深入解读 Modified April 25 OPD的技术细节里，有一个点特别值得讲：为什么用反向KL而不是正向KL？ 正向KL是让学生去cover老师的所有模式，结果往往学成四不像。反向KL是让学生集中在老师分布的高概率区域，学生会自动「选老师」：数学任务时对齐数学专家，代码任务时对齐代码专家。 这个「自动路由」的特性，是多老师蒸馏能跑通的关键。 为什么这个范式重要 讲到这里可能有朋友要问：这个东西对独立开发者有什么意义？ 我的判断是，这可能是比MoE更深刻的范式变化。 MoE是推理时混合（runtime mixture），OPD蒸馏是训练时混合（training time mixture）。后者的组合空间大得多。 这个范式天然适合几类场景： • 小团队：没钱一开始就训大模型，但可以训多个小specialist，最后蒸馏融合 • 垂直应用：法律/医疗/代码各训一个专家，最后合并 • 持续学习：要增加新能力时，训一个新专家加入蒸馏池就行，不破坏老模型 只要你能训出专家，就能通过OPD合进来。未来想加新能力（比如「写毛笔字」「解几何题」），路径很清晰：训专家→加入蒸馏池。这比RLHF要改reward、要重跑全流程友好得多。 这个范式会不会成为新的行业标准，目前还不好说。但V4已经用了十多个专家模型做OPD，证明在万亿参数级别它是可行的。 评测结果：强在哪，弱在哪 评测是V4论文里最重要的部分之一，也是最容易被误读的部分。我直接把我的判断列出来。 数学推理：反超闭源旗舰 V4 Pro在几个数学类benchmark上拿到了开源阵营前所未有的高分： Codeforces的竞赛评分V4 Pro能达到3206分，对应人类选手第23名。这是非常离谱的水平。 编程：LiveCodeBench和Codeforces双第一 V4 Pro在LiveCodeBench拿到93.5分，Codeforces Rating 3206。DeepSeek论文里明确写了，这是第一次开源模型在这两项任务上追平闭源。 但注意一个细节：SWE系列（真实工程代码任务）就没那么亮眼了。SWE Verified 80.6分接近Opus 4.6的80.8但没超过，SWE Multilingual也略输。 这就对应上了DeepSeek论文里自己的总结：V4模型非常擅长做题，但品味上还差一些火候。竞赛类任务有明确答案，RL能反复打磨；工程类任务要综合考虑代码风格、架构、可维护性，这些品味层面的东西现在的RL训练还吃不透。 Agent：全方位落后闭源 这是V4最弱的一块。 Benchmark V4 Pro Max 最强 Terminal Bench 2.0 67.9 GPT 5.4: 75.1 BrowseComp 83.4 Gemini 3.1: 85.9 HLE w/ tools 48.2 Opus 4.6: 53.1（甚至输给K2.6） GDPval AA (Elo) 1554 GPT 5.4: 1674 Terminal Bench 2.0落后GPT 5.4整整7分，HLE w/ tools落后Opus 4.6整整5分。DeepSeek论文里非常诚实地写了：「所有开源模型仍落后闭源对手」。 唯一的亮点是MCPAtlas Public（73.6），仅次于Opus的73.8。说明V4在通用工具调用和MCP服务上泛化能力不错，不是只在内部框架里打鸡血。 真实编程任务：接近Opus 4.5，差Opus 4.6 Thinking 13分 DeepSeek自己拿200多个真实的内部R&D编程任务做了测试，来自50多位工程师日常工作中提的真实需求，覆盖PyTorch、CUDA、Rust、C++： 模型 R&D编程通过率 Claude Haiku 4.5 13% Claude Sonnet 4.5 47% DeepSeek V4 Pro Max 67% Claude Opus 4.5 70% Claude Opus 4.5 Thinking 73% Claude Opus 4.6 Thinking 80% V4 Pro的67%已经超过Sonnet 4.5（47%），接近Opus 4.5（70%），但距离Opus 4.6 Thinking（80%）还差13个百分点。 这组数据是DeepSeek论文发布时跑的，当时Claude最新是4.6 Thinking。现在Opus 4.7 Thinking已经发布，V4和当前最强闭源的真实差距大概是 6个月到1年的研发时间 。谈不上「完全追平」，也算不上「落后一代」。 中文场景：真正的第一梯队 中文写作是V4 Pro少数能对Opus 4.5掰手腕的地方： 意思就是日常中文写作对Gemini是碾压级，复杂指令跟随对Opus 4.5仍然有差距。论文里吐槽Gemini经常「让自己的风格偏好压过用户的明确需求」（擅自加戏），这个描述我读完忍不住笑了一下。 长上下文：128K内稳如狗，1M勉强能用 Benchmark V4 Pro Opus 4.6 Gemini 3.1 MRCR 1M 83.5 92.9 76.3 CorpusQA 1M 62.0 71.7 53.8 V4在1M长上下文的检索任务上超过Gemini，但落后Claude Opus 4.6。MRCR 8 needle测试显示128K以内性能稳定在0.9以上，256K后开始掉到0.82，到1024K降至0.59。 128K以内基本没有性能衰减，1M勉强能用。这是CSA+HCA混合架构带来的实际收益。对大多数Agent和代码场景，128K已经足够。 一个特点：为什么V4这么偏科？ 读完整份报告，加上这些benchmark结果，有一个很鲜明的模式浮出来： V4特别擅长做题，但在品味型任务上差一档 。 数学竞赛Putnam满分，Codeforces拿到人类选手第23名，LiveCodeBench全场第一。 但创意写作输给Opus 4.5，Agent任务落后GPT 5.4，HLE通用知识被Gemini压制。 我自己的理解是：这和DeepSeek招的人有关。 DeepSeek的招聘以竞赛获奖选手为主。这些人擅长什么？擅长在给定规则下把单点做到极致，擅长解有明确答案的题。模型训练的偏好会受数据团队、训练团队、评估团队的品味影响，这些品味又受团队成员的背景影响。 所以V4在有明确答案的任务上表现顶尖（数学、竞赛编程），在需要综合品味的任务上（创意写作、长链Agent、通用工程编程）就会相对偏弱。 这只是一个观察，谈不上批评。模型的性格映射着团队的性格，这件事很多时候比人们想象的更直接。 DeepSeek还是那个DeepSeek吗？ 写到这里不得不问一个问题：V4时代的DeepSeek，和V3时代比，变了吗？ 我的回答是：变了，但没变味。 V3时代的DeepSeek是「小团队、极致工程、带来惊喜」。V4时代的DeepSeek打开论文附录，研究工程作者名单已经超过300人，加上商业和合规接近350人。这不再是那个几十人的实验室。 但有几个东西没变。 一个是工程至上。V4的创新重点不在高层架构设计，而在「信号怎么流动」和「梯度怎么更新」这两个底层问题上。mHC解决深度scale的数值稳定性，CSA+HCA解决上下文scale的算力和内存，Muon解决参数scale的训练效率。每一项都是回答「为什么V3做不大」的问题。 我在1月那篇mHC解读里写过一句话：DeepSeek的技术哲学是去质疑那些所有人都觉得没必要改的东西。V4这篇论文把这句话又扎扎实实兑现了一次。残差连接改了，注意力机制改了，优化器也改了。每一处都是行业里默认不动的底座。 另一个是诚实。承认架构「太复杂」（原文：retained many preliminarily validated components which made the architecture relatively complex），承认训练稳定性机制「不理解」（原文：underlying principles remain insufficiently understood），承认sparse还不够极致，承认Agent能力落后闭源。这些话写进一篇技术报告里，放到国内同行里几乎找不到第二家。 还有一条是Open是真Open。R1的86页更新补全了训练账单和数据配方，V4的58页继续补全基础设施的每个缝隙。不是「开源权重就完了」的Open，是一份让别人真的能复现的Open。 DeepSeek在发布V4的时候引用了一句话：不诱于誉，不恐于诽，率道而行，端然正己。 不被赞誉诱惑，不被诽谤吓退，按自己的道走，端正自己。 这句话可能比58页的论文技术细节更能解释这家公司。 最后 回到开头那条线。1月那三篇解读，mHC确实进V4了。Engram和OCR 2呢？ 1月Engram那篇我用的比喻是「给大模型发一本字典」：静态知识直接查表，不浪费网络深度现场推理。V4这次没把这本字典装进来，但论文明确把「沿新维度继续稀疏化」列进了未来路线图，参考文献正是Engram那篇论文。 OCR 2的视觉因果流也没进V4，但多模态被明确写进V5的方向（原文：incorporating multimodal capabilities）。 OPD的技术细节里，有一个点特别值得讲：为什么用反向KL而不是正向KL？ 正向KL是让学生去cover老师的所有模式，结果往往学成四不像。反向KL是让学生集中在老师分布的高概率区域，学生会自动「选老师」：数学任务时对齐数学专家，代码任务时对齐代码专家。 这个「自动路由」的特性，是多老师蒸馏能跑通的关键。 为什么这个范式重要 讲到这里可能有朋友要问：这个东西对独立开发者有什么意义？ 我的判断是，这可能是比MoE更深刻的范式变化。 MoE是推理时混合（runtime mixture），OPD蒸馏是训练时混合（training time mixture）。后者的组合空间大得多。 这个范式天然适合几类场景： • 小团队：没钱一开始就训大模型，但可以训多个小specialist，最后蒸馏融合 • 垂直应用：法律/医疗/代码各训一个专家，最后合并 • 持续学习：要增加新能力时，训一个新专家加入蒸馏池就行，不破坏老模型 只要你能训出专家，就能通过OPD合进来。未来想加新能力（比如「写毛笔字」「解几何题」），路径很清晰：训专家→加入蒸馏池。这比RLHF要改reward、要重跑全流程友好得多。 这个范式会不会成为新的行业标准，目前还不好说。但V4已经用了十多个专家模型做OPD，证明在万亿参数级别它是可行的。 评测结果：强在哪，弱在哪 评测是V4论文里最重要的部分之一，也是最容易被误读的部分。我直接把我的判断列出来。 数学推理：反超闭源旗舰 V4 Pro在几个数学类benchmark上拿到了开源阵营前所未有的高分： Codeforces的竞赛评分V4 Pro能达到3206分，对应人类选手第23名。这是非常离谱的水平。 编程：LiveCodeBench和Codeforces双第一 V4 Pro在LiveCodeBench拿到93.5分，Codeforces Rating 3206。DeepSeek论文里明确写了，这是第一次开源模型在这两项任务上追平闭源。 但注意一个细节：SWE系列（真实工程代码任务）就没那么亮眼了。SWE Verified 80.6分接近Opus 4.6的80.8但没超过，SWE Multilingual也略输。 这就对应上了DeepSeek论文里自己的总结：V4模型非常擅长做题，但品味上还差一些火候。竞赛类任务有明确答案，RL能反复打磨；工程类任务要综合考虑代码风格、架构、可维护性，这些品味层面的东西现在的RL训练还吃不透。 Agent：全方位落后闭源 这是V4最弱的一块。 Benchmark V4 Pro Max 最强 Terminal Bench 2.0 67.9 GPT 5.4: 75.1 BrowseComp 83.4 Gemini 3.1: 85.9 HLE w/ tools 48.2 Opus 4.6: 53.1（甚至输给K2.6） GDPval AA (Elo) 1554 GPT 5.4: 1674 Benchmark Benchmark V4 Pro Max V4 Pro Max 最强 最强 Terminal Bench 2.0 Terminal Bench 2.0 67.9 67.9 GPT 5.4: 75.1 GPT 5.4: 75.1 BrowseComp BrowseComp 83.4 83.4 Gemini 3.1: 85.9 Gemini 3.1: 85.9 HLE w/ tools HLE w/ tools 48.2 48.2 Opus 4.6: 53.1（甚至输给K2.6） Opus 4.6: 53.1（甚至输给K2.6） GDPval AA (Elo) GDPval AA (Elo) 1554 1554 GPT 5.4: 1674 GPT 5.4: 1674 Terminal Bench 2.0落后GPT 5.4整整7分，HLE w/ tools落后Opus 4.6整整5分。DeepSeek论文里非常诚实地写了：「所有开源模型仍落后闭源对手」。 唯一的亮点是MCPAtlas Public（73.6），仅次于Opus的73.8。说明V4在通用工具调用和MCP服务上泛化能力不错，不是只在内部框架里打鸡血。 真实编程任务：接近Opus 4.5，差Opus 4.6 Thinking 13分 DeepSeek自己拿200多个真实的内部R&D编程任务做了测试，来自50多位工程师日常工作中提的真实需求，覆盖PyTorch、CUDA、Rust、C++： 模型 R&D编程通过率 Claude Haiku 4.5 13% Claude Sonnet 4.5 47% DeepSeek V4 Pro Max 67% Claude Opus 4.5 70% Claude Opus 4.5 Thinking 73% Claude Opus 4.6 Thinking 80% 模型 模型 R&D编程通过率 R&D编程通过率 Claude Haiku 4.5 Claude Haiku 4.5 13% 13% Claude Sonnet 4.5 Claude Sonnet 4.5 47% 47% DeepSeek V4 Pro Max DeepSeek V4 Pro Max 67% 67% Claude Opus 4.5 Claude Opus 4.5 70% 70% Claude Opus 4.5 Thinking Claude Opus 4.5 Thinking 73% 73% Claude Opus 4.6 Thinking Claude Opus 4.6 Thinking 80% 80% V4 Pro的67%已经超过Sonnet 4.5（47%），接近Opus 4.5（70%），但距离Opus 4.6 Thinking（80%）还差13个百分点。 这组数据是DeepSeek论文发布时跑的，当时Claude最新是4.6 Thinking。现在Opus 4.7 Thinking已经发布，V4和当前最强闭源的真实差距大概是 6个月到1年的研发时间 。谈不上「完全追平」，也算不上「落后一代」。 中文场景：真正的第一梯队 中文写作是V4 Pro少数能对Opus 4.5掰手腕的地方： 意思就是日常中文写作对Gemini是碾压级，复杂指令跟随对Opus 4.5仍然有差距。论文里吐槽Gemini经常「让自己的风格偏好压过用户的明确需求」（擅自加戏），这个描述我读完忍不住笑了一下。 长上下文：128K内稳如狗，1M勉强能用 Benchmark V4 Pro Opus 4.6 Gemini 3.1 MRCR 1M 83.5 92.9 76.3 CorpusQA 1M 62.0 71.7 53.8 Benchmark Benchmark V4 Pro V4 Pro Opus 4.6 Opus 4.6 Gemini 3.1 Gemini 3.1 MRCR 1M MRCR 1M 83.5 83.5 92.9 92.9 76.3 76.3 CorpusQA 1M CorpusQA 1M 62.0 62.0 71.7 71.7 53.8 53.8 V4在1M长上下文的检索任务上超过Gemini，但落后Claude Opus 4.6。MRCR 8 needle测试显示128K以内性能稳定在0.9以上，256K后开始掉到0.82，到1024K降至0.59。 128K以内基本没有性能衰减，1M勉强能用。这是CSA+HCA混合架构带来的实际收益。对大多数Agent和代码场景，128K已经足够。 一个特点：为什么V4这么偏科？ 读完整份报告，加上这些benchmark结果，有一个很鲜明的模式浮出来： V4特别擅长做题，但在品味型任务上差一档 。 数学竞赛Putnam满分，Codeforces拿到人类选手第23名，LiveCodeBench全场第一。 但创意写作输给Opus 4.5，Agent任务落后GPT 5.4，HLE通用知识被Gemini压制。 我自己的理解是：这和DeepSeek招的人有关。 DeepSeek的招聘以竞赛获奖选手为主。这些人擅长什么？擅长在给定规则下把单点做到极致，擅长解有明确答案的题。模型训练的偏好会受数据团队、训练团队、评估团队的品味影响，这些品味又受团队成员的背景影响。 所以V4在有明确答案的任务上表现顶尖（数学、竞赛编程），在需要综合品味的任务上（创意写作、长链Agent、通用工程编程）就会相对偏弱。 这只是一个观察，谈不上批评。模型的性格映射着团队的性格，这件事很多时候比人们想象的更直接。 DeepSeek还是那个DeepSeek吗？ 写到这里不得不问一个问题：V4时代的DeepSeek，和V3时代比，变了吗？ 我的回答是：变了，但没变味。 V3时代的DeepSeek是「小团队、极致工程、带来惊喜」。V4时代的DeepSeek打开论文附录，研究工程作者名单已经超过300人，加上商业和合规接近350人。这不再是那个几十人的实验室。 但有几个东西没变。 一个是工程至上。V4的创新重点不在高层架构设计，而在「信号怎么流动」和「梯度怎么更新」这两个底层问题上。mHC解决深度scale的数值稳定性，CSA+HCA解决上下文scale的算力和内存，Muon解决参数scale的训练效率。每一项都是回答「为什么V3做不大」的问题。 我在1月那篇mHC解读里写过一句话：DeepSeek的技术哲学是去质疑那些所有人都觉得没必要改的东西。V4这篇论文把这句话又扎扎实实兑现了一次。残差连接改了，注意力机制改了，优化器也改了。每一处都是行业里默认不动的底座。 另一个是诚实。承认架构「太复杂」（原文：retained many preliminarily validated components which made the architecture relatively complex），承认训练稳定性机制「不理解」（原文：underlying principles remain insufficiently understood），承认sparse还不够极致，承认Agent能力落后闭源。这些话写进一篇技术报告里，放到国内同行里几乎找不到第二家。 还有一条是Open是真Open。R1的86页更新补全了训练账单和数据配方，V4的58页继续补全基础设施的每个缝隙。不是「开源权重就完了」的Open，是一份让别人真的能复现的Open。 DeepSeek在发布V4的时候引用了一句话：不诱于誉，不恐于诽，率道而行，端然正己。 不被赞誉诱惑，不被诽谤吓退，按自己的道走，端正自己。 这句话可能比58页的论文技术细节更能解释这家公司。 最后 回到开头那条线。1月那三篇解读，mHC确实进V4了。Engram和OCR 2呢？ 1月Engram那篇我用的比喻是「给大模型发一本字典」：静态知识直接查表，不浪费网络深度现场推理。V4这次没把这本字典装进来，但论文明确把「沿新维度继续稀疏化」列进了未来路线图，参考文献正是Engram那篇论文。 OCR 2的视觉因果流也没进V4，但多模态被明确写进V5的方向（原文：incorporating multimodal capabilities）。 所以下一代DeepSeek大概率会是这样的轮廓：原生多模态（OCR 2这一脉的延伸）、引入某种可扩展的查找式记忆（Engram这一脉的延伸）、进一步降低延迟（为Agent交互做准备）、更长的long horizon multi round agentic能力。 V5什么时候发我不好预测。但DeepSeek的节奏已经固定下来：论文先铺路，模型后亮相。V4论文里写了未来方向，剩下的就是时间。 V4显然谈不上对Opus 4.7或GPT 5.5的超越，它是开源阵营的一次基础设施级更新。把百万token上下文、Agent原生支持、成本优势打包成一个可复用的底座。 真正的价值不在V4 Pro能不能打赢最强闭源，而在V4 Flash让每一个独立开发者都能在自己的产品里塞进百万上下文 。 闭源卷天花板，开源卷地板。 更有意思的故事，会在V5身上。 参考资料： • DeepSeek V4技术报告：见DeepSeek官方GitHub（deepseek ai/DeepSeek V4） • DeepSeek R1论文v2（86页）：arxiv.org/abs/2501.12948 arxiv.org/abs/2501.12948 • 我做的73页PPT： https://github.com/alchaincyf/deepseek v4 deep dive • 我之前写的DeepSeek论文解读系列（mHC、Engram、OCR 2、R1更新）可以在公众号历史文章里搜到 🔗 原文链接： https://mp.weixin.qq.com/s/BELLFDV6... https://mp.weixin.qq.com/s/BELLFDV6... 原创 花叔 花叔 花叔2026年4月24日 22:52 美国 劝退提醒： 1、这是一篇很长很长的文章，会深入到DeepSeek V4论文中涉及到的各种细节，如果你不感兴趣，只是想知道模型跑分的话，没必要读 2、我也没那么好的技术能力，这是花了2000万Opus4.7 tokens读完内容，并做了73页PPT之后形成的理解 3、我多少对DeepSeek有些滤镜，我很喜欢这个公司的做派和风格，所以表达未必客观中立 如果这种情况下，你还愿意一起往下探的话，那我们开始吧！ 在我看来，DeepSeek不是一个冲破天花板的SOTA模型。它真正的价值是把百万上下文、Agent原生能力、能接受的价格这三件事第一次绑在了一起。 而且这次从发布时间和节奏来说也挺有趣的，其实本来按照大家的预期，V4应当在春节前后发的，实际看来也差不多是那会儿完工。他们论文中对标的也是2月那会的Claude Opus 4.6和GPT 5.4。但它实际发布卡到了现在，中间又出了Opus 4.7和GPT 5.5。等它正式亮相，对标对象已经换人了。 DeepSeek自己解释说是为了更好地适配国产芯片。害，行吧，也希望国产芯片好好适配下DeepSeek。 其实今年1月份时，我已经连着写了三篇DeepSeek论文解读：mHC、Engram、OCR 2。当时我的判断是这些技术大概率都会进V4。现在V4论文打开，mHC进来了，其他一些思路也能看出端倪。这篇文章我会顺着这条线讲，让之前读过那几篇的朋友能看到完整的故事线。 再说结论 我们需要重复下开头的核心结论，以这个视角的话，我们会对DeepSeek V4会有个更合理的预期，那就是👇 这不是一个冲破AGI天花板的世界最佳模型，但属于是一个让普通开发者第一次能够放心地用上100万上下文Agent模型的发布。 这两者的差别非常大。 前者是冲顶峰的叙事，需要在各个benchmark上全面击败Opus 4.7、GPT 5.5、Gemini 3.1 Pro。V4还做不到。 后者是抬地板的叙事。100万token上下文这件事，之前不是没有模型能做到，但要么极贵（Opus、DeepSeek那档），要么效果会显著衰减（很多国产模型128K以上就明显掉分）。V4做的事情是把「100万长上下文」+「Agent多步调用能力」+「能接受的价格」这三件事第一次组合到一起。 对闭源旗舰来说，V4不构成威胁。对一个想在产品里塞入长上下文的独立开发者来说，V4意味着几乎所有的上下文节省工作都可以先不做了（对的，RAG和很多别的AI叙事一样，只要你不学，等着等着你就可以不必学了） 业内有个说法：闭源模型卷能力天花板，开源模型卷地板，地板抬高的速度决定AI应用爆发的规模。V4把这个地板往上抬了抬。 V4 Pro 和 V4 Flash：两个定位不一样的模型 这次DeepSeek发的是两个模型。 V4 Pro的总参数量比V3的671B翻了2.4倍。激活参数从37B涨到49B，只多了三成左右。走的是「稀疏度再提高」的路线。 这里要稍微解释一下MoE模型的工作方式。V4 Pro一共有300多个专家（routed experts）加上1个共享专家。每次处理一个token的时候，它不是把所有专家都调动起来，而是只激活其中6个+共享专家，一共7个专家参与回答。这有点像一个有384位专家的公司，每个决策只召集7个人开会，不搞全员表决。激活的参数量少，推理速度就快，成本也能压下来。 V4 Pro的定位是「开源阵营里能跟闭源旗舰掰手腕的那个」。但DeepSeek自己在论文里也诚实地说了一件事：因为现在高端算力受限，Pro的服务吞吐很有限，所以Pro版本的API价格目前不算便宜，预计下半年才能降下来。 V4 Flash是真正符合DeepSeek一贯风格的那个模型。它的参数规模是V4 Pro的约六分之一，但在很多基础能力上已经反超了V3.2。这意味着架构改进和数据质量的收益，足够抵消参数规模的差距。Flash的价格相比同类快速模型，大概是他们的1/7到1/18。 如果你是独立开发者，我的建议很明确：AI编程、写作、复杂任务、关键决策场景用Opus 4.7这类；批量任务、Agent后台、数据处理用V4 Flash。 架构动了哪些刀 V4没有推倒V3重来。MoE框架沿用的还是DeepSeekMoE，MTP模块没动，训练细节也大多延续V3。真正大改的地方只有三处： • 残差连接升级成mHC • 注意力拆成CSA+HCA的混合架构 • 优化器从AdamW换成Muon 这三处改动各自解决一个具体痛点。残差连接在堆深时数值不稳定，限制了把模型做大；传统注意力在百万token长上下文下KV cache爆炸，算力根本扛不住；AdamW在超大规模MoE训练上收敛慢、偏科严重。 V4相当于把V3的三个瓶颈逐一拆掉。 mHC：给残差连接加一道只准收缩不准放大的护栏 mHC我在1月那篇mHC论文解读里已经完整讲过了，这里长话短说。 残差连接是深度学习用了整整十年的基础设计。2015年何恺明的ResNet开始，到现在的每一个大模型都离不开它。它做的事情，用一句话说就是给信号开了一条「快车道」：不管中间那些层学到了什么，原始信号都能直接顺着这条高速公路原封不动传到后面。这就是所谓的「恒等映射」。 这个设计本身没问题。问题出在对它的第一次升级上。2024年底，字节Seed团队发了一篇叫Hyper Connections（HC）的论文，后来中了ICLR 2025。HC把单通道的残差流扩展成多通道，让模型自己学习最优的连接方式。DeepSeek一开始也是沿着这条路线往下走的，但踩到了HC的一个致命缺陷：训练不稳定。 不稳定到什么程度？DeepSeek在1月那篇mHC论文里给过一个很震撼的数字：在27B模型上，HC的 信号放大倍数峰值达到3000倍 。也就是说，信号在网络里传着传着，被放大了3000倍，梯度也随之被放大3000倍。训练到某一步突然崩掉是家常便饭。 mHC解决这个问题的思路，我觉得最形象的说法还是1月文章里那句： 给残差连接加了一道「只准收缩不准放大」的数学护栏 。 用一个画面讲清楚。信号在网络里一层层往下传，可以想象成把一杯水倒进下一个杯子。HC的做法是把一根水管变成四根，每根流量让模型自己学。灵活是灵活了，但没人管总量。倒着倒着水越倒越多，到第60层的时候已经是原来的3000倍，杯子直接爆了。 mHC的做法是强制每一层倒水都守恒。不管四根水管怎么分配、怎么混合，进多少水就出多少水，一滴不多一滴不少。 这个约束的数学工具叫「双随