DeepSeek mHC：58年前的老数学，如何修好了AI大模型的“高压电网”？

DeepSeek mHC：58年前的老数学，如何修好了AI大模型的“高压电网”？ DeepSeek mHC：58年前的老数学，如何修好了AI大模型的“高压电网”？ Modified January 15 Sinkhorn Knopp算法 这个算法简单到令人发指，简单到可以用几行代码写出来： 就像洗扑克牌一样：先把每一行的和除成1，再把每一列的和除成1，重复20次。神奇的事情发生了：矩阵自动收敛成了双随机矩阵。 谁能想到，一个58年前为了数值分析设计的算法，在2026年成为了拯救百亿参数大模型的救命稻草？ 这个改动带来的效果是震撼的： 稳定性对比：mHC vs HC • 不加约束 ：信号增益飙到 3000 • 加上mHC约束 ：信号增益稳定在 1.6 左右 这是 三个数量级的改善 ！而且不是靠运气调参，是靠几何结构本身保证的。 04. 极致的工程：免费的午餐？ 理论再好，如果计算太慢也没用。把矩阵来回"洗"20次，听起来就很耗时间。 DeepSeek的工程团队在这里展示了什么叫"极致压榨硬件性能"。他们用了三招： 优化技术 通俗解释 效果 算子融合 把洗矩阵的操作和其他计算打包，一口气做完 减少内存读写 选择性重计算 中间结果算完就扔，反正算得快，需要时再算 节省显存 DualPipe重叠 算矩阵的同时偷偷传数据，时间完美利用 隐藏延迟 算子融合示意图 重计算机制 DualPipe调度 最终结果？相比于标准模型，加上这套复杂的数学约束系统，训练时间只增加了 6.7% 。 这意味着，你几乎是用"免费"的代价，换来了一个极其稳定、性能更强的大模型架构。 05. 实验结果：全面碾压 说了这么多，效果到底怎么样？ 基准测试结果 27B模型基准测试： 基准 Baseline HC mHC 提升 BBH 43.8 48.9 51.0 +2.1% DROP 47.0 51.6 53.9 +2.3% GSM8K 46.7 53.2 53.8 +0.6% MMLU 59.0 63.0 63.4 +0.4% 几个关键发现： 1. mHC在所有基准上都超过了Baseline和原版HC 2. 推理任务（BBH、DROP）提升最明显 ——稳定训练让模型更好地利用了复杂连接的表达能力 3. 性能优势在3B、9B、27B三个规模上保持一致 ——良好的可扩展性 Token扩展性 06. 为什么这对我们很重要？ 你可能会问，这跟我有什么关系？ DeepSeek的这项工作（mHC）不仅仅是技术上的胜利，它打破了一个迷信： 残差连接（ResNet）是不可动摇的。 过去十年，我们几乎所有的模型都建立在ResNet的基础上。DeepSeek证明了，只要你足够尊重数学原理（特别是恒等映射），你可以设计出比ResNet更复杂、更强大的连接方式。 这就像从"修建高速公路"进化到了"规划智能立体交通网"： • ResNet 是修路，解决通车问题 • 超连接 是建立交桥，但没有交通管制，容易堵死 • mHC 是给复杂的路网装上了AI大脑，解决效率和拥堵问题 在大家都在无脑堆算力、堆数据的今天，DeepSeek提醒了我们： 有时候，通向未来的钥匙，就藏在旧图书馆尘封的数学书里。 参考资料 1. arxiv.org/abs/2512.24880 mHC原论文 2. The Art of Not Blowing Up Rishav Mishra的深度解读 3. Sinkhorn & Knopp (1967). Concerning nonnegative matrices and doubly stochastic matrices. 4. He et al. (2016). Identity Mappings in Deep Residual Networks. ECCV. arxiv.org/abs/2512.24880 Sinkhorn Knopp算法 这个算法简单到令人发指，简单到可以用几行代码写出来： 就像洗扑克牌一样：先把每一行的和除成1，再把每一列的和除成1，重复20次。神奇的事情发生了：矩阵自动收敛成了双随机矩阵。 谁能想到，一个58年前为了数值分析设计的算法，在2026年成为了拯救百亿参数大模型的救命稻草？ 这个改动带来的效果是震撼的： 稳定性对比：mHC vs HC • 不加约束 ：信号增益飙到 3000 • 加上mHC约束 ：信号增益稳定在 1.6 左右 这是 三个数量级的改善 ！而且不是靠运气调参，是靠几何结构本身保证的。 04. 极致的工程：免费的午餐？ 理论再好，如果计算太慢也没用。把矩阵来回"洗"20次，听起来就很耗时间。 DeepSeek的工程团队在这里展示了什么叫"极致压榨硬件性能"。他们用了三招： 优化技术 通俗解释 效果 算子融合 把洗矩阵的操作和其他计算打包，一口气做完 减少内存读写 选择性重计算 中间结果算完就扔，反正算得快，需要时再算 节省显存 DualPipe重叠 算矩阵的同时偷偷传数据，时间完美利用 隐藏延迟 优化技术 优化技术 通俗解释 通俗解释 效果 效果 算子融合 算子融合 把洗矩阵的操作和其他计算打包，一口气做完 把洗矩阵的操作和其他计算打包，一口气做完 减少内存读写 减少内存读写 选择性重计算 选择性重计算 中间结果算完就扔，反正算得快，需要时再算 中间结果算完就扔，反正算得快，需要时再算 节省显存 节省显存 DualPipe重叠 DualPipe重叠 算矩阵的同时偷偷传数据，时间完美利用 算矩阵的同时偷偷传数据，时间完美利用 隐藏延迟 隐藏延迟 算子融合示意图 重计算机制 DualPipe调度 最终结果？相比于标准模型，加上这套复杂的数学约束系统，训练时间只增加了 6.7% 。 这意味着，你几乎是用"免费"的代价，换来了一个极其稳定、性能更强的大模型架构。 05. 实验结果：全面碾压 说了这么多，效果到底怎么样？ 基准测试结果 27B模型基准测试： 基准 Baseline HC mHC 提升 BBH 43.8 48.9 51.0 +2.1% DROP 47.0 51.6 53.9 +2.3% GSM8K 46.7 53.2 53.8 +0.6% MMLU 59.0 63.0 63.4 +0.4% 基准 基准 Baseline Baseline HC HC mHC mHC 提升 提升 BBH BBH 43.8 43.8 48.9 48.9 51.0 51.0 +2.1% +2.1% DROP DROP 47.0 47.0 51.6 51.6 53.9 53.9 +2.3% +2.3% GSM8K GSM8K 46.7 46.7 53.2 53.2 53.8 53.8 +0.6% +0.6% MMLU MMLU 59.0 59.0 63.0 63.0 63.4 63.4 +0.4% +0.4% 几个关键发现： 1. mHC在所有基准上都超过了Baseline和原版HC 2. 推理任务（BBH、DROP）提升最明显 ——稳定训练让模型更好地利用了复杂连接的表达能力 3. 性能优势在3B、9B、27B三个规模上保持一致 ——良好的可扩展性 Token扩展性 06. 为什么这对我们很重要？ 你可能会问，这跟我有什么关系？ DeepSeek的这项工作（mHC）不仅仅是技术上的胜利，它打破了一个迷信： 残差连接（ResNet）是不可动摇的。 过去十年，我们几乎所有的模型都建立在ResNet的基础上。DeepSeek证明了，只要你足够尊重数学原理（特别是恒等映射），你可以设计出比ResNet更复杂、更强大的连接方式。 这就像从"修建高速公路"进化到了"规划智能立体交通网"： • ResNet 是修路，解决通车问题 • 超连接 是建立交桥，但没有交通管制，容易堵死 • mHC 是给复杂的路网装上了AI大脑，解决效率和拥堵问题 在大家都在无脑堆算力、堆数据的今天，DeepSeek提醒了我们： 有时候，通向未来的钥匙，就藏在旧图书馆尘封的数学书里。 参考资料 1. arxiv.org/abs/2512.24880 mHC原论文 arxiv.org/abs/2512.24880 2. The Art of Not Blowing Up Rishav Mishra的深度解读 3. Sinkhorn & Knopp (1967). Concerning nonnegative matrices and doubly stochastic matrices. 4. He et al. (2016). Identity Mappings in Deep Residual Networks. ECCV. 🔗 原文链接： https://mp.weixin.qq.com/s/lbLR66nx... https://mp.weixin.qq.com/s/lbLR66nx... 原创 fintell 星空作手2026年1月5日 22:05 上海 如果你训练过大型神经网络，你一定经历过那种"心脏骤停"的瞬间。 一切看起来都很好，Loss稳步下降，你甚至开始幻想模型上线后的效果。然后在第12000步左右—— BOOM 。曲线突然垂直起飞，梯度爆炸，你的模型瞬间决定不再通过学习变聪明，而是变成一个只会输出乱码的随机数生成器。 你盯着屏幕，除了怀疑人生，什么也做不了。 DeepSeek的研究团队在训练27B（270亿）参数的模型时，就亲眼目睹了这一幕。他们发现，当使用一种叫"超连接"的新架构时，信号强度会莫名其妙地飙升到 3000倍 。 3000倍是什么概念？就像你对着麦克风轻声细语，音箱里传出来的却是震碎玻璃的喷气式飞机引擎声。 这篇论文的核心，讲的就是DeepSeek如何解决这个问题。结论极其优美：他们没有发明新的复杂算法，而是从数学的历史堆里，翻出了一把58年前的"古老钥匙"。 01. 为什么模型会"爆炸"？ 在讲DeepSeek的解法前，我们得先理解一个AI界的"能量守恒定律"。 2015年，ResNet（残差网络）横空出世，它之所以能统治深度学习界十年，靠的就是一个极其简单的公式： y = x + F(x) 这个公式就像给信息修了一条 "直达高速公路" 。无论网络有多深，信号都可以原封不动地传下去——这叫 恒等映射 。它保证了信息不会在几百层的网络里迷路或消失。 三种连接方式对比 但是，到了2024年，字节跳动等研究者觉得单车道不够用了，提出了 "超连接"（Hyper Connections） 。 简单说，就是把单车道变成了 "立交桥网络" ： • 每一层不仅接收上一层的信息 • 还接收前面所有层的信息 • 用可学习的矩阵在不同通道之间混合 理论上，这太棒了。 深层网络可以直接看到最原始的输入，信息利用率拉满。 实际上，这是一场灾难。 DeepSeek发现，当模型变大到27B时，这种密集的连接导致了严重的 信号放大效应 。 让我们做个简单的数学题：如果每一层都把信号稍微放大一点点，比如放大1.05倍。看起来不起眼对吧？但如果连乘60层： 1.05^60 ≈ 18 而在实际的"超连接"架构中，由于参数极其自由，这个放大倍数不是18，而是 3000 。 HC的信号爆炸问题 这就好比城市里的每一个路口都给车流加塞，到了第60个路口，交通系统彻底瘫痪。 这就是为什么DeepSeek的模型在第12000步时崩溃了。 02. 优雅的解法：给AI戴上"紧箍咒" 面对这个问题，普通工程师的第一反应可能是：砍掉一些连接，或者强行把数值压小。 但DeepSeek的解法非常具有数学美感： 我不限制你学什么，但我限制你"怎么走"。 他们给这些连接矩阵加了一个数学约束，强迫它们必须变成 "双随机矩阵" 。 这听起来很深奥，其实原理可以用 "倒水" 来解释： 想象网络层之间有无数个杯子在互相倒水。 • 普通超连接 ：倒水的过程中，水会莫名其妙变多（信号放大） • 双随机约束 ：无论你怎么倒，它强制要求——从所有入口进来的水总量必须是1，从所有出口出去的水总量也必须是1 双随机矩阵约束 这意味着，信息可以在网络内部疯狂流动、重组，但 总能量保持守恒 。 用更技术的话说，双随机矩阵有三个神奇的性质： 性质 通俗解释 为什么重要 谱范数 ≤ 1 水不会越倒越多 防止信号爆炸 乘积封闭 60个杯子连着倒，水还是不会变多 深层网络仍然稳定 几何解释 只是"重新分配"，不是"凭空创造" 信息守恒 性质 性质 通俗解释 通俗解释 为什么重要 为什么重要 谱范数 ≤ 1 谱范数 ≤ 1 水不会越倒越多 水不会越倒越多 防止信号爆炸 防止信号爆炸 乘积封闭 乘积封闭 60个杯子连着倒，水还是不会变多 60个杯子连着倒，水还是不会变多 深层网络仍然稳定 深层网络仍然稳定 几何解释 几何解释 只是"重新分配"，不是"凭空创造" 只是"重新分配"，不是"凭空创造" 信息守恒 信息守恒 这不仅仅是数学技巧，更像是在这套复杂的立交桥网络里，安装了一套 全自动智能红绿灯系统 。它保证了无论车流量多大，都不会发生连环追尾。 03. 1967年的数学武器：Sinkhorn算法 那么，如何让这一大堆复杂的矩阵乖乖听话，变成"双随机矩阵"呢？ DeepSeek没有发明新轮子，而是使用了1967年由Sinkhorn和Knopp提出的算法。