彬子：DeepSeek 2026年开年第一篇论文，提出一种 mHC 的新架构，干成大模型的智能稳定器

彬子：DeepSeek 2026年开年第一篇论文，提出一种 mHC 的新架构，干成大模型的智能稳定器 彬子：DeepSeek 2026年开年第一篇论文，提出一种 mHC 的新架构，干成大模型的智能稳定器 Modified January 2 No access 2512.24880v1.pdf mHC 的出发点并不复杂，既然问题出在“连接方式不受控”，那就从数学约束上限制它能做的事情。 mHC 的核心约束是： • H res 被限制在双随机矩阵流形上 • H pre / H post 施加非负约束 双随机矩阵的条件只有三条： • 每一行和为 1 • 每一列和为 1 • 所有元素非负 这三条限制的直接结果是，H res 不再可能放大信号总量，只能重新分配它。 这并不是经验选择，而是有明确理论支撑。 1. 范数受控，双随机矩阵的谱范数不超过 1，它是一个非扩张映射。 2. 组合稳定，多个双随机矩阵相乘，结果仍然是双随机矩阵，跨层传播不会逐步失控。 3. 几何解释，所有双随机矩阵构成 Birkhoff 多面体，本质是在做受限的排列与加权组合。 换句话说，mHC 允许复杂混合，但不允许“放大器”。 mHC 在每次前向传播中，将 H res 投影到双随机矩阵流形上，具体使用 Sinkhorn Knopp 算法。 核心流程，就像在洗牌 • 指数化，保证非负 • 行归一化 • 列归一化 • 重复若干次直到收敛（大约 20 次迭代） mHC 为了更快在工程上做了三件关键的事： • Kernel Fusion：减少不必要的内存往返 • 选择性重计算：用算力换显存 • DualPipe 调度：通信与计算重叠 最终结果很牛，在扩展率 n=4 的情况下，训练时间只增加 6.7%。 DeepSeek 团队在 3B、9B、27B 三个参数的模型上进行了大规模测试，关键结论： • 梯度范数从剧烈波动降至稳定区间，合成映射增益从 3000 降到 1.6，解决了信号爆炸问题 • 在 8 个主流评测基准上，27B 的 mHC 模型都高于对照组，尤其 GSM8K、MATH 等推理任务上显著提升 • 是跨计算量扩展（3B → 27B）还是跨训练步数扩展（1T tokens），mHC 的性能优势始终保持稳定，没有衰减迹象 尤其在需要多层推理的问题上，稳定结构的优势被完整释放。 • 扩展连接，提升信息容量，通过 n 倍扩展残差流，让模型能够在不增加 FLOPs 的情况下处理更丰富的特征表示 • 流形约束，从数学上保证稳定，将 H res 投影到双随机矩阵流形上，确保信号在多层传播时能量守恒 • 系统优化，使方案可落地，通过核融合、选择性重计算、通信重叠等技术，仅增加 6.7%的训练开销 No access 2512.24880v1.pdf No access 2512.24880v1.pdf mHC 的出发点并不复杂，既然问题出在“连接方式不受控”，那就从数学约束上限制它能做的事情。 mHC 的核心约束是： • H res 被限制在双随机矩阵流形上 • H pre / H post 施加非负约束 双随机矩阵的条件只有三条： • 每一行和为 1 • 每一列和为 1 • 所有元素非负 这三条限制的直接结果是，H res 不再可能放大信号总量，只能重新分配它。 这并不是经验选择，而是有明确理论支撑。 1. 范数受控，双随机矩阵的谱范数不超过 1，它是一个非扩张映射。 2. 组合稳定，多个双随机矩阵相乘，结果仍然是双随机矩阵，跨层传播不会逐步失控。 3. 几何解释，所有双随机矩阵构成 Birkhoff 多面体，本质是在做受限的排列与加权组合。 换句话说，mHC 允许复杂混合，但不允许“放大器”。 mHC 在每次前向传播中，将 H res 投影到双随机矩阵流形上，具体使用 Sinkhorn Knopp 算法。 核心流程，就像在洗牌 • 指数化，保证非负 • 行归一化 • 列归一化 • 重复若干次直到收敛（大约 20 次迭代） mHC 为了更快在工程上做了三件关键的事： • Kernel Fusion：减少不必要的内存往返 • 选择性重计算：用算力换显存 • DualPipe 调度：通信与计算重叠 最终结果很牛，在扩展率 n=4 的情况下，训练时间只增加 6.7%。 DeepSeek 团队在 3B、9B、27B 三个参数的模型上进行了大规模测试，关键结论： • 梯度范数从剧烈波动降至稳定区间，合成映射增益从 3000 降到 1.6，解决了信号爆炸问题 • 在 8 个主流评测基准上，27B 的 mHC 模型都高于对照组，尤其 GSM8K、MATH 等推理任务上显著提升 • 是跨计算量扩展（3B → 27B）还是跨训练步数扩展（1T tokens），mHC 的性能优势始终保持稳定，没有衰减迹象 尤其在需要多层推理的问题上，稳定结构的优势被完整释放。 • 扩展连接，提升信息容量，通过 n 倍扩展残差流，让模型能够在不增加 FLOPs 的情况下处理更丰富的特征表示 • 流形约束，从数学上保证稳定，将 H res 投影到双随机矩阵流形上，确保信号在多层传播时能量守恒 • 系统优化，使方案可落地，通过核融合、选择性重计算、通信重叠等技术，仅增加 6.7%的训练开销 🔗 原文链接： https://mp.weixin.qq.com/s/O8swZr1O... https://mp.weixin.qq.com/s/O8swZr1O... AI Agent 新手村2026年1月2日 00:02 浙江 报告下载地址：https://arxiv.org/pdf/2512.24880 流形约束超连接（mHC）如何在模型规模持续扩张时保持训练可控 基于 DeepSeek 最新研究（arXiv:2512.24880） 把深度模型理解成一座不断加高的结构，会发现一个长期存在却被低估的问题，结构一旦变复杂，稳定性就不再是自然属性，而是设计结果。 残差连接让深度学习第一次真正垒得上去。后来研究人员开始追求更大的表示容量，于是尝试把残差通路拓宽（HC），让信息并行流动。效果看起来不错，但代价很快显现，模型越大，训练越容易失控。 mHC 的工作，正是针对这个矛盾给出的系统性解法。 传统做法：残差连接（ResNet） 残差连接的核心形式非常直接： x(l+1) = x(l) + F(x(l)) 它的关键并不在于加法本身，而在于 x（l） 能够被原样保留下来。这条恒等路径让信息和梯度在深层网络中保持可控，是过去十年深度模型能够不断加深的根本原因。 可以把它理解为，结构不追求复杂，但保证任何时候都存在一条“不被破坏的主通路”。 新尝试：超连接（Hyper Connections， HC） 超连接的动机很明确，如果一条通路有效，多条通路就能承载更多信息 其形式扩展为： x(l+1) = H res(l) × x(l) + H post(l)^T × F(H pre(l) × x(l)) 这里引入了三组可学习矩阵，用来控制多通道之间的信息分配、读取和写回。 在浅层或小模型中，这种结构确实能提升表达能力。 问题在于，这种提升是以牺牲全局稳定性为代价的。 在 ResNet 中，跨层传播可以写成： x(L) = x(l) + Σ F(...) 关键在于，无论中间发生什么，x（l） 总能以原尺度抵达 x（L）。 而在 HC 中，多层叠加后变成： x(L) = (H res(L 1) × ... × H res(l)) × x(l) + ... 一旦 H res 不受约束，这个连乘的行为是不可预测的，它可能快速放大某些通道，也可能压扁另一些通道。 DeepSeek 团队的实测非常直接结果，在 27B 模型中，合成映射的最大增益达到 3000 倍，训练在约 12000 步时出现明显崩溃信号。 这不是调参问题，而是结构层面的不稳定。