新LLM架构？面壁提出SALA，线性-稀疏注意力混合架构

新LLM架构？面壁提出SALA，线性 稀疏注意力混合架构 新LLM架构？面壁提出SALA，线性 稀疏注意力混合架构 Modified February 16 通常大家认为线性注意力会降低模型智商。 但实验表明，MiniCPM SALA 在 Math、Code 等通用能力上，与同参数量的 Full Attention 模型Qwen3 8B 基本持平。并且短文本能力不因为长文本训练而损失。 但线性注意力和稀疏注意力在Nvidia显卡上的工程优化相比于FlashAttention，还有很大的提升空间。 这一点，阶跃再发Step3 Flash的时候，yibo在论文中就有提到， 他们采用swa的原因之一，就是下游推理适配的问题， https://zhuanlan.zhihu.com/p/2001741987360023159 只能说现在infra的人才太关键了， 为此，面壁还联合SGlang、NVIDIA发起了一个稀疏算子加速大奖赛， 感兴趣的可以去看看https://soar.openbmb.cn/，奖金还是蛮多的。 最后， 我真的很看好面壁在端侧的能力， 前两天分享的 面壁全双工全模态模型 有提到， Agent大脑，需要更大更智能的模型， 但考虑速度，安全性，端侧模型是必须的，云+端协同才是未来！ 那么在agent时代，端侧模型，是一定要打破长上下文壁垒的， 否则没法使用。 面壁最近的模型，打到了端侧发展所有的痛点上， 只能说， 真在深耕，依旧端侧 PS：都看到这里，来个 点赞 、 在看 、 关注 吧。 您的支持是我坚持的最大动力！ 面壁全双工全模态模型 通常大家认为线性注意力会降低模型智商。 但实验表明，MiniCPM SALA 在 Math、Code 等通用能力上，与同参数量的 Full Attention 模型Qwen3 8B 基本持平。并且短文本能力不因为长文本训练而损失。 但线性注意力和稀疏注意力在Nvidia显卡上的工程优化相比于FlashAttention，还有很大的提升空间。 这一点，阶跃再发Step3 Flash的时候，yibo在论文中就有提到， 他们采用swa的原因之一，就是下游推理适配的问题， https://zhuanlan.zhihu.com/p/2001741987360023159 只能说现在infra的人才太关键了， 为此，面壁还联合SGlang、NVIDIA发起了一个稀疏算子加速大奖赛， 感兴趣的可以去看看https://soar.openbmb.cn/，奖金还是蛮多的。 最后， 我真的很看好面壁在端侧的能力， 前两天分享的 面壁全双工全模态模型 有提到， 面壁全双工全模态模型 Agent大脑，需要更大更智能的模型， 但考虑速度，安全性，端侧模型是必须的，云+端协同才是未来！ 那么在agent时代，端侧模型，是一定要打破长上下文壁垒的， 否则没法使用。 面壁最近的模型，打到了端侧发展所有的痛点上， 只能说， 真在深耕，依旧端侧 PS：都看到这里，来个 点赞 、 在看 、 关注 吧。 您的支持是我坚持的最大动力！ 🔗 原文链接： https://mp.weixin.qq.com/s? biz=Mz... https://mp.weixin.qq.com/s? biz=Mz... 原创 刘聪NLP 刘聪NLP 刘聪NLP2026年2月13日 15:40 江苏 大家好，我是刘聪NLP。 DeepSeek v4、Qwen3.5还没开源，昨天已经分享过 GLM 5了 ， GLM 5了 GLM 5用了DeepSeek的DSA稀疏注意力机制，提升长上下文能力 DeepSeek v4也被曝支持1M 长度上下文， 现在agent应用 openclaw、claude cowork等大火， 在使用过程中，也会越发觉得长上下文&LLM推理速度的重要性 前两天面壁提出了一个线性 稀疏注意力混合架构 SALA， https://github.com/OpenBMB/MiniCPM/blob/main/docs/MiniCPM SALA.pdf 主要是解决在端侧模型上，如何使用更小的资源，承接更长的上下文，同时不降智。 现在公认的就是 线性注意力、稀疏注意力都能在提高速度&上下文性能上有一定帮助 ， • 线性注意力 ：快，O(N) 复杂度，推理极快，但长记性不好，长距离信息会有损耗。 • 稀疏注意力 ：准，保留了局部高精度，但没有彻底解决KV Cache的存储问题。 面壁综合两者，提出了线性 稀疏注意力混合架构（Hybridizing Sparse and Linear Attention），如下 SALA，采用了25%稀疏注意力 + 75%线性注意力的混合配置， 注意不是均匀混合 ，采用层选择机制选择稀疏注意力位置， 模型中 75% 的层采用线性注意力（Lightning Attention），负责精准捕捉局部关键信息。其余 25% 的层采用稀疏注意力（InfLLM v2），专注于信息的高效全局流转， 本质上是，在吞吐量和精度之间找到了一个平衡点。 还参考之前HypeNet的研究内容，提出QK Normalization、HyPE、输出门控。 HyPE 混合位置编码 策略蛮有意思，在 线性层 加上 RoPE，感来保持全局语序；在 稀疏层 去掉 RoPE，可以防止长距离信息的衰减，让模型在超长上下文中召回信息时更精准。 最有意思还是 Transformer to Hybrid的持续训练范式 。 我们都知道从头训练一个混合架构模型，成本极高，增量训练是最好的方式， 面壁的持续训练范式，拿一个已经训练好的MiniCPM 4.0作为底座，通过 架构转换（HALO）持续训练 ，将其变为混合架构。 相比从头训练，成本降低了约 75%。 这是很有意义的事情，我们不需要抛弃现有的Transformer模型，而是可以将其进化。 整个训练分为5个部分， • 架构转换， 使用HALO将Transformer模型从full attention转换为混合架构。其中第一层、最后一层是不转换的，可以保证训练的稳定性。剩余层，采用选择算法确定哪些层被保留为softmax注意力层，这些在后续阶段会被训练为稀疏注意力。这里仅使用1.3B tokens，文本长度为512。同时只有被转换的线性注意力层是可训练的，而所有其他参数保持冻结。 • 持续稳定训练，促进转换后的线性注意力层与模型其他组件全注意力层、FFN层和嵌入层之间的更好协调，训练数据为314.6B tokens，文本长度4K，同时禁用稀疏注意力以保持训练效率。 • 短衰减训练，学习率从7.5e⁻³衰减至3.75e⁻⁴，训练1T tokens，主要利用高信息密度训练数据增强通用能力和逻辑推理，实现海量知识的高效压缩和内化。 • 长衰减训练，逐步将上下文长度从4K扩展到32K、160K，520K，分别使用102.2B、62.9B和50.6B tokens数据训练，在此阶段启用稀疏注意力机制并保持全参数训练，从而使模型能够有效学习稀疏注意力和线性注意力之间的协同作用。 • 监督微调，高质量推理数据训练，充分激发模型复杂逻辑推理和任务执行能力。SFT阶段，上下文长度设置为64K，之后增加到140K。稀疏注意力在此整个过程中保持启用。 性能指标，来验证架构的可行性，训练的MiniCPM SALA模型，在长序列下，速度很快；256K长度在A6000D上的推理速度比 Qwen3 8B 快了 3.5倍。 在 RTX 5090 32GB消费级显卡上，传统的 Qwen3 8B 在 128K 长度时就会 OOM。 而MiniCPM SALA 可以跑到 1M长度。 这说明，SALA架构可以让个人开发者在消费级显卡上运行百万级上下文模型成为了可能。