多流注意力残差能提升大语言模型预训练吗？

MSAR 把深度检索变成多头注意力

论文从一个已知的深层 PreNorm Transformer 弱点出发：残差流用固定加法更新，把此前所有计算沿一条隐藏状态轨迹传递。层数增加后，早期形成的特征会被逐步稀释，后面的层难以把它们取回。注意力残差（AttnRes）用对早期层输出的可学习 softmax 检索取代固定累加，作者将其描述为沿深度轴的单头 softmax 注意力。

MSAR 保留这种检索，但把它变成多头。每条流通过不同的序列上下文视角读取同一批历史表示，这些视角由多尺度因果卷积产生；取回的流再经轻量自适应混合融合成一个层输入。这一设计借用了序列轴上多头注意力的动机：多个头可以各自选择不同来源，而不是共用一种深度混合。

论文还说明了两种更简单的做法为何失败。AttnRes 曾尝试把隐藏状态按通道切分给不同头，结果性能下降，因为被检索的值本质上就是隐藏状态本身，切分会破坏它的完整性。另一种做法是用 (m)HC 式写回从单个层输出派生若干候选流，每个候选保持全维，但归一化基本消除了幅度差异，使各头的键几乎相同，来源多样性很有限。

流的多样性来自卷积而非额外存储

这一机制的关键在于把表达能力和成本分开。MSAR 不保留多条常驻残差流，而是保留单流来源，再按需通过卷积组把它们展开，因此多流计算不需要常驻的多流存储或通信。

在分块版本中，每个来源先展开，再参与打分和值聚合；每条流在可用的深度来源上独立归一化；取回的状态再按流权重融合。论文指出，在相同的分块划分和流水线调度下，Block MSAR 的常驻来源存储和流水线通信与 Block AttnRes 相当。

开销并非为零，论文给出了量化结果。在 18B 和 28B 规模下，MSAR 新增的参数分别占 Vanilla 激活参数的 0.31% 和 0.27%，新增训练 FLOPs 分别占其总训练 FLOPs 的 0.51% 和 0.48%。作为对比，mHC 新增参数占 0.67% 和 0.58%，FLOPs 占 0.66% 和 0.60%；AttnRes 在两个规模下新增参数均占 0.01%，FLOPs 均占 0.10%。

12 个下游基准全部偏向 MSAR

主要比较使用 18B 和 28B 混合专家模型，骨干网络和训练 token 预算均匹配。摘要报告，在两个规模的全部 12 个下游基准上，MSAR 都稳定优于标准残差连接、流形约束超连接（mHC）和 AttnRes。

论文中 18B 规模的训练曲线显示了差距方向：最终语言模型损失为 Vanilla 1.799、mHC 1.776、AttnRes 1.769、MSAR 1.750；该规模下的平均下游得分为 Vanilla 37.5、mHC 41.7、AttnRes 41.8、MSAR 45.7。

这两个数字回答的是不同问题。训练损失衡量训练目标上的下一 token 预测，平均下游得分则汇总 12 个基准上的任务表现。论文的基准套件混合了两类评测：一类是基于似然的评测，选择条件困惑度最低的候选答案；另一类是生成式评测，使用任务特定的答案评分，代码任务使用基于执行的 pass@1。一个指标提升并不自动意味着另一个指标同等提升，这也是论文同时报告两者的原因。

1.58× 加速是拟合出的缩放律比值

核心效率数字来自缩放律拟合，而不是单次训练运行。作者在四个模型规模上训练 Vanilla、mHC、AttnRes 和 MSAR，各规模内骨干网络和 token 预算匹配，然后用各方法的最终训练损失和归一化计算预算拟合损失—计算曲线。

等损失计算加速的定义是：在每个观测损失处，拟合出的 Vanilla 计算量与该方法的归一化训练计算量之比，再在四个模型规模上取平均。按此定义，MSAR 相对标准残差基线达到 1.58×，AttnRes 为 1.35×，mHC 为 1.30×。

读者需要固定参照点：1.58× 是相对 Vanilla，而不是相对 AttnRes。MSAR 与 AttnRes 在该指标上的差距是 1.58× 与 1.35× 之差，论文自身的表述把三者都视为相对同一标准残差基线的改进。拟合对所有方法固定一个曲线参数为 0.72，其余两个参数由回归估计，因此该加速是四个规模上的模型化汇总，而不是实测的墙钟时间结果。

不同流学会了不同的深度来源

论文检验了多个头是否真的产生了多样性。它可视化了 10B Block MSAR 模型的深度注意力权重，该模型有 15 个 Transformer 层、四条流、八个块，并把嵌入保留为额外来源；结果显示，同一子层类型内的不同流形成了不同的来源偏好。

在第一个块之后的 Pre-MLP 读取中，对嵌入的注意力集中在流 2（Conv-4）和流 3（Conv-8），而流 1（恒等）和流 4（Conv-12）给它的权重相对较少。各流反复访问的块也不同：流 2 和流 4 在块 6 处出现明显的垂直带，流 3 则更偏好块 7。

论文还区分了子层类型。Pre-Attn 读取在深度上分布更宽，对嵌入和较早的块保留较多访问；Pre-MLP 读取则集中在更少的来源上，形成更锐利的近对角线和垂直结构。这说明 MSAR 学到的是多样的来源选择分布，而不是重复同一种深度混合；不过这只是对若干条 2,048 token 的 Pile 序列按 token 平均后的描述性可视化，并不是判断哪条流驱动了收益的因果检验。

结论适用的范围

证据覆盖 18B 和 28B 总参数规模的混合专家语言模型预训练，以及从 2.21B 到 17.40B 总参数的四个更小配置上的缩放律实验。所有缩放律模型都使用一个前置稠密 Transformer 层、144 个路由专家（top-8 路由）、一个共享专家和 8192 的序列长度；mHC 和 MSAR 使用四条流。

论文没有报告这些规模、架构或训练设置之外的结果，下游比较也只在 18B 和 28B 规模上给出。效率结论依赖拟合曲线和估算的 FLOPs，而不是实测吞吐；内存访问分析是每个 token 每个残差子层的首阶成本模型。

在这一范围内，论文自己的结论是：多状态表示和跨层访问带来的收益并不完全重叠，因此它主张把两者结合起来的残差设计。它支持的实践优先级很具体：在大规模预训练中从这些残差变体中做选择时，MSAR 的参数和 FLOPs 开销高于 AttnRes，但在测试范围内换来了更高的拟合等损失加速和更好的下游得分。

本文引用的文献