免训练 Transformer 合并能否沿执行路径对齐算子？

逐层独立合并为何破坏注意力

免训练模型合并把多个微调模型合成一个多任务模型，无需在标注数据上进一步优化。论文的出发点是：在 Transformer 中这并不是一个逐层问题。在单个注意力头内，注意力分数取决于复合的 Query-Key 算子，写回的信息取决于复合的 Value-Output 算子。因此，独立合并各个投影矩阵，作用的对象并不是计算的功能单元。

第二个问题是路径不匹配。当较早的组件被合并后，下游组件接收到的激活与原始模型不同，于是合并模型与原始模型的执行路径不再一致。某一层在局部看似合理的合并，可能是在部署模型永远不会产生的输入上被评估的。

按拓扑顺序合并复合算子

SLOA 改变了合并的单元。它不组合单个矩阵 W_Q、W_K、W_V 和 W_O，而是合并复合算子：决定 token 间路由（通过 softmax 前的注意力分数）的 QK 算子，以及决定注意力权重施加后写回内容的 VO 算子。论文指出，对任意可逆矩阵 R，QK 乘积在重新参数化 query 与 key 因子后保持不变，VO 乘积在类似变换下也不变。由于 SLOA 只依赖复合算子，两种实现同一算子的不同分解对方法而言成为同一个对象。

随后方法沿部分合并模型的执行路径推进。对每个局部算子，它用闭式解求解一个正则化最小二乘问题，利用校准数据估计每个功能组件的局部行为，并在部分合并模型的中间激活下顺序对齐算子。论文将其与基于梯度的渐进蒸馏对比：后者逐层训练合并系数；SLOA 不通过梯度下降学习系数，而是直接求解合并后的局部算子。

论文还称该方法比 Transformer 块内的逐层蒸馏更细粒度：它可以分别对齐 LayerNorm 仿射映射、标准线性映射、QK 注意力算子和 VO 注意力算子，尊重注意力的内部计算结构，而不是把整个块当作一个黑箱特征映射。

分解还原合法参数并支持秩扩展

对齐之后，SLOA 把合并后的算子分解回合法的 Transformer 参数。对于原始维度为 d_k 的注意力头，每个任务特定的 QK 或 VO 算子秩至多为 d_k，因为每个头通过宽度为 d_k 的瓶颈实现一个 d×d 算子。SLOA 在不施加秩约束的环境空间中合并这些算子，之后才用截断 SVD 保留前 r 个奇异方向，恢复分解形式。

秩扩展正来源于此。不同任务模型可能使用不同的低维子空间，低秩算子的组合未必共享其秩：两个奇异方向不同的秩一算子之和秩为二，一般而言求和后算子的秩可达 min(d, T d_k)。因此把合并算子截断回 d_k 可能丢弃对多任务行为有用的方向，而 r 大于 d_k 能保留它们。论文认为这不会引入自由参数，因为分解只保留已存在于对齐算子中的奇异方向，而该算子通过正则项锚定到任务特定算子。代价是推理时注意力头更宽。

顺序步骤在视觉与语言上的收益

论文报告称，顺序步骤减少了跨层误差累积，且该方法在模态、模型规模和任务数量上都能泛化，从 CLIP 和 RoBERTa 到十亿参数级 LLM。在更大的 ViT-B/16 骨干上，报告的趋势与 ViT-B/32 一致：随着合并任务数量增加，相对最佳基线的优势扩大。在 8 个任务上，无数据基线 Iso-CTS 略强（89.01 对 SLOA 在 r=128 时的 88.04）；到 14 个任务时 SLOA 已反超（85.16 对 84.54）；到 20 个任务时 SLOA 领先近 5 个百分点（83.43 对 78.50）。

论文为无数据基线在任务数较少时仍具竞争力提供了一种解释：论文引用的先前工作表明，更大、预训练更好的视觉骨干往往比小骨干更权重解耦，因此任务特定的微调方向在简单权重空间组合下干扰更小。随着合并任务数增加、干扰加剧，论文认为对齐功能算子而非原始权重会以越来越明显的优势胜出。这是作者对该模式的解释，而非单独测量的机制。

论文还报告了 SLOA 在 r=128 时与无数据和免训练基线在 ViT-B/32 的 20 个视觉任务以及 RoBERTa 的 7 个 GLUE 任务上的逐任务比较，并称 SLOA 始终优于这两组方法。

秩扩展在精度与推理成本间权衡

论文区分了关于秩的两个论断。第一，相对强合并基线的提升是在不需要秩扩展的情况下取得的。第二，可选的扩展进一步提供了精度与推理成本之间的权衡。这是关于不同配置的不同陈述，论文将它们保持区分。

在 ViT-B/16 上，把 r 从 64 提高到 128 在每个任务数量上都提升了性能，且增益随合并任务数增加而增大。论文还报告称，秩扩展在所有测试设置中都没有降低平均精度，且通常有所提升，代价是推理时注意力头更宽。ViT-B/32、ViT-B/16 和 RoBERTa 的扩展图展示了校准样本数从 2^7 增至 2^11 时的平均性能，曲线对应 r_qk = r_ov = 64、128 和 256。

SLOA 的适用范围与边界

SLOA 是免训练的，但不是无数据的：它使用校准数据估计每个功能组件的局部行为。LLM 实验每个任务使用固定的 256 个校准样本，取自同一训练划分，并使用与微调相同的模板格式化。论文自身的对比指出，基于训练的渐进方法 ProDistill 用梯度下降优化合并系数，而 SLOA 对每个局部算子求解闭式正则化最小二乘问题。

该方法自然扩展到 LoRA 微调模型。对于由基础权重加低秩更新构成的 LoRA 适配任务权重，论文称 LoRA 参数化本身不会带来额外困难。在 LLM 设置中，作者没有使用现成的 LLaMA-2-7B LoRA 专家池；他们从基础检查点独立训练了三个秩为 32、覆盖所有线性投影的 LoRA 专家，分别用于数学、代码和指令遵循，并分别在 GSM8K、HumanEval 和 IFEval 上评估。

证据给出两条边界。报告的增益是在论文使用的特定骨干、任务池和基准上测得的，因此不应假定优势幅度能迁移到其他任务组合或评估套件。秩扩展的收益被描述为一种权衡而非免费提升，因为它会在推理时加宽注意力头。

实际选择在于秩而非仅方法

这篇论文中最具决策相关性的区分，不只是是否使用免训练合并，而是在什么秩上部署。在默认 r 等于原始头维度时，SLOA 被报告为无需秩扩展即可优于强基线，这使其在推理成本上与其他免训练方法可比。在更大的 r 下，合并算子保留了 d_k 截断会丢弃的奇异方向，论文报告了随合并任务数增长的进一步精度增益，代价是推理时更宽的注意力头。

这使得合并任务数量成为值得关注的变量。论文的 ViT-B/16 对比显示，8 个任务时无数据基线领先，14 个任务时 SLOA 领先，20 个任务时 SLOA 领先近 5 个百分点，而把 r 从 64 提高到 128 的收益也随任务数增长。对于要合并大量微调专家的读者，论文的证据指向：优先在部分合并执行路径下做算子级对齐，并把秩作为权衡多任务容量与推理成本的调节旋钮。

本文引用的文献