[CVPR/NeurIPS 2024 趋势] CoMoL：像合并图层一样高效！突破 MoE-LoRA 的参数与性能边界

TL;DR

在参数高效微调（PEFT）领域，MoE-LoRA 虽强大但“臃肿”。来自浙江大学与腾讯的研究团队提出了 CoMoL (Core Space Mixture of LoRA)。它的核心直觉是：与其让多个庞大的专家矩阵并行计算，不如在极其紧凑的低秩核心空间内将专家“合体”后再计算。 这使得模型在拥有 64 个专家的情况下，参数量依然能与只有一个专家的标准 LoRA 持平，且性能全面超越 SOTA。

1. 痛点：MoE-LoRA 的“虚假”高效

传统的 MoE-LoRA 架构看似只训练少量参数，实则存在三个致命伤：

• 参数爆炸：每增加一个专家，LoRA 的 $A$ 和 $B$ 矩阵就得翻倍，这完全违背了 PEFT 节省存储的初衷。
• 效率悖论：Sparse MoE 虽然理论 FLOPs 低，但由于复杂的路由寻址，实际壁挂时间（Wall-clock time）反而比全激活的 Soft MoE 更慢。
• 粒度权衡：为了快，有些方法（如 SMEAR）退而求其次使用“实例级路由”，即一整段话用同一个专家组合，这大大削弱了模型处理复杂逻辑的表达能力。

2. 核心直觉：在核心空间（Core Space）里跳舞

作者通过 SVD 分解发现，不同专家之间的特征方向（Singular Subspaces）其实是大同小异的，真正的差异在于这些方向的使用权重。

2.1 架构本质

CoMoL 将 LoRA 的增量矩阵 $\Delta W=BA$ 重新表述为： $\Delta W=U_{B}M{V}_A^{o}p$ 其中：

• $U_B$ 和 $V_A^{o}p$ 是所有专家共享的基础空间（负责特征定义）。
• $M$ 是专属于每个专家的 $rimesr$ 核心矩阵（负责特征调度）。

这意味着，以前我们需要存储 $Nimes(m+n)r$ 个参数，现在只需要存储一份 $(m+n)r$ 加 $Nimes{r}^2$。由于 $r^2$ 极小（通常 $r=8$），专家数量几乎可以“免费”增加。

2.2 专家合体：Token-level Soft Merging

这是 CoMoL 最优雅的地方。利用矩阵乘法的分配律，它在计算时先根据当前 token 的特征，在核心空间把多个 $M_i$ 加权合并成一个 $M_{merged}$： 图 1：LoRA (a) vs MoE-LoRA (b) vs CoMoL (c)。CoMoL 在核心空间完成融合。

这样做的好处是：计算开销等同于单 LoRA，但表达能力却是 token 级动态 MoE 的水平。

3. 实验验证：以少胜多的典范

3.1 数学推理 SOTA

在 Qwen3-8B / 14B 等模型上的测试显示，CoMoL 仅用 25.16M 参数就跑赢了拥有 107.35M 参数的 MoLoRA。 表 2：在数学数据集上的表现。注意 CoMoL 在 AQuA 任务上比标准 LoRA 高出 7.2 个百分点。

3.2 随专家数量扩展的稳定性

传统方法在专家达到 16 个时往往会爆显存（OOM），而 CoMoL 在 64 个专家下依然游刃有余，且准确率保持稳定增长。这证明了其“核心空间路由”对冗余的有效抑制。

图 2：CoMoL 在不同秩（Rank）下的性能持续领先。

4. 深度洞察：为什么 CoMoL 会有效？

从学术视角看，CoMoL 实际上是对 LoRA 适配过程的一种正则化。

1. 特征解耦：它强制模型通过共享空间提取共性特征，通过核心空间捕获个性特征，这种“结构化偏置（Inductive Bias）”防止了过拟合，特别是在代码生成等敏感任务中。
2. 低秩投影路由：通过将路由器的输入也投影到 $V_A^{o}px$ 中，它让“谁该处理这个 token”的决策直接建立在“提取出的低秩特征”之上，决策路径更短、更准。

5. 局限性与展望

尽管性能强悍，但作者也坦言，目前的 PEFT 研究主要在刷参数效率，对于不同模型家族（如 Llama vs Qwen）背后的“学习容量上限”仍缺乏理论定论。CoMoL 开启了一个有趣的方向：也许未来的 PEFT 不再是“添加”模块，而是在一个预定义的“核心流形”上进行动态插值。

总结 (Takeaway)

CoMoL 告诉我们，MoE 的“多专家”优势并不一定需要大量的显存来换取。通过巧妙的矩阵重构，我们可以在低秩空间实现高效的“知识融合”。对于追求极致推理速度和模型性能平衡的开发者来说，CoMoL 提供了一个几乎没有短板的新基准。