[CVPR 2024] ACE-Merging：无需数据，靠数学直觉突破模型合并的干扰瓶颈

TL;DR

在模型“微调再合并”的范式中，如何在没有原始训练数据的情况下合并多个专家模型（如一个会写代码、一个会做数学）？本文提出的 ACE-Merging 给出了一套优雅的闭式解（Closed-form solution）。它通过估计权重的“协方差”来模拟数据分布，在 GPT-2 和 RoBERTa 等多个基准测试中刷新了 SOTA，平均性能提升达 4%-5%。

痛点深挖：消失的统计分布

模型合并（Model Merging）的核心挑战在于任务干扰（Inter-task Interference）。当你把两个不同任务的模型权重直接相加或平均时，它们各自内部的特征表示会发生对撞。

之前的解决方法都有明显的“短板”：

1. Data-dependent：需要访问原始数据，但在隐私保护和商业闭源背景下往往不可行。
2. Heuristics：如 Task Arithmetic 等方法仅在参数空间做线性加减，忽略了数据分布的底层几何结构。
3. Iterative optimization：如 WUDI-Merging 虽然效果尚可，但需要昂贵的迭代更新，且超参数极其敏感。

ACE-Merging 的核心 Insight 是： 任务的输入数据分布（协方差）其实已经秘密地编码在微调后的参数变化（Task Vector）中了。

方法论详解：ACE-Merging 的三部曲

作者通过理论推导证明：任务 $t$ 的输入协方差 ${\Sigma }_t$ 与其权重位移 $\Delta W_t$ 的协方差成正比。基于这一发现，ACE-Merging 构建了三个核心模块：

1. 自适应协方差归一化 (Adaptive Covariance Normalization)

不同任务的能量尺度（Energy Scales）差异巨大。如果不处理，能量高的任务会在合并时“吞噬”掉小任务。ACE-Merging 引入了一个异质性指标 $\gamma$，自动判断是否需要对各任务的协方差进行迹归一化（Trace Normalization）。

2. 集合结构先验 (Collective Structural Prior)

为了保证数学上的稳定性，通常需要加入正则项 $ϵI$。但作者认为这太粗糙了。他们设计了一个 CSP 模块，从所有任务的聚合统计中提取出共有的几何特征，作为一种“各向异性”的先验引导合并过程。

3. 光谱细化 (Spectral Refinement)

这是本文最出彩的地方。作者发现闭式解 ${\bar{W}}_{pre}$ 虽然找准了特征方向，但在光谱分布上极其不均衡（前 5% 的奇异值占据了 99% 的能量），这会导致模型对噪声异常敏感。

图注：左图显示初步合并的模型光谱极度陡峭，而右图证明了其主成分方向其实是正确的。ACE-Merging 通过 Spectral Refinement 摊平了这种“长尾”分布。

实验与结果：全方位的 SOTA

ACE-Merging 在视觉和语言任务上均表现出了极强的鲁棒性。

视觉任务：

在涵盖 8 到 20 个任务的 ViT 测试中，ACE-Merging 展现了随任务复杂度增加而扩大的优势。

语言任务：

在 RoBERTa-Large 上，ACE-Merging 的平均得分达到 91.7%，显著超过了此前的强基线 WUDI-Merging (88.8%)。更有趣的是，在对 Llama-3B-Instruct 进行代码、数学、多语言合并的实验中，它表现出了极强的**域外泛化（Out-of-domain）**能力。

深度洞察与总结

核心贡献 (Takeaway)

ACE-Merging 证明了：模型合并不仅仅是一个参数平均的艺术，更是一个统计估计的过程。 即使没有数据，我们也可以通过复杂的数学框架（如 MAP 估计和奇异值重构）找回那些消失的数据特征。

局限性与展望

目前 ACE-Merging 的正则化强度 $ϵ$ 仍需根据模型家族手动调整。作者提出，未来的研究方向应该是实现**输入感知（Input-aware）**的自动参数化，使合并过程更加端到端和智能化。

正如作者所说，ACE-Merging 既是一个实用的工具，也为未来无数据环境下的模型协作和编排提供了坚实的理论基石。