[综述] 模型合并：LLM 时代的“乐高式”开发范式

TL;DR

模型合并（Model Merging）正逐渐成为大模型开发的一等公民。它允许开发者像堆叠乐高积木一样，将多个在不同任务上微调的模型功能“缝合”成一个单体模型，而无需消耗昂贵的训练算力。本文基于腾讯 LLM 部门的最新综述，深入探讨了这一技术的物理直觉、算法演进及其在工业界的潜力。

核心直觉：为什么我们可以直接做参数加减法？

在深度学习的传统认知中，神经网络的损失函数地形（Loss Landscape）是高度非凸的。然而，研究发现通过共享预训练初始化（Shared Pretrained Initialization），微调后的模型往往处于同一个“损失盆地”内。

• 线性模式连接性（Linear Mode Connectivity）：这是合并的基石。它意味着在两个微调模型 ${\theta }_1$ 和 ${\theta }_2$ 之间的线性路径上，损失函数依然保持极低水平。
• 排列不变性（Permutation Invariance）：独立训练的模型由于神经元顺序不同无法直接合并，但基于相同基座（如 Llama-3）微调的模型在很大程度上打破了这种对称性壁垒，使得直接的权重算术变得有意义。

算法演进：从简单平均到精密算术

1. 权重空间平均 (Weight Averaging)

最早的尝试是 Model Soups。通过对不同超参数微调后的 Checkpoints 进行贪婪平均，可以在不增加推理成本的情况下提升模型的鲁棒性。进一步地，SLERP (球面线性插值) 考虑了高维空间的几何流形，防止了简单加权平均带来的权重幅度缩减。

2. 任务向量与干扰消除 (Task Arithmetic & Sparsification)

这是目前的各种“神药”合并脚本的核心。通过定义任务向量 $\tau ={\theta }_{finetuned}-{\theta }_{pre}$，我们可以实现以下操作：

• 能力叠加：${\theta }_{new}={\theta }_{pre}+{\tau }_{math}+{\tau }_{code}$
• 能力消除：${\theta }_{safe}={\theta }_{pre}-{\tau }_{toxic}$（用于去除偏见或毒性）

然而，直接相加会导致符号冲突 (Sign Conflict)。TIES-Merging 和 DARE 等方法通过“修剪 (Trim)、选举 (Elect)、合并 (Merge)”的流程，剔除冗余参数并解决正负抵消问题，显著提升了合并后的性能天花板。

架构级合并：MoE 的新路径

当任务冲突严重到无法在单一参数空间调和时，混合专家系统 (MoE) 风格的合并登场了。例如 PHATGOOSE 等技术，将多个 fine-tuned 模型作为已有的“专家”，通过学习一个轻量级的路由 (Router) 机制来调用它们。这种方式保留了各专家的纯粹性，但挑战在于显存占用随专家数线性增长。

工业应用：SOTA 的收割机

目前 Open LLM Leaderboard 上的许多顶级模型实际上都是“合并模型”。

• 对齐与安全：结合 DPO/RLHF 后的模型与逻辑推理强的小模型，可以找到更完美的对齐平衡点。
• 垂直领域：将中文通才模型与医疗专才模型合并，比直接训练一个医疗模型更具成本优势且保持了对话流畅度。
• 社区生态：mergekit 等工具的流行，使得即便是算力有限的独立开发者也能通过精巧的“配方 (Recipes)”创造出惊人的模型。

总结与局限性

模型合并并非银弹。目前的面临的挑战包括：

1. 评估缺失：合并过程可能产生“幻觉耦合”，需要更细粒度的基准测试。
2. 跨架构屏障：目前仍局限于相同架构（如只能 Llama 配 Llama），跨架构合并（如 Mistral 合并到 Llama）仍依赖于复杂的知识蒸馏或对齐策略。

但这无疑开启了一个新的时代：模型不再是训练完就固化的活化石，而是可以持续进化、自由重组的动态模块。

本文基于论文 "Model Merging in the Era of Large Language Models: Methods, Applications, and Future Directions" 重构。