稀疏加低秩分解能否无损压缩大语言模型？

把每个权重矩阵拆成两部分

稀疏加低秩分解把预训练权重矩阵 W 替换为两个更省资源的矩阵之和：一个是稀疏矩阵 S，只保留一小部分元素；另一个是由两个窄因子相乘得到的低秩矩阵 LR。压缩后的模型存储 S 和这些因子，而不再存储 W。这种做法的吸引力在于，低秩部分之后可以作为 LoRA 微调的初始化，因此该分解是为适配工作流设计的，而不是独立使用的方案。

这篇论文的目标是一次性训练后压缩：只用一小份校准集算出分解结果，不重新训练模型。此前面向大语言模型的稀疏加低秩方法，尤其是 OATS 和 HASSLE-Free，依赖交替最小化，即轮流优化稀疏部分和低秩部分。作者认为这样做会损失质量，于是提出了不同的优化器，并增加了第二个精修阶段。

三块 ADMM 取代交替最小化

第一个组件 3BASiL 最小化逐层重建误差，也就是让每一层在校准输入上的输出尽量匹配原始层的输出。它使用三块交替方向乘子法（ADMM）：依次更新稀疏分量 S、低秩分量 L 和稀疏分量的受约束副本 D，然后对乘子变量 V 做对偶更新。正是副本 D 负责施加稀疏模式，包括 2:4 这类 N:M 结构，即每四个权重中只允许两个非零。

论文给出了稀疏块的闭式更新和 L 块的精确低秩更新，并声明该方案具有收敛保证。其实践主张是：在同一个框架内联合优化两个分量，比分别优化能得到更好的逐层重建；作者用与竞争分解方法的目标函数最小化对比来支持这一点。

精修阶段对齐整个 Transformer 输出

逐层重建只是一种代理目标。匹配单层输出并不能保证整个堆叠的行为与原始模型一致，因为每层的小误差会累积。第二个组件 transformer matching 针对这一点，跨 Transformer 层联合优化稀疏和低秩分量，所用的损失对齐 Transformer 层级的输出，并以节省内存的方式计算。

作者称这一步是通用的：它可以精修任何稀疏加低秩分解，包括纯稀疏分解，因为它作用于已经分解好的权重，而不依赖某个特定优化器。这种通用性对理解结果很重要，因为这意味着报告的增益由两个可分离的部分组成，即 3BASiL 优化器和 transformer matching 精修；论文分别报告了单独的 3BASiL 和 3BASiL-TM。

核心增益是更窄的困惑度差距

核心定量结果是对差距的相对比较。在 2:4 稀疏加秩 64 的低秩配置下，3BASiL-TM 把相对稠密 LLaMA-8B 模型的 WikiText2 困惑度差距，相比此前方法缩小了 30% 以上。这是与稠密模型距离的缩小，而不是声称压缩模型已经追平稠密模型；稠密模型的困惑度仍然更低。

论文的表格在更小的模型上显示了相同方向。在 Llama-3.2-1B 上，采用 50% 稀疏加秩 128 配置时，3BASiL-TM 的 WikiText2 和 C4 困惑度低于 OATS、Hf-SparseGPT 和 Hf-ALPS，而且单独的 3BASiL 在精修之前就已经优于这些基线。在 Meta-Llama-3-8B 上，同样的排序成立，稠密模型仍是表格底部的参照点。

压缩更快，增益在 LoRA 后仍保留

运行时间与质量分开报告。作者称其方法在 A100 GPU 上的压缩运行速度，比最先进的稀疏加低秩方法快 2.5 倍以上。这是压缩耗时的测量，不是推理速度的声明；在本文所审查的证据中，论文没有给出部署模型端到端延迟的对应结果。

第二个结果关于适配之后的情况。低秩分量可以初始化 LoRA 微调，作者在第一个 C4 训练分片约 10% 的数据上做了有限微调，约 1500 万 token。经过这次 LoRA 微调后，在 2:8 加秩 64 配置下，3BASiL-TM 仍然优于竞争分解方法，困惑度约低 8%。因此这一优势没有被适配抹去，尽管微调预算被有意设得很小。

证据覆盖到哪里为止

质量证据是 LLaMA 系列模型在特定稀疏度和秩设置下的 WikiText2 与 C4 困惑度，以及报告的差距缩小幅度。在本文审查的材料中，论文没有证明压缩模型在下游推理或生成基准上达到稠密模型的准确率，因此 30% 这个数字应理解为某一配置下的相对差距缩小，而不是通用的无损保证。

作者还指出了开放方向：把三块 ADMM 和 transformer matching 扩展到量化或量化与稀疏结合的约束，以及用算法为不同层分配不同的稀疏度和秩设置。这两点都被列为未来工作，这限定了当前配置选择能被推广到什么程度。

在固定配置下权衡差距缩小

这篇论文中与决策相关的比较不是压缩模型对稠密模型，而是压缩模型对压缩模型。如果选择范围是在固定预算（例如 2:4 加秩 64）下的稀疏加低秩分解之间，那么 3BASiL-TM 在报告的困惑度差距和压缩运行时间上都是更强的选项，而且它的低秩因子仍可用作 LoRA 初始化。如果要求是与稠密 LLaMA-8B 模型持平，论文自己的数字并不支持，因为差距只是缩小而非消除。

证据中最有用的阈值就是配置本身：超过 30% 的差距缩小对应 LLaMA-8B 上的 2:4 稀疏加秩 64，而微调后的优势对应 2:8 加秩 64 以及约 1500 万 token 的 LoRA 训练。比较方法的读者应先对齐这些设置再迁移结论，并应把 transformer matching 步骤视为可移植的部分，因为作者称它适用于任何稀疏加低秩分解。

本文引用的文献