从信号衰减到计算崩溃：揭秘 LLM 量化失效的两大“元凶”

TL;DR

为什么大模型在 4-bit 量化时还能“维持体面”，一旦降到 2-bit 就彻底变成了“智障”？本文通过深度机械分析揭示：4-bit 只是信号被噪音干扰（信号衰减），而 2-bit 则是核心组件彻底坏死（计算崩溃）。前者可以靠打补丁修复，后者则必须动“手术”重构。

背景：量化分水岭的未解之谜

在 LLM 的部署中，PTQ（后训练量化）是高效压缩的标准手段。4-bit 量化常被视为 Sweet Spot，但 2-bit 量化却经常遭遇“性能悬崖”。过去我们总以为这是误差变大导致的，但本文告诉我们：这是一个从量变到质变的转化。

核心发现：两种截然不同的失效模式

1. 模式 I：信号衰减 (Signal Degradation)

• 现象：模型内部仍能产生正确的知识信号，但信号强度随层数累积逐渐被噪音吞没。
• 比喻：就像在一个嘈杂的派对上听人说话，虽然听不清，但对方确实在说正确的话。
• 证据：通过 Logit Lens 观察，4-bit 模型的中间层依然能看到正确答案的 Rank 在提升。

2. 模式 II：计算崩溃 (Computation Collapse)

• 现象：量化误差直接破坏了组件（如 Attention, FFN）的功能，导致信号在起始阶段就被摧毁。
• 比喻：说话人的声带坏了，或者听者的耳蜗失灵，无论外界如何补偿都无法获取信息。
• 证据：2-bit 模型的 FFN 门控翻转率（Sign Flip Rate）极高，导致错误的神经元被激活，信号完全消失。

深度诊断：为什么 2-bit 没救了？

作者利用 CKA (Centered Kernel Alignment) 分析了层与层之间的表征相似性。如下图所示，4-bit 模型的表征拓扑结构与全精度（FP16）高度相似（对角线清晰可见）；而 2-bit 模型则是一片漆黑，意味着其内部的语义空间已经彻底崩塌。

更绝的是，作者做了一个“因果替换”实验：将 2-bit 层面前面的输入强制替换成 FP16 的完美信号。结果发现，2-bit 的组件依然无法处理这些完美信号，输出依然南辕北辙。这证明了 2-bit 的失效是系统性的组件失灵（Non-functional）。

药方：量化感知的针对性干预

基于上述诊断，作者提出了一套机制感知干预（Mechanism-Aware Interventions）：

• 针对信号衰减（4-bit）：
  1. 源头保护：保护对模型极其敏感的核心层（通常是前两层）或权重。
  2. 信号增强：在 logit 层通过一个放大因子 $\alpha$ 提升置信度。
  • 结果：在不进行任何重训练的情况下，显著拉回了性能曲线（见下表）。

• 针对计算崩溃（2-bit）：
  • 所有的训练无关（Training-free）策略失效。作者明确指出：这必须通过结构重构（如微调或 QAT）来重新学习计算逻辑。

总结与洞察

这篇文章跳出了单纯的“刷榜”视角，深入模型内部“做手术”。它给工业界的启示是：

1. 盲目追求极低比特（如 2-bit）的 PTQ 是死路一条，除非配合强大的重构手段。
2. 早期层（Early Layers）是量化的生命线，不仅在 Llama 系列中如此，在多模态和复杂推理任务中同样敏感。
3. 诊断先行：在做模型压缩前，先用 Logit Lens 看看它是“信号弱”还是“逻辑死”，这决定了后续的优化路径。

资深主编点评：本研究将 PTQ 的研究重点从“如何减少误差”提升到了“如何理解误差对机理的破坏”，为低比特量化提供了严谨的诊断规范。