视觉 token 剪枝何时改善 MLLM 的校准？

答案取决于选择器保留哪些 token

剪枝方法通常按固定 token 预算下保留的准确率来比较。这篇论文问的是另一个问题：剪枝之后，模型的置信度是否仍能提示它的答案可能出错？在九个选择器和来自 LLaVA-1.5（7B、13B）与 Qwen2.5-VL（3B、7B、32B）两个系列的五个模型上，答案按选择器类别分化，而不是按模型规模分化。

作者提出的机制很简单。语言模型是在完整 token 集合上训练的，而剪枝后的输入不携带任何“token 缺失”的信号。如果被移除的 token 承载了答案所需的证据，模型就只能根据剩下的 token 作答，其置信度也只反映这些剩余 token。论文通过记录每个选择器保留哪些 token，并在 POPE 上测量被查询物体有多少被保留下来，来检验这一点。

被查询物体失去全部 token 时

最清晰的证据来自物体完全消失的那些问题。在七个选择器、64 或 128 token 的设置下，LLaVA-1.5-7B 的 4,557 个答案中被查询物体失去了全部 token。在同样这些问题上，剪枝模型答对 17%，而未剪枝模型为 59%。剪枝模型在这些问题上的平均置信度为 0.82，基本等于未剪枝模型的 0.80。

论文给出的示例是一个 POPE 问题，问图中是否存在一辆占据大部分画面的公交车。保留注意力最高的 64 个 token 的选择器只保留了公交车面积的 3%，LLaVA-1.5 回答没有公交车，置信度为 0.96。另一个选择器把 64 个 token 分散到整幅图像，保留了 12% 的公交车面积，模型回答正确。

这里的置信度不是另一种准确率指标。它是模型对自己答案给出的概率，关键在于它没有反映出证据被移除：准确率大幅下降，而置信度几乎没有下降。

恢复少量物体 token 可找回大部分准确率

为了检验被移除的证据是否真的导致了错误，作者改动的是保留集合，而不是模型。对于 64 token 下的 CLS attention 和 FastV，他们取物体失去全部 token 的 504 个和 1,260 个问题，把最多八个随机选中的保留 token 替换为包含物体面积最多的网格单元。对照组则把同样的保留 token 替换为既不在保留集合、也不属于该物体的随机单元。

相对于该对照组，CLS attention 的准确率变化为 +48.4 个百分点（95% 区间 41.5 至 55.9，按图像聚类的 bootstrap），FastV 为 +59.4（54.8 至 64.1），而平均置信度只变化 −0.04 和 −0.07。恢复最多八个单元平均找回 91% 和 87% 的物体面积。换回同样数量的其他 token 则没有帮助。

反向干预在覆盖选择上进行，使用物体保留了 1 至 32 个单元的 3,567 个问题。移除这些被保留的物体单元后，相对于移除同样数量物体外保留单元的对照组，准确率下降 50.2 个百分点（−53.0 至 −47.3），置信度只下降 0.09。所有条件下预算都保持 64 token，因此这一比较隔离出的是保留哪些 token，而不是保留多少 token。

注意力排序选择器产生高置信错误

保留注意力最高 token 的选择器更常移除被查询物体，而且几乎不降低由此产生的错误的置信度。在 LLaVA-1.5-7B 的 POPE、64 token 设置下，FastV 达到 71.1% 的准确率，平均置信度为 0.92，而未剪枝模型为 87.0% 准确率、0.91 置信度；CLS attention 为 80.5% 准确率和 0.89 置信度。覆盖选择和 CDPruner 落在可靠性图对角线附近，准确率分别为 85.1% 和 88.0%。

同样的模式出现在完整网格中。在 Qwen2.5-VL-7B 的 POPE、11% token 设置下，FastV 的期望校准误差为 0.185，未剪枝为 0.082；在 GQA 使用整段答案概率时，FastV 达到 0.286，未剪枝为 0.200。在 LLaVA-1.5-13B 和 Qwen2.5-VL 的 22% token 设置下，覆盖选择和 DivPrune 最多只把未剪枝的 ECE 提高 0.024。

温度缩放这一标准的后处理修正能把所有 ECE 降到 0.07 或以下。但它是单调映射，无法改变置信度对正确与错误答案的排序。对于 64 token 的 FastV，置信度区分正确性的 AUROC 从 0.801 降到 0.674，而这种排序损伤在重新缩放后依然存在。

覆盖选择为何接近未剪枝模型

覆盖型和多样性选择器避免保留冗余 token，把预算分散到整幅图像，而不是集中在注意力最高的区域。这就是被查询物体通常有一部分得以保留的原因：在干预实验中，覆盖选择平均保留了 20% 的物体面积，而 CLS attention 和 FastV 保留了 0%。

校准上的后果来自同一机制。在 POPE 上，128 token 的覆盖选择与未剪枝准确率相差不到一个百分点，并把 ECE 从 0.040 降到 0.017。在长图像描述中，被移除的证据表现为剪枝模型干脆不提及的物体，这是同一失败在是非题之外的可观察形式。

论文的证据测量依赖 COCO 掩码，因此对于开放式答案，只能通过校准和遗漏物体来观察这一模式，而无法直接做 token 级核算。这限制了在 POPE 类问题之外追踪该机制的精确程度。

置信度可决定每个问题的 token 预算

论文后半部分把这一诊断转化为一种服务方案。每个问题先用小预算作答，这里是 64 token，只有当置信度低于阈值时才升级到未剪枝模型。保形风险控制负责选择该阈值，使与未剪枝模型答案不同的期望比例保持在目标 ε 以下；由于基准中每张图像对应多个问题，这里把图像作为可交换单元。

该界对所有选择器都成立，但达到该界的成本并不相同。在 POPE、ε = 2%、首阶段 64 token 的设置下，覆盖选择需要未剪枝模型 prefill token 的 36%，在批量 32 时回答速度快 2.3 倍。FastV 需要 105%，比直接运行未剪枝模型还多，因为它的高置信错误迫使更多问题升级。

节省并非剪枝自动带来。若使用无信息量的分数，覆盖选择将需要 97% 的 prefill token；97% 与 36% 之间的差距正是其置信度排序带来的收益。在五个模型上，覆盖型和多样性选择器的置信度在 POPE 上实现了无信息量门控与完美门控之间节省量的 71% 至 95%，但在 GQA 上只有 31% 至 54%；FastV 分别为 18% 至 43% 和 18% 至 25%。

级联在何处划算、何处不划算

成本数字是 prefill token，即语言模型在作答前处理的输入 token；一个升级的问题成本高于直接运行未剪枝模型，因为它要支付两个阶段的费用。这一核算解释了 FastV 为何吃亏：它的第一阶段便宜，但高置信错误把太多问题送进第二阶段。

设计选择会按选择器改变平衡。把级联首阶段从 11% token 改为 22%，会降低注意力排序选择器和随机选择在 POPE 上的成本，例如 CLS attention 从 0.73 降到 0.55，但会提高覆盖型和多样性选择器的成本，因为它们 11% 的首阶段已经回答了超过 80% 的 POPE 问题。对每个选择器和基准而言，在未剪枝模型之前经过三个预算档都比两阶段级联更贵。

延迟是另一本账。在 H200 上、批量大小为 1 时，未剪枝模型每个 POPE 问题耗时 52.7 ms，而 FastV、VisionZip 和 PDrop 节省 4 至 7 ms。输入级选择器需要第二次运行视觉编码器以获取选择特征，这一遍加上贪心选择抵消了节省：128 token 的覆盖选择耗时 72.2 ms。吞吐收益出现在更大批量下，当每批 32 个或更多问题时，64 个视觉 token 的吞吐是 576 个 token 的 5.0 倍。

在准确率和成本之外报告校准

论文的实用主张是一条比较规则，而不是普适的加速。两个选择器可以在同一预算下保持相近的准确率，却在置信度是否可用上差异巨大：在 POPE、64 token 下，FastV 和覆盖选择的准确率分别为 71.1% 和 85.1%，但只有覆盖选择能让置信度足够有信息量，从而以低成本控制升级。

有效性检验界定了风险保证的适用范围。在 ScienceQA-IMG 上，每个问题都有自己的图像，200 次划分的平均测试偏差落在 ε = 2% 的一个标准误之内，在所有设计和目标上最多超出 0.0006。在 POPE 和 GQA 上，校准图像分别为 250 和 199 张，修正项为 0.004 至 0.005，所有配置下平均偏差都低于 ε。该界假设图像可交换，因此它描述的是按图像问题平均的期望偏差，而不是逐问题的保证。

因此这篇论文支持的决策是有条件的：如果剪枝模型的置信度将用于弃答、路由或 token 预算，那么选择器的证据覆盖与它保留的准确率同样重要，校准应当与准确率和成本一起进入比较表。

本文引用的文献