视觉 token 压缩能否用于线性注意力 VLM？

现有压缩方法在混合线性注意力 VLM 上失效

视觉 token 在视觉语言模型的输入序列中占主导，因此削减它们是降低计算量的直接途径。论文的出发点是：现有的压缩工具都是为 softmax 注意力设计的。按注意力分数给 token 排序的方法，以及按相似度合并 token 的方法，都依赖 softmax 注意力的某些性质，而混合架构并不保留这些性质。

作者报告的系统实验显示，一旦迁移到混合架构，基于注意力和基于相似度的压缩方法甚至无法超过随机基线，结果并不理想。他们的解释是：线性注意力有界递推状态带来一个信息论上限。这个上限破坏了注意力方法所利用的浅层注意力集中现象，也破坏了相似度方法所需的 token 可区分性。

同一分析也给出了论文的切入点：线性注意力的选择性保留本身就编码了哪些 token 重要的信号。V-CoLA 建立在这个信号之上，而不是借用 softmax 注意力的统计量。

视觉信息随深度和序列长度衰减

为了检验递推状态是否真的反映重要性，作者在 Qwen3.5-9B 上测量了一个保留率：写入最终状态的信息能被多忠实地重建，并覆盖不同的视觉 token 长度和模型深度。他们还记录了相邻层之间保留率排序的 Pearson 相关系数。

由此得到三点观察。保留率在浅层较高，随深度下降，在深层低于 20%，说明视觉信息在浅层推理中被大量使用，之后逐渐被边缘化。保留率也随序列长度增长而下降，这与状态规模有限、已承受压力相符。相邻层之间的排序相关性在浅层保持较高、在深层下降，说明在视觉推理过程中，不同层对哪些 token 关键有一致的偏好。

这正是方法从浅层读取重要性的原因：在那里，状态的选择性最有信息量，也最跨深度一致。

重要性由重建误差与独特性共同决定

V-CoLA 用两项给每个视觉 token 打分。第一项是重要性项，等于 1 减去该 token 的 value 与最终状态为其 key 重建出的结果之间的归一化余弦距离。重建误差低，说明该 token 的信息在状态中得以保留，因此它重要。

只按这一项筛选，会让选择偏向显著区域，产生大量冗余 token；同时，那些贡献在最终状态中被累积门控衰减削弱的 token 可能被漏掉。第二项是独特性，用来解决这个问题：它探测某个 token 被写入状态时，状态的读出结果变化多大。一组取自邻近 token 的伪查询分别在更新前后从状态读出 value 向量，平均归一化距离即为独特性分数。跟在相似 token 之后的冗余 token 对状态的改变更小。

最终分数是两项的加权和，权重控制独特性所占比例。由于两项都是 value 空间读出上的归一化距离，合并后的分数保持相同的取值范围和解释。

合并优于剪枝，且兼容分块并行

压缩并不只是保留分数最高的 token。论文引用近期分析指出，token 聚合比 token 剪枝更稳健，因此采用自适应的分块合并策略，而不是保留 top-k。

工程约束在于，线性注意力以分块方式并行执行其递推。作者把重要性计算整合进这种分块并行，并扩展 Gated DeltaNet，加入旁路输入和批量查询，使额外查询能在计算输出时注入，并用移位后的 key 作为伪查询。他们报告这带来的额外运行开销很小。所有组件都无需训练，因此不需要重新训练基座模型。

一半 token 下精度保持，更低预算下平缓下降

在多个基准上，V-CoLA 仅用 50.0% 的视觉 token 就达到原模型 99.5% 的性能，在仅 12.5% 的 token 下仍超过 88.0%。这些是相对未压缩模型的保留比例，不是绝对分数；这些头条数字是在整个基准套件上汇总的，并不对应单一数据集。

长文本证据更细。在 MMDU 上——一个多轮多图对话基准，每个样本最多 20 张图、27 轮、18K 多模态 token——即使在 12.5% 的 token 预算下，V-CoLA 在全部六个评分维度上都与完整模型相差不超过 1.4 分。总体分数从完整 token 的 66.6 变为 50.0% 时的 67.0、25.0% 时的 66.0、12.5% 时的 65.4。

细粒度识别显示了预算在哪里起作用。在全部 191 个 V*-Bench 样本上，在第 24 层退出与完整模型相差不超过 1.05 分，而在第 12 层退出则损失 2.62 分。在相同的 50% 预算下，提前退出把深层 token 预算重新分配给浅层，使总体准确率提高 2.09 分。

softmax 占比高时加速快于 token 削减比例

报告的 prefill 加速在 1.86 倍至 6.15 倍之间。论文推导了为什么增益不等于保留比例的倒数：在 Qwen3.5 的 3:1 混合布局中，每四层有三层使用线性注意力，其代价随序列长度线性增长，剩下的 softmax 层则是二次的。

闭式分析根据每层代价中二次部分所占比例，在 1/r 与 1/r 的平方之间插值，并按压缩点之后层所占比例缩放。实测中，保留比例为 0.5、8K 视觉 token 时测得 1.91 倍，理论值约 2.0 倍；保留比例为 0.125 时测得 6.15 倍，理论值约 7.0 倍。

实测与理论之间的差距本身也有信息量：理论给出了 token 削减所能换来的上限，而实现开销会消耗其中一部分。

结论限于带周期性 softmax 层的混合架构

评估集中在交替使用线性注意力和 softmax 注意力层的混合 VLM，例如 Qwen3.5 和 InfiniteVL。作者指出，纯 Mamba 或全线性注意力的 VLM 尚未覆盖；要把方法扩展到那里，可能需要重新审视独特性判据与缺少周期性 softmax 层之间的相互作用。

实际优先级来自论文内部的比较，而不是头条数字。如果部署目标是混合线性注意力 VLM，关键选择不是要不要压缩，而是按什么信号给 token 排序：在这一架构下，注意力分数和相似度都跌到随机基线或以下，而状态推导的重要性在一半 token 下保留了 99.5% 的性能。如果目标是全线性或纯 Mamba 模型，这一证据尚不适用；压缩施加在哪一层仍是独立的调节手段，因为第 24 层退出对细粒度准确率的保留远好于第 12 层退出。

本文引用的文献