token 多样性与任务相关性如何分别指导视觉 token 剪枝？

单一剪枝分数混合了两种冗余

多数视觉 token 剪枝方法用注意力、特征相似度或输出差异构造一个分数，对 token 排序后丢弃排名最低的部分。论文认为，这类分数在不知不觉中混合了两种不同的冗余来源：一种是模态内冗余，即视觉 token 彼此重复；另一种是跨模态冗余，即某个视觉 token 对文本查询几乎不携带信息。

区分这两者之所以重要，是因为它们无法在同一尺度上比较。一个 token 可能视觉上独一无二，却与问题无关；也可能高度相关，却在空间上重复。任何单一标量都必须在两者之间做隐式取舍，作者认为这往往并非最优。论文给出的动机例子是：当被问到咖啡杯在哪里时，注意力引导的剪枝丢掉了白色咖啡杯区域，从而给出错误答案。

论文把视觉 token 和文本 token 映射到正交子空间，并定义两个独立度量：用视觉 token 之间的成对相似度核衡量模态内冗余，用视觉 token 与文本之间的相关性函数衡量跨模态冗余。在正交与去相关假设下，两个度量的协方差为零，因此它们沿相互独立的统计方向变化。作者指出这是一个建模假设，当视觉-语言投影器保留模态异质性时近似成立，协方差的大小受跨子空间泄漏量约束。

多样性筛选保留有代表性的视觉子集

第一阶段在视觉编码器之后、LLM 之前运行。ToDRE 不删除冗余 token，而是用贪心最大和多样化过程选出一个尽可能多样的子集。它先选一个枢轴 token，然后反复加入与已选集合累计余弦相似度最低的 token，使每个新 token 都尽量不同于当前集合。过程在保留 k 个 token 时停止，例如 k=288，约占视觉 token 的 10%。

枢轴由视觉编码器最后一层中 [CLS] 注意力最高的 token 确定，该注意力被当作重要性指标。在 LLaVA-NeXT-7B 上的消融显示这一选择效果最好，但随机选择枢轴的表现也接近，作者将其作为编码器不含 [CLS] token 的模型的一种实用替代方案。在 10% 保留率下，[CLS] 枢轴达到 96.0% 的平均性能，随机、中心、最远枢轴分别为 95.8%、95.6% 和 95.8%。

这一阶段只处理模态内冗余。保留下来的 token 多样且能代表图像，但此时还没有任何机制保证它们正是问题所需的那部分。这留给第二阶段解决。

跨模态注意力在最后几层之前已衰减

第二阶段依赖论文称为信息迁移的观察模式。作者测量 LLM 解码器各层的文本到视觉、视觉到文本注意力，报告跨模态注意力在早期较高，随后下降，因此视觉信息在较深层已大部分被吸收进文本表示。解码阶段，输出 token 对视觉 token 的注意力在中层和深层始终低于 5%，而对系统提示和文本 token 的注意力保持较高。

ToDRE 把这一模式当作移除信号，而不是逐 token 打分。在选定的较深层，它计算两个全局跨模态注意力比例，即文本到视觉和视觉到文本，并对所有注意力头和 token 取平均。当两者都低于阈值 tau 时，该层被视为跨模态交互已充分衰减的位置，从该层起移除全部剩余视觉 token。

层选择是一个真实的取舍。从 L/2 层开始应用缩减会把平均性能降到完整模型的 87.9%，因为早期跨模态注意力比例波动较大，剪枝会打断正在进行的对齐。从 5L/8 或 6L/8 开始能节省更多时间，但平均性能下降约 2–4%。从 7L/8 开始则把性能恢复到基线水平，同时保持几乎相同的效率，因此成为默认设置。

阈值决定 token 消失的激进程度

阈值 tau 控制第二阶段剪枝的激进程度。tau 越大，移除触发得越早、越激进；tau 越小，剪枝越保守，以更高的计算代价保住精度。LLaVA-NeXT-7B 上的消融显示：tau=0.03 时平均性能 99.9%、总时间 79:22；tau=0.05 时 100.0%、73:24；tau=0.10 时 100.1%、72:35；tau=0.15 时 100.0%、72:25；未压缩基线为 77:04。

默认 tau=0.10 被选为最佳折中：平均精度保持在基线的 100.1%，同时减少超过四分钟的推理时间。这些数字来自一个模型上四个基准（MME、ScienceQA、GQA、POPE）的平均，因此描述的是这一配置，而不是通用的工作点。

报告的性能提升取决于统计的是哪个阶段

核心结果合并了两个阶段：ToDRE 在视觉编码器之后剪掉 90% 的视觉 token，并在某些 LLM 解码器层中移除全部剩余视觉 token，使总推理时间提速 2.6 倍，同时保持 95.0% 的模型性能。讨论部分报告了在十二个图像和视频语言基准上的实验，并补充称内存占用比未压缩基线低 14.5%。

这些数字不应被理解为同一种统一测量。90% 指视觉编码器之后移除的 token 比例，解码器层的移除是在选定层上一次性删除全部 token，而 95.0% 的性能是跨基准的聚合值，不是逐任务的保证。论文还报告 ToDRE 在八个图像语言基准上始终优于所有基线，这是一个比较性结论，并不表示每个单独基准都有提升。

该方法无需训练且与架构无关，因此不需要重新训练 LVLM。这一性质使剪枝成本主要体现为推理时的计算开销，但也意味着方法继承了预训练模型本身已有的冗余结构。

两阶段设计最值得尝试的地方

论文自身的消融指向一个具体优先级：把第一阶段用于多样性，因为大部分 token 在这一步被去掉；第二阶段只在跨模态注意力已经衰减的较深解码器层使用。在解码器更早的位置剪枝是最明显损害性能的设置，因此在适配 ToDRE 时，需要关注的是层阈值，而不只是保留率。

证据给出两个实用条件。编码器不含 [CLS] token 的模型可以退回到随机枢轴选择，实测性能仅小幅下降，这扩大了第一阶段的适用范围。而第二阶段依赖测得的注意力比例低于 tau，合适的阈值与用于校准的模型和基准组合绑定；tau=0.10 时报告的 100.1% 平均值是该配置下的证据，不是可以照搬的数值。

读这篇论文最有用的方式，是把它看作一个分离论证：多样性和任务相关性回答不同的问题，证据显示它们可以在流水线的不同位置分别处理，且无需重新训练。解码器层阈值则是决定这种分离换来速度还是付出精度代价的关键旋钮。

本文引用的文献