基准设计者该不该在测试集上训练，以暴露非视觉捷径？

盲测反映先验，而非可学习规律

多模态模型不看图像也能答对许多以视觉为中心的基准问题，靠的是语言先验和偏斜的答案分布。常规防护手段是盲测：关闭视觉输入运行基准，看模型已经能答对什么。这测量的是预训练知识，却没有测量模型能从测试集自身规律中学到什么，例如问题模板、重复出现的物体配对或答案选项结构。

论文的提议是补上这一缺口：在测试集的非视觉输入上拟合一个探针，测量它学到了什么。作者把这种做法称为“在测试集上训练”，但明确是面向基准设计者的发布前留出审计，审计对象是基准产物，而不是让部署模型在测试答案上训练的配方。探针审计的是数据，不是模型。

Test-set Stress-Test 如何给基准打分

Test-set Stress-Test（TsT）对测试集的非视觉输入做 k 折交叉验证，取 k=5、随机种子 42、重复一次。每道题只在其留出折中计分，因此探针从不会看到正在被评估的那道题的答案。输出是一个基准层面的 TsT 分数，以及每道题的偏置分数 s(x)。

两种诊断实现这一流程。TsT-LLM 在问题和答案选项文本上对 Qwen2-7B-Instruct 做 LoRA 微调，秩为 8、alpha 为 16、每折训练一个 epoch、学习率 2×10⁻⁴。TsT-RF 是在手工构造的基准专属特征上训练随机森林，特征包括物体类别、答案格式、选项数量和训练折上的频率统计；它提供一种快速、可解释的审计。以留出题目的标准答案为键的特征被排除，以避免标签泄漏。

基于模板的基准泄漏最多

VSI-Bench 和 CV-Bench 都由问题模板构建。在这两个基准上，留出的 TsT-LLM 得分比同一盲测 Qwen2-7B 的零样本得分高 17.9 和 13.1 分。这一差距是论文的核心证据：一个只在测试集自身问题和选项上训练的纯文本模型，学到了零样本盲测模型没有利用的规律。

CV-Bench 的数字是刻意保守的。许多零样本 CV-Bench 答案以单词而非选项字母开头，因而获得随机猜对的分数；若把这些答案判为错误，ΔTsT 约为 +18.4 而不是 +13.1。作者报告较小的值，因为较大的值会把“学会答案格式”算作 TsT 的功劳。重跑也有波动：VSI-Bench 得分落在 42.6–42.8（ΔTsT≈18），CV-Bench 的增益在不同重跑和折划分下约为 13 到 18 分。

MMMU 的盲测成功是知识而非捷径

在知识密集的 MMMU 上，探针学到的东西很少，尽管 GPT-4o 不看图像也能答对其 52.3% 的选择题。作者把这一对比解读为：MMMU 上的盲测成功反映的是预训练知识，而不是可学习的测试集规律。因此，高盲测分数和高 TsT 分数回答的是不同问题：前者说明模型已经知道什么，后者说明发布的产物让什么变得可学习。

这也意味着较小的 ΔTsT 只是可学习非视觉信号的下界。更强的诊断可能发现更多，而任何部分输入探针都无法检测依赖被省略图像的产物。按 Δs(x) 修剪 MMMU 的表现与随机删除相近：从 900 道题中删去 100 道，差距从 6.7 变为 7.5，落在 1,000 个随机种子下 4.62 到 8.75 的随机删除范围内。

修剪偏置最高的题目会拉大差距

Iterative Bias Pruning（IBP）反复删除 s(x) 最高的题目，再重新诊断剩余部分。在 VSI-Bench 上，设计者参与的手工试点删除了 54.0% 的题目（5,130 道中删去 2,768 道，保留 2,362 道），把微调后 LLaVA-Video-7B 的视觉与盲测差距从 12.4 拉大到 16.7，而同样删除比例下随机删除为 12.4±0.6。

拉大差距的效果在不同模型间并不一致。Cambrian-S（19.2 到 26.0）和微调后的 LLaVA-Video-7B 变化最大，这两者的原始盲测分数最高；语言模型并非来自 Qwen 系列的 InternVL3-9B 也出现拉大（11.1 到 13.2）。对原始盲测分数最低的模型，差距几乎不变；LLaVA-OneVision-7B 甚至略有收窄（9.0 到 8.5）。

自动化 IBP 弱于手工调优的试点。按题型 IBP 在同样的 54% 删除率下达到 14.1 到 14.7 的差距；按格式 IBP 在预算 1,000 道题时删除 19.5%，差距仍为 12.4，接近该删除率下的随机删除。

发布的去偏集以覆盖度换取更大差距

VSI-Bench-Debiased 把微调后 LLaVA-Video-7B 的盲测分数从 44.7 降到 32.0，而视觉分数只从 57.1 降到 48.7，差距因此从 12.4 增至 16.7。在去偏集上，用 VSI-Train-10k 微调使视觉分数提高 17.4 分、盲测分数提高 11.7 分；在原始集上则分别提高 20.4 和 18.8 分，说明去偏集上更多增益需要视觉。

代价是题型构成改变。试点使用手写的按题型过滤器和手工设定的预算，删除了 85.7% 的中等难度相对方向题，却只删除 2.3% 的简单题，并保留全部十种题型。作者把这一点列为试点的局限，并指出需要自动化后继方案；他们把去偏集作为独立数据集发布，而不是可直接替换原集的版本。

诊断的边界在哪里

折划分的是题目，而不是题目背后的场景或图像，因此随机折也会把同一场景相关题目共享的规律计入。按场景分组 VSI-Bench 的折后，TsT-RF 从 43.0 降到 38.8，主要出现在外观顺序题；TsT-LLM 的增益变化不大（17.9 到 17.0 分）。作者建议同时报告随机折和分组折的分数。

两种诊断对删除哪些题目也存在分歧：它们删除的题目集合 Jaccard 重叠为 0.060；把 TsT-LLM 中的 Qwen2-7B 换成 LLaMA-3-8B，Δs(x) 排序的 Spearman 相关系数为 0.58。TsT-RF 需要为每个基准手工构造特征，被标记的题目也尚未系统审阅。VSI-Bench-Debiased 减少了非视觉捷径但没有消除它们，修剪还可能产生新的答案先验；修剪后的集合没有重新跑过 TsT。

设计者发布前应报告什么

论文的实践优先级是对基准产物做发布前的留出审计，并与基准本身一同报告。最值得关注的比较发生在基准之间，而不是模型之间：基于模板的 VSI-Bench 和 CV-Bench 显示出较大的可学习增益（17.9 和 13.1 分），而 MMMU 尽管 GPT-4o 能盲答对 52.3% 的选择题，却几乎没有可学习增益。盲测分数高但 TsT 分数低的基准测量的是知识；TsT 增益大的基准则把捷径交给了模型。

对决定是否修剪的设计者，论文自己的数字给出了门槛。手工调优的试点把差距拉大到 16.7，自动化按题型 IBP 达到 14.1 到 14.7，按格式 IBP 在删除 19.5% 时差距仍为 12.4，与原始的 12.4 基本持平。修剪若不能超过同删除率下的随机删除，就没有证明收益；任何改进后的基准都应在发布前用分组折重新诊断。

本文引用的文献