视觉语言模型分数为何丢失编码器仍保留的空间方向？

读出盲区指编码器与分数之间的落差

类 CLIP 视觉语言模型通过分别编码的表示打分来匹配图像与文本，其视觉编码器也用于多模态大语言模型。论文关注基于分数的读出方式，因为它支持排序和阈值判断，因而被用于决策。这类分数在有向空间关系上仍然出奇地弱，例如判断一个物体是否在另一个物体左侧，即使相关物体已被识别，分数也常常接近随机水平。

论文将这一失败称为读出盲区：编码器保留的信息与分数所揭示的信息之间的落差。其核心主张是，方向性失败可能源于打分规则本身，即使信息已存在于编码器中。这把问题从学习更好的表示转向设计更好的读出方式，也是论文其余部分所检验的问题。

对称打分规则在构造上抵消方向

理论分析部分追问：打分规则在什么情况下无法区分方向。论文的答案是，当打分规则对称地对待主语和宾语时，方向会被抵消，与编码器训练无关。换言之，一条不区分哪个物体是主语、哪个是宾语的规则，无法表达哪一个在另一个左侧。

这是关于读出方式的论断，而非关于编码器能力的论断。它也解释了为什么通过微调或额外监督提升准确率并不能回答最初的问题：增益可能来自新学到的空间线索，或来自文本与世界先验，而非编码器暴露了方向。因此论文保持编码器固定，考察能从其特征中恢复出什么。

ADR 用质心间带符号位移表示方向

反对称位移读出（ADR）在冻结特征中将标题词与图像块对齐，并用匹配到的物体质心之间的带符号位移为每种关系打分。这种对齐是显式的：方法计算并暴露文本词元与图像区域之间的对应关系，因此对齐映射和质心有助于解释每一次判断。

关键在于，ADR 既不需要调参，也不需要额外的可学习参数。它在没有额外训练的情况下成功，论文将此视为方向信息仍保留在冻结编码器中的证据。论文报告了两个变体：使用 Sinkhorn 耦合并保留超额质量的 ADR，以及 ADR-pi-d，即对每个词独立地在图像块上做闭式 softmax。默认变体使用超额耦合，实现中将列质量下限设为 10^-30；在已发表的运行中未观察到空列。

先验扣除把真实对齐与文本世界先验分开

论文指出，文本与世界先验会抬高准确率，使准确率本身不足以评估对齐。一个读出方法完全不用匹配图像也可能得高分。为此，作者提出先验扣除：把每条标题与同一基准中一张不相关的图像配对后重新打分，这一对照被称为错排零假设。

先验扣除从原始准确率中减去零假设准确率，得到接地增益，衡量在扣除先验效应后原始图像-标题配对带来的收益。论文还构建了零假设准确率接近随机水平的方向平衡子集，以便更公平地比较。这些子集、先验扣除、可复现的错排对照和共享打分规则共同构成一套可复用的评测工具包。

ADR 在多个编码器家族上提升接地准确率

在多个编码器家族上，ADR 相比已部署分数有大幅提升，而后者在多数方向平衡集合上仍接近随机水平，即使对微调过的编码器也是如此。在 VG-Relation 左/右子集（n=3918）上，ADR-pi-d 的原始准确率达到 91.04%，零假设为 49.62%，接地增益为 +41.4 个百分点；而已部署余弦分数原始准确率为 50.33%，零假设为 48.72%，增益仅 +1.6 个百分点。

这一模式在其他集合上同样成立。在 COCO-spatial（n=404）上，ADR-pi-d 原始准确率为 94.80%，零假设为 48.02%（+46.8 个百分点）；在 What'sUp-B（n=354）上，原始准确率为 52.70%，零假设为 25.00%（+27.7 个百分点）。在 VSR 水平子集（n=1201）上，ADR-pi-d 原始准确率为 100.00%，零假设为 51.42%（+48.6 个百分点）。论文将这些报告为先验扣除后的接地增益，而非单纯的原始准确率。

ADR 以极小算力胜过 MLLM 似然读出

与更复杂的读出方式相比，ADR 优于所评估的 MLLM 似然读出，并在算力仅为其一小部分的情况下与它们的对话推理相当。在错排零假设下的 AUROC 分析中，ADR-pi-d 在 VG-Rel 左/右上达到 0.880，在 COCO 上达到 0.899；而 Qwen3.6-27B 似然读出分别为 0.717 和 0.726；已部署余弦分数则停留在 0.5 附近。

在 30% 覆盖率下，ADR-pi-d 在 VG-Rel 左/右上准确率为 0.999，在 COCO 上为 1.000；Qwen 似然读出分别为 0.916 和 0.967，已部署余弦为 0.495 和 0.446。成本对比同样悬殊：ADR 与已部署 CLIP 使用相同的 0.15B 参数，FLOPs 约为其 3.3 倍，时间约为其 2.2 倍；而 Qwen3.6-27B 对话使用 182.4 倍参数、约 550.7 倍 FLOPs 和 65.9 倍时间。

深度代理与参考系限定 ADR 的适用范围

对于前/后关系，ADR 使用图像竖直轴作为深度线索，而非估计三维深度，因此仅靠物体定位正确并不能保证三维关系正确。论文指出，该轴是在探索性 VG-Relation 分析后选定的，并在不重叠的 VG-Relation 图像和 What'sUp-B 上评测前固定；所谓无训练指的是编码器权重和读出参数均不学习。

VSR 中的参考系标注解释了部分剩余误差。在真实陈述上，ADR 与从观察者视角定义的关系一致率为 0.9290，但与从物体视角定义的关系一致率仅为 0.2239。由于 ADR 在图像坐标中测量位移，它遵循观察者视角，这种与以物体为中心标注的不一致解释了它在 VSR 上的部分错误。温度敏感性也因变体而异：在 0.02 到 0.2 之间，左/右准确率对 ADR-pi 变化 0.1 个百分点，对 ADR-pi-d 变化 1.6 个百分点；而在 What'sUp-A 上，两者范围分别为 2.9 和 28.7 个百分点。

应优先检查读出方式而非编码器

论文最具决策意义的结论是一个优先级排序：在微调编码器或增加空间监督之前，先检查打分规则本身能否表达方向。对称规则会抵消方向，与编码器训练无关，因此重新训练带来的提升可能反映的是新线索或先验，而非恢复的方向。ADR 表明，方向信息可以通过合适的读出方式从冻结特征中恢复，无需训练或可学习参数。

论文提供的实用阈值是接地增益，而非原始准确率。在零假设接近随机水平的方向平衡子集上，ADR 的接地增益很大，并在多个编码器家族上保持一致；而已部署分数即使对微调编码器也仍接近随机水平。因此最重要的比较，是在相同条目、相同错排分配和相同打分规则下、经先验扣除后各读出方式之间的比较，同时对深度和 VSR 类关系保留观察者与物体参考系的区分。

证据范围限于名词对关系与冻结编码器

证据覆盖名词对之间的有向空间关系，在取自 ARO、What'sUp、VSR 和 VALSE 的方向平衡子集上评测，涉及的编码器家族包括 CLIP、MetaCLIP、SigLIP2、BLIP、NegCLIP、CLoVe 和 CE-CLIP。论文自身的讨论将更广泛的多模态对齐任务、超越名词对的更复杂关系，以及扩展到更广的 VLM 架构列为未来工作。

两条边界限定了结果。第一，深度关系是竖直轴代理，而非三维估计，因此定位成功并不意味着前/后判断正确。第二，评测工具包的方向平衡子集是按零假设准确率接近随机水平筛选的，这使接地增益可解释，但也意味着所报告的增益特定于这些受控集合，而非任意基准。

本文引用的文献