准确率无法区分推理与捷径
模型可以在不进行空间推理的情况下正确回答空间问题。如果它记住了常见的物体共现关系，例如杯子在桌上、人坐在椅子上，它可能给出正确的最终答案，但依赖的是语言先验而非图像中的关系。标准空间基准只对最终答案评分，因此无法区分忠实的空间推理与这类捷径。
SpatialChain 正是为了让这一区分可测量而构建。它为每个取自 GQA 的空间问题附加一条显式的、基于场景图的推理链，并在不考虑最终答案是否正确的情况下评估该推理链。论文报告称，这一协议揭示了标准准确率看不到的发现，这也是其余结果所检验的核心主张。
推理链由符号化场景图合成
每条推理链都使用带扩展思考的 Claude Haiku 4.5 从 GQA 的结构化场景图合成。只有当生成的答案与真实答案一致时，该推理链才会被保留，并以兼容思考模式视觉语言模型的格式存储。由于每个推理步骤都源自可验证的符号标注，参考推理链可用于审计模型的思考轨迹是否涉及正确的空间关系。
数据集包含 28,350 个训练样本和 899 个测试样本，分别来自 19,263 张和 719 张唯一图像。训练推理链平均长度为 115 词（中位数 112），测试推理链略长，平均 145 词，反映了测试集偏向复杂度的选择方式。关系分布以投影关系为主：在首次出现标注方案下，left_of 和 right_of 占训练问题的 62.7%，即每个问题按其字符串中首次出现的空间关系打标签。论文指出，这些统计反映的是空间链的入口，而非其完整关系内容，因为许多问题组合了多种关系，测试集中尤其如此。
两个维度分别评估重叠度与忠实度
评估结合了客观的推理链重叠度指标与一个感知场景图的 LLM 评判模型。该评判模型独立于最终答案，对推理的忠实度和完整性评分，因此即使答案正确，其推理不忠实时仍会被标记。这正是捷径率的来源：被评判模型判定为推理不忠实的正确测试答案所占的比例。
评判模型通过两种方式得到验证。在 198 个人工标注条目上，评判模型与人类的一致程度与人类之间的一致程度相当。在与来自不同提供方的第二个评判模型对比时，模型排名得以保持，相关系数为 ρ = 0.88。论文还报告了忠实度阈值的扫描结果，在该指标能够区分模型的范围内（τ ≥ 0.5），捷径率的排序保持稳定。
四个高准确率模型捷径率超过 39%
该协议应用于九个思考型视觉语言模型后发现，九个模型中有四个在 VQA 准确率达到至少 79% 的同时，捷径率超过 39%。换言之，它们相当一部分正确答案伴随着被评判模型判定为不忠实的推理。这正是标准准确率无法揭示的结果，因为同样的答案在传统基准上会被计为成功。
捷径率取决于忠实度阈值 τ。在 τ = 0.5 时，微调变体的比率最低（Qwen3-VL-8B FT 为 0.222，Qwen3-VL-4B FT 为 0.194），而 InternVL3.5-4B 和 InternVL3.5-8B 最高（分别为 0.580 和 0.473）。论文报告称，在该指标能够区分模型的整个范围内，这一排序都成立。阈值扫描之所以重要，是因为捷径率并非一个固定数值，而是相对于所选忠实度截断值定义的。
九个模型中七个的推理链质量可预测正确性
推理链质量显著预测了九个模型中七个的答案正确性。两个例外——Claude Sonnet 4.6 和 InternVL3.5-8B——揭示了仅凭基准准确率会混淆的两种性质不同的失败模式：简洁输出与冗长装饰性推理。
扩展指标让这一区分变得具体。Claude 4.6、GPT-5.4 和 InternVL3.5-4B 等专有模型表现出高 token 精确率但极低召回率，意味着它们紧凑的输出包含相关词，但只覆盖参考内容的一小部分。Qwen3-VL-4B 和 Qwen3-VL-8B 等开放权重基础模型则相反，精确率中等但召回率高，与冗长、探索式的推理链一致。步骤标记进一步区分了各组：微调模型每条链平均 0.26 至 0.45，与参考格式相符；开放权重基础模型平均 2 至 3，列举的步骤多于参考；专有模型得分为 0.00，表明几乎完全缺乏显式推理结构。实体重叠也证实，微调模型约为 0.48，尽管生成的推理链更短，却比其他任何组都更忠实地引用场景图对象。
投影关系占主导并暴露接地缺口
测试集上的分关系准确率显示，总体得分由两个样本充足的投影关系主导：left_of（n = 314）和 right_of（n = 327）。在这两个类别上，模型排名与总体准确率高度一致。由于测试集偏向复杂度的选择方式，其他若干关系样本量极小，包括 behind（3 个）、below（4 个）、above（12 个）和 next_to（8 个），因此这些单元格的结果仅为完整性而报告，解读时应谨慎。
最显著的偏离是 Claude 4.6，它在非投影关系上的准确率（in_front_of 0.93、behind 1.00、next_to 1.00）明显高于投影关系（left_of 0.76、right_of 0.83）。论文将这一模式解释为与 Claude 4.6 的高捷径率一致：投影性的左/右区分需要捷径无法提供的精确视觉接地，而 in_front_of 之类的关系更容易从语言共现先验中恢复。这是论文的解释，而非单独测量的因果结果。
微调降低捷径率但使风格偏离域外
在 SpatialChain 上进行监督微调使 Qwen3-VL-8B 在域内提升 6.2 个百分点，并将其捷径率降至 22%，是所有评估模型中最低的。这是论文中最清晰的证据，表明在基于场景图的推理链上训练可以同时改变准确率和忠实度。
同样的训练也在外部基准上产生了风格专门化效应，论文提出用回放增强训练来缓解。在 ERQA 上，Qwen3-VL-4B 的准确率从基线的 0.453 降至第 63 步的 0.388，随后在训练剩余阶段稳定在 0.372 至 0.425 之间。各类别中降幅最大的是轨迹推理，从 0.409 降至最终的 0.273，该类别需要跨多张图像追踪物体路径，而 SpatialChain 并未对此进行训练。在 EmbSpatial-Bench 上，投影关系（left、right）和 above 非常稳定，最终降幅低于 2 个百分点，而深度相关关系承担了大部分退化（close −5.0 个百分点，far −7.4 个百分点）。论文将此解读为模型把 SpatialChain 模板不恰当地套用到 EmbSpatial 提示上，而非灾难性遗忘深度推理，并指出 close 从第 1,875 步起出现部分恢复。
符号关系使几何与步骤正确性未被检验
该基准存在边界，限定了其忠实度信号的可迁移范围。GQA 场景图由人工标注，可能包含错误并传播到合成推理链中。答案一致性过滤只验证推理链的结论，而非每个中间步骤，因此生成器可能产生幻觉：保留下来的推理链结论正确，但不保证每一步都正确，论文将基于场景图节点 ID 的逐步验证列为自然的下一步。
忠实度评判模型是单一模型，与参考生成器同属一个家族，且有一个被评估系统也属于该家族。第二评判模型和人工验证结果限制了这一风险，但由非 Claude 模型生成的参考仍未经验证。该任务是二元 YES/NO，训练集中 yes 率为 58%，这使所报告的差值成为可能，却限制了准确率维度，并被监督微调放大。最后，场景图关系是符号化的而非度量的，因此该基准无法捕捉完整几何理解，例如精确距离或 3D 深度，且偏向复杂度的测试集由投影性左/右关系主导。
因此最具决策价值的解读是一种比较，而非单一分数。在比较空间视觉语言模型时，论文的证据表明应同时看两个数字：准确率与在明确忠实度阈值下的捷径率，因为九个模型中有四个将至少 79% 的准确率与超过 39% 的捷径率结合在一起。捷径率为 22% 的微调版 Qwen3-VL-8B 是论文中最清晰的例子，说明两个维度可以同时改善，而 ERQA 和 EmbSpatial-Bench 的轨迹则显示了当这种改善通过格式专门化换来时需要关注的代价。
本文引用的文献
SpatialChain: A Benchmark for Auditing Spatial Reasoning Faithfulness in VLMs
九个思考型视觉语言模型中有四个在 VQA 准确率达到至少 79% 的同时捷径率超过 39%，而在 SpatialChain 上进行监督微调使 Qwen3-VL-8B 在域内提升 6.2 个百分点，并将其捷径率降至 22%。