视觉干预如何提升 MLLM 几何图形理解？

稀疏线索与模糊的符号—图元关联

几何图形给模型的信息很少：几笔线条、少量标注，以及隐含而非写出的关系。论文把核心困难概括为稀疏视觉线索，加上符号与其所指图元之间模糊的关联。在这种条件下，MLLM 可能退回到文本先验，给出与图形实际内容相冲突的解释。

作者把这一点追溯到两种注意力失效模式。第一，早期层捕捉到的视觉线索在更深的层被忽略：关注到某个相关视觉 token，并不保证该 token 在后续层继续起作用。第二，在更深的层，注意力过度集中在字母符号上，而忽略几何结构。论文把第一种模式称为确认偏误，即已有解释被强化，与之冲突的视觉证据被降权。

第二种失效更隐蔽，也影响你如何解读结果。识别出一个数字或顶点标注，并不等于建立了它们之间的几何关系。知道某个标注读作“B”，并不能告诉模型哪几条相邻边定义了被标注的角。论文的动机示例是一个 43 度标注，其深层注意力集中在标注和附近符号上，却未能恢复局部拓扑。

在解释尚未定型处介入

CVIF 免训练，只在推理期运行。它不修改模型参数，而是利用问题末尾 token 的预测熵确定一组关键层，然后在从证据聚合转向语义解码的过程中施加视觉干预。

时机的选择是论文的核心设计主张。作者用能量景观视角来解释：在表征的关键状态下，相互竞争的解释尚未稳定，此时强化局部视觉证据仍能改变结果。一旦与先验相容的读法在更深的层固化，同样的证据可能再也无法改变预测。

这是论文提出并检验的机制，而不是说熵本身就能解释几何推理。关键层是由诊断指标选出的候选层；干预只施加在这些层上，其他层保留模型原生的前馈路径。

GCLR 围绕检测到的顶点重建局部关系

几何约束局部关系重建模块以检测到的几何顶点为锚点。它结合历史平滑注意力与以顶点为中心的空间先验为每个顶点打分，然后在被激活的顶点周围选出候选 token，生成目标 token 集合与拓扑感知权重。

具体来说，对每个视觉 token，模块计算它到各顶点的距离，并构建两个先验：一个混合两种距离衰减成分的拓扑先验，以及一个锚点先验。基础相关性得分在拓扑先验下对历史注意力加权。随后加入距离衰减补偿项，得分超过动态阈值（由候选顶点得分的均值加上一个缩放后的标准差定义）的顶点被保留为激活顶点。

对每个激活顶点，token 级响应经过阈值筛选以保留代表性 token，并额外加入锚点先验与注意力乘积最高的那个 token，以保留以顶点为中心的锚点。每个顶点候选集内的 token 权重通过一个平衡项结合空间锚定与历史注意力。最终目标集合是所有激活顶点候选集的并集，每个目标 token 的权重汇总它来自所有激活顶点的贡献。

设计意图很明确：全局注意力无法捕捉复杂拓扑，因此该模块以顶点而非深层注意力偏好的字母标注为组织核心，在局部重建空间—语义映射。

AVSO 重塑注意力并补偿文本 token

自适应视觉引导算子在不改动模型参数的前提下重塑关键层的注意力。对每个目标 token，它比较当前注意力与历史注意力先验，计算一个塑形因子，然后沿注意力头维度把当前注意力与该因子逐元素相乘。

干预是选择性的，而非全局的。门控只对同时表现出对视觉 token 注意力高、但与目标 token 对齐不足的注意力头触发，使用一个视觉注意力下阈值和一个目标注意力上阈值。模块还会计算一个保证系数，使塑形后的目标注意力达到有竞争力的视觉注意力量级。

由于提升目标 token 会增加注意力质量，该算子通过缩小文本 token 的注意力来补偿。文本 token 缩放因子根据新增质量与当前文本注意力质量之比，被限制在 0 到 1 之间。最终引导后的注意力由被提升的目标 token、被补偿的文本 token 和保持不变的其余 token 组合而成，再沿 token 维度归一化。引导后的注意力矩阵与 Value 矩阵相乘，论文将其描述为在后续前馈层中把隐状态推过势垒。

Overall F1 分别提升 7.73 与 7.61 点

核心结果来自两个基准。在 PGPS9K 上，CVIF 把 Overall F1 从 77.85 提升到 85.58，提升 7.73 点。在 PGDP5K 上，它把 Overall F1 从 75.23 提升到 82.84，提升 7.61 点。

这两个数字都是图形解析任务上的 Overall F1，对照的是同一基准的基线。它们不是下游几何解题的准确率，也不是分类别得分。论文把它们作为干预改善图形解析性能的主要定量证据。

两个基准的基线水平不同：PGDP5K 起点更低，为 75.23，终点 82.84，也低于 PGPS9K 的 85.58。两者的绝对提升幅度相近，这正是论文框架所支持的比较：无论从这两个基准中的哪一个出发，干预带来的增量大致相同。

生成的描述被翻译并用于下游评估

为使定量评估严谨，生成的几何描述使用 Qwen3-VL-32B 翻译为形式语言。论文还评估了这些生成描述在下游几何推理中的使用。

这一点对解读 F1 数字很重要。解析得分是在经过形式语言翻译步骤的描述上计算的，因此报告的 Overall F1 反映的是干预加翻译的流程，而不只是被干预模型原始文本输出的表现。

论文把下游评估作为干预缓解视觉幻觉、并展示一种新的推理期干预范式的证据。这是作者对解析结果与下游结果合并后的解释，而不是现有证据中单独报告的一项受控比较。

免训练干预的适用范围边界

CVIF 是推理期方法，因此其增益依赖基座模型已有的视觉表征。论文自身的表述是，失败主要并非源于无法感知视觉信息；干预是把注意力重新导向模型已经捕捉到的证据。它不能替代一个从未编码相关视觉 token 的模型。

报告的定量结果覆盖两个平面几何图形解析基准，PGPS9K 和 PGDP5K。现有证据不能确立它可迁移到立体几何、其他图形类型，或论文自身对生成描述评估之外的下游推理基准。

若干组件带有超参数，证据中描述了它们但未做消融：拓扑先验中 0.2 的混合权重、空间尺度参数、补偿强度与衰减率、空间锚定与历史注意力之间的平衡项、历史注意力贡献控制、两个门控阈值，以及干预强度。论文仍在审稿中，因此这些结果应被视为预印本阶段的报告，而非已定论的基准记录。

层位置的选择才是关键决策

这篇论文中最关键的变量不是注意力提升的强度，而是它施加在哪里。CVIF 的增益来自在熵选出的关键层、在从证据聚合转向语义解码的过程中、在相互竞争的解释稳定之前进行干预。按论文自身的能量景观论证，同样的顶点锚定证据若在与先验相容的读法固化之后施加，改变预测的空间会更小。

这改变了看待两个基准结果的方式。PGPS9K 与 PGDP5K 上约七点的 Overall F1 提升，是时机决策加上几何约束的 token 选择共同带来的结果，而不是一句“多关注图像”的通用指令。如果你在评估这条研究路线，值得追问的是关键层诊断能否泛化，因为框架的机制正依赖这一组件。

本文引用的文献