视觉语言模型在跨模态联想中能匹配人类注视吗？

选择一致掩盖了空间差异

跨模态联想是不同感官特征之间的系统性配对，例如bouba–kiki效应：人们把伪词“bouba”与圆润形状配对，把“kiki”与尖锐形状配对。这项研究问的是，视觉语言模型（VLM）能否复现这些配对，以及一个更少见的问题：它们在做出选择时，是否看向人类所看的位置。人类和模型看到相同的刺激：先是一个伪词，随后是一对图像，其中一张更圆润，一张更尖锐。

答案分成两部分。选择一致性指在匹配的试次中模型选出与人类相同的图像，它主要出现在一部分较大的VLM中。空间一致性指模型的显著性图与同一名参与者在同一试次中的注视相关，它并未随之出现：这些显著性图与人类注视的吻合程度，低于一个中心偏置基线，即固定在每张图像中心的中心高斯。像人类一样选择，和像人类一样注意，在这项研究中是两个彼此分离的结果。

53名参与者共用同一套试次设计

人类参照来自53名参与者贡献的8,208个清洗后试次：7,141个构造伪词、910个形容词和157个规范试次。参与者先大声读出一个标签，然后说出A或B，选出他们认为与该标签更匹配的图像，同时记录眼动。只有图像呈现完整、选择有效、两张图像内合计至少有两个注视点，且注视覆盖图像显示时间至少80%的试次才被保留。

标签集混合了4个规范伪词、162个按音素构造的伪词和20个形容词，与75对极简线条图、92对语言模型生成的图像对以及17对取自先前工作的图像对配对。由于人类和模型使用相同刺激，这一比较不再继承早期研究在人类与VLM之间使用不同刺激或任务所带来的错配。

人类行为本身也不是二元的。意图类别一致率指与标签预期圆形或尖锐类别相符的回答比例，英文形容词为94.84%，规范伪词为84.71%，复现了标准效应，但构造伪词只有73.98%。大约每四个回答中就有一个偏离预期类别，因此论文既把模型与预期类别比较，也与该试次中参与者的实际回答比较。

注视逐渐累积到最终选择的图像

只有当注视携带关于选择的信息时，它才是有用的参照。在清洗后的数据中，无论以导出的注视采样点还是以注视时长总和衡量，参与者看得更多的图像就是他们最终选择的图像，这一比例在77–80%的试次中成立；对构造伪词按注视采样点计算为80.58%。而包含首次注视的图像与选择的一致率仅为随机水平，即51.07%。

作者把这种关系描述为关联而非因果关系：注视会逐渐累积到最终被选择的选项上，因此它反映的是注意力最终落在哪里，而不是最初的左右偏向。这一区分影响如何解读后续训练实验，因为它是把逐试次注视当作监督信号、而非独立偏好测量的前提。

较大模型匹配选择而非注视

选择一致性集中在较大的模型中。论文报告，较小模型能匹配形容词，但在伪词上接近随机水平，并受左右位置锁定；少数较大的VLM则与人类选择一致。Molmo2-8B说明这两种能力可以相差多远：形容词意图类别一致率接近完美，为0.94，而伪词一致率接近随机，为0.53。

空间结果指向相反方向。对在7,141个伪词试次上评估的六个生成式模型，图像内注意力–注视平均相关从Molmo2-4B的−0.074到Gemma4-E4B的0.340，而中心基线在相同试次上达到0.637或0.601。讨论部分给出一个具体对照：Gemma4-26B的伪词选择与人类判断的相关约为r ≈ .58，而其注意力与注视的相关只有.27。

作者把这一模式解释为：模型通过整体图像表征达成与人类一致的选择，而不是依赖人类注视所集中的局部形状信息特征。这是论文的解释，不是直接测量的机制；被测量到的事实是选择一致与空间一致之间的分离。

微调选择后注意力仍未跟上

用人类选择微调小型VLM后，它们在未见过的词和图像上的选择一致性提升到人类多数投票参照的水平。这一提升没有在空间上转移：它们的注意力与人类注视的吻合程度仍低于中心偏置基线。讨论部分把选择提升量化为人类选择一致率约提高20个百分点，而图像内注视相关仍低于基线。

这是论文中最鲜明的比较，因为它固定模型，只改变训练目标。如果选择一致性是人类一致加工方式的代理指标，那么提高它应当使空间一致性向人类注视靠拢。但事实并非如此，因此作者把空间一致性视为判断模型是否以人类方式加工这些联想的更具诊断力的检验。

注视训练提高相关却不改变选择

直接用人类注视训练模型注意力，把图像内注意力–注视相关从低于中心偏置基线提升到.67–.73，而人类选择一致率和负对数似然都没有可检测的变化。这个结果看起来像注意力对齐成功，直到加入对照：每个图像位置只用一张平均注视图，也能带来相似的相关提升。

作者把这一点与先前关于注视正则化改善注意力对齐的报告联系起来，并指出他们的结果在注意力上与之相符，但提升没有转移到选择上，而且一张恒定的平均图就能达到同样效果。因此在这项研究中，更高的注意力–注视相关本身并不能证明模型获得了类人的跨模态加工，因为一张忽略词和试次的图也能带来相当的提升。

结论适用到哪里为止

微调证据基于三个模型、一个优化种子、一个注视损失权重和原始提示词，因此训练结果描述的是这些设置，而不是一套通用配方。注意力图和Grad-CAM是依赖层级的关联性读数，不是对模型行为的因果解释。书面标签还把音系与正字法混在一起，参与者是同一机构的英语使用者，并在各数据划分之间共享。

在这些边界内，论文的贡献是一项匹配比较，把通常被混为一谈的两件事分开。选择一致性和空间一致性在同一刺激、同一试次上测量，并且彼此分离：较大模型可以匹配人类选择，而其显著性却落后于中心高斯；用选择微调能缩小选择差距，却不能缩小注视差距；用注视训练能提高相关，却不能提高选择。

由此得出的实际优先级是应当信任哪种测量。当问题是VLM是否具有与人类相同的跨模态联想时，仅凭所选图像一致是弱证据；注意力–注视相关也是弱证据，除非它超过一张恒定平均注视图已经达到的水平。论文自己的阈值是中心偏置基线：模型的显著性必须优于固定在图像中心的中心高斯，其空间行为才能被解读为与人类一致，而不是偶然的。

本文引用的文献