视觉 Transformer 能否仅凭图像学会词义？

没有任何语言标签的词义测试

论文要回答的问题是：视觉模型能否仅凭像素学会词的含义。作者选取 14 个模型，让它们看渲染在照片背景上的文字图像，再检查得到的表示是否把语义相关的词放在彼此附近。关键模型是 DINOv3-H 和 DINOv3-7B，它们只用图像做自监督预训练，没有配对的字幕或类别标签。

对照模型的构成决定了结果该怎么读。其中包含较小的 DINOv3 模型、三个 DINOv2 模型、三个用掩码重建训练的 MAE 模型、Web-DINO-1B、两个有语言监督的模型（CLIP-B 和 SigLIP2-B），以及一个未训练的 ViT-B，用来作为只反映视觉字形的基线。如果未训练的网络已经按拼写把词分组，语义结构就不足为奇；这个基线正是用来排除这种情况的。

减去打乱字母的对照以分离词信号

作者为每张词图像配一张匹配的对照图像。背景、边界框、位置、颜色和衬底面板都保持不变，只把字母的不透明度掩码换成相位打乱的版本。词表示就是模型对完整词图像的嵌入与对对照图像的嵌入之差。这样相减意在去掉背景和版式，只留下可读字母带来的贡献。

词表包含 1,481 个词和名称，外加 80 个伪词，全部为小写、三到十个字母，渲染在 96 张不含文字的 ImageNet 背景上，使用 24 种排版设置。每个词出现在四张背景上，共 299,808 张图像。在中心化之前，词表均值在 14 个模型上中位数占未中心化差向量均方范数的 88%，因此作者减去该均值，得到词方向。一个词的方向因此取决于词表的其余部分，这也是同一个词在词汇词表和类名词表中方向不同的原因。

类别与国家关系强于同义关系

最有力的证据来自近邻结构。同一行业的品牌名会聚在一起，同一语义领域的名词也会聚在一起，衡量方式是某个词的十个最近邻中属于同一类别或行业的比例。德国与柏林这类国家—首都对表现出稳定的向量偏移，类似在文本上训练的词嵌入。这些结果来自 DINOv3-H 和 DINOv3-7B，作者称据其所知，这是首批对渲染文字表现出显著语义结构的自监督视觉模型。

同义关系较弱。在三元组测试中，同义词必须比指定的竞争词更接近锚词。单字母编辑条件刻意提高了难度：竞争词与锚词只差一个字母的插入、删除或替换，因此拼写相似性与词义直接竞争。论文自己的讨论指出，类别归属和国家—首都关联比同义关系表达得更清晰，相似性与关联性是两回事，事实性关系并不意味着同等强度的同义知识。

另一项测试考察渲染的类名是否靠近它所命名物体的图像。类名词表包含 200 个单词形式的 ImageNet-1k 类名，每个名称的词方向与一个视觉方向比较，后者由未用作背景的 49,904 张验证图像计算得出。这把词义与所描绘的物体类别联系起来，而不只是与其他词联系。

与文本和语音编码器共享结构

作者把视觉模型的词方向与同一批词在三个 Qwen3 文本编码器和 w2v-BERT 2.0 语音编码器中的表示进行比较。文本向量通过把每个词放入同样的 96 个中性载体句再取平均得到；语音向量来自四句载体句，由八个声音以三种语速说出，只汇集词被说出的那些帧。一致性用两种方式衡量：互 10 近邻对齐，即两个编码器共享的每个词十个最近邻的平均比例；以及线性 CKA，它比较全部成对相似性的模式。

比较显示，同一批词在不同模态的表示之间存在共享结构。论文还报告了一个跨编码器零假设对照，它控制了词长，但没有控制词形的全部共有属性，这限制了表示趋同结论能推到多远。

微调对 DINOv3-H 帮助最大

微调实验要问的是，语言监督能否建立在模型已有的词关系之上。作者训练自监督视觉模型把 COCO 图像与书面字幕或合成语音字幕匹配，做法是用一个学习到的线性投影映射到冻结的文本或语音编码器，并使用对称 InfoNCE 损失。检测到文字的图像被排除，以免模型直接读取画面中的文字。训练后丢弃投影，因此只有视觉模型的权重发生变化。

与任一编码器做对比对齐都增强了 DINOv3-H 的词级语义结构，而其他参与微调的视觉模型基本没有变化。文本微调之后，每个词只用四张渲染图像，得到的名词纯度和同义词 top-10 准确率就高于微调前使用全部 96 张图像的结果。作者认为这与部分功能休眠的解释一致：字幕监督让已有的词汇结构更容易被提取。他们也明确指出，这些结果无法区分是唤醒了已有关系还是学到了新关系。

语义结构可能来自哪里

这种结构的来源仍未确定，这也是论文的核心未解问题。词可能从周围的视觉内容获得关联，也可能从训练画面中嵌入的文字获得关联。后者即使对场景中没有直接描绘的关系，也能提供语言共现信号。作者指出 DINOv3 的图像主要来自公开的 Instagram 帖子，因此仅用图像训练并不等于只从描绘的具体物体中学习。

研究范围也有具体边界。这些发现不能确立分类层级或句子层面的组合。稳定的国家—首都偏移并没有比只用国家信息的基线提高类比检索，作者用这一点区分几何规律性与类比推理。一项线索组合测试发现，在 13 个预训练模型上做校正后，只有 CLIP-B 同时表现出宽线索和窄线索的贡献；DINOv3-H 和 DINOv3-7B 表现出窄线索增益，但没有确立宽线索贡献，测试也没有确立这些增益超过未训练 ViT-B。

渲染文字对视觉系统的意义

实际意义比“视觉模型理解语言”要窄。论文表明，缺少语言监督并不能保证书面文字对建立在视觉编码器上的系统毫无作用。仅用图像预训练就能产生词汇和事实关联，之后向语言方向微调还能强化其中一部分。作者把这一点与一个观察联系起来：渲染在图像中的有害请求可以绕过视觉语言系统的防护，同时声明他们的实验既没有确立指令遵循，也没有确立有害行为。

证据支持的优先事项是一个比较，而不是一个定论。评估仅用图像训练的编码器时，该问的是它编码了哪些关系：在这里，类别归属和国家—首都关联是清晰的例子，同义关系是薄弱的一环，而结构的来源仍未确定。这一区分，而不是“从像素学会词义”的笼统说法，才是论文测量真正支持的内容。

本文引用的文献