[CVPR 2026] 视觉模型真的懂几何吗？揭秘 VLM 内部隐藏的“物理精密尺”

TL;DR

你以为你的 VLM 是个“空间盲”？其实它只是“表达障碍”。最新研究发现，像 SigLIP 2 或 DINOv3 这样的视觉模型，其内部特征对连续几何（如手部关节角度）的感知精度极高。通过一个极小的线性探针，我们可以提炼出比文本输出精确 3 倍以上的测量结果。研究证明，这种几何能力的差异主要源于训练目标，而非模型架构。

背景定位：被低估的视觉表征

在当前的学术界，大家倾向于通过多轮对话（CoT）来增强 VLM 的空间能力。然而，本文一针见血地指出：几何感知就在那里，只是文本路径把它弄丢了。 该工作在学术坐标系中属于典型的“表征探测（Probing）”研究，旨在量化视觉基础模型作为“几何传感器”的真实潜力。

痛点深挖：文本路径的“降级”

开发者经常发现，问 VLM “手部关节弯曲了多少度？”，模型给出的数字往往张冠李戴。

• 现状：即使是 SOTA 模型，文本输出的平均绝对误差（MAE）也在 20° 以上。
• 直觉：作者猜测，视觉编码器已经捕获了像素间的拓扑关系，但为了适配文本 Tokenizer 的离散分布，这些连续的几何信号在解码阶段被过滤掉了。

核心方法：线性探针与功能收敛

作者并没有修改任何模型参数，而是直接在冻结的特征（Frozen Features）上加上了一个只有约 6000 参数的**降低秩回归（Reduced-Rank Regression, RRR）**层。

1. 架构解析

实验覆盖了从 CNN（ConvNeXt）到 ViT 的多种架构，以及从 DINO（自监督）到 SigLIP（对比学习）的多种路径。

2. 功能收敛（Functional Convergence）

一个极其惊人的发现是：五个表征完全不同的模型（CKA 相似度仅 0.41），在几何预测的 R² 上竟然奇迹般地统一在 0.55 左右。这意味着，无论模型内部如何组织数据，最终它们都提取出了相同的物理规律。 这有力地支持了“柏拉图表征假设”——即高性能模型都在趋向于对现实世界的统一建模。

实验战绩：精度全方位碾压

实验对比了“原生文本输出”、“LoRA 微调”和“线性探针”的效果：

关键发现：

1. 训练目标 > 架构：对比消融实验显示，同样的参数量，自监督/对比学习模型比纯监督学习模型（如 ImageNet 预训练）高出 0.15 R²。
2. LLM 的副作用：对于 Qwen 或 Gemma 等模型，在进入 LLM 解码器后，手部这种精细几何信息会随层数增加而快速衰减（见下方层轨迹图）。

深度洞察：工业界的“省钱”配方

这项研究为开发者提供了一个极具性价比的方案：

• 模块化传感器：你不需要为每个几何任务（手势、头姿、物体位姿）训练专用模型。
• 极简适配：只需准备几千张标注图像，在现有的基础模型（如 SigLIP 2）提取特征，训练一个几千参数的线性层（几 KB 大小），就能获得媲美专业模型的测量精度。

总结与局限

Takeaway：VLM 不缺几何知识，缺的是“读数设备”。 局限性：尽管 R² 达到了 0.55，但仍有 45% 的方差无法解释，特别是在目标分布方差极小的任务（如拇指关节）中，冻结特征的表现依然挣扎。另外，对于空间极其弥散的信号（如 BIWI 的 Roll 角），这种方法需要配合 Attention Pooling 才能生效。

本文为学术前沿解读，旨在揭示基础模型背后的物理直觉。