如何通过目标条件视觉注视提升细粒度三维理解？

三维大模型为何漏掉细粒度细节

Video-3D LLM 和 3DRS 等现有三维大语言模型能在室内场景中定位物体，但论文报告它们常常忽略细粒度属性以及视觉显著性较低的物体和部件，即使相关证据已经存在于场景视频中。论文举的例子是：模型能定位到吊柜，却难以识别柜门材质或把手朝向。

论文把这一差距归因于两点。第一，现有三维数据集侧重物体类别、指代表达和简短描述，对细粒度属性提供的监督有限。第二，相关细节可能视觉显著性不高，且其可见性随视角变化，因此即便被视频拍到，模型也难以把它与周围内容区分开并用于任务。

LensUnd 先定位再聚焦后理解

Lens3D 的外部理解流程 LensUnd 遵循“定位—聚焦—理解”方案。三维定位器 G 针对语言查询 q 预测相关物体或区域的边界框 b。随后聚焦阶段挑选出目标区域被显式标注的互补 RGB 视图，外部二维视觉语言模型 U 在任务指令 p 下处理这些视图并给出响应 r。

同一套证据采集流程通过改变指令和输出格式支持三类任务：细粒度物体描述、小物体定位和细粒度物体问答。对于小物体定位，初始定位到的区域可能包含更小的目标物体，因此 LensUnd 利用包含的深度和相机参数，把逐视图的二维预测合并为三维框。LensUnd 只需要 G 预测的框，不修改底层定位器或视觉语言模型。

视图选择最大化新增目标表面

聚焦阶段并非简单挑选质量最高的帧。它先构建几何有效、深度可见的候选帧集合 C，并依据投影目标完整度、图像覆盖度、中心性和通过深度一致性估计的遮挡，为每帧赋予质量分 st。随后它反投影深度像素，保留目标框 b 内的三维点，并在共享体素网格上离散化为占据体素集合 Vt，该网格沿框最短轴约有 nv = 12 个单元。因此 Vt 表示目标区域内被观测到的表面，而不是它在图像上的投影面积。

选择从质量最高的帧开始，然后贪心地最大化新增表面覆盖，即 Vt 中尚未被已选帧覆盖的体素。被选帧之间必须至少相隔 delta 帧；当没有可行候选能带来新体素时，剩余名额在同一时间约束下按质量填充。论文称这一策略为 bbox-voxel，默认使用 K = 4 个视图、delta = 12。每张被选 RGB 图像都会投影 b 的十二条边形成线框标注，为二维视觉语言模型提供显式的实例级空间条件，使其在多个同类物体可见时也能识别要描述的对象。

LensDistill 把知识移入原生输入

LensUnd 依赖完整 RGB-D 序列、目标条件视图选择和一次额外的二维视觉语言模型调用，直接部署会带来推理成本。LensDistill 通过非对称特权信息蒸馏避免这一成本。训练时，教师可访问特权目标级证据 Eb 和线框标注视图，并在指令 p 下生成细粒度理解 y-star。学生则保留基础三维大语言模型的原生场景输入 X、由 <coord> 标记编码的目标中心 c(b) 以及指令 p。

学生以自回归目标在教师的详细描述上训练。由于被选中的线框标注视图只用于生成教师监督，LensDistill 迁移的是从特权目标级观测中获得的知识，而不是在相同输入下对齐师生响应。蒸馏之后，学生直接由 X、c(b) 和 p 生成详细描述，无需额外视图处理或二维视觉语言模型调用。论文专门在细粒度物体描述上验证了这一迁移范式，使用结构化详细描述作为监督。

LensBench 提供实例级参考描述

评估细粒度描述需要能捕捉实例级细节的参考，而论文指出现有描述基准对此覆盖稀疏。因此作者构建了 LensBench，这是一个留出评估集，包含 2,068 个物体，每个物体有三条独立生成的视觉语言模型描述。基于问卷的质量审核支持将其用作银标准参考。

银标准这一标签对解读很重要：这些参考是模型生成并经质量审核验证的描述，而非人工撰写的金标准描述。因此以 LensBench 衡量的结果反映的是与该参考构建方式的一致程度，论文自身也将其视为银标准而非确定性的真值。

描述能力提升且定位能力不丢

在 Video-3D LLM 和 3DRS 两个代表性三维大语言模型上的实验显示，LensDistill 大幅提升细粒度物体描述，同时保持原有的定位和场景级问答性能。论文报告描述性能达到与同等规模二维视觉语言模型相当的水平。在一项针对 100 个物体、采用四分制的盲测用户研究中，LensDistill 把 3DRS 的平均评分从 1.92 提升到 3.86，把 Video-3D LLM 的从 1.88 提升到 3.71。

能力保持的结果是在 LensDistill 的详细描述实例化下报告的：该方法增强了基础模型原本受限的细粒度描述能力，同时保持并在某些情况下改善其原有定位和问答性能，其中定位方面的提升最明显。这些是与描述质量不同的度量，因此描述能力的提升不应被当作关于定位的证据，反之亦然。

哪些因素带来提升，哪些没有

消融实验分离出若干贡献因素。在使用所选视图时，线框标注把 Summary F1 从 0.263 提升到 0.370。在使用真值框、四个视图、投影线框和同一视觉语言模型时，bbox-voxel 帧选择达到 0.445 的 Summary F1，优于 ExCap3D 的可见性排序（0.436）和 Video-3D LLM 在物体级使用的贪心选择（0.353）。把视觉语言模型从 2B 扩展到 8B 进一步把 Summary F1 从 0.445 提升到 0.485，把 Attr. Mean 从 0.397 提升到 0.528，部件、材质和状态对应的提升分别为 22.2、9.4 和 7.6 个百分点。

两项负面或稳健性发现界定了该方法的边界。把时间均匀采样从 4 个视图增加到 32 个视图只带来边际收益，可能是因为额外视图提供的目标相关证据很少，这支持按目标覆盖而非按数量选择视图。使用预测框替代真值框时，主要指标上至少保留 97.5% 的性能，因此该流程被报告为对预测目标框具有稳健性。

迁移结论适用于哪里

论文的核心主张是可行性：外部获得的细粒度知识可以迁移进原生三维大语言模型。该主张是在细粒度物体描述上、针对室内场景、以 Video-3D LLM 和 3DRS 两个基础模型、并对照 LensBench 的银标准参考而确立的。LensUnd 的另外两项任务，即小物体定位和细粒度物体问答，在报告结果中是定性展示而非定量评估。

由此得出的实际优先级是论文明确指出的取舍。LensUnd 以完整 RGB-D 序列、目标条件视图选择和一次额外二维视觉语言模型调用为代价换取细粒度细节；LensDistill 则通过把细节移入学生的原生输入来消除这一推理成本。对想从这项工作中获得判断依据的读者而言，真正相关的比较不是抽象的描述与定位之争，而是目标条件证据在训练阶段是否值得其成本，因为蒸馏之后学生既不需要特权视图，也不需要外部视觉语言模型调用。

本文引用的文献