坐标文本用 token 换精度
多模态大语言模型（MLLM）做感知时，会把框或掩码的坐标当作文本输出。这种表示没有最小量化单位，因此能以任意精度表达任意范围；但每个数字和分隔符都是模型必须生成、语言模型必须学会解析的 token。论文把这一点概括为双重代价：推理时 token 开销大，学习也更困难，因为模型必须识别浮点数的结构。
常见替代方案是固定范围量化：把坐标归一化到固定整数区间（例如 0 到 1000），再映射为特殊 token。这样输出更短，但论文认为它带有两个约束，而且任务从 2D 转向 3D 时更明显：数值范围有界，精度受最小量化步长限制。在 2D 中，图像范围有限，部分掩盖了这些限制；在 3D 中，论文把空间范围视为无界，且定位必须精确，因此固定范围方案要么漏掉部分场景，要么损失精度。
用一条向量序列统一 2D 与 3D 输出
DVD 的做法是不再把坐标当作文本，而是把感知输出当作向量。论文把不同形式的输出（具体是 2D 边界框、2D 掩码和 3D 边界框）转换成一条 1D 向量序列，再把该序列映射为高维空间中的紧凑离散 token。一个轻量反 token 化器负责反向操作，把模型输出的 token 解码回原来的 2D 或 3D 表示。
这一设计的前提借自向量量化自编码器：它通过一个有限的码本，为连续数据学习紧凑的离散编码。论文给出的论点是，低维空间的紧凑表示可以在高维空间中实现。实际效果是，MLLM 只生成少量学到的码本索引，而不是坐标字符串，反 token 化器再把这些索引还原成几何信息。同一套流程同时用于框和掩码，也同时用于 2D 和 3D，这就是论文所说的统一表示。
token 数、延迟与精度需一起看
对判断最有价值的比较，是论文在相同训练设置和算力下，按每个对象测量 token 数、延迟和性能。在 3D 定位上，文本坐标达到 37.5 AP3D，每个对象用 74 个 token、4165 ms；特殊 token 降到 17.5 AP3D，用 15 个 token、713 ms；DVD 达到 34.1 AP3D，用 8 个 token、499 ms。在 2D 定位上，文本为 84.5 P@50，用 15 个 token、750 ms；特殊 token 为 83.2，用 4 个 token、274 ms；DVD 为 87.1，用 2 个 token、143 ms。在 2D 指代表达式分割上，文本为 48.0 cIoU，用 512 个 token、24410 ms；特殊 token 为 42.9，用 128 个 token、8771 ms；DVD 为 56.3，用 64 个 token、1715 ms。
这是三种不同任务设置下的三个不同指标，不能合并成一个效率数字。它们共同说明的是 DVD 的位置：在 3D 定位精度上它没有超过文本，但差距只有 3.4 AP3D，而 token 数约为文本的九分之一，延迟约为八分之一；在 2D 定位和 2D 分割上，它同时超过两个基线。论文自己的解读是，文本保留原始坐标值，范围和精度不受限，因此在 3D 上仍有轻微精度优势；特殊 token 则因范围和精度限制损失严重。
2D 与 3D 任务上的基准结果
在 RefCOCO 系列上，DVD-8B 在 RefCOCO 的 val、testA、testB 上分别达到 75.4、76.9、74.6；在 RefCOCO+ 上为 70.1、74.7、65.9；在 RefCOCOg 的 val 和 test 上 cIoU 为 73.4 和 76.6。论文把 RefCOCOg test 的数字与 VistaLLM-7B 比较，并把更低的延迟归因于 token 开销减少。较小的 DVD-2B 在 RefCOCO 上为 69.9、70.7、69.7，在 RefCOCOg 上为 70.4 和 71.0，说明增益在不同模型规模上并不一致。
3D 评估覆盖四个基准，兼顾室内和室外：SUN-RGBD 和 Hypersim 用于室内场景，KITTI 和 nuScenes 用于室外驾驶场景。论文还报告了一项把自编码器与语言模型隔离开的重建检查：把量化 token 解码回几何信息，3D 定位得到 90.8 AP3D，2D 定位得到 100.0 精度，2D 指代分割得到 84.8 cIoU。这项检查重要，因为它说明在任何 MLLM 推理介入之前，token 瓶颈本身就能保留空间信息。
码本大小决定压缩上限
消融实验解释了默认配置为何如此，但它们是在 DVD-2B 上、用完整训练迭代的 30% 运行的，因此属于诊断性结果，而非最终数字。码本大小是最清晰的取舍：2048 个条目对多样几何欠拟合（88.9 AP3D、84.5 精度），8192 个条目让量化和码本学习更难，重建变差（85.1 AP3D、76.8 cIoU），4096 个条目在三个任务上最好，成为默认设置。
下采样也呈现类似的断崖。与不压缩相比，尺度 2 把 token 数减半，同时保持 90.8 AP3D 和 100.0 精度，甚至略微提升 3D 定位；尺度 4 造成严重信息损失，2D 定位精度降到 31.5。潜在维度表现相同：8 太窄（83.0 AP3D），32 没有稳定增益，还略微降低 3D 质量（88.4 AP3D），16 是稳定的中间值。几何损失是论文称为不可或缺、而非仅仅有用的组件：它在 3D 定位上增加 10.1 AP3D，在 2D 分割上增加 10.0 cIoU，而在已接近饱和的 2D 定位上只增加 0.9 精度。
统一表示在何处成立
联合训练检验的是一种表示能否同时服务两个领域。只在一个任务上训练自编码器时，3D 定位单独为 84.0 AP3D，2D 定位单独为 100.0 精度，2D 分割单独为 80.3 cIoU；三个任务一起训练时分别为 90.8、100.0 和 84.8。论文将此解读为联合训练提升了 3D 定位和 2D 分割，同时没有降低 2D 定位，这支持了共享向量表示不会迫使任务之间取舍的说法。
论文自己指出的局限限定了这一结论。在更大的下采样倍数下，重建质量仍有提升空间；反 token 化器是作为独立于 MLLM 的组件训练的，作者认为这可能使学到的离散 token 与模型的语义理解对齐不够理想。这两点都落在方法本身，而不是基准测试流程上，因此它们限定的是 token 节省能推进到多远，而不只是评估本身。
何时 DVD 是更优选择
论文的证据支持按场景区分，而不是给出笼统结论。当输出长度和延迟是主要矛盾时，例如 2D 指代分割中每个对象 512 个文本 token，DVD 的 64 个 token 和 56.3 cIoU（文本为 48.0）让它在两个维度上都更强。当 3D 定位精度是硬约束时，文本仍在精度上胜出，DVD 的理由在于接受 3.4 AP3D 的差距，换取 token 数和延迟约一个数量级的下降。
配置选择进一步说明这是一个调参问题，而不是固定属性：4096 个码本条目、下采样尺度 2 和潜在维度 16 是论文给出的最佳取舍，继续加大压缩会显著降低重建质量。实际解读是：当系统能容忍少量 3D 精度让步、以换取大幅 token 和延迟节省时，DVD 最有吸引力；当全范围、高精度 3D 坐标是优先事项时，它最不具吸引力。
本文引用的文献
DVD: Dynamic Vector Decoding for Efficient MLLM-based Perception
DVD 通过 1D 向量序列把 2D 框、2D 掩码和 3D 框映射为紧凑离散 token，大幅降低 token 数和延迟；在 2D 任务上匹配或超过文本坐标，在 3D 定位上略逊。