LVSPM 能否从长图像序列中联合估计位姿并合成新视角？

一个模型同时输出位姿与新视角

这一领域长期存在分工：视角合成方法通常假定相机位姿已知，而这些位姿一般来自计算昂贵、在真实场景中容易失败的运动恢复结构（structure-from-motion）流程；DUSt3R、VGGT 等几何模型能估计位姿，却不做视角合成，而且依赖稠密三维监督。LVSPM 把任务重新表述为对无位姿图像序列做序列到序列预测，用同一次前向计算同时给出这两类输出。

具体来说，给定 N 张未标定图像，模型为每个视角回归一个平移向量和一个四元数旋转，以及以弧度表示的水平和垂直视场角，并根据指定的目标相机配置渲染目标图像。第一个视角被当作规范参考帧，平移为零、旋转为单位旋转；平移尺度通过把第一个点与最远点之间的距离归一化为单位长度来统一，使不同场景处于一致的坐标系中。

这一设计有意避免显式的三维归纳偏置。模型不向输入视角提供 Plücker 射线编码，而是把每张输入图像切成图像块，并为每张图附加一个可学习的相机 token，参考帧使用一个特殊 token；目标视角仍以其指定相机参数计算出的 Plücker 射线作为条件。正是这种不对称，让网络从图像中推断相机信息，而不是直接接收相机信息。

测试时训练层支撑长序列

可扩展性来自主干结构。LVSPM 堆叠 24 个 Large-Chunk Test-Time Training（LaCT）块，每块包含三部分：逐视角窗口自注意力，用于建模局部空间依赖；带 SwiGLU-MLP 的测试时训练层；以及用于通道混合的前馈 MLP。论文称该架构可处理最长 100 万 token 的变长序列。

在测试时训练（TTT）层内部，MLP 的权重会在推理时根据 token 的 key 和 value 投影计算出的梯度更新，随后由更新后的 MLP 处理 query 投影。只有输入视角的 token 会经过 key 和 value 路径并产生该梯度，目标视角 token 是只读的。由于目标 token 之间互不交互，每个新视角都可以独立渲染，论文报告无论目标视角数量多少都能达到 58.8 FPS。

作者把 TTT 隐藏状态描述为一种压缩的场景表示，相机 token 查询它来得到位姿，目标射线 token 查询它来合成图像。消融实验把这种联合设置带来的效果称为良性循环：视角合成的监督提供几何信号，从而提升位姿精度，也就不再需要稠密三维监督。这是论文自己对机制的解释，并非已被独立证实的因果结论。

位姿优势集中在严格阈值

位姿精度用 AUC3 和 AUC5 报告，它们是在严格旋转或精度阈值下计算的曲线下面积，数值越高表示越多视角落在很紧的容差内。它们与更宽松的 AUC30 不是同一指标，论文最突出的优势集中在严格阈值上。

在 RealEstate10k 的 16 视角设置下，LVSPM 达到 40.0 AUC3 和 53.8 AUC5，VGGT 为 14.0 和 25.3，精度约为后者的三倍和两倍。到 128 视角，差距扩大到 61.3 对 20.6 AUC3、72.5 对 34.1 AUC5。与使用稠密几何监督的 DA3 相比，LVSPM 在 12 项指标中赢下 10 项，在所有视角数量上领先 AUC30 和 AUC5，在 AUC3 上则保持竞争力。

在 Co3Dv2 上，模型在所有指标上都超过 VGGT：16 视角时 AUC3 为 39.2 对 33.9，128 视角时为 68.8 对 62.1。DA3 仍是稀疏视角下的强参照，但 LVSPM 在 64 和 128 视角的 AUC3 以及 128 视角的 AUC5 上超过它，且不使用稠密几何标签。在 DL3DV 的 16 视角设置下，LVSPM 取得 88.4 AUC3，VGGT 为 74.7，DA3 为 84.0；到 256 视角时它保持 90.1 AUC3，而 Fast3R 降到 8.0，Cut3R 降到 19.2。

更多视角意味着更大场景而非更密采样

合成质量的比较依赖一项读者不应跳过的评测设定。在论文的等时间协议下，N 个输入视角从视频前 N/Nmax 的部分采样，因此增加视角是在扩大场景覆盖范围，而不是对同一区域采样得更密。在每个等时间窗口内，位姿估计的视角随机采样，合成的视角均匀采样。

作者认为，在整段序列上做标准均匀采样会混淆两个变量：场景覆盖范围和采样密度，从而无法判断提升来自看到更多场景，还是来自对同一区域更密的观测。让密度大致保持不变，就能单独考察场景尺度的影响，同时视角越多任务也越难。RealEstate10k 和 Co3Dv2 的 Nmax 为 128，N 取 {16, 32, 64, 128}；DL3DV 的 Nmax 为 256，N 最大到 256。

这意味着报告的数字描述的是覆盖范围扩大时的表现，而不是固定场景下增加冗余帧时的表现。论文还在补充材料中报告了标准稀疏视角协议下的结果，并称这些结果确认了方法的竞争力，但相关表格不在本次可读证据中。

合成质量随场景扩大退化得更平缓

在 DL3DV-10K 上，LVSPM 在 16 视角时达到 25.77 PSNR，高于依赖位姿的 DepthSplat 的 24.80 和无位姿的 AnySplat 的 23.15，也就是说它在不接收位姿的情况下取得领先。PSNR 衡量像素级重建保真度；同时报告的 SSIM 和 LPIPS 分别刻画结构相似度和感知距离，它们对方法的排序可能不同。

更能帮助判断的是随规模变化的趋势。场景尺度扩大 16 倍时，LVSPM 的 PSNR 从 25.77 降到 22.09，下降 3.68 dB；AnySplat 从 23.15 降到 18.55，下降 4.60 dB；DepthSplat 在仅 64 视角时就从 24.80 跌到 18.39，随后因模型限制无法运行。LVSPM 相对 AnySplat 的差距从 16 视角的 2.62 dB 扩大到 256 视角的 3.54 dB；LPIPS 方面，LVSPM 从 0.152 变为 0.250，AnySplat 从 0.158 变为 0.339。

论文还报告了在 Tanks and Temples 和 MipNeRF360 上、稠密与稀疏输入下的零样本泛化结果，以及在 RealEstate10k、MipNeRF360 和 LLFF 上的稀疏视角结果，其中包括一个微调版本，其表现超过只在 RealEstate10k 上训练的基线。这些定量表格位于补充材料，可读正文中只有概述。

证据的边界在哪里

若干边界限定了这些结果。训练采用多阶段流程，作者称其更复杂；他们还指出，在极端光照变化或弱纹理场景中，可靠的几何推理本身困难，性能可能下降。作者也承认，专门的几何模型在某些边缘情况下可能仍然更好，因此位姿优势并不是对所有条件都成立的笼统结论。

比较对象同样重要。DepthSplat 需要真值位姿，且无法在超过 64 视角时运行，因此它的崩溃部分反映的是模型限制，而不完全是质量下降；与 AnySplat 的无位姿比较才是对论文自身设定更干净的检验。严格阈值下的 AUC3 和 AUC5 提升，不应被理解为在更宽松指标上有同等幅度的改进；论文自己也只报告在 AUC3 上与 DA3 保持竞争力。

重点是长序列上的联合估计

这篇论文的独特主张不在于它在每项指标上都赢，而在于它在哪些条件下赢。它的优势随序列长度和场景覆盖范围增长：在 RealEstate10k 上，相对 VGGT 的 AUC3 差距从 16 视角的 26 分扩大到 128 视角的约 41 分；在 DL3DV 上，随着覆盖范围扩大 16 倍，相对 AnySplat 的 PSNR 差距从 2.62 dB 扩大到 3.54 dB。读者若要判断这是否与自己相关，应看自己场景中最长的序列和最大的场景，因为那正是该设计针对的情形。

第二个重点是联合建模本身。LVSPM 只使用 RGB 图像和相机位姿，就能匹敌甚至超过用稠密几何监督训练的模型，并由一个模型同时给出位姿和渲染视角。代价是更复杂的多阶段训练流程，以及在极端光照和弱纹理场景中报告的性能下降；在这些情况下，专门的几何方法可能仍是更稳妥的选择。

本文引用的文献