[CVPR 2024] SVSM：打破 3D 视觉合成的 Scaling 瓶颈，计算效率提升 3 倍

TL;DR

在新视角合成（Novel View Synthesis, NVS）领域，Transformer 正在取代传统的几何建模。然而，如何经济地“堆算力”一直是个谜。MIT 和 Adobe 的研究者通过 SVSM (Scalable View Synthesis Model) 证明：只要架构设计合理，Encoder-Decoder 不仅能消除 Decoder-only 的冗余计算，还能完美遵循 Scaling Laws，在同等算力下实现更高的渲染质量。

图 1：SVSM 与 LVSM 的 Pareto 前沿对比，显示 SVSM 在相同 LPIPS 指标下具有显著的算力优势。

痛点深挖：为什么 NVS 难以扩展？

目前的 NVS 领头羊（如 LVSM）倾向于使用 Decoder-only 架构。虽然这种架构通过双向注意力捕捉了上下文与目标视角间的深层联系，但它存在一个致命弱点：计算浪费。

• 计算瓶颈：每当你要渲染一个新的目标视角时，Decoder-only 模型必须把所有的上下文图像重新过一遍。
• 复杂度激增：其 MLP 复杂度与目标视角数 $V_T$ 和上下文视角数 $V_C$ 的乘积成正比。

过去的研究者曾尝试使用 Encoder-Decoder，但往往因为产生信息瓶颈而导致模型性能在规模扩大时出现停滞。本文的核心洞察是：瓶颈不在于 Encoder-Decoder 本身，而在于我们如何定义它的训练 Batch 以及如何处理相机位姿。

核心方法：SVSM 与有效 Batch 假设

1. 架构革新：单向解码

SVSM 采用了一种纯粹的 Encoder-Decoder 设计：

• Encoder：一次性将上下文图像编码为一组 Latent Tokens（场景表示）。
• Decoder：利用 Cross-attention 从场景表示中提取信息。在这种模式下，多个目标视角可以并行解码，无需重复编码上下文。

图 2：LVSM (a) 与 SVSM (b) 架构对比。SVSM 支持一次编码、并行独立解码，极大提升了渲染 FPS。

2. 有效 Batch 假设 (Effective Batch Hypothesis)

作者发现，NVS 训练中的总样本量不仅取决于 Batch Size ($B$)，还取决于每个场景渲染的正样本数 ($V_T$)。实验证明，$B_{eff}=Bimes{V}_T$ 是决定性能的关键指标。SVSM 的优势在于，通过增加 $V_T$ 而减少 $B$，可以在保持性能的同时大幅节省计算量（FLOPs）。

3. 多视图下的 Scaling 修复：PRoPE

在处理 2 个以上视图（Multiview）时，简单的 Transformer 往往会迷失方向。作者引入了 PRoPE (Projective RoPE) 嵌入。这种机制将相机位姿信息直接嵌入注意力层，使模型能够感知相对空间关系，从而让 SVSM 在复杂的多视图场景下重新建立了线性的 Scaling 趋势。

实验与结果：算力分配的艺术

1. 性能霸榜

在 RealEstate10K 基准测试中，SVSM 展示了恐怖的算力转化率。即使总计算量只有 LVSM 的一半，SVSM-420M 依然在 PSNR、SSIM 和 LPIPS 三项指标上全面胜出。

2. 渲染速度炸裂

SVSM 在多视图模式下的渲染速度（FPS）是 LVSM 的 4 到 14 倍，这使得实时大模型渲染成为可能。

图 3：同等算力预算下，SVSM 的渲染结果比 LVSM 拥有更少的伪影和更清晰的细节。

深度洞察：3D 视觉的“Chinchilla”时刻

这项研究最深远的贡献在于它建立并验证了 NVS 领域的 Chinchilla Scaling Laws：

• 算力分配建议：如果你要把算力翻 $k$ 倍，应该按照大约 $\sqrt{k}$ 的比例分别增加模型参数量 $N$ 和训练样本量 $D$。
• 告别几何偏置：SVSM 再次证明，通过大规模数据驱动的纯 Transformer 架构，可以比手工设计的 3D 结构（如点云投影或极线几何）表现得更好，且上限更高。

局限性：虽然 SVSM 极其高效，但对于固定大小的 Latent Bottleneck（如固定长度的隐藏向量），其 Scaling 表现仍然不尽如人意。这提示未来的研究应继续关注“无限制”的场景表示形式。

总结 (Takeaway)

SVSM 告诉我们：架构必须为 Scaling 服务。在 3D 视觉合成步入大模型时代的当下，通过单向解码架构释放计算资源，并遵循严格的 Scaling Laws 进行模型训练，将是通往照片级实时渲染的必经之路。