[CVPR 2026] BetterScene：突破 VAE 潜空间瓶颈，打造表示对齐的 3D 场景合成新高度

TL;DR

在 3D 场景重建中，如何仅凭几张照片就能还原出电影级的流畅全景？BetterScene 给出的答案是：不要只盯着扩散模型的 Denoising UNet 猛改，去优化那个被长期忽视的 VAE 潜空间。通过引入表示对齐（Representation Alignment）和等变性正则化（Equivariance Regularization），BetterScene 在处理极稀疏视角时，不仅消除了常见的几何伪影，还实现了细节上的高度一致性。

1. 痛点：为什么扩散模型修不好 3D 场景？

目前的 NVS (Novel View Synthesis) 领域，3D Gaussian Splatting (3DGS) 虽快，但在稀疏输入下会产生大量的“漂浮物”和几何缺失。虽然 MVSplat360 等前序工作尝试用视频扩散算法（如 SVD）作为“后期滤镜”来去噪，但仍面临两大死穴：

• 偏移不稳定性 (Shift Instability)：由于 VAE 潜空间对空间变换不具备等变性，相机移动时，画面细节会像信号不好一样乱跳。
• 表现力匮乏：标准 Stable Diffusion 用的 4 通道 VAE 就像一个窄瓶颈，丢失了太多高频纹理信息（如墙上的文字、复杂的植物特征）。

2. 核心机制：软硬兼施的 VAE 改造

BetterScene 认为，要让生成的视图“稳如泰石”，必须从表征层（Representation）动手。

2.1 视觉大模型引导的表示对齐

为了充分利用高维空间（从 4 通道扩展到 64 通道）而不陷入过拟合，作者通过 DINOv2 这种视觉基础模型来“带路”。通过余弦相似度和分布距离损耗（Formula 2 & 3），强制 VAE 的潜空间向 DINOv2 的语义空间靠拢。这不仅打破了 VAE 传统的高斯假设限制，更极大地增强了特征的利用效率。

2.2 潜空间等变性正则

为了解决相机移动时的“细节闪烁”，作者引入了等变性约束： Z(τ ∘ I) = τ ∘ Z(I) 这意味着：如果我对输入图片 I 做了某种变换 τ（旋转、位移），那么它对应的潜特征 Z 也必须发生同样的变换。这种物理直觉上的对齐，确保了视频流在时空上的平滑。

图 1：BetterScene 整体架构。第一阶段训练表示对齐的 VAE，第二阶段将其嵌入 SVD 管道并在 DL3DV 数据集上微调。

3. 实验战绩：细节见真章

在包含 10,000 多个真实场景的 DL3DV-10K 数据集上，BetterScene 展示了降维打击般的视觉优势。

• 量化提升：在关键的感知指标 FID 上，BetterScene 达到了 16.59，比目前最强的 baseline MVSplat360 (18.89) 提升了 12% 以上。
• 视觉细节：从下方的对比图可以清晰看到，BetterScene 补全的细节（如第二行墙上的海报文字）比前人工作更加锐利、连贯。

图 2：在 DL3DV 测试集上的可视化对比。注意 BetterScene 在消除伪影和保留文字细节方面的卓越表现。

4. 深度洞察

BetterScene 的成功本质上是对 Inductive Bias（归纳偏置） 的精准植入。传统的扩散模型是为图像生成设计的，缺乏对 3D 几何一致性的内在克制。作者通过：

1. 维度扩增解决了“画不出来”的问题。
2. 等变性正则解决了“画得不稳”的问题。
3. 对齐损失解决了“训练不动”的优化困境。

5. 总结与未来

BetterScene 证明了：在 Generative AI 与 3D 视觉融合的过程中，VAE 不应只是一个黑盒编解码器。通过深度调整其架构和损耗函数，可以让其产生更适合 3D 任务的结构化表征。

局限性：虽然效果惊艳，但 SVD 骨架的训练和推理开销依然庞大。未来的研究如果能将这种“表示对齐”的思路引入到更轻量级的视频扩散架构中，将极大推动移动端的高质量 AR 重建。