[CVPR/ICRA 2024] Splat2Real: 视角扩展的艺术，3DGS 助力物理 AI 突破视觉盲区

TL;DR

在物理 AI 系统中，单目感知模型经常因为“换了个角度”就失效。本文提出的 Splat2Real 框架通过 3D Gaussian Splatting (3DGS) 高速渲染新视角，配合一种名为 CN-Coverage 的智能采样策略，告诉模型：与其无脑堆图，不如精准采点。实验证明，结构化的视角扩展配合质量守卫机制，能显著提升机器人面对陌生姿态时的深度感知精度。

背景定位

在学术坐标系中，本文处于 Sim2Real 与 神经渲染（Neural Rendering） 的交汇点。不同于以往关注 3DGS 重建质量的工作，Splat2Real 关注的是：如何利用 3DGS 产生的无限廉价视点作为“感知训练专家”？ 这是一个典型的模仿学习（Imitation Learning）视角下的感知预训练问题。

痛点深挖：视角越多越好吗？

传统的感知数据增强通常采用 Domain Randomization，但在处理姿态偏移（Viewpoint Shift）时，随机采样会导致模型学习到大量“伪影”或过度外推的错误特征。研究发现，视角规模（Scaling）与性能并不成简单的线性关系，单纯增加 N（视角数）往往会导致性能抖动。

核心方法论：CN-Coverage 与 GOL 守卫

为了解决 Scaling 稳定性问题，作者提出了两大核心模块：

1. CN-Coverage 采样策略

作者将视角选择建模为一个加权的子模优化问题。

• 覆盖增益 (Coverage Gain)：利用 Voxel 建模，优先选择能看到“新表面”的视角。
• 外推惩罚 (Extrapolation Penalty)：通过指数衰减函数限制采样点远离原始训练分布，防止渲染质量崩塌。

图 1：Splat2Real 整体管线：3DGS 提供观察样本，Mesh 提供对应的深度真值。

2. Gaussian Observation Layer (GOL)

并非所有的渲染视图都是可靠的。GOL 机制通过验证集的 PSNR/SSIM 指标为每个场景打分，作为“质量开关”。

• 如果 3DGS 渲染质量差，模型会自动回退到基于 Mesh 的基础渲染模式（MeshHist）。这种混合训练机制构成了稳定性的最后一道防线。

实验与结果

在 20 个 TUM RGB-D 序列上的测试显示，GOL-Gated CN-Coverage 在所有方法中表现最稳。

• 稳定性战绩：在 N ≥ 200 的场景下，相比于随机（Random）或机器人轨迹（Robot）采样，该方法显著降低了最差情况下的回归风险。
• 长尾表现：在“最具挑战性”的 5/5 级别新视点下，AbsRel 误差依然维持在较低水平。

图 2：步进匹配 Scaling 曲线：注意到 Naive Scaling (Robot 曲线) 在高 N 时的性能恶化，而 GOL-Gated 版本全程带稳。

此外，在下游的控制代理实验（Fig. 6）中，该方法展示了更优的 Success-Collision Pareto 前沿，这意味着感知鲁棒性的提升直接转化为了更安全的机器人决策。

深度洞察与总结

Takeaway：这项工作给工业界和学术界的一个重要启发是：感知模型的 Scaling Law 不仅仅取决于数据量，更取决于数据所在的流形分布。

局限性：

1. 严重依赖于静态场景假设，涉及动态物体时 3DGS 的一致性会下降。
2. 目前的质量栅栏（GOL）是粗粒度的场景级评估，未来若能实现像素级或图像级的置信度引导，效果可能更精细。

结论：Splat2Real 证明了通过几何感知的采样策略，我们可以有效地将神经渲染的能力转化为真实物理 AI 的视觉防御力。