3DSS：突破逆渲染瓶颈，让点云拥有完美的表面物理语义

TL;DR

逆渲染的目标是将照片变回可编辑、可重打光的 3D 资产。长期以来，开发者在“灵活但缺乏表面含义”的体积渲染（如 3DGS）和“僵硬但物理准确”的网格渲染（Mesh）之间徘徊。由 INRIA 研究团队提出的 3D Surface Splatting (3DSS) 终于填补了这一空白：它利用经典的 EWA Surface Splatting 理论，在不依赖复杂网格连接性的情况下，实现了高质量的几何、PBR 材质（SVBRDF）和照明的联合恢复。

痛点深挖：为什么 PBR 逆渲染这么难？

目前的逆渲染方案主要面临两大门派的局限：

1. Mesh 派 (如 NVDiffRec)：虽然有明确的表面定义，但在优化过程中，三角形的连接关系（Topology）很难动态改变。模型容易出现空洞、自交或退化三角形，需要沉重的正则化约束。
2. 体积派 (如 3DGS, NeRF)：它们在渲染时是对射线上的体素进行加权混合（Alpha Blending）。对于物理逆渲染来说，这简直是灾难——你混合出来的法线或材质属性可能并不属于任何一个真实表面，导致重打光效果极不自然。

3DSS 的直觉 (Insight)：既然点云足够灵活，而 Surface Splatting 又能重建连续表面，那我们是否能建立一种既没有网格约束、又能保证渲染出的每一个像素都严格对应物理表面的方案？

核心机制：深度空间中的“合并与统治”

3DSS 引入了一种全新的微分渲染管线，其核心在于对底层 Splatting 逻辑的重构。

1. 深度区间分组 (Depth-Interval Grouping)

以前的点云渲染器通常只取最前面的一层，或者是无脑混合。3DSS 提出：两个 Surfels（表面元素）是否属于同一表面，取决于它们的深度区间是否重叠。

• 算法逻辑：按深度排序后，通过单次遍历执行“区间合并”。如果连续两个点之间有空闲间隙，则判定为新图层（Layer）。这种多层合并机制完美解决了复杂遮挡和凹陷结构的渲染问题。

2. 覆盖率合成模型 (Coverage-based Compositing)

如何处理边缘的锯齿？3DSS 不再给点云设置可学习的 Opacity（透明度），其覆盖率（Alpha）是直接根据 EWA 重建核的累积权重计算出来的。

• 物理含义：当点云分布越密集，累积权重越接近单位 1，表面就越不透明。这为几何优化提供了非常精确的可微梯度。

图 1：3DSS 渲染管线。从 Surfels 的 T-matrix 构建到前向着色，再到基于深度的区间分组，最后输出抗锯齿的 PBR 图像。

实验与结果：全方位碾压

研究人员在最具挑战性的 Stanford-ORB 真实世界逆渲染数据集上进行了测试。该数据集包含精确的激光扫描底图和测量的 HDR 光照。

SOTA 对比

• 新视角合成 (NVS)：3DSS 的 PSNR 表现远超 NVDiffRec 这种基于网格的方案，甚至在处理精细结构时展现出了类似 IDR 的平滑度。
• 重打光 (Relighting)：在更换环境光后，3DSS 恢复的材质能展现出精确的高光旋转和漫反射衰减（见下方对比图）。

图 2：定性对比。3DSS 恢复的法线（Normal）明显比 NVDiffRec 更平滑，且在 Novel Lighting 下的高光表现更符合物理规律。

效率表现

3DSS 的前向渲染器极其快速，即使是包含 200 万个 Surfels 的复杂场景，在 2K 分辨率下依然能保持 100 FPS 的高吞吐量。

深度洞察与总结

3DSS 的成功展示了经典的图形学技术（Surface Splatting）在 AI 时代依然具有强大的生命力。

它的核心价值在于：

• 原生支持网格化：由于 3DSS 优化的是带法线的点云，可以直接通过 Screened Poisson 重建算法导出完美的封套网格（Watertight Mesh），无缝对接传统 3D 工作流（Blender/Maya）。
• 无序即正义：不需要像网格那样担心连接关系，点云可以在空间中自由分裂（Split）和克隆，自动适配复杂的拓扑结构。

局限性：目前 3DSS 仍采用单一反射的 IBL 模型，对于全局光照（Global Illumination）和互反射处理尚显不足。此外，深度区间重叠在处理极薄表面时可能会产生采样混叠。

未来展望：随着该方法的成熟，我们有望看到点云渲染技术在电影特效、电商业 3D 扫描以及实时物理交互中彻底取代复杂的网格推导方案。