TL;DR

在观察水下场景时，波动的表面会像不规则的透镜一样，导致严重的视觉畸变。传统的 3D 建模方法往往因“直线传播”假设而失效。RefracGS 首次将 3D Gaussian Splatting (3DGS) 的渲染性能与严谨的物理折射模型结合，通过可微的高度场建模与高斯光线追踪，实现了对水下场景的高保真重建和 200 FPS 的实时渲染性能，训练速度更是前代 SOTA 的 15 倍。

痛点深挖：为什么水下重建这么难？

在空气中，光线是直的；但在水界处，光线会根据 Snell’s Law (斯涅尔定律) 发生折射。

1. 非线性路径：标准渲染引擎（如 3DGS 的分块光栅化）无法直接处理弯曲的光路。
2. 视角不一致性：由于水面波动，不同位置观察到的水下点位会发生非线性位移，普通模型会产生严重的模糊和“漂浮物”。
3. 计算成本：先前的折射 NeRF 方法（如 NeRFrac）需要昂贵的体积采样，渲染一张图通常需要几秒甚至几分钟，完全无法达到工业级应用要求。

核心方法：高度场与光线追踪的交响乐

RefracGS 的核心在于解耦：将复杂的折射系统分为“水面几何”与“水下场景”两个模块共同优化。

1. 水面高度图 (Water Height Map)

作者没有使用粗糙的网格，而是使用 神经网络高度场 (Neural Height Field)。为了兼顾效率和精度，提出了递归细分追踪 (Recursive Subdivision Tracing)：

• 初始代理：使用粗糙的 2D 三角网格开始。
• 递归求交：通过 MLP 查询高度并动态细分三角形，仅在光线可能穿过的区域进行精修。这种方法结合了网格的查询效率和神经场的连续性。

2. 折射感知高斯光线追踪

系统不再使用光栅化，而是采用了 3D Gaussian Ray Tracing。光线在水点 $p$ 处根据局部法线 $N$ 进行折射计算，随后进入水下追踪 3D Gaussian 粒子。

图 1：RefracGS 整体流程：从相机发射光线，与神经高度场求交，经折射后在 3D Gaussian 场中积累颜色。

实验与结果：速度与精度的双重碾压

RefracGS 在多个维度上展现了统治力。在更具挑战性的多视角配置下（RefracGS 专用数据集），该方法成功恢复出了极具细节的水下纹理，而之前的 baseline 几乎全线崩溃。

• 重建精度：在自定义数据集上，水面重建 RMSE 低至 0.115cm，而之前的 SOTA 方法 NeRFrac 为 3.655cm。
• 渲染效率：支持 242 FPS 的 4090 实时渲染，达到了真正的“秒开”级体验。
• 训练耗时：从原先的数小时缩短至 11 分钟。

图 2：在复杂波浪下，RefracGS 准确捕获了高频细节，且水下物体几何完整。

深度洞察：物理驱动的未来

RefracGS 的价值不仅在于刷榜。由于模型显式建模了水面，它赋予了系统天然的“后期编辑”能力：

• 一键去水 (Water Removal)：训练完成后，关闭折射路径即可获得清晰的水下物体图，支持后续的测绘和几何提取。
• 水面编辑 (Water Surface Editing)：可以在不重训的情况下，将静止水面替换为波浪水面。

局限性

目前 RefracGS 主要处理几何畸变，尚未深入建模复杂的辐射度效应（如水面的菲涅尔反射、水下体积散射和焦散效果）。此外，对于水下动态物体的建模仍是未来的挑战。

总结

RefracGS 巧妙地利用了 3DGS 的点云灵活性，通过引入可微的物理折射层，解决了 NVS 领域的一个硬核难题。它不仅证明了“物理常识”在 AI 时代依然关键，更为机器人水下导航和海洋生态监测提供了实用的工具。