如何从不一致的多视角分割掩码重建三维物体？

掩码不一致为何会破坏高斯优化

以物体为中心的三维高斯泼溅需要知道哪些高斯属于目标物体。常见做法是用二维分割掩码（通常由 SAM 生成）在不同视图间把高斯与物体关联起来。这篇论文的核心观察是：这些掩码在不同视图间并不一致，同一个三维区域可能在一个视图里被标为前景，在另一个视图里被标为背景。

这种不一致并不是孤立的二维噪声。由于所有视图共享同一个三维高斯表示，一个错误掩码会通过优化过程传播。论文用一个受控案例说明这一点：当只有 10% 的视图（50 个中的 5 个）存在掩码错误时，渲染错误出现在 57% 的视图（7 个中的 4 个）中。作者将其描述为掩码错误扰动高斯优化和自适应密度控制，产生被错误监督的高斯，从而降低物体保真度。

论文还报告了这类错误在实际中有多常见。在其自动掩码流程下，Tanks and Temples 和 Mip-NeRF 360 各场景的错误率从 25% 到超过 80% 不等，例如 Barn 上为 30.97%，bicycle 上为 80.51%。这正是 MaRO-GS 要应对的问题：不是完美掩码，而是不完美的监督。

直接优化物体与全场景流程的对比

ObjectGS、COB-GS、Trace3D 和 BEA-GS 等现有物体级 3DGS 方法会先重建整个场景，再提取目标物体。论文认为，当只需要目标物体时，这会带来不必要的计算开销。它的替代方案是把 RGB 图像与二值物体掩码逐元素相乘，构造出带物体掩码的观测，然后直接在该掩码输入上优化高斯。

论文图 1 在 LERF-Mask 单个物体上的对比让成本差异变得具体：ObjectGS 训练 6,824 秒、渲染 11 秒，PSNR 为 43.64 dB；MaRO-GS 训练 323 秒、渲染 5 秒，PSNR 为 47.64 dB。这些是单物体的示例数字，不是平均基准结果，但显示了预期的效率方向。

论文指出，仅仅施加物体掩码并不够，因为优化会直接依赖掩码的质量和一致性。正是这种依赖关系引出了接下来描述的三个组件。

在不可靠视图影响模型前将其过滤

掩码可靠性视图过滤会识别并排除不可靠视图，使其不参与后续训练。它包含两个互补阶段。几何视图一致性衡量可见高斯是否在相邻视图间被目标物体掩码一致地支持，使用一个物体支持的共视性分数。分割阈值不是固定的绝对阈值，而是从排序后分数分布中的最大间隔处选取，并且只有当低分簇足够小且明显分离时才接受该分割。

基于区域的视图验证则捕捉另一种失败：共视性看起来可以接受，但由于遮挡或分割失败，二维掩码在空间上发生错位。它计算每个视图的命中率，即有效高斯投影落在物体掩码内的比例，并排除低于阈值的视图。最终不可靠视图集合是两个阶段的并集。

论文明确指出这是一种保守策略。在 DTU 各划分上，过滤在 Easy 上达到 75% 精确率，在 Medium 和 Hard 上达到 100%，但召回率较低：Easy 为 24.5%，Medium 为 23.1%，Hard 为 4.6%。换句话说，它移除的视图很少，但对被移除视图的判断通常正确，这限制了有效监督被不可逆丢失。

视图过滤在何处有效、在何处失效

过滤的收益取决于有多少视图被污染。在 DTU Medium 划分上，被污染视图和可靠视图共存，加入两个过滤模块后 PSNR 从 23.23 提升到 26.50 dB。在 Easy 划分上，完整过滤配置把 PSNR 从 31.84 提升到 33.26 dB。

在 Hard 划分上，大多数视图被污染，过滤并不能提升 PSNR。论文将其归因于保守准则无法在不牺牲监督的情况下移除足够多的错误视图，并展示了一个相应的失败案例。这是方法的边界，而不是隐藏的注意事项：在 Easy 和 Medium 上保护有效监督的同一保守性，在错误占主导时限制了收益。

论文还检验了过滤是否会损害稀疏视图设置。在仅使用六个输入视图的 DTU Scan 12（Medium）上，应用两个模块不会降低重建质量，并把 PSNR 从 18.82 提升到 20.71 dB。敏感性测试显示，在所测试的过滤调度下，PSNR 在 LERF-Mask 上仅变化 0.12 dB，在 DTU Medium 上仅变化 0.63 dB。

密度控制让高斯留在物体上

不一致的掩码监督还会导致物体边界周围和背景区域出现不必要的高斯致密化。物体支持的高斯密度控制会抑制目标物体之外的致密化，并移除与物体无关的高斯，从而保持表示紧凑。

消融研究表明，这是最稳定有效的单一模块。仅使用掩码引导的剪枝和致密化，就把 PSNR 从 41.98 提升到 42.55，同时把高斯数量从 42,846 减少到 25,805。把剪枝与外观引导的局部高斯合并结合，可进一步把数量降到 21,157，并达到最高 FPS，PSNR 下降可忽略。

论文还报告了一种顺序效应：过滤模块需要一个定位合理的物体表示才能有效工作。没有剪枝时，几何视图一致性和基于区域的视图验证可能错误地过滤掉有用的视图或区域。仅使用基于区域的视图验证尤其有害，会把 PSNR 降到 37.11。一旦剪枝细化了物体支持，过滤就变得有效：剪枝加几何视图一致性达到 42.68 dB，剪枝加基于区域的视图验证达到最高的 43.01 dB。

轮廓对齐与背景权重

轮廓对齐的物体损失把以物体为中心的光度重建与轮廓级支持对齐结合起来。光度项对掩码内像素赋予完整权重，对背景像素赋予一个小的衰减因子；轮廓项则从当前高斯渲染出软轮廓，并与目标掩码比较。

背景权重很重要。当它为零时，模型只优化掩码内的物体区域，完全忽略背景，论文称这可能降低训练稳定性，因为没有考虑周围场景上下文。一个小的背景权重能在保持物体聚焦的同时提升稳定性。论文选择 0.01 作为默认值，因为它在保持高 PSNR 和低 LPIPS 的同时维持高效渲染；当取 0.1 时，目标函数被背景区域主导，重建质量下降。

完整模型组合了所有组件，以 24,422 个高斯达到 42.90 dB PSNR。论文指出它并不最大化单一指标，而是综合了重建质量、紧凑性、效率和鲁棒性，因此被用作默认配置。

三个数据集上的基准结果

主要对比覆盖 LERF-Mask、Mip-NeRF 360 和 Tanks and Temples，所有方法都在相同的受控掩码输入协议下评估。每个数据集旁的百分比表示物体在画面中的平均面积占比：LERF-Mask 为 2.01%，Mip-NeRF 360 为 12.54%，Tanks and Temples 为 31.35%。

在 LERF-Mask 上，MaRO-GS 达到 42.89 dB PSNR、0.992 SSIM、0.008 LPIPS 和 2,081 FPS，而基线 3DGS 为 40.67 dB、0.990、0.010 和 639 FPS，ObjectGS 为 37.65 dB。摘要报告的最大 PSNR 增益为 2.05 dB，出现在这个小物体数据集上。

在 Mip-NeRF 360 上，MaRO-GS 达到 34.49 dB PSNR 和 1,010 FPS，而基线 3DGS 为 32.99 dB 和 250 FPS，FDS-GS 为 33.46 dB。在 Tanks and Temples 上，它达到 30.94 dB PSNR 和 397 FPS，而基线 3DGS 为 30.63 dB 和 159 FPS。模式是一致的：相比基线有更高的 PSNR 和远高于基线的 FPS，且物体在画面中占比越小时优势越大。

Hard 划分与少量场景带来的限制

论文自己的局限性部分指出，严重的分割失败仍会降低重建质量。DTU 的 Medium 和 Hard 子集分别只包含 3 个和 4 个场景，保守过滤在 Hard 上仅达到 4.6% 召回率，因此 Hard 案例的整体提升不能单独归因于视图过滤。过滤还依赖优化过程中足够定位的高斯支持。

这些限制影响结果应如何解读。视图过滤最强的证据来自被污染视图和可靠视图共存的 Medium 划分，以及 Easy 划分。Hard 划分是该方法保守设计最难发挥作用的地方，而那里场景数量很少，意味着 Hard 案例数字的权重低于 LERF-Mask 和 Mip-NeRF 360 的对比。

论文由此得出的实际优先级是组件顺序，而不是任何单一模块。密度控制必须先定位物体，视图过滤才能可靠地判断视图；单独过滤可能过度过滤并造成损害。论文的默认配置接受 42.90 dB，而不是单一模块最高的 43.01 dB，因为它在多个数据集间平衡了质量、紧凑性、效率和鲁棒性。

本文引用的文献