漂移让两次未变重建也不一致
工厂、博物馆和测绘人员相隔数月拍摄同一空间,需要知道哪些物体发生了变化。当每次拍摄都用 3D 高斯泼溅(3DGS)独立重建时,两次重建不共享任何基元,基元数量和位置也不同。由于 3DGS 训练是随机的,且每次拍摄的相机路径不同,同一未变空间的两份重建永远不会重合;论文沿用 GS-Diff 的说法,把这种差异称为漂移。
因此,直接在两组基元之间计算差异,会把真实变化与漂移混在一起。第二次拍摄往往还只是照片数量少得多的快速重扫。MV-3DCD 和 O-SCD 等先前方法把逐视角线索融合成高斯上的稠密变化场,GS-Diff 则直接比较两组基元,渲染出每个基元的变化分数,并在每个像素上以固定 0.5 阈值二值化。这些都是像素级判定,阈值事先固定,而所判定的物体可能跨越数千个基元。
照片不携带重建漂移
论文的关键观察是:与基元不同,用于训练的照片不携带重建漂移。因此 GS-Pool 让重建从基元空间提出候选的物体变化,再由另一次拍摄的照片确认或否决。
由于仅靠几何和颜色可能漏掉同一位置上的不同物体,GS-Pool 还把基础模型生成的语义场蒸馏到基元上。它保持 GS-Diff 的漂移模型、几何与颜色核以及可观测性权重不变,新增四项贡献:物体池、摄影载体、逐场景变化阈值,以及在相同输入上与 MV-3DCD 和 O-SCD 的对比评估。
SAM2 掩码变成三维物体池
GS-Pool 接收同一空间、共享同一相机坐标系的两份独立重建高斯场,返回各自发生变化的物体及其掩码。每次拍摄都由未经修改的 3DGS 训练器按其发表默认设置重建;论文使用 vanilla 3DGS 和 FastPGSR,即 PGSR 的 FastGS 加速版。
SAM2 对每次拍摄的关键帧做分割。每个掩码被提升到渲染它的基元上,需通过两项检验:基元必须靠近渲染表面,且它在那个视角中至少一半的渲染权重落在掩码内。在关键帧链上共享同一 id 的分段构成一条轨迹,基元集合重叠且 IoU 至少为 1/2 的轨迹合并为一个物体。若一个基元被多个物体认领,它归属于在至少两个关键帧中认领它、且持有其最多渲染权重的那个物体。
结果是每次拍摄得到一个互不相交的物体池。太小、无法在其上聚合证据的物体,以及通常代表空间本身的最大物体,都会被排除;当一个物体的被覆盖基元数位于该池自身物体尺寸的下四分位数与 W 的一半之间时,它才是可入池的,W 是尺寸阈值及以上物体中被覆盖基元的总数。
四种载体对照逐场景零分布排序
每个物体由四种逐基元载体打分:几何、颜色、语义和摄影。语义场为每个基元附加一个 DINOv3(ViT-L/16)描述子,经一次 PCA 降到 32 维后蒸馏到基元上,而重建本身保持固定;PCA 在两次拍摄上共同拟合,因此两次拍摄的特征处于同一特征空间。
摄影载体是每次输入重建相对另一次拍摄照片的 3DGS 训练损失,经光栅化器反传到渲染每个像素的基元。论文还直接用照片检验每个物体:物体在某张照片中的足迹,是权重至少一半来自其被覆盖基元的像素集合;当该足迹上的平均摄影损失超过整张照片损失的 95 百分位时,这张照片对该物体是热照片。
每个物体的证据会与两次拍摄中都存在的物体比较,后者构成未变物体的经验零分布。四种载体的排名用 Fisher 统计量合并,并设定一个缩放卡方阈值,使大约一个零分布物体超过它。这正是变化阈值随场景而定、而非固定 0.5 的原因。
规则各组件都带来可测增益
论文在同一批物体池和载体上逐组件搭建判定规则,对每个训练器的 60 个联合坐标系成员取平均。仅用照片时,FastPGSR 上为 0.4681 mIoU / 0.5896 F1,vanilla 3DGS 上为 0.4353 / 0.5627。加入语义后升至 0.5899 / 0.7087 和 0.6060 / 0.7291。
对四种载体取平均得到 0.6090 / 0.7252 和 0.6107 / 0.7357。用 Fisher 核心替换该平均值后,两个训练器的 mIoU 都上升,达到 0.7034 / 0.8080 和 0.6617 / 0.7762。加入照片排名法定人数后为 0.7113 / 0.8147 和 0.6668 / 0.7796,而包含视角统计量的完整规则达到 0.7509 / 0.8461 和 0.7198 / 0.8209。
GS-Pool 在 PASLCD 与 CL-Splats 上领先
在 PASLCD 上,GS-Pool 的 mIoU / F1 为 0.751 / 0.846,而最强先前方法 GS-Diff 为 0.644 / 0.758,提升 17% / 12%。其 mIoU 还分别比 O-SCD、PlenoCI 和 MV-3DCD 高 36%、40% 和 57%。在 CL-Splats 上它达到 0.855 mIoU,比 MV-3DCD 高 33%。论文中报告的最强二维方法 CYWS-2D 在 PASLCD 上为 0.273 mIoU。
论文通过对 PASLCD 的十个场景有放回重采样 100,000 次来报告场景级不确定性,每个区块内保留两个实例和全部三个随机种子。在联合坐标系上,FastPGSR 的 mIoU 区间为 [0.6825, 0.8102],其下端高于 GS-Diff 报告的 0.644,vanilla 3DGS 为 [0.6371, 0.7972]。FastPGSR 比 vanilla 高 4.3%,区间为 [0.2%, 9.1%]。这些区间描述的是固定配置下的这十个场景。
逐单元结果差异很大。在 FastPGSR 的联合坐标系上,Garden i1 达到 0.855 mIoU,Porch i2 达到 0.882,而 Lunch room i1 只有 0.498,Cantina i1 为 0.642。20 个单元的均值为:FastPGSR 联合 0.7509 mIoU / 0.8461 F1,FastPGSR 锚定 0.7260 / 0.8277,vanilla 3DGS 联合 0.7198 / 0.8209,vanilla 3DGS 锚定 0.7281 / 0.8266。
光照变化仍会触发误报
在光照不同的同一未变场景两次拍摄之间,GS-Pool 标记的像素少于用其发布代码运行的 MV-3DCD 和 O-SCD。但仅光照变化仍会产生误报,因此该方法并未消除这一失效模式。
GS-Pool 的全部证据都来自重建和照片,因此拍摄质量差会使其退化。它的物体来自 SAM2,所以 SAM2 未分割为独立掩码的变化无法被后续阶段找回。蒸馏场、SAM2 提升以及在另一次拍摄相机下的渲染,也使 GS-Pool 比单纯比较两组基元更昂贵。
物体级判定支持三维复核
GS-Pool 的输出是每次拍摄的物体池、每个物体及其判定和证据,以及作为 3DGS 图层叠加在任一重建上的变化基元。每个变化物体以一组高斯返回,并附有其判定依据,检查人员可在三维中复核。
论文自己的定位是,这把检测从单个基元推进到整个物体,从而为分类每个物体经历了何种变化开辟了道路,作者表示将在未来进一步探索。因此对读者而言,实际重点在于判定单元:GS-Pool 相对 GS-Diff 的优势来自按物体聚合一次证据、并用每个场景自身的零分布物体设定阈值,而不是固定的逐像素截断。当 SAM2 未把某物体分割为独立掩码,或仅光照就改变了照片时,这一优势会收窄。
本文引用的文献
GS-Pool:三维高斯泼溅中的物体级变化检测
GS-Pool 在两次独立重建的 3DGS 场之间按物体判定变化,在 PASLCD 上达到 0.751 mIoU / 0.846 F1,比 GS-Diff 高 17% / 12%,在 CL-Splats 上达到 0.855 mIoU。
