顺序分块链让小的对齐误差不断累积
分块对齐流程把长图像序列切成相互重叠的细分块,对每个分块独立运行 VGGT 这类前馈视觉几何 Transformer,再把各局部重建拼接成位姿图。每个分块的第一张输入图像被赋予单位外参并作为该分块的参考帧,相邻分块则通过重叠部分共享的帧进行对齐。
问题出在结构上。现有方法只连接时间上相邻的分块,因此相隔一步以上的两个分块只能通过中间对齐构成的链条间接关联。这些局部对齐中的小误差会沿链条传播,即使经过全局位姿图优化,仍会累积成大规模漂移。当检测到可靠重访时,回环可以偶尔提供非局部约束,但这类边稀疏,在长距离无回环的高速公路行驶等无重访序列中甚至完全缺失。
第二个来源是 VGGT 的锚定行为。模型把每个分块锚定到它的第一帧,并以逐渐缩小的尺度重建后续帧。由于这种收缩只朝一个方向作用,其误差会累积而非相互抵消,从而加剧顺序链本身已经产生的漂移。
粗分块把相距较远的细分块连成一条直接约束
VGGT-Bridge 在不重新训练模型、也不引入外部模块的前提下,向同一个轻量位姿图加入长程跳连边。对于步长 r,序列被下采样为每隔 r 帧取一帧,并划分为若干粗分块,每块含 B_r 帧。于是每个粗分块跨越 r·B_r 个原始帧,比细分块的 B 帧更宽。论文给出的例子是:细分块跨越 75 帧,而 B_3 = 35 帧的步长 3 粗分块跨越约 105 个原始帧。
当某些帧在粗分块中以被下采样的位置出现、在细分块中以连续位置出现时,该粗分块与该细分块就共享这些帧。方法从这些共享帧的三维点中保留一个可靠子集,要求两个分块间的深度差异小且预测置信度高,然后用一次 Umeyama SVD 估计细分块到粗分块的 Sim(3) 对齐。
一个粗分块会与多个连续细分块重叠,但把它们全部连上会让图过度约束。因此方法只连接相距最远的一对,即与该粗分块重叠的索引最小和索引最大的细分块。当这两者不相邻时,它们各自到粗分块的两个对齐通过共享的粗分块串联成一条跳连边,即从一个细分块到另一个细分块的直接 Sim(3) 约束。非相邻分块不再依赖隐式的顺序链。
反向锚定把尺度偏差变成校正信号
论文直接测量了 VGGT 的尺度偏差。它记录 KITTI Odometry 序列 00–10 上位姿图中每条边对应对齐的成对 Umeyama 对数尺度,并报告这十一个序列上的均值和标准差。理想情况下,对齐两个重建同一重叠区域的分块不应有尺度差异,即 log s = 0。细分块顺序对齐的平均对数为 −0.037,意味着按正向顺序处理的分块被重建得比前一个分块大约小 3.6%,是一种单向收缩偏差。由正向粗分块组合出的跳连边会继承这一偏差。
为分离反转的作用,作者对同一批跳连边在每个步长下比较正向锚定与反向锚定的估计,并把逐边位移定义为 Δ = log s_rev − log s_fwd。反向锚定把平均对数尺度在步长 3 下从 −0.032 移到 +0.036,在步长 5 下从 −0.026 移到 +0.043。Δ 在步长 3 下平均为 0.068 ± 0.037,在步长 5 下为 0.069 ± 0.029,分别在 85% 和 83% 的边上为正。因此反向跳连边把尺度估计推向与正向偏差相反的方向,提供了正向链所缺少的反偏差信号。
作者随后把同样的对数尺度分析用于输出轨迹与真值的对比,在滑动 75 帧窗口上测量残余局部尺度误差。他们报告该反偏差信号抑制了全局尺度漂移,反向锚定按预期校正了偏差。
回环感知策略只在没有回环处反转
反转并非在所有位置都合适。序列中既有漂移占主导的回环稀疏区域,也有回环边已经约束了漂移的回环密集区域。在回环密集区域,反向跳连边会与这些回环边相互拉扯,因此方法让回环密集区域保持正向,只在没有回环处反转。
对每个步长的所有粗分块统一指定一个方向无法同时适应两类区域,因此方向按每个粗分块的局部回环密度来选择。检测到的回环连接由位置识别找到的两帧重访。方法定义逐帧回环密度 ρ(t),统计有多少回环帧落在第 t 帧周围宽度为 W 的窗口内,并用所有帧上未归一化计数的最大值归一化,使 ρ 落在 [0,1]。对某个自适应步长的每个粗分块,在其帧上对密度取平均。若该平均值低于阈值 τ,说明该分块位于回环稀疏区域,成为反向锚定分块;否则保持正向锚定。
随后三类边集——顺序边、回环边和跳连边——在同一个 Sim(3) 位姿图中联合优化,用 Levenberg–Marquardt 求解。每条边的权重由一个按边类型设定的固定基础权重和一个每次迭代重算的残差相关因子相乘得到,后者实现为 Cauchy 因子 1/(1 + ‖r_ij‖²/δ²),δ = 2.0,从而避免少数离群的跳连边或回环边扭曲全局解。
无回环的 KITTI 序列上 ATE 下降最多
在 KITTI Odometry、Waymo Open Dataset 和 Virtual KITTI 上,VGGT-Bridge 在所有分块对齐方法中取得最低的平均 ATE RMSE,相比 SwiftVGGT 基线分别降低 28.3%、10.0% 和 18.8%。在 KITTI Odometry 上,摘要报告误差从 31.53 m 降到 22.61 m。
KITTI Odometry 上的组件消融每次叠加一个组件。SwiftVGGT 起点为平均平移 ATE 31.53 m、旋转 13.38°、平均 |log s| 0.157。加入粗步长分块后,平均平移 ATE 变为 26.91 m,旋转 12.15°,尺度 0.139。再加入反向粗分块后达到 22.85 m、12.41° 和 0.115。加入回环感知策略——即完整方法——达到 22.61 m、12.26° 和 0.113。
锚定位置消融单独考察方向选择。步长 3 和步长 5 都正向时平均 ATE 为 26.91 m;都反向时为 24.08 m;步长 3 反向、步长 5 正向时为 22.61 m。混合配置是三者中最好的,这与回环感知策略的前提一致:反转应当有选择地施加,而不是统一施加。
无回环与回环失败序列的收益最明显
KITTI Odometry 序列 01、02 和 09 的定性轨迹对比代表了三种不同的回环条件。序列 01 是无回环的高速公路序列:SwiftVGGT 在末段逐渐低估尺度,其稠密重建发生崩塌,而 VGGT-Bridge 恢复了与真值相符的开环轨迹。在序列 02 上,回环检测未能精确闭合回环,该方法仍给出与真值更对齐的轨迹并降低 ATE。在序列 09 上,回环被正确闭合,自适应策略在不与回环约束冲突的情况下加入跳连边,进一步改善轨迹。
论文还报告,在 KITTI Odometry 序列 08 上,这些长程约束把 ATE RMSE 降到 47.1 m。Accuracy、Completeness 和 Chamfer Distance 等标准三维重建指标报告在补充材料中,而非正文。
图层面的修正无法修复主干网络误差
该框架同时继承了 VGGT 主干网络和回环检测器的局限。由于它在图层面工作,并不直接对 VGGT 预测本身去噪,因此严重的主干误差仍可能通过跨尺度跳连边传播。自适应锚定策略还受回环检测可靠性的限制,在视觉歧义或无纹理场景中漏检的回环可能导致次优的锚点选择。
该方法还需要在粗步长分块上额外运行 VGGT,增加了推理时间;论文在效率对比中报告了总处理时间、相对 VGGT-Long 的 FPS 以及所有序列上的平均 ATE RMSE。与其他基于 VGGT 的重建方法一样,它假设场景以静态为主,动态物体的处理被描述为与该贡献正交。
实际解读应是一种情景划分,而非笼统的提升。报告的最大收益出现在 KITTI Odometry,该基准包含最能直接暴露累积尺度漂移的无回环序列 01;最小收益出现在 Waymo Open,为 10.0%。锚定位置消融从另一个角度指向同一结论:两个步长都反向时平均 ATE 为 24.08 m,而步长 3 反向、步长 5 保持正向时为 22.61 m。该方法的优势集中在有选择的反转,而不是统一反转。
本文引用的文献
VGGT-Bridge: Beyond Sequential Pose Graphs via Coarse-Stride Skip Edges
VGGT-Bridge 通过粗步长 VGGT 运行与反向锚定,在非相邻分块之间加入免训练的长程跳连边,相比 SwiftVGGT 基线在 KITTI Odometry 上降低 ATE 28.3%,在 Virtual KITTI 上降低 18.8%,在 Waymo Open 上降低 10.0%。
