[CVPR 2026] DynamicVGGT：突破静态限制，开启自动驾驶前馈 4D 场景重建新范式

TL;DR

DynamicVGGT 是一款专为自动驾驶设计的 4D 场景重建框架。它将原本处理静态几何的 VGGT 模型扩展到了 4D 维度，通过“隐式未来点预测”与“显式高斯运动建模”的双重策略，实现了无需场景优化、无需相机外参的高精度动态重建。在 Waymo 和 KITTI 数据集上，该方法展现了卓越的时间一致性与重建保真度。

背景定位：从 3D 静态感知到 4D 动态重建

在自动驾驶领域，快速准确地重建 4D 环境（3D 空间 + 时间维度）对于仿真测试和在线轨迹规划至关重要。虽然 DUSt3R 和 VGGT 等前馈模型在 3D 重建上取得了突破，但在面对高速行驶的车辆和复杂的城市场景时，这些模型往往表现得像是在看一堆“破碎的幻灯片”，缺乏对物体运动的连续性理解。DynamicVGGT 的出现，正是为了填补这一空白，将动态性（Dynamics）引入大规模前馈模型。

痛点深挖：为什么动态重建这么难？

1. 数据噪声与稀疏性：自动驾驶的 LiDAR 数据非常稀疏，直接训练容易导致模型退化。
2. 运动不确定性：现有的模型大多假设场景是静态的，或者仅能处理室内微小的动作。在户外，长程的时间依赖和复杂的物体运动对模型的一致性提出了极高要求。
3. 效率瓶颈：传统的 4DGS 方法往往需要针对每个场景进行数小时的优化，这在实时性要求极高的自动驾驶场景中是不可接受的。

核心方法论 (Methodology)

1. 架构逻辑：双轨并行的运动学习

DynamicVGGT 在 VGGT 的空间注意力（Spatial Attention）基础上，引入了并行的 运动感知时间注意力 (MTA)。MTA 模块通过 learnable motion tokens 在多帧之间传递信息，且不干扰原有的空间几何先验。

图 1：DynamicVGGT 整体架构，展示了 MTA 模块与 FPH、DGSHead 的协同工作原理。

2. 动态点图 (DPM) 与任务表述

模型不仅预测当前帧的 $P_t$，还通过 未来点预测头 (FPH) 预测 $P_{t+\delta }$。这种“预知未来”的任务设计迫使网络在隐空间中建立时间对应关系，从而学习到底层的物理运动规律。

3. 动态 3D 高斯喷头 (DGSHead)

为了进一步提升渲染质量，作者设计了 DGSHead。它将 MTA 提取的特征转变为具有速度属性 ($u_i$) 的 3D 高斯原语。利用场景流 (Scene Flow) 作为显式监督信号，每个高斯点现在都拥有了自己的“速度向量”，能够随着时间平滑移动。

图 2：动态任务表述。左侧为隐式运动学习（FPH），右侧为显式运动监督（DGSHead）。

实验与结果 (Experiments)

在 Waymo 数据集的严苛测试下，DynamicVGGT 证明了即使在没有相机内外参的情况下，其重建效果依然能逼近甚至超越一些需要繁杂优化的 SOTA 方法。

• 点云重建精度：在 KITTI 上 Accuracy 达到了 0.901，显著优于 StreamVGGT。
• 深度估计：在跨领域（从室外到室内 NYU-v2）的测试中，展现了极强的泛化 Inductive Bias。

表 1：KITTI 与 Waymo 上的定量对比结果，DynamicVGGT 在多项指标上领先。

消融实验的关键发现

作者发现，“阶段式训练”对处理真实世界的稀疏 LiDAR 数据至关重要。通过先在合成数据（具备稠密 GT）上学习几何，再在真实数据上进行深度蒸馏，模型成功克服了现实数据的噪声干扰。

深度洞察与总结

核心价值： DynamicVGGT 的成功在于它意识到 4D 重建不应仅仅是“多帧 3D 重建的堆叠”，而必须具备处理运动的专用模块。它巧妙地平衡了前馈效率与动态一致性。

局限性： 尽管模型推理极快，但其参数量达到了 1.4B，这对车载计算平台的显存是一个巨大挑战。此外，对于极端遮挡下的长程运动预测仍有提升空间。

展望： 随着大规模 4D 数据的不断积累，这类前馈式、无需优化的 4D 重建框架有望成为自动驾驶环境感知的通用底座（General Foundation Model）。