主要开销集中在 RGB 推演
导航世界模型为轨迹选择补上了前瞻能力:导航策略给出若干候选轨迹后,模型预测每条候选将产生的未来视觉观测,再挑选预测结果最好的轨迹。问题在于,这种预测是逐候选进行的。在论文的组件耗时剖析中,预测时域 H = 4、候选轨迹 K = 16 时,以候选为条件的 RGB 推演占 NoMaD+NWM-XL 实测计算量的 97.6%,端到端实际耗时达到每个决策状态 221.97 秒。
这一剖析界定了设计目标。昂贵的环节不是生成轨迹,而是在排序前为每条轨迹单独渲染一个视觉未来。因此 LiteNWM 保持提议器不变,把评估路径移入潜空间,使候选之间无需为每一条重建图像即可比较。
一次共享编码服务全部候选
每个决策状态下,机器人拥有四帧观测历史和一张视觉目标图。冻结的 NoMaD 策略提出 K = 16 条四步候选轨迹,当前轨迹作为在位轨迹保留,因此比较集共有 17 个成员;K 只计挑战者。冻结的 DINOv3 编码器加一个轻量适配器,每个状态只对历史和目标编码一次,且该历史编码由所有候选共享。
一个小型动作编码器把每条候选转成动作 token,并通过 SE(2) 积分得到累积位姿。位姿条件化的形变操作用编码状态和最新 token 网格初始化查询,六个因子化模块再结合动作与历史条件对查询进行细化。线性头预测残差,得到 H1 到 H4 各时域的未来潜变量。四个时域联合预测,彼此之间没有自回归反馈,预测器由冻结的 DINOv3 适配后的未来特征监督。预测器不以目标为输入,目标通过打分器进入。
打分器以在位轨迹为参照评判候选
打分器把每条候选的预测未来与当前 token 网格、编码后的目标结合,再预测该候选相对在位轨迹会如何改变四项结果:ATE、单步平移 RPE、终点位移误差,以及组合代价 J = 0.4 ATE + 0.6 FDE。变化为负表示改善。监督目标以米为单位,而报告误差按数据集路点间距归一化;选择时参考未来位姿不可用。
选择是带门控的,而非纯排序。三名成员的预测器与打分器集成给出保守估计,即在预测均值上叠加经校准的不确定性项;校准概率分别表示双重改善(ATE 与 J 同时下降)或有害(任一上升,容差 10⁻⁷ 米)。候选必须通过物理检查与提议支持检查,并越过按数据集拟合的 ATE、J、双重改善概率和有害概率阈值。合格候选中选择分数最低者;若无合格者,则保留在位轨迹。所有模型冻结下执行一次 CEM 细化迭代,执行采用滚动时域方式:观测、提议、预测、选择、执行短段、重新规划。
离线误差下降且延迟大幅缩短
在 RECON、SCAND 和 SACSoN 上的离线评测,以匹配的初始提议池在 H = 4 下比较 LiteNWM 与 NoMaD+NWM-XL。LiteNWM 把宏平均轨迹误差降低 17.56%,并在 RTX 5090 上实现 128.00 倍端到端加速。这是同一比较中的两种不同测量:一个是跨数据集的精度聚合,一个是实际耗时之比,二者不能互相替代。
加速来自机制本身,而非缩小搜索范围。共享视觉编码、批量潜空间预测和轨迹打分,把 RGB 基线对每条候选重复的工作摊薄了。一项相关消融显示选择本身贡献了多少精度:固定提议池上的选择保留了相对 NoMaD+NWM-XL 所观测到的 CEM1 ATE 降幅的 94.75%。把 CEM 从一轮加深到三轮,宏 ATE 仅再降 0.64%,而在 RECON 资源基准中实际耗时增加约 71%,因此这里额外搜索收益很小。
评估器可迁移到不同提议器
由于 LiteNWM 从不微调提议器,一个自然的问题是它的评估器是否绑定在 NoMaD 的提议分布上。论文报告,同一评估器无需针对提议器重新训练即可从 NoMaD 迁移到 MBRA,使 MBRA 的宏平均轨迹误差降低 16.2%。一个确定性动作适配器把 MBRA 的输出映射到同样的四步局部表示,部署期间 LiteNWM 各组件保持冻结。
这是评估器的迁移结果,并不证明提议器本身变好。冻结的提议器不从评估器获得训练反馈,因此即使 LiteNWM 找到更好的轨迹,其初始提议分布也不变。四步预测器评估的是局部后果;更长路线依赖反复重新规划,论文并未确立超出该时域的预测精度。
在未见环境中的真实机器人成功率
最受关注的部署结果来自未见过的室内外真实机器人实验:相对 NoMaD,LiteNWM 把导航成功率从 43.3% 提升到 83.3%。这是物理机器人闭环下的成功率比较,与离线轨迹误差和延迟数字不同;论文以此作为未来感知规划与闭环导航可在机载运行的证据。
理解这一提升需要注意适用范围。提议器是冻结的,预测器覆盖四步,打分器的阈值与温度在独立的打分器校准划分上拟合。对选择分数更激进的优化可能暴露模型误差,尤其是在提议分布之外,这正是接受门控与提议支持检查位于预测分数与执行轨迹之间的原因。
决定增益的是预测质量而非搜索深度
综合来看,结果指向一个具体优先级。大部分精度已由在固定提议池上做选择获得,把 CEM 深度增至三倍只多带来 0.64% 的宏 ATE 降幅,却增加约 71% 的实际耗时。更大的杠杆在评估器:更好的预测未来,以及一个校准良好的门控来决定何时覆盖在位轨迹。迁移结果的意义也在这里,因为同一冻结评估器在未重新训练的情况下把 MBRA 的宏平均轨迹误差降低了 16.2%。
论文给出的下一步遵循同样逻辑:用打分器和预测器的反馈训练轨迹生成器,把平滑的在位相对代价梯度经打分器、预测器和候选动作传回可微生成器,评估器权重、在位轨迹和比较上下文初期保持固定,更新受运动学与提议分布邻近性约束。在这样一项评估于匹配计算预算下同时报告观测到的轨迹结果与预测分数之前,可辩护的结论更窄:潜空间的动作条件未来预测足以对冻结策略的短时域提议排序,快到可在机载运行,也强到能在受测的未见环境中把真实机器人成功率从 43.3% 提升到 83.3%。
本文引用的文献
LiteNWM: Efficient Latent World Models for Onboard Visual Navigation in the Wild
LiteNWM 在候选之间共享视觉编码,并联合预测四个时域的动作条件未来潜变量,相对 NoMaD+NWM-XL 把宏平均轨迹误差降低 17.56%,在 RTX 5090 上实现 128.00 倍端到端加速,迁移到 MBRA 后误差降低 16.2%,并在未见过的室内外环境中把真实机器人导航成功率相对 NoMaD 从 43.3% 提升到 83.3%。
