潜在世界模型中的决策度量对齐能否在规划目标对齐的挑战下实现扩展？

为什么潜在距离无法正确排序候选计划——以及如何修复？

核心问题在于，一个潜在的世界模型可能擅长重建场景或预测未来状态，但这并不意味着目标潜在向量与预测潜在向量之间的欧氏距离能够正确地对哪条动作序列更接近目标进行排序。这正是文献[2]的作者所称的“决策-度量对齐”。他们表明，对任务变量（如物体位置）的强解码能力并不能保证用于模型预测控制（MPC）的成本函数会依据真实任务进展对候选计划进行排序。其控制因素包括编码器失真、末端滚动误差以及候选间隔——也就是说，潜在空间中的微小误差可能会翻转那些质量相近计划的排序。

如[2]所示，解决方案是在训练损失中加入动作条件目标。DA-LeWM在LeWM基线基础上增加了逆动力学（从连续潜在变量预测动作）和演示条件目标动作头。这重塑了潜在空间的几何结构，使欧氏距离能更好地反映任务进展。结果是：DA-LeWM加速了收敛，在线成功率高于LeWM，而探针分数（衡量潜在变量编码任务变量程度的指标）保持相似。换言之，你可以在不牺牲表征质量的前提下提升规划能力——关键在于训练潜在空间具备“规划感知”能力，而不仅仅是“重建感知”能力。

我们能否通过直接学习规划器本身——而不仅仅是代价函数——来实现对齐的规模化？

是的，而这正是收益最大的地方。与其手工设计搜索算法或对其进行提炼，[3]引入了强化规划（RP1），它既能学习如何评估想象出的结果（通过评论器），也能学习如何改进多步计划（通过完全离线训练、基于想象世界模型推演的优化器）。这是首个完全学会改进多步计划的方法，并且它可以附加到任何预训练的潜在世界模型上。在视觉导航、机械臂到达和机器人操作等任务中，RP1显著优于手工设计的搜索算法，在多种场景下达到近乎完美的成功率，同时使用的世界模型推演次数减少了1000倍，并且在并发规划器推理下速度最高提升67倍。

这对扩展至关重要，因为它将规划器与世界模型的潜在几何结构解耦。即使潜在空间并非完美对齐，经过学习的规划器也能通过学习与给定表示相匹配的搜索规则来加以补偿。 rollout数量减少1000倍是一个巨大的实际优势——这意味着你可以在实时运行中执行更多规划步骤，这对自动驾驶等实际部署场景至关重要。在并发推理下实现67倍加速，使其在嵌入式硬件上使用成为可能。

这对自动驾驶等真实世界系统意味着什么——又有哪些注意事项？

最具体的现实世界证据来自[1]，该研究将面向规划的潜在世界模型应用于自动驾驶。WorldRFT采用视觉-几何基础模型实现3D感知、分层规划分解和局部感知迭代优化，并结合碰撞感知奖励进行强化学习微调。在开环nuScenes基准测试中，碰撞率降低了83%（从0.30%降至0.05%）。在闭环NavSim基准测试中，仅使用摄像头输入，其性能与基于激光雷达的最先进方法相当（PDMS分别为87.8和88.1）。这表明，将潜在世界模型与规划目标对齐，可以在高风险领域转化为显著的安全性能提升。

但这里有一些需要注意的地方。首先，这些是仿真基准测试，并非真实道路驾驶测试——开环意味着模型不与环境交互，而闭环NavSim也仍是模拟器。其次，[2]中衡量的一致性提升是在受控实验中得出的；该论文并未报告真实世界的部署情况。第三，[3]中的学习型规划器是在视觉导航和操作任务上测试的，而非高速驾驶场景。因此，尽管证据有力地表明一致性可以扩展，但从仿真到现实的迁移仍是一个悬而未决的挑战。此外，值得注意的是，[1]和[2]在实现一致性的方式上有所不同——[1]采用层次化分解和强化学习微调，而[2]使用动作条件化目标——但两者都汇聚到同一个原则上：让潜在空间明确感知规划目标。这种跨不同方法的一致性进一步强化了整体论点。

关于这些资料来源

此回答基于3项研究（均为预印本）——发表于2025年至2026年，其中3项为2024年或之后——从3项通过质量筛选的研究中选出最相关的，这些研究来自从超过5亿篇论文的数据库中检索到的17篇文献。

本文引用的文献

相关研究问题