前向动力学模型能否在不传播误差的前提下耦合动作与未来预测?

FDM 让未来预测读取动作特征,训练时用真实未来监督策略,推理时跳过未来生成。

直接答案

按这篇论文的设计,可以。前向动力学模型(FDM)让未来预测读取动作特征,而不是反过来,因此训练时真实未来状态能监督策略,预测出的未来却无法回灌到动作中。推理时未来分支被完全跳过,作者报告 LIBERO 平均成功率 99.4%,并在五项真实机器人任务上比 VLA 和 WAM 方法最高提升 13 个百分点的绝对增益。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

两种范式各留一处缺口

视觉-语言-动作(VLA)模型改造预训练的视觉-语言模型,把当前观测和任务指令直接映射为动作。论文批评这条动作模仿路线只学“做什么”,没有对“接下来会发生什么”的显式监督,因此未来世界状态里蕴含的信号被浪费了。

世界动作模型(WAM)以视频骨干网络为基础,在建模动作的同时建模视觉动态。主流设计先预测未来世界状态,再以逆动力学方式从未来状态反推动作。论文认为未来预测本身容易出错,因为空间和时间上的每个视觉细节都重要;把它放在动作预测之前,误差会累积并放大进动作,而且生成未来还带来可观的推理开销。

FDM 是论文保留未来状态的训练收益、同时去掉推理阶段对预测未来的依赖的尝试。作者称之为“动作到未来”范式:未来预测以动作特征为条件,绝不反向。

非对称注意力决定信息流向

FDM 的两个实例都通过专家之间的逐层注意力把动作学习和未来预测连接起来。每个专家保留自己的特征变换,注意力只让它读取被允许看到的表示。未来预测分支读取的是网络中流动的动作特征,而不是最终输出的数值动作。

注意力掩码负责强制这一方向。在基于 VLM 的模型中,上下文特征对两个下游专家都可见,生成 token 额外读取动作特征。在基于 VGM 的模型中,当前观测 token 只关注当前观测,动作 token 读取当前观测和其他动作 token,未来视频 token 读取以上三组。这些权限在每一层都成立,因此动作特征以及它所读取的观测特征都与生成分支 token 无关。

同一条连接在优化时反向传递监督。未来损失经由生成专家读取的动作键和值求导,更新产生这些键值的动作特征;动作模仿同时通过动作速度头监督这些特征。真实未来状态就是这样到达策略的,而策略从不消费任何预测出的未来。

未来监督在两类骨干上都提升成功率

论文实例化 FDM 两次,检验收益能否在更换骨干后保留。FDM w/ VLM 在 π0.5 上增加一个随机初始化、结构与动作专家相同的生成专家;FDM w/ VGM 在 Wan2.2-5B 上增加一个随机初始化的动作专家。两者都没有经过机器人策略预训练。

在 LIBERO 上,FDM w/ VLM 把平均成功率从 π0.5 的 96.9% 提升到 99.4%,并把 LIBERO-Long 套件从 92.4% 提升到 98.6%。FDM w/ VGM 达到 98.1% 平均成功率,对比 Motus 的 97.7% 和 LingBot-VA 的 98.5%。在 RoboTwin 上,两个实例平均成功率分别为 81.20% 和 89.23%,优于 π0.5(79.75%)和 Motus(87.8%),且两者在随机化条件下都有提升。

真实机器人评估使用双臂 ARX-X5 机器人,包含五项任务:抽屉装填、装箱并关闭、羽毛球插入、纸杯堆叠和积木堆叠,每种方法每项任务 20 次试验。FDM w/ VLM 在全部五项任务上平均成功率 96%,π0.5 为 83%。FDM w/ VGM 达到 83%,对比结构相同的 FastWAM-Joint 的 78% 和 DreamZero 的 71%。两个实例在 Cup 和 Block 上都达到 100%。

增益来自经动作特征的反向传播

仅比较成功率无法说明设计中的哪一部分起作用,因此作者在五项真实机器人任务上消融动作到未来的连接,设置四个变体,训练和评估条件匹配、训练种子相同。Action-only 只用动作模仿训练。Context-only future 加入未来目标,但禁止生成分支 token 读取动作特征。Stop-gradient 动作条件化让未来分支读取 sg(Ha),保留前向数值但阻断梯度。Full FDM 让未来分支读取 Ha 并反向传播。

加入仅上下文的未来目标后,基于 VLM 的模型平均成功率从 83% 升到 87%,基于 VGM 的模型从 66% 升到 72%。Full FDM 在此基础上再提升 9 和 11 个百分点,两个骨干家族在全部五项任务上都更高。相对仅动作训练,总增益在基于 VLM 的模型上达到 13 个百分点,在基于 VGM 的模型上达到 17 个百分点。

最干净的隔离是 Full FDM 对 Stop-gradient。在参数、输入和噪声相同时,sg(Ha) 与 Ha 给出完全相同的前向预测,唯一差别是训练时未来损失梯度是否经过动作特征接口。Full FDM 把基于 VLM 的模型平均成功率从 89% 提升到 96%,把基于 VGM 的模型从 78% 提升到 83%,分别提升 7 和 5 个百分点。在每个家族中它提升四项任务,在第五项上与 Stop-gradient 持平。作者据此认为,驱动部署时仅动作推理策略改善的是经动作特征的反向监督,而不只是存在未来目标。

扰动预测未来不改变动作输出

论文直接检验误差传播的说法,而不是从成功率反推。它取 FastWAM-Joint——与 FDM w/ VGM 结构相同、仅注意力掩码不同——在联合去噪的中间阶段向未来视频潜变量注入一次高斯噪声,保持当前观测和加噪动作块不变。扰动强度为 α ∈ {0, 0.1, 0.25, 0.5, 1.0},α = 0 为未扰动条件,报告指标是相对该条件的动作误差增幅百分比。

评估是开环的,覆盖 RoboTwin、LIBERO 和五项真实任务,各自使用完整验证集,每个样本的观测、指令和采样随机性固定。FastWAM-Joint 的动作误差随扰动强度上升。FDM 的变化按设计为零:在参数、输入和动作采样随机性固定时,扰动生成的未来不会改变动作预测,与未来生成质量无关。

这是架构层面的不变性,不是实证的鲁棒性结果。它来自条件方向:FDM 的动作路径从不读取生成分支 token。开环动作误差与闭环任务成功率也是不同的量,论文分别报告。

未来梯度与动作梯度大体同向

如果未来监督与动作模仿相互冲突,即使架构干净,训练信号也值得怀疑。作者比较动作模仿梯度与经动作到未来接口传播的未来损失贡献,在共享上下文的键/值投影上测量余弦相似度。这样隔离的是经动作特征的反向贡献,而不是全部未来损失梯度。

FDM w/ VLM 在所评估的设置中主要呈正对齐,只有有限的早期偏离。多数 FDM w/ VGM 设置在初期波动后也呈正对齐。作者据此认为,在这项分析中两个梯度方向大体兼容,并把它作为动作到未来连接可作辅助训练信号的支撑。该结论针对这些投影上的局部梯度对齐,并不保证全局优化行为。

跳过未来分支的代价与节省

训练和推理成本随骨干不同而朝相反方向变化。对基于 VLM 的策略,未来监督把训练单步时间从 0.444 秒增加到 0.631 秒(+42.1%),而推理延迟与 π0.5 相当,为每块 202.98 毫秒对 203.77 毫秒。对基于 VGM 的策略,训练单步时间几乎不变,为 0.973 秒对 0.975 秒,而推理延迟从每块 446.55 毫秒降到 253.45 毫秒,相对 FastWAM-Joint 提速 1.8 倍。

这种不对称来自部署时保留了什么。基于 VLM 的策略用上下文专家和动作专家去噪动作块,生成专家及其 VAE 处理对控制并不必要。基于 VGM 的策略先处理一次当前观测,在每个 transformer 层缓存键和值,之后每个动作去噪步骤复用该缓存,只更新动作流,不分配也不处理未来视频 token。它保留生成专家的观测处理,因为这部分为动作生成提供视觉上下文。

因此效率论证在 VGM 骨干上最强,正是把未来生成移出动作路径带来了提速。对 VLM 骨干,收益在于鲁棒性和监督,而不在延迟。

动作到未来设计的取舍重点

论文自身的比较结构指向一个具体优先级。如果目标是报告中最高的操作成功率,FDM w/ VLM 是这里更强的配置:LIBERO 平均 99.4%,五项真实任务平均 96%,而 FDM w/ VGM 分别为 98.1% 和 83%。如果目标是视频骨干上的推理速度,FDM w/ VGM 是相应选择,把每块延迟从 446.55 毫秒降到 253.45 毫秒,同时把真实世界平均成功率从结构相同的 FastWAM-Joint 的 78% 提升到 83%。

消融给出了考虑这一设计时最关键的判断阈值。只做视觉预测协同训练、不把梯度经动作特征传递的未来目标,只能拿回部分增益(VLM 从 83% 到 87%,VGM 从 66% 到 72%)。剩下的一步需要经 Ha 的反向连接,相对 stop-gradient 对照价值 7 和 5 个百分点。因此论文的独特主张比“预测未来以更好地行动”更窄:价值在于用观测到的后果监督动作特征,同时把预测出的未来挡在动作路径之外。

本文引用的文献

1

Forward Dynamics Models

FDM 让未来预测以动作特征为条件,训练时用真实未来监督策略,推理时仅用动作并跳过未来生成;它在 LIBERO 上达到 99.4% 平均成功率,并在五项真实机器人任务上比 VLA 和 WAM 方法最高提升 13 个百分点的绝对增益。