为什么更多历史反而拖慢机器人
单张相机画面能显示物体在哪里,却看不出它如何运动、交互进行到了哪一步。世界-动作模型在闭环中一边预测未来视频、一边输出动作,因此最近的视觉历史自然成为控制输入。问题在于,处理更多历史会增加计算,而这种延迟恰恰会削弱历史本应改善的响应能力。
论文因此提出两个相互关联的问题:控制性能如何随视觉上下文长度变化,这些收益能否在实时约束下保留?Long-WAM 被呈现为一个模型-系统框架,而非单一网络,因为回答这两个问题既需要让历史变得有用的预训练方案,也需要把延迟控制在有限范围内的执行栈。
自回归预训练让历史变得可用
论文的关键区分在于“能访问历史”和“学会从历史中预测”。自回归(AR)视频模型被训练为根据前面的视频块预测下一个视频块,因此学到一种因果的、从历史到未来的分解结构。Long-WAM 先在没有动作标签的机器人视频和第一视角视频上学习这种因果预测,再适配到动作,同时保留该结构。
支撑这一论证的对比在 RoboCasa GR-1 上使用三种视频初始化。两个经 AR 预训练的基础模型都能从把上下文从 0.0 秒延长到 19.2 秒中获益,而双向预训练的初始化则不能。机器人领域 AR 模型相对双向初始化的领先幅度,从无历史时的 3.3 个百分点扩大到 19.2 秒时的 17.1 个百分点。作者将此解释为 AR 预训练提供了利用历史的基础,而不只是存储历史;这一解读属于作者的解释,而差距本身是实测结果。
GR-1 与 LIBERO-Long 上的收益
在 RoboCasa GR-1 Tabletop 上,把历史窗口从 0.0 秒移到 19.2 秒,成功率从 63.3% 升到 78.7%,提高 15.4 个百分点。在 LIBERO-Long 上,2.4 秒历史把成功率从 94.5% 提升到 99.5%。这是两个任务组合不同、上下文长度也不同的基准,因此不应把这两个数字读成同一种收益尺度。
论文还报告了在 LIBERO-Long、RoboTwin 2.0(平均成功率 94.4%)和 DOMINO(成功率 34.9%)上优于所比较方法的结果。DOMINO 加入了运动物体,而最近的视觉历史对推断运动最为关键。预训练语料被描述为约 10,000 个窗口等效小时,这一估计按 2,294,889 个训练样本各计 16 秒得出,并非对唯一原始素材时长的统计。
更长上下文增加延迟,但收益并非线性
长上下文只有在控制器仍能及时响应时才可部署,因此论文在 RTX 5090 上测量端到端推理延迟。每个专家使用四步去噪时,在 2.4 秒历史下,每个动作块(包括未来视频潜变量预测)耗时 107.4 毫秒,相比 BF16 即时执行加速 3.3 倍。同一流水线在无历史时耗时 74.6 毫秒,在 19.2 秒历史时耗时 341.0 毫秒,即历史长度增加八倍,延迟约增加 3.2 倍。
三项系统设计支撑了这一点。流式观测编码在机器人仍在执行时对传入帧运行 VAE,把前缀计算提前到推理触发之前。异步执行让推理与正在进行的运动重叠。硬件特定加速包括 NVFP4 量化和针对设备的核函数调优,面向 RTX 5090、DGX Spark 和 Jetson AGX Thor。论文指出这些适配反映的是硬件约束,而非设备专属算法,并报告相对 BF16 即时执行的总加速为 3.2–4.1 倍。
动态操作把 Long-WAM 与基线区分开
真实机器人评估让上下文论证变得具体。在 Unitree G1 上,Long-WAM 从以 7.5 厘米/秒移动的传送带上抓取杯子的成功率为 90%,堆叠移动杯子的成功率为 95%。在动态堆叠杯子这一设置中,论文报告 Pi0.5 和 Fast-WAM 在 20 次试验中一次都没有成功。在 YAM 上,Long-WAM 以 81.7% 的成功率完成平均持续超过 40 秒的任务,把评估从快速拦截扩展到持续执行。
这些结果应被理解为特定任务上的比较,而非对基线的总体排名。论文自身的定位是:低层控制器受益于记住运动和近期交互状态,而小时级目标、推理和任务分解属于更高层规划器。Long-WAM 被定位为一个由记忆驱动的执行器,在复合任务中与这类规划互补。
有用窗口取决于数据与算力
论文并未声称越长越好。性能在 38.4 秒时下降,作者将其归因于当前数据集中真实历史稀疏,并报告该长度下有 80.4% 的填充。这一解释指向更密集、更长的机器人录制数据是延长有用窗口的途径,而不是某个固定的记忆最优点。
第二个边界是方法层面的:研究中的每个上下文窗口都训练为独立模型,这能清晰展示每种长度下历史带来多少帮助,但没有证明存在一个在测试时自行调整窗口的单一策略。实测延迟曲线(无历史 74.6 毫秒到 19.2 秒时 341.0 毫秒)显示了这种自适应可能节省多少计算。作者还指出,训练时对未来潜变量的替代输入仍保留一部分真实值成分,他们将其描述为训练近似,而非与推理时完全相同的条件分布。
把上下文、预测与延迟一起设计
论文最具决策意义的结论是一个比较,而非单一分数:更长视觉历史带来的回报取决于视频基础模型如何预训练。在 GR-1 上,机器人领域 AR 模型相对双向初始化的优势从零历史时的 3.3 个百分点扩大到 19.2 秒时的 17.1 个百分点,这意味着预训练目标的选择会改变更长上下文窗口的价值。
这把设计问题从“策略是否有记忆”转为“如何把上下文长度、预测表示和执行预算放在一起选择”。论文把合适的窗口呈现为取决于任务和算力,而非普遍固定,其自身的下一步是让单一策略在测试时调整窗口。对于比较世界-动作模型的读者,实际含义是联合评估它们记住了什么、动作完成得如何,以及多快纳入新的观测。
本文引用的文献
Long-WAM:扩展世界-动作模型的上下文
当视频基础模型以自回归方式预训练时,更长的视觉历史对机器人控制的改善大得多:在 RoboCasa GR-1 上,上下文从 0.0 秒延长到 19.2 秒使成功率从 63.3% 升到 78.7%,而双向预训练的初始化没有净收益。
