什么是 OpenWAM，它如何实现可组合的世界-动作模型？

世界-动作模型为何难以比较

世界-动作模型把未来观测预测与机器人控制结合起来。论文指出，已有系统往往同时改变好几件事：视频主干、视频流与动作流的交互方式、使用的监督信号，以及推理顺序。当这些因素一起变化时，一个报告出来的成功率无法告诉读者，究竟是哪项设计选择带来了提升。

OpenWAM 的做法是固定视觉基础，把交互模式当作变量。所有下游变体都从同一个因果机器人视频检查点出发，共享分词方式和目标函数族，并用同一套协议评估。这样，比较对象就从整套系统变成了交互程序，这也是该框架作为测试平台的主要贡献。

一个主干与四种视频-动作交互程序

主干最初是通用视频模型 Wan2.2-5B，随后在不使用动作标签的情况下，用超过 10,000 小时的机器人和人机交互视频继续预训练。由于原模型不具备时间因果性，作者加入了分块因果预测：一个未来块可以关注当前观测、更早的观测和此前生成的块，但不能关注更晚的块；块内 token 则联合去噪。这为模型规定了固定的时间方向，而顺序预测正需要这一点。

之后，作者通过 Mixture-of-Transformers 架构接入动作分支。视频轨迹和动作轨迹被编码成时间对齐的两条流，各自经过拥有独立归一化、投影和前馈参数的分支，再在打包的视频与动作 token 上通过联合注意力汇合。论文在这一共享结构上描述了四种交互程序：联合生成、先视频后动作（VTA）、先动作后视频（ATV）和解耦生成。时间因果性与跨模态交互被视为两个独立维度：因果性决定哪些时刻可见，交互程序决定哪些流之间交换信息。

预训练带来的提升大于架构改动

共享基础最清晰的证据来自 LIBERO-Long 闭环成功率上的初始化消融。在下游架构和训练保持不变的情况下，随机初始化在 VTA 和联合生成上分别达到 20.0% 和 27.2%；原始 Wan2.2 检查点达到 68.4% 和 62.2%；机器人视频预训练检查点达到 97.8% 和 96.6%。因此，从原始视频模型到机器人视频模型的跃升，远大于同一张表中交互设计带来的任何变化。

第二项消融单独考察 Mixture-of-Transformers 这一选择。这里所有变体都从机器人视频检查点出发。非 MoT 版本让视频和动作 token 经过同一个预训练 DiT，已经能在 VTA 和联合生成上分别达到 92.8% 和 93.6%。MoT 把这两项提升到 97.8% 和 96.6%，分别增加 5.0 和 3.0 个百分点。论文自己的解读是：共享 DiT 模型已经很强，MoT 在此基础上带来进一步但更小的改进。对需要决定把精力投向哪里的读者来说，优先级很明确：先做机器人视频因果预训练，再考虑模态专用专家。

冻结的动力学组件可迁移到新任务

该框架还支持组件级组合：逆动力学模型（IDM）把给定的视觉转移转成动作，正动力学模型（FDM）预测给定动作带来的视觉后果。这些局部上下文模型只以边界观测、本体感受，以及未来视频或动作序列为条件；它们不使用任务语言，也不使用起始前的历史。

迁移实验要回答的是：只适配视频预测器之后，这样的组件能否被复用。实验使用四个留出的 LIBERO-90 任务，IDM 保持冻结，视频预测器按任务微调。一个用反事实数据和演示训练的局部上下文 IDM 达到 84.0% 的平均成功率，而混合监督的全上下文 IDM 为 47.0%，只用演示训练的局部上下文 IDM 为 21.5%。各任务之间的差异是关键细节：混合监督的局部上下文模型在四个目标上分别为 74%、86%、88% 和 88%，而只用演示的局部上下文模型为 36%、50%、0% 和 0%。按任务微调的 VTA 策略本身达到 93.0% 的平均成功率，因此冻结组件缩小了与目标任务策略的差距，但没有完全消除。

同样的组件在源任务上表现不同。在 LIBERO-Long 上使用 LIBERO-Long 视频预测器时，原生 VTA 设置中的全上下文 IDM 达到 97.8%，只用演示训练的局部上下文 IDM 为 25.8%，而用纯反事实数据或混合数据训练的局部上下文 IDM 分别达到 90.6% 和 94.4%。因此，局部上下文并不能无条件替代全上下文；当反事实转移补上缺失的监督时，它才变得有用。

反事实转移补上演示数据缺少的监督

演示数据对每个访问过的状态大致只提供一条成功延续，这足以做模仿学习，但对需要把不同动作与不同结果联系起来的动力学模型来说，监督很稀疏。作者从十个 LIBERO-Long 任务中与任务相关的状态出发，执行修改过的未来动作序列，构建了 LIBERO-Long-CF。它包含 32,000 个反事实片段，每段有 128 个未来控制量，共 410 万条控制记录；而 500 条源演示只有 138,090 条控制记录，局部转移监督约增加 29.7 倍。

干预方式很具体：停止或缩放运动、反向或改变平移方向、轴偏置与脉冲、随机化机械臂控制，以及夹爪变化。在已表征的片段中，90.4% 包含夹爪与物体或固定装置的接触，50.0% 包含检测到的抓取，72.3% 相对同一起点的参考延续改变了物体构型。这些统计描述的是采集到的数据，而不是下游成功率；正是这些数据使该数据集成为局部动力学的测试，而不只是一个更大的模仿数据集。

正动力学收益取决于结果如何评分

在正动力学上，反事实监督把 RGB 预测误差从 14.35 降到 9.40（单位为 10^-3），并把 16 个同状态结果中的结果识别率从 21.1% 提升到 71.3%；在 K=2 时，同一比较从 68.3% 升到 93.6%。混合监督在 K=16 时为 9.62 和 67.7%。结果识别考察的是：在若干从同一状态出发的未来中，模型能否按 RGB 误差挑出实际发生的那一个。因此，它衡量的是模型对动作相关结果的区分能力，而不是整体图像保真度。

论文还把单个多目标 OpenWAM 检查点与 UVA 比较。该检查点用 60% 真实联合视频-动作监督，加上 20% 局部上下文 IDM 和 20% 局部上下文 FDM 监督训练。统一检查点达到 92.8% 的策略成功率，UVA 为 88.0%，并且在报告指标上 IDM 和 FDM 误差更低。作者给出两点限定：它的反事实动力学精度弱于专用专家，说明多目标训练与专门化之间存在权衡；它在演示分布上的误差不是留出泛化，因为其中一些演示也可能被策略目标在训练中看到。它的策略得分也低于策略专用的 OpenWAM 模型，因为只有 60% 的更新在优化策略。

可组合性在仿真中成立，尚未在机器人上验证

该框架报告在四个 LIBERO 套件和真实双臂任务上取得高成功率，真实任务包括用两台 Franka FR3 机械臂完成 Toast Bread、Rubik's Cube 和 Sort Cups。但支撑可组合性结论的迁移研究是仿真研究：目标任务的实验会适配视频预测器，因此并未证明完整视频-动作模型的零样本迁移；作者也指出，要在真实机器人上实现可比复用，还需要更数据高效的物理动力学监督。FDM 研究也仅限于局部、短时程预测，长时程规划和物理部署仍属后续扩展。

由此得到的实际优先级与这篇论文的变量直接相关。如果目标是在某个任务上获得强策略，实测最大的杠杆是因果机器人视频预训练：在 LIBERO-Long 上，它比原始视频检查点高约 29 到 30 个百分点，MoT 再增加约 3 到 5 个百分点。如果目标是在适配视频预测器后复用动力学组件，决定因素是监督覆盖范围：用反事实数据训练的冻结局部上下文 IDM 在四个留出任务上平均达到 84.0%，而同一架构只用演示训练时为 21.5%。全上下文与局部上下文 IDM 之间的选择不能只靠架构决定，而取决于是否有反事实转移可用。

本文引用的文献