延迟由两个瓶颈而非一个主导
混合 Transformer 世界动作模型已经避开了共享主干设计中最重的开销:视频专家只计算一次视觉表示,由单独的动作专家复用。但仍剩两项串行成本。第一是专家内迭代,即动作专家内部的多步去噪循环。第二是专家间等待,因为动作专家要等视频专家完成前向传播后才开始。
论文自己的性能剖析显示,在它所测试的各款 GPU 上,动作专家占动作生成端到端延迟的近 90%。在 H100 上,Fast-WAM 单次推理仍需 300 毫秒以上。这两个数字框定了整项贡献:目标不是更好的策略,而是以很低的实际耗时得到同样的策略。
一步生成需要教师终点而非仅局部一致性
教师锚定一致性蒸馏(TACD)是论文针对专家内迭代给出的方案。作者描述了传统一致性蒸馏中的局部—全局误差差:局部一致性误差低,本身并不保证最终动作准确。因此 TACD 在局部一致性项之外,加入来自冻结教师多步推演终点的显式监督,正是这一点使准确的一步动作生成成为可能。
推演区间很关键。在 RoboTwin 2.0 上比较三种教师推演区间时,从中间噪声水平到干净终点的区间(t 到 0)取得 90.84% 的总体成功率,高于完整的 1 到 0 推演的 90.63% 和中间区间 t 到 r 的 90.23%。论文因此采用 t 到 0 作为默认设置。
这并非没有代价。在 16 块 H100 GPU 上训练 30,000 次迭代,加入教师锚定损失会把训练时间从 5 小时 21 分提高到 8 小时 3 分,约增加 50%。冻结视频专家使峰值显存保持在 24.73 GiB,相比联合微调的 65.98 GiB 降低 62.5%。
流水线在不改计算图的前提下重叠专家
跨专家波前流水线(CEWP)针对的是专家间等待。作者把每个 DiT 块拆成 Q/K/V 投影、注意力和其余计算三部分,再追踪真实的数据依赖。动作投影只要动作隐状态就绪即可执行;动作注意力需要动作投影和视频投影两者,但不需要视频注意力或更靠后的视频状态。
CEWP 利用这一空隙,逐块共享视频 KV 缓存,只在对应的动作注意力即将消费它之前才同步。论文认为这是原计算图的另一种合法拓扑排序,因此不需要改动架构,也不需要额外训练,并且与 TACD 相互独立。
成功率与多步教师相差约一个点以内
在 LIBERO 上,从 Fast-WAM 蒸馏得到的 RealtimeWAM 变体在 1 个视频步和 1 个动作步下报告总体 97.0,而其 Fast-WAM 基线在 1 和 10 步下为 97.0。从 Faster-WAM 蒸馏得到的变体报告总体 99.0,Faster-WAM 在 1 和 10 步下为 98.9。两者都落在论文所述不足 1% 下降的近无损区间内。
与其他一步蒸馏基线的比较更有信息量。在同样的 1 和 1 设置下,Mean Flow 为 96.9,一致性蒸馏为 96.9,DMD 为 96.1,一步 Fast-WAM 为 95.0。RealtimeWAM 的 97.0 和 99.0 是该组中最高的两项,教师锚定损失在这里体现为可测量的差异,而不只是设计上的主张。
加速幅度高度取决于运行内核的 GPU
在 H100 上,头条数字是端到端约 25 倍,Fast-WAM 延迟 12.2 毫秒,Faster-WAM 为 16.1 毫秒。堆叠的运行时分解显示,动作专家从主导份额缩小到 Fast-WAM 的约 8.5% 至 8.7%、Faster-WAM 的 12.4% 至 13.4%。
在消费级显卡上收益更小。启用全部优化后,Fast-WAM 在 RTX 5090 上达到 14.1 倍、在 RTX 4090D 上达到 17.7 倍,Faster-WAM 则分别为 6.9 倍和 8.1 倍。论文将此归因于内核主要针对 NVIDIA H 系列 GPU 优化,并预期专门调优可以缩小差距。仅 TACD 一项就贡献了总加速中的 3.5 至 5.0 倍,CUDA Graph 和 CEWP 在此基础上继续叠加。
真实折衣推演展示平滑但定性的行为
论文报告了一项真实世界 T 恤折叠任务,使用两条 AgileX PiPER 机械臂,策略推理在 RTX 4090 上运行,所用模型是从 Fast-WAM 蒸馏得到的一步 RealtimeWAM。连续动作之间没有可察觉的停顿,作者指出即便没有策略推理与机器人执行之间的执行级异步,这一点也成立。
这一证据是定性的。它支持低延迟推理能够维持长时程可变形物体任务的说法,但它不是成功率测量,也不应被当作成功率来读。定量的近无损结论建立在 LIBERO、LIBERO-Plus 和 RoboTwin 基准之上。
该方法止步于共享主干世界动作模型
RealtimeWAM 面向基于 MoT 的世界动作模型,不能直接用于 DreamZero 这类共享主干架构,后者在单一主干内对视频和动作 token 去噪。在 MoT 范围内,它既覆盖推理时舍弃显式未来视频预测的模型(如 Fast-WAM),也覆盖保留该预测的模型(如 Faster-WAM)。
实际读法是一个优先级顺序,而不是笼统的结论。如果部署目标是 H100 级 GPU 且模型基于 MoT,那么一步加流水线的变体就是证据支持的配置。如果目标是 RTX 5090 或 4090D,应预期约 7 倍到 18 倍而非 25 倍,并把教师锚定损失视为以 50% 训练时间代价换回精度的组件。
本文引用的文献
RealtimeWAM: One-Step Asynchronous World Action Models
RealtimeWAM 将用于一步动作生成的教师锚定一致性蒸馏与用于专家异步执行的跨专家波前流水线结合,在 LIBERO、LIBERO-Plus 和 RoboTwin 上把成功率下降控制在 1% 以内,同时在 H100 上实现约 25 倍的端到端加速。
