世界-动作模型要同时预测动作与后果
世界-动作模型（WAM）同时做两件事：预测机器人接下来的动作块，以及这些动作应当产生的观测。Cosmos Policy 用视频扩散 Transformer 构建这一能力，把动作、未来相机潜变量和值当作同一条去噪序列中的潜帧，在 LIBERO 上达到 98.5% 的成功率。这一设计也正是它昂贵的原因：它的推理栈是为视频生成而非控制而建的。
论文的前提是，教师模型的大部分开销来自这套接口，而不是操作任务本身所需。Cosmos Policy 在 A100 上每个 16 动作块要花 624 ms、42.6 TFLOP 和 7.55 GiB，即使已经缓存文本特征，因为它要运行 4.8B 参数的 T5-XXL 编码器、每次查询编码 33 帧片段，并在 1,764 个 token 上做五步去噪。SmolWAM 要问的是：能否保留同一个预训练主干，同时重建这套接口。
四项接口改动缩小主干而无需重训
SmolWAM 保留教师的权重、token 位置和整流流读出方式，然后改动四处。它用 Wan2.1 编码器把每张相机图像一次性编码为单帧，再用一个 0.5M 参数的适配器把这些潜变量映射回片段模式的潜变量；这使教师的一步动作误差从 0.038 恢复到 0.0092，接近 0.0089 的基线。它用缓存 BERT-base 特征替代 T5-XXL，并零填充到 512 个位置，因为主干中无偏置的键和值投影会把 T5 的填充位置变成注意力汇：把上下文截断到 32 或 128 个位置会让教师降到 0/5 闭环成功，而解析地恢复被移除的 softmax 质量后回到 5/5。
它还保留 28 个 Transformer 块中的 12 个，即保留块 0–2 和 19–27，并用 28 个状态条件查询替换 196 token 的动作帧。得到的序列为 1,008 个 token，动作和未来潜变量在一次整流流步骤中读出。论文报告，这些改动大多会让主干零样本失效，因此蒸馏课程先在教师的 1,764 token 布局中训练 5,000 步中的前 1,000 步，再切换到紧凑布局。训练在一块 A100 上耗时 3.6 GPU 小时。
成功率小幅下降，成本大幅下降
在完整的 400 回合 LIBERO 协议上，SmolWAM 成功 382 回合（95.5%，95% Wilson 区间 93.0–97.1），教师为 393/400（98.2%，96.4–99.1）。论文在 Spatial 和 Object 套件上未检测到差异；差距出现在多步的 Goal 套件（94 对 99）和 Long 套件（89 对 97），失败的 rollout 通常完成第一个子目标后卡在第二个。
成本对比是论文的核心结果。在一块 A100 上每个 16 动作块，SmolWAM 使用 0.88B 参数、2.30 TFLOP、57 ms 和 2.36 GiB，教师则为 1.96B 参数、42.6 TFLOP、624 ms 和 7.55 GiB。也就是延迟低 11 倍、FLOPs 少 18.5 倍、显存少 3.2 倍。57 ms 中，Transformer 占 37 ms，VAE 编码占 13 ms，预处理占 7 ms。按此速率，模型每秒发出 17.7 个动作块，即 282 个动作。
大部分加速来自接口而非剪枝
论文拆分了节省的来源。让教师未修改的权重在单帧输入上只做一步去噪，就把延迟降低 5 倍、计算量降低 5.7 倍，降到 126 ms 和 7.5 TFLOP，且在 60 回合筛选集上没有损失。不使用适配器、并在精确汇校正下截断文本时，发布模型在 L4 上快 8 倍，从 1.83 s 降到 0.23 s，在 11 回合筛选中无失败。
相对于这个一步、单帧的教师，主干重设计本身反而增加 2.2 倍延迟、3.3 倍计算量和 1.9 倍显存。换言之，最大的单项收益来自去掉控制器从不读取的视频生成工作，例如解码未来图像；紧凑布局和剪枝在此基础上叠加。论文还指出，截短动作块没有帮助：在 16 个动作中的 8 个之后重新查询教师，无论一步还是五步去噪都解不出任何筛选回合，因此更快的反应需要训练阶段的改动。
压缩后的世界头保留运动但丢失纹理
SmolWAM 仍能预测未来。在 96 个留出上下文上，它对 16 步之后视角的预测把潜变量 L1 相对复制当前帧降低 24%（0.101 对 0.133），并把预测未来与真实未来之间 RAFT 光流的端点误差从 1.63 像素降到 1.43 像素。解码后的预测保留了场景，并把机械臂放在接近未来姿态的位置，但外观模糊；LPIPS 仍停留在复制帧的水平（0.128 对 0.115）。
论文的解释是世界头捕捉的是运动而非纹理。这一区分对比较 WAM 的读者很重要：一个模型可以保留有用的动力学预测，而它解码出的图像看起来很差，因此图像质量指标和控制成功率在这里回答的是不同问题。
更丰富的组件在此规模下反而有害
论文检验了更复杂的 WAM 机制是否有帮助。把 ABot-M0.5 移植到 SmolWAM 上，增加了 39M 参数、潜动作 token、Transformer 混合塔、四步流匹配和 dream forcing。得到的 SmolWAM-LA 在离线一步动作估计上与 SmolWAM 相当（验证 L1 0.089 对 0.091），但四步采样把误差升到 0.155，一步或两步采样只恢复 63.3% 和 70.0% 的筛选回合。它在 239 ms 下成功率为 53.3% 的筛选回合。
对世界头做奖励加权微调更糟：在由光流、深度和 LPIPS 构建的五种奖励下，每项图像指标都变差（LPIPS 从 0.130 升到 0.167–0.177），成功率在 300 步内跌到 5.0–16.7%。论文将此归因于目标函数没有动作项却在训练共享主干。作者的结论是：预训练视频 WAM 能容忍大幅的接口和深度改动，前提是每项改动都经过蒸馏，但不能容忍在没有动作锚点的情况下训练共享主干的辅助目标。
证据支持 LIBERO 控制而非通用机器人部署
两个边界决定了这些数字能走多远。全部评估都在 LIBERO 上，使用教师的观测管线、开环执行的 16 动作块、种子 195 和每任务 10 次试验；论文把 RoboCasa 和真实机器人环境列为未来工作。而且减少 Transformer 深度对长时程任务影响不成比例，在 LIBERO-Long 上退化最大，因此能保留长时程控制性能的剪枝策略仍是开放问题。
离线误差也不能很好地预示闭环行为：验证动作 L1 稳定在 0.09 左右，是教师自身一步误差的十倍，而 SmolWAM 仍在 95.5% 的回合中成功。额外 7,500 步训练降低了训练损失，但既没有降低验证损失也没有提高成功率。因此论文确立的实际优先级是重建接口：一步、单帧推理并保留注意力汇，带来了 11 倍加速中的大部分；而更深的剪枝会牺牲长时程成功率，8 块变体在筛选集上跌到 83.3% 即是例证。
本文引用的文献
SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices
SmolWAM 在 400 个 LIBERO 回合中保持 95.5% 成功率，每个 16 动作块耗时 57 ms、2.3 TFLOP、2.4 GiB，比其 Cosmos Policy 教师快 11 倍、FLOPs 少 18.5 倍，同时其世界头仍能预测场景运动。