SimForcing 迁移的是运动而非仿真外观
动作条件化的机器人世界模型必须精确响应连续的机器人轨迹,同时还要生成真实、时间上连贯的视觉动态。从异构的真实机器人视频中同时学到这两点很难,而仿真提供了真实视频所缺乏的结构化运动监督。障碍在于仿真观测与真实观测外观不同,直接匹配并不可靠;同时预测出的仿真轨迹本身并不完美,过度依赖它们的真实域模型可能继承其误差。
SimForcing 把这两个问题分开处理。它把仿真同时用作可迁移运动知识的来源和可控的预测参考。第一个角色由潜空间运动蒸馏承担:该方法不匹配外观,而是对齐教师与学生相邻视频潜变量之间的时间变化,使学生模型内化来自仿真的运动先验,同时基本绕开外观差异。第二个角色由多块仿真条件化配合条件丢弃承担,它在训练中让学生模型接触预测的仿真潜变量,又让它保持在没有这些条件时也能预测的能力。
仿真教师模型初始化学生模型
流程从一个混合 Transformer 世界模型开始,它在带轨迹增强的合成 rollout 上训练,从多样化的机器人轨迹中学习依赖动作的运动。该模型随后初始化学生模型,并作为冻结的教师模型。视频骨干基于 Wan2.2-TI2V-5B,包含 30 个 Transformer 块、隐藏维度 3,072 和 24 个注意力头;动作 Transformer 同样有 30 个块,隐藏维度为 1,024。
运动监督匹配估计出的干净视频潜变量中的相邻帧差异,并应用于每个训练样本。真实世界预测分支还以 0.7 的概率接收配对的仿真潜变量,通过初始化为零的残差投影注入,而仿真预测分支不接收这一辅助条件。初始帧和动作条件在整个训练过程中保留,且当辅助仿真条件存在时,运动监督的强度不变。训练联合优化两个域的流匹配以及教师引导的运动监督,不使用动作预测损失,用 AdamW 以 10^-4 的学习率训练 20 个 epoch。
条件丢弃让仿真引导保持可选
如果学生模型总是看到仿真潜变量,它可能直接复制它们,包括其中的误差。论文在 100 个样本的 Bridge 验证集上直接检验了这一点:把训练期条件保留概率 p 在 {0, 0.3, 0.7, 1.0} 上变化,把推理期引导权重 w 在 {0, 0.3, 0.6, 1.0} 上变化。
在这轮扫描中,中间的条件保留概率取得了最好的观测 PSNR 和 SSIM。当 p = 0 时,两项指标在不同引导权重下保持不变,这与未使用仿真条件化相符。当 p = 1 时,在推理阶段去掉仿真条件会显著降低预测质量,说明模型对条件有强依赖。相比之下,p = 0.3 和 p = 0.7 在没有条件时仍保持较好性能,同时也能从仿真引导中获益。配置 (p, w) = (0.7, 0.6) 在所评估设置中取得最高 PSNR 和 SSIM,因此成为默认选择。对于 p = 0.7,w = 0.6 优于 w = 0 和 w = 1,说明适度的仿真引导胜过任一分支单独作用。
仿真引导究竟带来多少提升
另一轮扫描变化了仿真生成步数 Ns、真实视频生成步数 Nr 和引导权重 w,覆盖 Ns、Nr 取 {1, 5, 10, 20} 与 w 取 {0, 0.3, 0.6, 1} 的所有组合,在同样的 100 个 Bridge 验证样本和初始观测上得到 64 种配置。真实视频生成从一步增加到五步或十步会显著提升预测保真度,而从十步增加到二十步只带来很小的额外收益。增加仿真步数的影响小得多,且并未稳定改善任何一项指标。
观测到的最高 PSNR 和 SSIM 出现在 (Ns, Nr, w) = (5, 20, 0.6),分别达到 25.090 dB 和 0.8585。在 w = 0.6 时,即使只用一步仿真也接近更大仿真预算的结果,说明粗糙的预测仿真参考已经能提供有用引导。权重 w = 0.6 在每一个测试的步数组合下都给出最高 PSNR 和 SSIM;而在 w = 0 时两项指标对 Ns 不变,这与真实视频分支中不存在仿真条件化相符。论文报告 (1, 10, 0.6) 在每样本 2.008 s 内达到 25.063 dB PSNR 和 0.8575 SSIM,比最高观测值低 0.027 dB,而延迟比 (5, 20, 0.6) 低约 47%。
Bridge 与 InternData-A1 上的结果
在 Bridge 上,SimForcing 在没有外部具身预训练的情况下,取得了所比较方法中最好的 PSNR、SSIM、LPIPS 和 FVD。在 InternData-A1 上的评估进一步支持它可适用于不同机器人数据集。这些是论文的主要保真度和感知相似度结果,且是针对这些基准上所比较方法报告的,而不是关于所有机器人视频预测的普遍结论。
两个数据集在规模和窗口结构上不同,这影响数字的解读。Bridge 子集包含 1,952 条机器人操作轨迹,窗口为 21 个连续视频帧和 20 个对齐动作,每个视频转换对应一个动作,评估使用 100 个配对验证样本。InternData-A1 使用 Franka 操作子集,包含 2,657 条训练轨迹,窗口为 129 步、每四个时间步采样一次得到 33 帧,保留全部 128 个动作,评估使用 80 个配对验证样本。两种情况下,仿真视频与真实视频共享相同的动作序列、本体感受状态和语言指令,且都被保持宽高比缩放并中心裁剪到 224x320 像素。
下游策略初始化的增益
论文还测试了训练好的世界模型在视频预测之外是否有用,用它来初始化一个视觉-语言-动作模型。在 LIBERO 上,这在三种训练设置下都提升了报告的平均成功率:仅动作训练从 82.6% 提升到 89.2%,无条件训练从 96.5% 提升到 97.5%,视频加动作训练从 98.1% 提升到 98.4%,分别对应 6.6、1.0 和 0.3 个百分点的增益。
最大的提升出现在仅动作适配下,包括 Goal 上 9.6 个点和 Long 上 15.2 个点的增益,这支持了即使视觉专家被冻结,迁移初始化仍然有用。当两个专家都接受下游视频和动作监督时,增益较小。使用该世界模型的视频加动作训练达到报告的最高平均成功率 98.4%,而 FastWAM 参考为 97.6%。论文指出改进在各套件上并不均匀:在视频加动作设置下,Object 和 Long 上的增益抵消了 Spatial 和 Goal 上的下降,因此该结果支持下游迁移有所改善,但并不意味着每个单独套件都提升。
证据的边界在哪里
若干边界限定了这些结果。推理步数与引导的扫描是单次扫描,没有重复运行的误差估计,因此小的指标差异不应被解读为统计上确立的改进。Ns = 20 的配置是在单独一次运行中评估的,其时序可能受机器负载差异影响。记录的 w = 0 延迟仍包含仿真生成,因此并不代表省略未使用仿真预测和未使用条件分支的优化配置。在所评估的实现中,w = 1 每个真实视频采样步使用一次前向传播,而其他权重使用双分支 CFG 路径。
下游证据也被论文描述为初步的。LIBERO 结果来自用训练好的世界模型初始化一个视觉-语言-动作模型,论文将其表述为提示对策略学习有用,而非已经确立。预测结果是在 Bridge 和 InternData-A1 上报告的,使用上文所述的具体配对仿真-真实子集和评估样本数,因此保真度和成功率数字应放在这些基准和划分内解读。
关键在引导强度而非仿真保真度
这篇论文中最具决策相关性的发现不是仿真是否有帮助,而是该用多少。条件保留概率与引导权重相互作用:p = 0.7 配合 w = 0.6 在条件化扫描中给出最好的 PSNR 和 SSIM,而 w = 0.6 在每一个测试的步数组合下都给出最好的 PSNR 和 SSIM。同时,p = 1 使模型强烈依赖仿真条件化,在推理时去掉它会显著降低质量,而 p = 0.3 和 p = 0.7 在没有条件时仍保持稳健。
因此对考虑这一方法的读者来说,实用阈值是两个区间的中间值,而不是任一极端。粗糙的仿真参考已经足够:在 w = 0.6 时,一步仿真就接近更大的仿真预算,而 (1, 10, 0.6) 用 0.027 dB 的 PSNR 换取了比 (5, 20, 0.6) 低约 47% 的延迟。论文自身的表述也支持这一解读:仿真被用作可迁移的运动知识和可控参考,无分类器引导在内部化先验与显式仿真潜变量之间取得平衡,且推理时只需要最终的学生模型。
本文引用的文献
SimForcing: Distilling Simulation Motion Priors into Real-Domain Robot World Models
SimForcing 通过潜空间运动蒸馏把仿真教师模型的运动知识迁移到真实域学生模型,并加入多块仿真条件化配合条件丢弃以及仿真条件化无分类器引导;在 Bridge 上,它在没有外部具身预训练的情况下取得了所比较方法中最好的 PSNR、SSIM、LPIPS 和 FVD,用它初始化视觉-语言-动作模型还提升了 LIBERO 成功率。
