机器人操作策略能否仅靠合成数据训练，无需人类遥操作？

合成数据接近真实示范的水平

论文的核心主张是：真实世界的操作策略可以在没有任何人类遥操作示范的情况下训练出来。Grounded-Dreamer 从少量真实图像构建合成轨迹，并在七个真实任务上评估所得策略：按按钮、关抽屉、抓取放置、扫垃圾、切香肠、把物体放进抽屉，以及另一个抓取任务。

最有决策价值的比较，是与同等预算的真实示范对比。每个任务 50 条轨迹时，仅用 Grounded-Dreamer 数据训练的 π0.5 策略在这些任务上的成功率分别为 55%、75%、55%、50%、60%、60% 和 30%，而仅用真实数据的基线为 65%、75%、65%、60%、60%、75% 和 45%。因此，纯合成数据策略接近真实数据基线，在按按钮任务上与之持平，但并未全面超越。Diffusion Policy 主干呈现相同格局，只是绝对水平更低：纯合成数据为 45%、50%、45%、35%、45%、55% 和 25%，纯真实数据为 50%、60%、60%、50%、50%、70% 和 35%。

这一差距影响结果的解读方式。论文证明的是：数据流程中可以去掉遥操作，代价是成功率略有下降；它并未证明在同等数据量下合成数据可以严格替代真实示范。

流程要规避的两类失败模式

论文把数据问题描述为一种权衡。真实遥操作提供高保真、带动作标签的示范，但受人力限制。仿真提供廉价的带动作标签轨迹，却存在视觉上的仿真到现实差距，论文的纯仿真基线印证了这一差距有多严重：每个任务 50 条轨迹时，仅在仿真中训练的 Diffusion Policy 在真实任务上的得分为 10%、10%、0%、5%、5%、0% 和 0%。

生成式视频世界模型补上了缺失的视觉真实感，但预训练模型主要在人本视频上训练，可能产生论文所称的物理幻觉。作者区分了两类：形态幻觉，例如机器人运动学不合法或关节配置不可行；空间深度歧义，即表面上的 2D 接触并不对应有效的 3D 交互。因此，生成的视频可能看起来很有说服力，却描绘了物理上不可能发生的抓取。Grounded-Dreamer 的设计本质上针对这一具体失败，而非泛泛的数据稀缺问题。

真实图像被重建为可做物理校验的场景

流程从少量真实参考图像开始：通常是一张场景全景和一到四张物体视角图。系统据此重建包含机械臂和工作台面的仿真场景，标定仿真相机使其视场与真实相机一致，并重建任务相关物体。刚性物体被重建为 3D 几何并按真实尺寸缩放；铰接物体先被分解为部件，再依据预定义的连接规则和关节规格，在仿真器中自动组装成运动学结构。

正是这种重建让后续验证成为可能。由于生成的数据可以在与真实装置几何对齐的场景中回放，轨迹可以接受物理有效性检验，而不只是看视频是否逼真。论文明确指出，任务无关区域的像素级保真并不必要，桌面纹理和背景直接复用了现成资源。

遮掉任务无关像素几乎是必需的

为后训练视频世界模型，作者先用一个基于大语言模型的智能体编写并执行数据采集脚本，为每个任务收集 100 到 150 条仿真轨迹。随后施加交互感知遮罩，只保留仿真帧中的机械臂和被操作物体。其目的是让世界模型和逆动力学模型专注于建模交互动态，而非背景外观。

消融实验表明这不是细节问题。去掉遮罩后性能崩塌：用未遮罩合成数据训练的 Diffusion Policy 在七个任务上的得分为 0%、5%、0%、0%、0%、0% 和 0%，而有遮罩时为 45%、50%、45%、35%、45%、55% 和 25%。π0.5 主干同样崩塌，从 55%、75%、55%、50%、60%、60% 和 30% 降至 5%、0%、10%、0%、10%、5% 和 0%。论文将原因归于：用原始仿真帧微调时，生成的视频出现像素畸变和不真实的场景形变。

在仿真中回放可剔除虚假成功

微调后的世界模型从增强后的初始帧生成回放视频，逆动力学模型再把这些视频转换为动作轨迹。随后轨迹在重建的仿真器中回放，并按任务成功标准标记为最优或次优。论文给出的示例是夹爪放置错误：物理仿真判定失败，而世界模型生成了幻觉式的成功结果。

消融实验量化了这种过滤的重要性。用 100% 已验证轨迹训练得到上述完整结果；验证比例为 80% 时，π0.5 成功率降至 35%、60%、50%、35%、45%、50% 和 20%；降至 50% 时进一步降到 25%、35%、25%、20%、25%、30% 和 10%。成功率随已验证数据占比单调上升，论文称在 50% 次优数据时出现急剧下降。因此，验证是把视觉上可信的生成器变成可用数据源的关键环节。

环境变化时合成多样性收益最大

合成数据最强的结果不在分布内准确率，而在鲁棒性。生成轨迹之前，流程会随机化物体位姿，用图像编辑模型把仿真物体合成到真实背景上，再增强光照和桌布纹理。这样得到的初始帧在多样性上，若靠真实采集达到同等水平，需要反复进行物理重采集。

在分布外条件下，纯真实数据基线明显退化：Diffusion Policy 平均成功率降至 7.1%，π0.5 降至 16.4%。用已验证世界模型数据训练的策略表现好得多，Diffusion Policy 达到 40%、50%、35%、30%、40%、45% 和 15%，π0.5 达到 45%、60%、55%、40%、60%、50% 和 30%。论文的解释是：纯真实模型受限于训练集多样性不足，而合成流程能自主提供环境多样性。这是该方法优势最清晰的场景。

少量真实轨迹加合成数据优于两者单独使用

联合训练是论文中最有利的配置。把极少量真实示范与 50 条 Grounded-Dreamer 轨迹结合，效果超过纯合成模型，并达到或超过 50 条真实样本的基线。π0.5 的联合训练达到 70%、80%、65%、55%、75%、70% 和 45%，在多数任务上高于纯真实的 65%、75%、65%、60%、60%、75% 和 45%。Diffusion Policy 的联合训练达到 55%、65%、50%、45%、55%、60% 和 40%，同样在多数任务上高于纯真实。

与低数据真实训练的对比十分鲜明：仅用极少量真实数据训练的模型，Diffusion Policy 平均为 8.6%，π0.5 为 14.3%。作者把少量真实轨迹视为域锚点，用来把合成分布对齐到真实域。对照表格来看，实际优先级不是用合成数据取代真实数据，而是用少量真实数据锚定规模更大的已验证合成数据。

每任务约 150 条轨迹后收益趋平

增加合成轨迹能提升所考察的两个任务（关抽屉、把物体放进抽屉）的成功率，但每个任务约 150 条轨迹后性能开始趋平，继续增加只带来边际改善。论文指出，其实验每个任务使用数百条轨迹，规模受可用算力而非算法瓶颈限制，因此这一趋平是当前规模下的观测结果，而非已证明的上限。

还有两项限制约束着结论。流程仍需一次性采集少量参考图像，因此它去掉了遥操作，但没有去掉全部真实世界输入。合成初始帧的图像编辑模型成功率约为 65%，作者将其视为一个会随生成模型成熟而自然提升的基线。论文还提醒，世界模型中的偏差以及合成数据训练策略的安全性，在部署到以人为中心的环境前需要关注。

综合来看，证据支持的是一项具体优先级，而非全面替代的主张：用已验证的合成数据提供多样性和规模，保留少量真实数据作为域锚点，并把回放验证和交互感知遮罩视为让数据真正可用的关键环节。

本文引用的文献