世界模型能否从人类交互中学习失败动态，而不只依赖成功示范？

两个数据缺口限制动作条件世界模型

动作条件世界模型以机器人动作序列为输入，预测由此产生的未来状态。正是这种预测能力让这类模型可用于生成数据、评估策略，以及在想象环境中训练。论文认为，有两个数据问题限制了模型对操作过程中实际发生情况的理解。

第一个是覆盖范围。现有机器人数据集无法覆盖可泛化世界模型所需的多样交互动态。大规模第一视角人类视频提供了互补的交互经验，但人手与机器人操作器差异足够大，跨具身迁移运动并不容易。第一视角录制还带有相机抖动和不稳定视角，可能遮挡交互区域。

第二个是结果偏差。具身数据集以成功示范为主，失败案例和偏离目标的交互明显不足。面向具身场景的世界模型需要预判错误或次优动作，而不只是重放成功轨迹。论文把缺少失败示范视为一个开放问题：如何合成失败情景来改进物理推理。

稳定化点流连接人手与机械臂

HF-WM 是一个双分支框架，把视频生成与一个辅助的点流预测分支耦合起来。这里的点流指被跟踪的点轨迹：对每段 81 帧视频，方法在 24×42 网格上跟踪 1008 个点，用 Depth Anything 3 预测的深度从第一帧建立这些点的三维参考位置，再用真实相机位姿把它们重投影到后续帧。

这次重投影估计的是相机而非交互造成的运动。把它从原始 CoWTracker 轨迹中减去，就得到稳定化点轨迹。论文报告，原始点流中的静态背景点在第一视角相机运动下会一致漂移；补偿之后，这种全局背景运动大幅减少，而手与被操作物体的运动得以保留。作者据此认为，稳定化去除的是视角引起的运动，而不是不加区分地平滑所有轨迹。

点流分支受到刻意约束。它的查询只在分支内部自注意力，并且只对扩散流中的中间视频特征做交叉注意力；骨架、动作、语言以及其他非视频的键和值都被屏蔽。这防止该分支通过条件信号走捷径，迫使点流目标建立在生成的视频之上。论文还引入一种以骨架为基准的动作表示，通过共享的空间表述连接人类与机器人动作空间。

GRPO 后训练把扰动成功转为失败训练

HF-WM 的失败侧不依赖真实失败录像。作者改为从成功示范中导出扰动动作，并用组相对策略优化（GRPO）做后训练，由两项奖励引导：动作对齐和物理合理性。其目标是让模型在没有成对真实视频的情况下学习看似合理的失败动态。

训练片段锚定在夹爪状态转换上。对每个回合，方法找到夹爪状态相对前一帧绝对变化最大的帧，然后以步长 2 采样一个 41 帧片段，覆盖 81 个源帧，起点设在检测到的转换前 12 个源帧。长度 3 的中值滤波抑制瞬时波动，双阈值滞回则对夹爪状态分类：值小于等于 0.25 记为闭合，大于等于 0.75 记为张开，中间值不触发状态转换。

由此得到窗口的七类划分，包括 close_hold、close_reopen、open_hold、open_close、remain_open、remain_closed 和 partial_hold。窗口按类别配额采样，75% 分配给含明确夹爪状态转换的四类，25% 分配给其余三类。在每个窗口内，以 50% 概率选择不扰动路线，保留原始动作和视频；否则进入反事实扰动分支。对含明确转换的窗口，夹爪扰动和几何扰动分别以 70% 和 30% 采样，从而在类内形成 50% 不扰动、35% 夹爪扰动、15% 几何扰动的路由概率。论文称这种平衡采样是为了避免过度强调扰动执行，同时让模型仍学习原始执行。

分层检查表区分失败与物理违规

由于扰动动作没有真实视频，后训练奖励需要判断生成的 rollout 在物理上是否可接受。论文描述了一份由同一组内所有候选共享的检查表。第一层包含三项关键检查，针对严重的物理或结构违规，例如物体相互穿透、无支撑悬浮，以及机器人几何的重大不一致。第二层包含五项细粒度检查，覆盖物理一致性、机器人结构、接触因果性和视觉质量。

另一次模型调用根据候选视频的连续帧对每项检查回答是或否，物理合理性得分是八项检查通过的比例。任何第一层失败都会触发硬性拒绝，无论第二层得分如何，因此其他维度的良好表现无法补偿严重违规。这些检查针对场景特定物体和反事实交互条件定制，而不要求复现原始示范结果；因此任务失败本身不被视为物理违规。这一区分很重要，因为这项工作的目的正是合理地建模不成功的执行，而不是惩罚它们。

最先进生成与策略评估用例

论文报告 HF-WM 在动作条件视频生成上达到最先进性能，并在下游机器人任务的策略评估中表现出很强的实用性。证据包支持这些作为论文的主要主张；它没有提供这些主张背后的数值差距、基准名称或逐任务得分，因此这里无法说明相对特定基线的提升幅度。

策略评估用例以定性方式展示。在一个任务中，揭开木块，6 个策略里有 1 个在真实机器人上成功；在另一个任务中，把食物放到盘子上，6 个里有 5 个成功。每条条带在六个时间步上比较世界模型 rollout 与真实机器人视频，真实列取自 RoboArena 的人类成功标签，世界模型列是模型的判定。不一致处标红。这两个任务展示的是评估设置在运行，而不是确立一个总体准确率数字。

失败主张建立在合成扰动之上

核心限制直接来自设计：在失败感知后训练中，HF-WM 从未见过真实失败视频。它的失败动态来自扰动成功动作，并用基于检查表的奖励给结果打分。论文自己的表述是，这使其能在没有成对真实视频的情况下学习看似合理的失败动态；这是关于模型奖励下合理性的主张，而不是证明模型复现了记录的真实世界失败。

从人到机器人的迁移也有自身边界。稳定化点流被呈现为跨人类与机器人交互的统一运动表示，并且稳定化被展示为抑制背景漂移同时保留手物运动。但论文对此的证据是第一视角交互上的可视化，而且该方法在补偿步骤中依赖预测深度和真实相机位姿。

策略评估证据同样有边界。两个展示任务在真实机器人成功率上差异很大，6 个中 1 个对 6 个中 5 个，而证据包报告的是逐任务的一致性格局，而不是世界模型判定与真实结果之间的汇总相关性。读者应把评估结果视为在这些任务上展示的用例，而不是跨更广策略空间的校准预测器。

失败覆盖而非仅成功覆盖才是杠杆

论文最可迁移的优先事项是它提出的配对：用第一视角人类交互视频拓宽交互覆盖，用扰动成功动作拓宽结果覆盖。单独任何一种成分都无法同时解决两个缺口。人类视频增加了多样的交互动态，但不含失败；成功机器人示范提供了真实操作，但仍偏向成功。HF-WM 的贡献是给出一种具体方式把两者结合起来，由稳定化点流处理具身和相机运动问题，由 GRPO 后训练处理缺失失败的问题。

对于判断这条研究路线的读者，决定性问题不是模型能否生成看起来失败的 rollout，而是它的失败判定能否在成功率差异大到 6 个中 1 个与 6 个中 5 个的任务上跟踪真实策略结果。论文报告了最先进的生成和有用的策略评估；接下来值得关注的是，经检查表奖励的失败合理性在多大程度上能迁移到记录的真实失败，而本研究并未测试这一点。

本文引用的文献