潜在世界-动作模型如何实现人形机器人移动操作？

人类数据充足但不能直接用于机器人

人形机器人移动操作要求机器人决定往哪里移动、身体如何朝向、手脚如何配合，以及在操作物体时如何保持稳定。论文认为，这使问题本质上是时序性的、全身性的：有用的策略必须推理未来场景演变和身体运动，而不只是当前画面。从机器人上采集同步的自我中心视频、本体感觉和可执行全身指令代价高昂，并受安全、硬件和环境多样性的限制。

人类视频和动作捕捉提供了可扩展的监督来源，但论文指出两个缺口。许多数据源只有视频或只有动作，而不是成对的视频-动作数据；而且人类动作并不直接对应可执行的机器人指令。Being-M0.7 正是围绕这一缺口构建：预训练阶段使用任何可获得的模态，再由机器人数据决定这些预测性上下文如何变成指令。

联合预测把视觉未来与身体运动绑定

预训练语料被组织成三个数据流。仅有视频的数据提供多样交互场景中的视觉动态，仅有动作的数据提供全身运动学结构，成对的视频-动作数据则把视觉演变与身体运动联系起来。模型通过潜在视觉预测和动作预测从每个数据流中学习，因此缺少某一模态的样本仍能作出贡献。

关键设计是同时预测未来的潜在视觉状态和未来动作。论文指出，这一联合目标推动视觉表征关注底层的运动学变化，而不是像素级重建所需的视觉细节。换言之，先验被训练去编码身体将如何运动，而不只是下一帧图像长什么样，这正是其特征可能对控制有用的原因。

预训练期间，动作分支还有两个辅助损失：一个作用于解码后的头部/根节点位置的全局轨迹损失，另一个作用于头部/根节点坐标系下双手双脚逐帧末端执行器运动的局部速度损失，权重分别为 0.1 和 1.0。这些是训练时对动作估计的约束，不是部署时的输出。

中期训练把先验迁移到机器人视角

从人类数据学到的先验能捕捉未来场景演变和身体运动，但它并不指定精确的可执行指令，而且人类的视角和身体动力学与机器人不同。因此论文增加了一个机器人中期训练阶段，让视觉-动作先验适应机器人轨迹。中期训练读取视频、文本和 22 维动作，并从最后保存的预训练检查点出发，用新的优化器和学习率调度器更新先验模型。

这一阶段是粗略的人类先验变得与机器人自身相机视角和身体相关的环节。论文把它视为独立的贡献来源：讨论部分报告的消融实验支持预训练、机器人中期训练和预测性上下文对下游控制的贡献，因此这一适应步骤并非形式性流程。

门控专家把预测转成可执行指令

在动作后训练阶段，适应后的先验被冻结在评估模式，只训练动作专家及其观测投影和上下文投影。在每个采样的动作查询点上，专家把冻结先验的视觉预测表征与当前图像和本体感觉结合起来。门控交叉注意力让专家根据自身依赖观测的特征，学习从先验的视觉隐藏状态中取用多少预测信息。

论文明确说明了专家训练如何与推理对齐。冻结先验从高斯噪声初始化未来视觉潜变量，并在后训练期间用三步采样积分其流 ODE；专家的条件状态取自这条采样轨迹，而不是对真实未来潜变量加噪。全部 24 个生成未来帧的隐藏状态作为世界交叉注意力的键和值提供给专家，而观测到的输入帧只在先验内部作为条件，不进入专家的缓存。推理时先验采样十步，动作采样十步。

这种分离很重要：人类中心的预测在没有机器人动作标签的情况下学习，而机器人监督决定这些上下文如何影响可执行指令。门控使先验的贡献是有条件的，而不是固定的加性输入。

SIMPLE 上聚合领先但任务间有取舍

在 SIMPLE 基准上，Being-M0.7 在所比较的基线中取得最高的聚合成功率。该基准包含六项任务：BendPick、Handover、Mobile P&P、Grasp、XMoveBendPick 和 XMovePick，论文用自我中心演示序列展示这些任务，涵盖伸手、物体交互，以及适用时的搬运或交接。

聚合领先并不意味着每项任务都提升。论文报告，与仅使用语言上下文相比，完整模型在 XMovePick 和 BendPick 上明显提升，但在 XMoveBendPick 上表现更差。作者将其归因于联合多任务训练中的任务干扰，因为这些任务共享相似的视觉观测，并提出增大模型容量可能缓解。这一解释是作者的解读，不是实测到的原因。

评测场景还分为三个累积随机化等级：等级 0 增加材质和干扰物，等级 1 增加光照变化，等级 2 增加目标位置变化。论文指出这些是彼此独立的评测场景，共享的回合编号并不能证明各等级之间使用了匹配的随机种子，因此跨等级比较不应被当作受控配对。

G1 实机任务追平而非超越最强基线

实机评测使用三项 Unitree G1 移动操作任务，每项都要求机器人先接近目标再操作：Walk to Fish、Walk to Mirror 和 Walk to Doll。Walk to Mirror 需要借助镜中反射抓取被遮挡的玩偶，Walk to Fish 需要用带柄网兜捞起玩具鱼，Walk to Doll 需要抓取直接可见的玩偶。对比对象是 GR00T-N1.6、Ψ0 和 π0.5。

每项任务评测五次，结果以成功次数除以总次数报告。在这些任务上，Being-M0.7 与最强基线持平，而不是超过它。这一区别对权衡 SIMPLE 聚合结果的读者很重要：基准领先和实机持平是在不同设置下得到的不同测量，论文并未声称实机优势。

实机实验还应用了样本级的世界上下文丢弃，这一训练细节会改变专家在这些实验中能多大程度依赖先验生成的上下文。

短时程与控制器精度限定结论范围

论文指出其评测覆盖的任务时程范围有限，更长时程移动操作任务上的表现仍待验证。实机证据是三项任务、每项五次试验，因此单次试验就会让某项任务的结果变动五分之一。

作者还报告，在其设置中 SONIC 全身控制器的末端执行器跟踪精度有限，这使机器人演示采集变得困难。这同时约束了可用于中期训练和后训练的机器人数据的数量与质量，而且它属于控制器本身的属性，而非世界-动作模型的属性。未来工作指向更长时程任务，以及改进 SONIC 以获得更好的跟踪精度。

冻结先验与门控是关键分界

Being-M0.7 最值得关注的不是人类语料的规模，而是学习被允许发生在哪里。人类视觉-动作预测在没有机器人动作标签的情况下学习，然后被冻结；机器人监督只作用于动作专家及其投影，由它们通过学到的门控决定每个查询点使用多少预测性上下文。如果你在比较使用人类视频的人形策略，这就是应当检查的分界：预测特征是否在冻结前已适应机器人视角，以及动作头能否调节它们，而不是无条件地消费它们。

论文自身的结果为这一比较设定了优先级。SIMPLE 上的聚合领先是最强的定量结论，而 G1 实机结果是在三项各五次试验的任务上与最强基线持平。论文报告的 XMoveBendPick 任务级回退被归因于视觉相似任务之间的干扰，它标出了这套方案当前以广度换取一致性的位置；而有限的时程和 SONIC 跟踪精度则标出了证据能延伸到哪里。

本文引用的文献