人类视频上的潜在动作预训练能扩展具身机器人策略吗？

把无标注人类视频变成策略监督

采集机器人交互数据成本高昂，因此论文追问：大规模第一视角人类视频能否作为更便宜的预训练信号，用于通用操作策略。障碍在于人类视频没有机器人动作标签，人类动作也无法直接映射到机器人控制空间。此前的做法通过显式运动估计把视频转成伪动作，但作者认为，在真实世界的视觉复杂性和多样的操作动态下，这类估计带有噪声。

论文给出的答案是一条两段式流程。LAPT-Scale-LAM 为每个短小的视频片段转换学习一个潜在动作：这是一个紧凑变量，与当前帧一起被训练用来解释下一帧。这些潜在动作随后成为 LAPT-Scale-Policy 第一阶段（Stage 1）的预测目标；该策略是一个视觉-语言-动作（VLA）模型，之后还会接收机器人数据。核心主张是，这种隐式监督比手工构造的运动标注更容易随数据规模扩展。

为何用连续潜在动作与更多对齐信号

近期许多潜在动作模型把动作量化进一个固定的离散码本。作者认为，固定码本会过度压缩定义第一视角操作的那些连续变化，削弱细粒度策略学习可用的监督。LAPT-Scale-LAM 改为把潜在动作参数化为 32 维连续高斯后验，从而保留离散词表会被舍入掉的动作细节。

第二个设计选择关乎潜在动作如何训练。仅靠像素重建时，大片静态区域会主导损失，小而重要的手-物接触贡献的信号很弱。论文在 MSE 重建和 KL 项之外，加入感知对齐（LPIPS）、以冻结的 DINOv2 ViT-B/14 特征为参照的语义对齐，以及使用 RAFT-large 的光流对齐。论文给出的目的是让潜在空间在感知上有依据、在时间上保持一致，而不只是像素层面准确。

三个阶段把人类潜在动作接到机器人动作

第一阶段（Stage 1）用 LAM 标注的人类视频片段训练策略，目标是冻结的 LAM 编码器产生的连续潜在动作。第二阶段（Stage 2）用 250 小时目标机器人具身对齐数据继续训练同一个动作专家，把潜在动作目标替换为可执行的机器人动作块。这里没有引入单独的动作头或适配器；动作专家最多支持 32 个目标维度，维度较低的目标会被补齐并在损失中被掩码排除。第三阶段（Stage 3）在仿真和真实世界的任务专用机器人数据上继续适配同一策略。

这种分阶段设计对理解头条数字很重要。人类视频提供的是预训练监督，而在特定机器人上执行动作的能力来自对齐和后训练阶段。作者直接说明了限制性假设：从人类视频学到的视觉潜在动作不保证对应机器人可独立控制的自由度，因此具身对齐仍然必要。

成功率随标注人类视频时长上升

核心的规模扩展实验固定机器人数据、策略架构和训练计划，只改变人类视频预训练监督的数量和来源。在三个真机任务上、每个任务 20 次试验取平均，仅用机器人数据的对照组达到 55.0%。使用 LAPT-Scale-LAM 监督时，平均成功率在 1K 小时为 63.3%，3K 小时为 80.0%，5K 小时为 85.0%。

对比基线表现不同。手部运动标注在 1K、3K、5K 小时分别为 58.3%、75.0% 和 55.0%，也就是说在最大规模上继续增加这类监督没有帮助。DreamDojo LAM 基线从 61.7% 升到 75.0%，再到 76.7%。逐任务结果也说明平均值需要谨慎解读：在 5K 小时，LAPT-Scale-LAM 在 Mouse Pad 上为 85.0%，Headphones 上为 95.0%，Cup 上为 75.0%；而手部运动基线在 Cup 上降到 40.0%。

增益来自第一阶段而非额外算力

一个移除对照检验了提升是否只是训练更久的副作用。移除第一阶段（Stage 1），同时保留相同初始化、250 小时具身对齐语料、第二/三阶段数据和评估协议，平均成功率为 55.0%。把第二阶段训练延长到与算力预算匹配，结果为 53.3%，略低于标准的仅机器人对照组。在标准计划下使用 5K 小时 LAPT-Scale 监督，同一设置达到 85.0%。

这个对照是论文内部最强的论据，说明带来报告增益的是人类视频潜在监督，而不是额外的优化。它本身无法把连续潜在动作的贡献与新增对齐损失的贡献分开；LAM 诊断实验另行回答这一问题。

潜在动作编码运动而非场景外观

论文在从留出的 100 小时评估集中采样的 3,500 帧上比较各 LAM 变体的重建质量。在教师强制（teacher-forced）的下一帧预测下，LAPT-Scale-LAM 达到 PSNR 34.4217、SSIM 0.9326、LPIPS 0.0546；用相同数据和协议训练的仅 MSE 的 LAM 为 33.9844、0.9234 和 0.0769。在更严格的自回归 rollout 下，每次预测都以模型自己上一步的输出为条件，差距扩大：LAPT-Scale-LAM 为 PSNR 28.8291、LPIPS 0.1347，仅 MSE 版本为 28.3290 和 0.1768。

另一项检索分析支持这样的解释：潜在动作编码的是场景如何变化，而不是场景看起来像什么。在潜在动作空间中做最近邻检索、排除来自同一源视频的片段后，背景、物体和手部外观不同但短时运动相似的片段被聚在一起。聚类使用了从 11,981 个片段中的 2.36M 个候选窗口里筛出的 50K 个运动过滤后的 16 帧窗口。作者以此作为证据，说明第一阶段监督教给策略的是可复用的转换模式，而不是源视频特有的外观。

仿真结果与未见过的视觉条件

在真机规模扩展研究之外，论文报告在 RoboTwin Easy 和 Hard 上成功率分别为 90.0% 和 89.3%，在 RoboCasa-GR1 上为 64.8%，并使用 250 小时自采机器人数据做具身对齐。摘要还指出，学到的策略能泛化到未见过的视觉条件；讨论部分提到四个更难的真人机器人任务在测试的位置和外观变化下表现出稳健性。

这些数字回答的是与规模曲线不同的问题：它们描述特定基准上的绝对性能，而不是性能如何随人类视频量变化。论文没有在这些基准上报告规模扫描，因此两组结果不应合并成关于规模的单一结论。

规模扩展结论的适用边界

真机证据覆盖一个目标平台上的七个任务，每个条件 20 次试验；作者指出这限制了成功率估计的精度。他们还预计，当视频中操作信号微弱、具身差距大、遮挡严重，或视觉变化主要由第一视角相机自身运动造成时，该方法可能失效。更广的机器人覆盖，以及跨数据、模型规模和机器人演示的系统性规模规律，留待未来工作。

在这些边界内，论文最具决策价值的比较不是人类视频与机器人数据的对比，而是该扩展哪一类人类视频监督。手部运动标注在 3K 小时达到 75.0% 的峰值，到 5K 小时降到 55.0%；LAPT-Scale-LAM 则持续提升到 85.0%。对于已经拥有固定机器人对齐语料的团队，论文给出的优先级是投入连续潜在动作标注并持续增加标注人类视频时长，而不是假定任何人类视频标签都会持续带来回报。

本文引用的文献