3 万小时自我中心视频没能教会世界模型什么？

数据扩展对智能体和世界的帮助并不对等

这项研究追问：扩大自我中心人类视频的规模，能把学习到的世界模型带到多远。世界模型是一种生成模型，它以智能体的动作为条件预测未来视频帧，被提出作为基于物理的模拟器的替代方案。作者在 3 万小时第一人称操作语料（115 万段视频、32,051 个任务、1,106 个场景类别、14,019 名参与者）的嵌套子集上训练 Cosmos 3 视频世界模型，并在一个采集硬件、地点和参与者都不同的留出分布外基准上评估。

训练数据增加 100 倍，作者测量的两项指标都提升了，但幅度并不相同。智能体保真度，即模型渲染手和身体的好坏，稳步攀升到可用的水平。物体保真度，即模型渲染被操作物体的好坏，仍然低得多，提升也更慢。建模智能体与建模智能体对世界的影响之间的差距，实际上随数据扩展而扩大，这正是论文的核心问题。

这些指标衡量的是结构而非感知。SCS（结构一致性分数）在预测视频和真实视频中分割并跟踪关键元素，对掩码 IoU 取平均，并分别对手和被操作物体报告。LPIPS 作为感知对照，用来检查结构差异是否与图像质量差异混淆。由于掩码跟踪本身并不完美，作者估计在真实视频上可达到的上限为智能体 0.93、物体 0.90，两者都远高于模型实际达到的分数，因此报告的差异反映的是模型而非指标本身的极限。

智能体保真度在远早于 3 万小时处饱和

智能体保真度在 300 到 3k 小时之间提升 0.12 SCS，但在 3k 到 30k 小时之间只提升 0.06。拟合缩放律分析中常用的饱和曲线 S∞ − cD^−α，得到智能体渐近线为 0.811。这是数据量本身并非该轴约束条件的第一个信号。

骨架条件让这一点更清楚。这种设计在相机坐标系中提供智能体投影后的身体配置，模型因此不必再从动作 token 推断身体姿态。仅用 300 小时，带骨架条件的 Nano 变体就达到了基线在约 15k 小时才达到的智能体保真度，数据量减少约 50 倍，而在此后两个数量级上只再提升 0.06 SCS。

关键在于，条件改变的是智能体极限何时达到，而不是极限本身：两种设计最终收敛到彼此相差约 0.01 SCS（0.811 和 0.800）。作者通过训练时随机丢弃骨架，检验条件是否是一种捷径、会让模型省去对交互建模有用的视觉推断，结果没有发现捷径的证据。因此，让智能体轴早早饱和提供了一件工具：在整个数据阶梯上把智能体保持在接近其上限的位置，物体曲线就可以在不受智能体保真度提升干扰的情况下读取。

物体保真度收敛到低得多的上限

在智能体保持接近上限的条件下测量，物体保真度在两个数量级上只提升 0.09 SCS，而且与基线不同，它出现了减速：300 到 3k 小时提升 0.056，3k 到 30k 小时只提升 0.035。曲线此时已进入饱和区间，其渐近线可以确定为 0.565，而模型在 30k 小时时已经实现了其中的 93%。

按该指标对每个类别能记录的最大值归一化，智能体收敛到其可测范围的 86%，物体收敛到 63%。作者直接说明了含义：限制不在于物体动力学随数据提升得慢，而在于它们提升所趋向的水平远低于智能体的水平。

扩大模型规模也不是快速解法。把模型扩大 4 倍（Super 变体）对智能体保真度几乎没有影响，但把物体上限提高了 0.034 SCS。按这个速率，要弥合到智能体上限剩余的 0.205，需要不切实际的进一步模型扩展；作者计算了这一需求，认为它在定量上不成立，尽管它在定性上支持以扩展为中心的观点。

重新分配监督抬高上限而非提升斜率

作者随后提出一种监督方案，把模型容量从场景外观转向物体动力学。它把动态噪声调度与损失重加权结合起来，在训练和推理时都应用。在 10k 小时的区域监督消融中，这一组合达到最高的物体保真度（0.532 ± 0.003），且不牺牲感知质量；此前的辅助目标如 PhysisForcing（0.515）和单独重加权（0.516）都接近 0.513 的骨架基线。

在整个数据阶梯上，该方法在每个预算下都超过骨架基线，在 30k 小时达到 0.546，对比 0.527，提升 3.7%，并且用同样的饱和形式拟合，其渐近线高于基线。但增益在各预算下大致恒定：上限被抬高了，逼近上限的速率没有改变，而且上限仍远低于智能体的上限。作者由此得出结论：要让交互保真度达到可用水平，需要对世界模型的训练方式做更实质的改变。

接触和力在像素中不可见

论文为较低的物体上限给出两种解释。第一种是不可约的不确定性：物体如何响应接触取决于质量、摩擦和刚度，这些都无法从单帧中完美恢复。第二种是，最重要的量在像素中根本不可观测。物体的几何形状只能部分可见，而与交互最相关的部分，即手下方、接触点处的部分，恰恰被手遮挡。接触和力从来不可见。

这些正是物理模拟器能精确表示并可作为监督提供的量，而模拟器在最初促使人们采用学习型世界模型的复杂动力学上仍然表现不佳。作者把两种范式描述为各自在对方最弱的地方最强，并指出把模拟器蒸馏为可微生成式 3D 粒子模型的工作，可能是结合两者的途径。这是作者对机制的解读，而不是论文中单独测量的结果。

这一模式可迁移到人形机器人建模

为检验结论能否迁移，作者在一个模拟双臂人形机器人基准的 11 个任务的真实演示上微调 Cosmos 3 Nano，以单个起始帧和 138 维人形机器人状态轨迹为条件，预测后续 16 帧。他们比较三组权重：从未见过自我中心数据的已发布权重；在 3 万小时上预训练、但没有骨架条件和新监督方案的匹配检查点；以及同时用两者预训练的检查点。所有评估都在策略 rollout 而非演示上进行。

自我中心人类预训练可以迁移，改善了每一项指标，最明显的是手部 SCS（+0.07）。条件与监督设计在此基础上贡献了超过两倍的提升。这一模式在一方面与人类视频的发现一致，在另一方面不同：智能体的增益大于被操作物体的增益（+0.17 对 +0.06），但每个变体的物体保真度绝对值都很高（0.70–0.79）。作者将其归因于模拟环境：其中物体是刚性的且相对较大，使自我中心人类视频中让物体动力学变难的条件基本不存在。

成功判定一致率，即在关键的 17 帧窗口内，模型渲染的 rollout 与模拟器给出相同成功判定的频率，遵循同样的排序但差距更小，诊断力也更弱，因为单个数字只记录了判定一致率存在差异，却没有指出差异在哪里。SCS 把残余误差定位到物体：在预测时域内，完整方法的手部 SCS 从第 2 帧的 0.89 降到第 16 帧的 0.85，而物体 SCS 下降幅度超过两倍，从 0.82 降到 0.71。

哪些上限偏乐观，哪些结论站得住

数据阶梯跨越两个数量级，并把数据量与优化预算耦合在一起，因此它确立的是联合扩展下保真度的走向，而不是任一因素单独的作用。由于较小预算获得的优化步数按比例更少，它们离收敛更远；把每个预算都训练到收敛，会更多地抬高曲线左端而非右端，从而降低拟合出的渐近线。用作者的话说，报告的上限是乐观的。这些上限也只在拟合区间延续到 30k 小时之后时才成立。

训练集和评估集都来自同一套采集协议，评估集规模也有限，这限制了结论能推广到多大范围的自我中心视频。实验还专门研究生成式世界模型；潜在预测模型是否更容易捕捉交互动力学仍无定论，也无法用这些保真度指标来回答，因为这类模型不渲染像素。

由此得出的实际优先级，具体取决于这篇论文的比较。如果目标是让世界模型的预测能在策略训练或规划中替代模拟器，那么约束瓶颈是物体交互保真度，而不是智能体渲染；证据表明，这一约束由训练设计决定，而不是由自我中心视频的小时数决定。人形机器人迁移结果还给出第二个阈值：关于交互保真度的结论在很大程度上取决于评估场景有多难，因为刚性、较大的模拟物体产生了 0.70–0.79 的物体分数，而自我中心人类视频产生的上限是 0.565。物体容易的基准会让世界模型看起来已经就绪，而自我中心场景表明它还没有。

本文引用的文献