3D 原生世界动作模型能统一机器人动作与场景动态吗？

像素运动为何不适合描述操作

世界动作模型要同时回答两个相互关联的问题：给定一条指令，机器人应该执行什么动作，这个动作又会如何改变周围世界？现有大多数模型通过图像或视觉潜变量来回答这两个问题，通常建立在预训练视频生成模型之上。论文认为，这一选择带来了一种错配：机器人交互发生在度量三维空间中，而图像只是该空间在某个视角下的投影。

由此产生的后果是，同一个机器人动作、物体位移或接触事件，在不同视角下可能产生不同的像素变化；相等的像素位移也未必对应相等的物理距离。相机内参和相机与机器人之间的位姿因具身不同而变化，图像到动作的映射也随之改变。论文还引用了已有报告：基于视频的世界动作模型对视角和机器人状态变化敏感；即使预测画面逼真，也可能错误表示物体位移、使刚性几何变形，或让静止区域发生漂移。按这一框架，度量运动与接触关系始终是隐含的，而空间推理、预测和控制恰恰需要把它们显式表达出来。

手与夹爪共用同一度量坐标系

UNITAS 改为在每个预测窗口内固定一个度量坐标系。时刻 t 的上下文包括指令、多视角观测、相机标定和历史动作流；标定把相机坐标映射到一个世界坐标系，该坐标系在整个窗口内保持不变。机器人演示使用机器人基座或共享具身坐标系，第一人称人类演示则使用窗口锚点处的相机坐标系，并在整个窗口内保持固定。

在这个坐标系内，模型定义了两个互补的量。动作流把人类手和机器人夹爪表示为 3D 点轨迹，按每个查询点当前位置在未来时间戳上的位移采样。场景流描述场景点的位移，并以这些轨迹为条件。由于两者都表示为同一坐标系下的度量位移，这种表示可以跨机器人具身和人类手共享，而不绑定于某一个相机视角。另有一个独立的动作分支预测可执行的末端执行器动作块，因此联合分布被分解为动作流、命令动作块，以及以动作流为条件的场景流。

把视觉 token 锚定到世界坐标

要让 3D 坐标系真正起作用，视觉 token 必须知道自己位于其中何处。每个视觉 token 都会获得一个与世界对齐的 3D 位置嵌入。有深度时，模型利用沿光轴的深度和相机内参把每个像素反投影，再用相机到世界的变换把结果转到世界坐标，用固定的傅里叶映射编码该位置，并加到视觉 token 上。

深度并非总是可得，因此论文加入了备用方案。没有观测深度时，嵌入由沿相机射线的位置特征加权组合得到：对每个图像块，从 0.1 到 2.0 m 均匀取 64 个深度值，反投影后与图像块特征打分，其中键编码相机坐标系位置，值编码同一批候选点的世界坐标位置。在深度可靠处，路由权重会被监督，以匹配真实世界位置的傅里叶特征。这让 UNITAS 可以在 RGB 和 RGB-D 数据上联合预训练，并在推理时不需要深度，而这正是许多真实部署所处的实际条件。

每条轨迹一个 token 保留物理时间

轨迹是一个很长的对象，若在每个时间步对每个点逐一 token 化，序列会变得难以处理。论文的物理时间轨迹 tokenizer 把每条点轨迹编码为一个 token，锚定在该点当前 3D 位置，经过的时间以物理量表示，而不是帧堆栈中的索引。tokenizer 先被训练以重建历史和未来的动作流以及可用的场景轨迹，然后被冻结。

随后两个专家通过整流流学习。对一个干净目标（归一化轨迹潜变量或动作块），按 gamma 水平混入噪声，网络回归噪声与目标之差；动作流和动作块共享 gamma 但使用独立噪声，场景流则独立抽取 gamma。训练时，场景预测以演示中的干净动作流潜变量为条件。注意力掩码约束了信息流向：场景 token 关注上下文、干净动作流和彼此，但不关注带噪动作流，因此场景预测以动作流为条件，又不会反过来影响动作流的去噪。动作块 token 只关注观测的键和值、当前末端执行器状态以及彼此，这正是仅执行策略时能够完全跳过两个未来流分支的原因。

场景预测的提升以厘米衡量

场景预测的结论建立在 RoboTwin 上：论文报告它在所比较方法中取得最好的动作条件场景预测，位移误差比 PointWorld 最多低 49%。评测刻意设计为可跨模型家族比较。每个回合贡献一个位于其中点附近的固定窗口，包含当前帧和 20 个未来记录帧，初始场景点按 1.5 cm 体素网格采样。所有方法共享初始查询点、点身份、真值轨迹和机器人运动条件。

对基于视频的基线，做法是把共享查询点用相机标定投影到初始图像中，只跟踪落在画面内的投影，再把跟踪到的轨迹变换到世界坐标，并锚定在共享的初始查询点上。Ctrl-World 的深度尺度、X-WAM 的逆深度仿射标定，均由初始观测深度估计，并在整段视频中固定；对齐过程不使用任何未来真值深度或轨迹。评分以 1 cm 为阈值，按点在 20 个未来帧内相对初始位置的最大真值位移，把点分为运动点和静止点，然后报告有效点–帧对上的平均位移误差、运动点在帧 20 的最终位移误差，以及误差不超过 1 cm 的运动点–帧对比例。这些是以厘米计的度量误差，而不是像素差异，这正是该比较的意义所在。

成功率说明了什么、没说明什么

在操作成功率上，UNITAS 报告 LIBERO 平均 99.8%，其中 LIBERO Long 为 99.4%，真实任务平均 85%。论文概览图还列出 RoboTwin Clean 92.9%、RoboTwin Randomized 93.0%、VLABench 成功率 56.2% 与进度分 67.6%，以及 LIBERO-Plus 相机分项 82.1%、机器人分项 94.2%、总体 89.1%。这些数字回答的是与位移误差不同的问题：它们衡量执行的动作块是否完成任务，而不是预测的场景点是否落在 1 厘米以内。

论文自己的闭环一致性测试把两者联系起来。在 RoboTwin 的三个任务、Clean 与 Randomized 两种条件下共六个设置、每个设置 10 次试验中，点动态专家生成动作流，动作专家则从同一观测和指令单独生成可执行命令动作块；随后动态专家以自己生成的动作流为条件预测场景流，并将这些预测与在模拟器中执行动作专家命令动作块所产生的真值场景轨迹比较。这一设计衡量的是模型内部动作与场景的一致性，而不是与人类遥操作轨迹的一致性；论文还指出，所有回合无论任务成败都保留，只有不含有效运动点的轮次才从运动点指标中排除。

3D 主张在哪里不再兑现

3D 原生表述最强的证据，是 RoboTwin 上厘米级场景预测误差与仿真和真实任务中高操作成功率的组合，因为纯视觉表示必须隐式恢复度量位移。论文讨论部分把这一定位为把交互几何变成显式预测目标，从而把世界建模与动作学习连接起来，并给出跨具身、跨视角的共享表示。这是作者对数字为何如此的解读；证据包中没有消融实验来分离成功率中有多少来自度量坐标系、多少仅来自策略分支。

对任何考虑基于此继续工作的人，适用范围条件都很重要。真实任务平均 85% 是跨任务报告，证据包中没有逐任务拆分；LIBERO-Plus 相机分项 82.1% 明显低于机器人分项 94.2%，而相机分项正是以视角变化为主要压力条件的设置。论文还指出，把这一基础扩展到更长交互的可靠预测和更广泛的真实部署，仍是一个方向而非已展示的结果。因此实际解读应当具体：当决策取决于预测的场景运动在厘米意义上是否物理正确时，RoboTwin 上对 PointWorld 的位移比较是相关证据；当决策取决于固定具身下的任务完成时，LIBERO 和真实任务成功率是相关证据；当相机视角本身预期会变化时，应首先权衡 LIBERO-Plus 相机分项这个数字。

本文引用的文献