Pri4R：利用特权 4D 表征为 VLA 模型注入物理灵魂

TL;DR

即使最先进的 Vision-Language-Action (VLA) 模型如 OpenVLA 或 Pi 系列，在面对复杂的物理约束（如推拉门、避障）时也常有力不从心之感。Pri4R 提出了一种“在训练中预测未来轨迹，在推理中隐式获益”的策略。通过在训练时引入 3D 点轨迹 (Point Tracks) 预测任务，Pri4R 强迫模型的骨干网络学习物理世界的演化规律，最终在不增加任何推理延迟的前提下，大幅提升了操控成功率。

痛点深挖：语义懂了，物理没懂

当前的机器人大模型（VLA）大都遵循“图像+指令 -> 动作令牌”的范式。通过在海量互联网数据和机器人演示上微调，由于视觉表征极其丰富，它们具备了惊人的语义理解能力。

然而，单纯的动作模仿学习（Behavior Cloning）存在一个致命缺陷：模型知道“怎么动”（即模仿手臂轨迹），但不知道“动了之后世界会变成怎样”。例如，当机器人试图打开一个有特定转轴的橱柜时，如果它不理解三维空间的几何演变，就很容易在轨迹上发生硬碰撞或卡死。

核心直觉：为什么 3D 点轨迹是完美的监督信号？

作者对比了多种预测信号（语言、深度图、潜码），认为 3D 点轨迹 是最优的，基于三点：

1. 时空密度 (Temporally Dense)：它与动作序列在时间轴上完全对齐。
2. 度量属性 (Metric Geometry)：它是三维空间中的真值，包含绝对物理尺寸。
3. 非冗余性 (Spatially Sparse)：相比于预测整张视频或深度图，点轨迹只关注机器人和物体的核心运动，避开了复杂的背景像素预测。

方法论详解：Pri4R 架构解析

Pri4R 的设计极其简洁，几乎可以“无缝嵌入”任何主流 VLA 架构。

1. 结构适配

• 对于 OpenVLA-OFT：将骨干网络最后一层的 Action Query Tokens 注入 Pri4R 的 Fusion MLP 中。
• 对于 π 系列 (Expert-style)：利用 Cross-Attention 模块从图像/语言序列中提取场景上下文 zt。

2. 预测头解析

模型通过一个轻量级的 PointMLP 处理输入的 3D 点云 Pt，并与骨干网络的隐藏特征融合，预测未来 H 步的位移 $\Delta P$。

图 1：Pri4R 的核心架构设计，展示了其与 OpenVLA 和 Pi 系列模型的结合方式。

实验与结果：全线战绩碾压

Pri4R 在仿真和现实环境中表现出了极强的鲁棒性：

• 性能起飞：在极其困难的 RoboCasa 厨房场景中，Pri4R 让基准模型的平均成功率大幅提升。尤其是在涉及旋转杆（Turning levers）这类强几何约束任务中，提升幅度甚至超过了 30%。
• 训练加速：虽然引入了辅助任务，但由于共享表征空间被快速“校准”，Pri4R 达到基准模型峰值性能的速度快了 2.7 倍。

表 1：在 RoboCasa 基准测试中，Pri4R 为各种 SOTA VLA 模型带来的显著提升。

真实世界表现

在真机实验中，Pri4R 展现出了明显的“空间觉悟”：

• 避障能力：在跨越障碍物抓取时，基准模型常发生碰撞，而 Pri4R 能自发绕开（由于它预测了手爪和物体的未来轨迹）。
• 动态追踪：面对移动中的物体，Pri4R 表现出极强的适应性，能够根据实时场景演化动态修正抓取点。

深度洞察与总结

Pri4R 证明了一个深刻的道理：机器人模型不应该只是图像分类器的延伸，而应该是世界模型的微缩版。

通过将 3D 点轨迹作为“特权信息”（只有训练时用，推理时不用），我们成功地在模型的隐空间中植入了物理属性。这种方法规避了在推理时实时跑 3D Tracker 的延迟和算力消耗，为未来在大规模具身数据预训练中引入物理常识提供了一条极具吸引力的路径。

局限性：目前 Pri4R 仍主要用于微调（Fine-tuning）。未来如果能在数十万小时的多样化机器人预训练阶段应用此类 4D 监督，或许能真正孕育出具备“直觉物理感”的通用机器人大脑。