LeWAM 如何用 JEPA 联合建模世界与动作？

一个编码器同时服务预测与动作

此前的 JEPA 流程先训练视觉表示和以动作为条件的动力学，再接入控制策略或在线求解器。LeWAM 改为在一个阶段内同时训练表示、潜在动力学和随机策略。每个训练样本提供干净动作用于预测下一潜在状态，提供加噪动作用于流匹配；Mixture-of-Transformers 预测器让两组 token 走各自独立的参数，同时用一次掩码自注意力覆盖整个序列。由于两个目标都反向传播到同一个 ResNet-18 风格编码器，动作监督不再与视觉表示学习脱节。

模型规模不大：视觉规划模型约有 16.9M 个可训练参数，论文将其描述为约 17M。预测器使用 192 维潜在状态、4 个模块和 4 个注意力头。动力学分支接收 5 个干净动作，用于预测 5 个原始步之后的潜在状态；流策略则建模 10 个动作。只有帧被下采样，动作索引仍保持原始环境速率。

高斯潜在约束让规划保持有效

第二个要素是 SIGReg，这是一种约束潜在状态分布、防止表示坍缩的正则化方法。论文指出，正是这一约束让潜在空间对规划有用，而不只是避免坍缩。在 Push-T 上，加入 SIGReg 带来 14.7 个百分点的规划增益，而没有它时只有 2.7 个百分点。从完整模型中移除 SIGReg 后，规划成功率下降最多的是 Push-T（25.3 个百分点），其次是 Puzzle（5.3）和 Scene（4.0）。

线性探针给出了表示保留了什么信息的具体视角。在 Push-T 上，带 SIGReg 的 LeWAM 在物体状态上达到 R² 0.90，本体感觉 0.86，动作 0.40；当探针同时使用当前和未来潜在状态时，动作一项为 0.75。同一模型去掉 SIGReg 后，物体和本体感觉分数仍接近 0.88 和 0.85，但动作可解码性降到 0.38。仅用潜在状态的 LeWM 在没有 SIGReg 时，Push-T 上所有报告的探针分数都是 0.00；作者将此解读为证据，说明观测到的动作充当了抗坍缩信号，其锚定目标独立于编码器。

规划增益集中在接触密集任务

在十个模拟导航与操作环境中，LeWAM 的平均目标到达成功率为 93.5%，而使用交叉熵方法规划器的 LeWM 为 50.9%，相差 42.7 个百分点，且 LeWAM 在每个任务上都超过该基线。差距最大的地方正是接触转换让局部动作优化变难的任务：ToolHang 达到 94.7%，对比 35.4%；Transport 达到 83.3%，对比 2.8%。这些是以目标图像和固定步数预算为前提的目标条件视觉规划结果，不是任务完成结果。

摘要中的那对标志性数字采用了不同的聚合方式。28.6% 到 89.7% 的接触密集对比，以及 10.9% 到 46.2% 的长时程对比，分别来自十环境扫描和时程扫描的独立汇总，因此不应把它们读成与 93.5% 对 50.9% 相同的平均值。在长时程扫描中，目标沿每条记录轨迹被移得更远，起始帧固定在 Push-T、Cube、Scene 和 Puzzle 上；在 100 步目标偏移下，LeWAM 在这四个任务上的平均成功率为 46.2%，LeWM 为 10.9%。

学到的动作先验缩小搜索范围

速度来自论文点明的两个机制：一个有表达力的分布先验缩小搜索空间，以及利用 GPU 并行能力的梯度优化。在四个视觉目标任务上，LeWAM 平均每秒完成 52.50 次规划，而使用 CEM 的 LeWM 为每秒 1.62 次，加速 32.3 倍。细化过程中模型参数保持冻结，只有归一化后的动作计划接收梯度；二次邻近惩罚让更新停留在每个采样计划附近，而候选保留和最终选择使用未加惩罚的目标代价。

动作头的作用不止于速度。在相同的潜在动力学目标下，流匹配带来的规划增益大于 MSE 头——后者用高斯噪声扰动点预测。在没有 SIGReg 时，流匹配也保留了更多可线性解码的物体信息（R² 0.88 对 0.66），本体感觉分数相近（0.85 对 0.86）。作者的解释是：确定性的 MSE 目标拟合条件平均动作，而流匹配建模条件动作分布，因此能保留那些动作分布不同、但均值相近的状态之间的区别。

联合训练优于冻结视觉特征

在这一设置下，冻结的 DINOv2 特征不如端到端特征。在四个任务上，联合训练编码器的直接成功平均为 86.7%，冻结 CLS 特征为 79.0%，冻结 patch 特征为 75.8%。论文区分了两部分贡献：联合训练改善了用于动作选择的表示，而规划带来的额外增益说明学到的动力学也支持动作细化。

另一项消融单独考察动力学。在评估时移除动作预测头，只用其以动作为条件的潜在动力学配合 CEM 规划，得到的视觉预测与 LeWM 相当，在 Push-T 上的规划成功率也具竞争力。在 Cube 这一 3D 操作任务上，LeWAM 对夹爪和物体等控制相关特征的预测更清晰，规划成功率也更高。作者由此认为，联合动作学习与世界建模是兼容的，并且能改善控制相关的部分。

直接执行扩展了同一个模型

LeWAM 也可以在没有目标上下文的情况下运行，从观测历史中采样动作块，跳过测试时规划。在模拟环境中，DrawerCleanup、Transport 和 ToolHang 的任务完成表现有两个任务与 Diffusion Policy 相当，并在 Transport 上把成功率提高了 16 个百分点。这些是从示范中做行为克隆的结果，与使用目标图像的规划对比属于不同设置，因此两组成功率回答的是不同问题。

在实体机器人上，论文通过直接策略执行评估 Pick and Place T、Push-T 和 Tape Stack，比较端到端 LeWAM、使用冻结 V-JEPA 2.1 特征的变体、Diffusion Policy 以及视觉-语言-动作策略 π0.5。一个完整的 LeWAM 动作块使用 270.2 GFLOPs，而 π0.5 为 3603.6 GFLOPs，论文将其表述为运算量效率上 13.3 倍的差异。实体机器人报告指标是每个任务 30 次试验中的成功次数。

证据止步于何处

任务套件在有限规模下混合了专家示范和非专家交互，作者指出，更广泛的探索数据和接触密集任务上的探索将扩展对困难接触转换的覆盖。模型针对每个任务和每个本体分别训练或适配，因此共享的动力学和策略尚未在跨机器人或语言条件任务上测试。对陌生物体、相机视角和接触状态的泛化测试被列为未来工作，而非已报告的结果。

规划模型也偏小，约 17M 参数；论文把更大的模型、更大的数据集、更大的候选种群和更多细化步数都列为尚未测试的扩展方向。实体部署需要独立的安全机制。这些边界限定的是结论的规模，而不是在已测试环境中各项比较的方向。

比较中最该关注什么

这篇论文中最具决策意义的分界是规划与直接执行之别。相对 LeWM 的大幅领先出现在目标条件视觉规划中，尤其是在接触密集的 ToolHang 和 Transport 上，以及长目标偏移下——那里学到的动作分布和梯度细化取代了宽泛的 CEM 采样。行为克隆结果被描述为有竞争力而非占优，只在 Transport 上有 16 个百分点的提升。

因此，把 LeWAM 与此前 JEPA 比较的读者，应先确认一个数字来自哪种设置、使用哪个基线和规划器、对应什么目标偏移或步数预算。论文自身的优先级很明确：潜在动力学与随机动作策略的联合训练，才让一个模型同时可用于快速规划和直接控制；而当接触和时程让搜索最难时，支持这一优先级的证据最强。

参考文献

Minghao Fu, Tavis Siebert, Eryk Halicki, Randall Balestriero. LeWAM: End-to-End World and Action Modeling with JEPAs. arXiv, 2026. arXiv:2610.12818.

本文引用的文献