分层 JEPA 世界模型能改进长时程视觉规划吗？

单一共享潜空间带来两难

现有的任务无关 JEPA 世界模型在单一潜空间内预测和规划，且往往只在单一时间尺度上。论文指出两个后果。第一，在单一时间尺度上，长时程任务必须展开为许多细粒度步骤，预测误差会累积，动作搜索空间也随之增大。第二，一个共享潜空间要同时服务低层动力学和目标匹配：一个承载所有快速变化细节的潜空间也许能很好地建模低层动力学，但当目标比状态更抽象时——比如要到达的位置而非要匹配的姿态——它给出的目标匹配代价很差。

H-JEPA 的前提是分层可以分担这项工作。每一层更高的层级在更长的时间跨度上预测，其潜空间只保留在该跨度上仍可预测的内容；较低的层级以短步长处理快速特征，负责短程预测和低层控制。论文用皮层内在时间尺度层级作为动机，即变化更慢的表征位于更高层，但被检验的论断更窄：当数据中的因素以彼此分离的时间尺度演化时，更高层会丢弃快速、不可预测的细节，保留较慢的任务相关状态。

每一层在各自的潜空间中预测

H-JEPA 是一套端到端训练动作条件化 JEPA 层级的方法，没有奖励目标，也没有重建目标。每一层在各自学到的潜空间内预测未来，时间步长比下一层更粗、抽象程度更高。规划自上而下进行：顶层优化朝目标推进的程度，每一层的预测成为其下一层规划器的子目标。具体来说，第一个预测出的潜状态作为子目标向下传递，下层的展开结果再被编码回上层潜空间用于比较。

每个活跃层级都通过对自身潜空间展开求导来优化候选动作序列，使用 AdamW 最多迭代 90 次，并在最优代价停滞时提前停止，返回代价最低的候选。第一层的候选在归一化动作空间中从标准高斯初始化。上层没有原生动作边界，因此其搜索锚定在训练中见过的宏动作上：每个上层动作编码器保留最近 4000 个训练宏动作，候选从按维度拟合这些宏动作的高斯初始化，每次优化器更新后把候选裁剪到该样本各维度的第 2 至第 98 百分位。潜距离代价在第一层对最后两个预测状态打分，在上层只对最后一个状态打分。

执行遵循提交调度：智能体在环境时刻 t0 = 0 < t1 < t2 < ... 重新规划，在每个重新规划时刻编码观测，运行自上而下的求解，执行第一层计划的前若干动作，丢弃其余部分。所有模型在从头重新规划前执行两个第一层动作块，即 10 个环境步。第一层每个预测步推进 5 个环境步，每个更高层把该间隔翻倍。每个阶段只提交一个命令就是完全闭环控制；一个阶段提交整个计划就是开环单次执行。

Visual AntMaze 成功率从 18% 升到 73%

最核心的对比在 Visual AntMaze 上：三层结构把规划成功率从 18% 提升到 73%（相对于扁平 JEPA），而且使用的规划算力更低。论文将其报告为四个模拟导航与操作环境中的成功率提升，分层规划在这些环境中都优于扁平规划。算力对比与成功率数字同样重要：这一提升不是靠在测试时投入更多搜索换来的。

报告的工作点是具体的。回合预算在 FourRoom 为 210 个环境步，AntMaze 为 350，Push-T 为 90，Cube 为 30。各深度的配置视界（以预测步计）不同：例如三层 H-JEPA 在 FourRoom 用视界 (2, 2, 6)，AntMaze 用 (4, 2, 5)，Push-T 用 (2, 2, 4)，Cube 用 (2, 2, 1)，按从低层到高层排列。每层候选数也不同，例如三层模型在 FourRoom 为 (50, 200, 200)。在算力扫描任务上，LeWM 与 H-JEPA 选择在每回合平均 100 规划 TFLOPs 以内观测到平均成功率最高的候选分配，并以更低算力打破平局，随后这些设置不再调参，直接在另一个 50 任务集上评估。

时间分解与抽象目标打分

消融实验把增益归因于两个互补机制，而不是分层本身。第一个是时间分解：以更粗的步长把长时程任务拆成更容易的子问题。第二个是更高层目标表征：分层潜空间让更高层规划器在目标自身的抽象层级上评估进展，而不必让一个抽象目标穿过同时承载快速变化细节的潜空间。

论文的探针分析给这一机制提供了可测量的特征。对每个状态实体，作者在第一层采样率上计算其幅度归一化轨迹流的谱质心，跨回合汇总，并把实体频率差定义为最大与最小实体质心之比。Humanoid、AntMaze 和 FourRoom 的差距为 3.1 至 12.7 倍，在这些环境中身体状态或干扰项的解码在第二层变差，而智能体位置仍接近其第一层下限。Push-T、OGBench Cube 和 DROID 的差距只有 1.2 至 1.6 倍，几乎没有选择性抽象，两个层级的实体可恢复性相当。相关的比较是同一实体在层级之间的变化，因为绝对 NMSE 在不同环境间差异很大，尤其是 DROID 的自然视频。

单个 AntMaze 回合可以说明这种分离：全局位置的逆谱质心约为 35 帧，身体状态约为 4 帧，相差 8.3 倍，身体状态累积的变化量约为前者的十倍。论文谨慎指出，仅凭频率分离并不能确立可预测性的差异，因为快速周期运动仍可能可预测；真正把这种分离与第二层保留的内容在经验上联系起来的是逐实体探针。

第二层只在数据有结构时有用

论文检验了让每个层级在不同类型数据上训练是否能改进规划，使用逐阶段训练，即在训练下一层前冻结每个较低层。在 Visual AntMaze 的 explore 与 stitch 两种数据集类型及其并集上使用两层结构，匹配数据的结果显示，只有当数据在时间上有结构时，第二层才有帮助。沿对角线看，增加一个抽象层改进了 stitch 和 union 上的长时程规划：端到端分层规划成功率在 stitch 上从单层的 11 升到 21，在 union 上从 19 升到 54。在 explore 上，两个两层模型都没有超过单层基线 18，逐阶段和端到端都是 11。

论文将此解读为：当训练数据缺少层级本应利用的时间结构时，第二层模型无法形成有用的抽象。这是对核心结果的一个适用范围条件：Visual AntMaze 从 18% 到 73% 的提升是在论文的评估设定下报告的，而数据集对比表明，增加一层是否有益取决于数据本身是否分离为慢因素和快因素。

逆动力学把方法扩展到 DROID

加入逆动力学项后，方法扩展到 DROID，一个场景、光照和物体在每个回合都变化的真实机器人操作语料库。在那里，分层在更低规划算力下提升了离线规划保真度。用于此处的第一层模型是 LeWM+IDM，沿用逆动力学作为保留运动智能体信息的方式，并由 SIGReg 提供边际性的防坍缩正则。

DROID 设定与模拟环境有实质差异，不应被读作闭环机器人控制。DROID 是离线且开环的：一个计划覆盖整个窗口，因此提交宽度等于视界，不做任何重新规划。它在 16 个片段上评分，使用三个规划器种子和三个训练种子。回合预算为 36，第一层视界为 36，第二层视界为 12，HWM 与 H-JEPA 在每层都使用 16 个候选序列。两个两层分支的子目标权重都是 0.5，跨层动作代价为 0。论文自己陈述的下一步是检验这些增益能否迁移到物理机器人上的闭环控制。

分层结论成立到哪里为止

论文把 H-JEPA 与 HWM 对照，后者是一个任务无关的 JEPA 世界模型，虽然分层规划，但不同视界的预测器共享一个潜空间。论文的表述是 HWM 分解了视界，却无法在更抽象的空间中匹配目标，而 H-JEPA 恰恰在“由不同学习潜空间构成的层级”这一轴上不同。论文的四轴对比把 H-JEPA 列为唯一同时满足基于像素、任务无关、无重建、建立在学习潜空间层级之上的方法。

实际读法是一个优先级顺序，而不是笼统的背书。最强证据是 Visual AntMaze 对比：三层结构在更低规划算力下把成功率从 18% 提升到 73%，消融把这一增益与时间分解加上更高层目标表征联系起来。数据集对比收窄了额外一层何时划算：在 stitch 和 union 上划算，在 explore 上不划算。DROID 结果把方法扩展到真实机器人视频，但仅限于离线、开环的规划保真度。因此，读者在决定是否采用分层时，应先问自己的数据是否分离为慢因素和快因素，以及自己的评估是闭环控制还是离线计划打分，因为论文自身的结果正是取决于这两个条件。

本文引用的文献