JEPA 能否在不重建观测的情况下学到不变与变化潜结构？

重建为何不能保证有用的拆分

一个动力学世界的表示可以很好地概括观测，却仍然掩盖潜状态的组织方式。论文的动机例子是机器人把方块推向目标：当相机位置改变或灯光变暗时，场景中没有任何东西移动，因此应当采取相同的动作。有用的表示因此应保留稳定的、与任务相关的内容，并单独表达相关观测之间发生变化的因素。

论文认为，现有的这类分解方法通常通过重建来获得分解。编码器把观测映射为潜变量，解码器必须能根据这些潜变量重现观测。这带来额外的建模和计算成本，也可能把表示容量引向噪声和下游任务并不需要的观测细节。更根本的是，论文指出，重建促使表示保留重现观测所需的信息，但它本身并不规定这些信息应如何划分为不变结构和变化结构。一个可逆的非线性重参数化可以保持完整的观测分布，同时把底层潜因子混合在一起。

联合嵌入预测架构（JEPA）提供了论文所依托的替代方案：它们直接对潜状态建模，从不重建观测。论文指出的空白是，此前没有结果能恢复 JEPA 所学状态中的不变部分和变化部分。SplitJEPA 正是为填补这一空白而提出。

SplitJEPA 究竟识别出了什么

SplitJEPA 并不声称恢复真实的潜坐标本身。它的保证是在块级别上的：在平稳高斯预测动力学和满秩变化条件下，该方法能把不变子空间和变化子空间识别到各自独立的块内等距变换为止。通俗地说，两部分之间的划分被确定下来，而每一部分内部仍可能发生旋转或反射。

这一区别对理解结果很重要。下游使用者可以依赖哪些信息位于不变块、哪些位于变化块，但不能指望任一块的单个坐标与某个真实因子对应。由于该保证不需要观测解码器，论文把这一贡献表述为把无重建的潜状态恢复扩展到不变—变化块识别。

证明条件是这一结论的一部分，而不是附带设定。该结果针对平稳高斯预测动力学给出，并依赖满秩变化条件，即配对观测必须提供足够的变化，才能确定这一拆分。论文的敏感性实验展示了底层几何只被近似满足时会发生什么：随着非线性耦合强度增加，全局识别阶段会逐步退化。

预测与一致性如何产生两个块

该方法把理论条件转化为在观测对上评估的表示空间损失。预测对齐损失让一个观测的表示接近其配对观测的表示，从而在潜空间中保留演化中的状态。不变一致性损失只作用于指定的不变块，促使它在配对样本之间保持一致。一个保持方差的正则项用于防止表示坍缩。

精确分析还假设了一个归一化约束：在预测边缘分布下，完整表示的均值为零、协方差为单位矩阵。有限权重的方差正则只是鼓励这种几何，并不强制精确白化。论文明确指出，完整白化包含指定块之间协方差为零；一旦预测最优性给出线性解，归一化就使该变换成为正交变换，而正是这一点消除了跨块成分。

机器人实现沿用同一套分解，而不是另起一套方案。一个用 ImageNet 初始化的 ResNet-50 编码器处理 128×128 的 RGB 观测，输出一个分块表示。一个以动作为条件的预测器把当前表示和动作映射到下一表示的停止梯度目标，而不变性损失只作用于不变块。方差和协方差正则防止表示坍缩。每个优化步骤把一批 32 个相邻时间转移与一批独立打乱的 32 个配对样本组合在一起。

合成实验显示识别在何处失效

合成研究是观察识别结论在压力下表现的最清晰场景。在默认配置下，SplitJEPA 的全局 R² 达到 0.9770±0.0003，正交性误差为 0.0056±0.0007，两个跨块泄漏项分别为 0.0187±0.0037 和 0.99995±0.00002。对比方法在全局 R² 上明显更低：LeJEPA 为 0.6778±0.0360，打乱配对为 0.6598±0.0555，其正交性和泄漏误差也相应更大。

对判断适用范围而言，敏感性表格提供了更有信息量的结果。当非线性耦合强度从 0.5 升到 1.0 再到 2.0 时，全局 R² 从 0.9979 降到 0.9565 再到 0.8765，正交性误差从 0.0199 升到 0.0586 再到 0.1507，两个跨块泄漏项也随之增大。论文将此解读为：在有限优化下偏离所需几何时，正交性误差增大和跨块泄漏会同时出现。

这是默认合成配置下的 seed-0 诊断，而不是大范围扫描，论文也如此呈现。实际含义是：该保证针对的是一个理想化解类，而实测退化程度反映了有限优化偏离该解类有多远。

视角与轨迹变化下两个块出现分离

机器人实验检验恢复出的块是否按预期表现，所用度量是表示距离，并按每种配对类型下随机配对观测之间的距离做归一化。在 PickCube 上，视角变化引起的不变块归一化响应为 0.18，变化块为 1.51，变化块的响应大 8.4 倍。在匹配轨迹之间，相应差异为 2.1 倍。

PushCube 上同一模式更明显：视角变化和匹配轨迹变化在变化块中的响应分别大 14.0 倍和 3.1 倍。论文把这一结果描述为独立于下游成功率的表示验证。当视角和执行因素变化时，不变块相对稳定，而变化块对同样的干预响应更强。

时间可迁移性指向同一方向。论文使用来自不同验证轨迹、不同归一化时间步的状态匹配异步配对，把配对按时间步间隔分为小、中、大三组，并测量每个块的表示变化相对于其随机配对距离的比值。在两个任务和所有间隔上，不变块的变化都小于变化块，且两者都随间隔增大而变化更多。论文把不变块的相对稳定性解释为它捕捉了这些观测之间不变的信息，而变化块反映执行相关的因素。

拆分为何对鲁棒性重要

受控干预实验分离出了鲁棒性含义。论文比较两种表示接口，同时固定环境状态和所有其他策略输入，只对变化块施加扰动。仅使用不变块的策略保留了约 100% 的干净性能，而同时暴露两个块的策略随着扰动幅度增大而变得越来越敏感。

具体数字让差距更清楚。在 PushCube 上，把变化块置零后，双块接口为 93.7±3.4%，仅不变块接口为 99.9±0.2%，前者落后 6.1 个百分点。在 2.0σ 噪声下，双块接口降到 44.1±4.0%，而仅不变块接口保持在 99.9±0.2%，差距为 55.8 个百分点。在 PickCube 上，同样的 2.0σ 条件下分别为 29.6±0.8% 和 100.0±0.0%，差距为 70.4 个百分点。

论文的解释是，暴露变化块增加了一条通路，使局限于该块的扰动能够影响下游决策。这支持了论文陈述的含义：一旦不变块与变化分离，仅基于它的预测对变化成分的扰动会明显更鲁棒。该结果针对的是注入变化块的扰动，而不是所有可能的分布偏移。

不变块并不总是更好的输入

消融表显示各组件承担的作用不同。去掉不变性损失对分布外性能的损害最大：在 PushCube 上使用不变块时，相机分布外成功率降到 19.7±9.5%，视觉分布外降到 15.7±11.0%，而完整的不变块模型分别为 71.5±10.4% 和 64.5±12.7%。去掉预测也有损害，但幅度较小；去掉多样性后，分布外数字接近完整模型。

样本效率结果使任何对不变块的简单偏好变得复杂。在 PushCube 上，两种接口仅用 10% 的示范就已在分布内 SR@10cm 上超过 90%，且它们的相机和视觉分布外性能随训练预算增加而提升。在 PickCube 上，基线方法的分布内性能随数据增加而上升，但在分布外条件下，多数基线并不随数据增加而改善，而是进入平台期。论文报告，其两种表示输入没有一种始终占优：仅不变块输入在若干低数据或相机偏移场景中更可取，而当额外的执行相关信息有用时，组合输入会变得有竞争力或更强。

论文陈述的局限是规模。实验覆盖受控非线性系统和两个机器人操作任务，作者把将 SplitJEPA 扩展到大规模复杂真实场景列为下一步。识别保证也带有自身条件，因此块拆分应视为在已测试范围内成立，而不是到处都成立。

何时只暴露不变块

论文支持的决策不是 SplitJEPA 是否有效，而是把哪个块交给下游。如果担心的是位于变化块中的扰动或干扰性变化，干预结果支持只暴露不变块：在测试的每一档扰动下，它都保持接近 100% 的干净性能，而组合接口在 PickCube 的 2.0σ 噪声下最多损失 70.4 个百分点。

如果任务受益于执行相关的细节，组合接口是更好的选择，论文报告它在这类场景中有竞争力或更强。块验证和时间迁移结果提供了一种在决定前判断适用哪种情况的方法：测量每个块对你所关心变化的归一化响应，并优先选择在该变化下更稳定的块所对应的接口。

因此浮现出的优先级是有条件的，而不是绝对的。论文最强的证据是：在变化块受到扰动时，不变块可作为鲁棒的预测接口；当变化携带有用信息时，则保留组合表示。这两种解读都依赖块拆分成立，而论文在其陈述条件下确立了这一点，并在合成系统和两个操作任务的规模上进行了检验。

本文引用的文献