世界模型何时需要上下文编码器才能泛化？

预测充分性衡量上下文在策略上带来什么

基于模型的强化学习泛化方法通常假设，智能体无法从自身经验中恢复支配环境动力学的潜在上下文，因此从外部提供该上下文。论文检验而非接受这一假设。其核心量——预测充分性——追问在智能体诱导的访问分布下，获得上下文对下一步预测增加了什么。参照标准是上下文对无记忆预测器和历史感知预测器的一步贝叶斯优势，而不是在某个固定外部策略下的比较。

该量被有意分解。一部分是历史可恢复的，即智能体自身轨迹已经揭示了上下文。第二部分是真正需要真实上下文的残差。第三部分是有限模型带来的亏缺。把三者分开很重要，因为只有残差才为专门的上下文机制提供理由；历史可恢复部分是模型本已能够触及的信息，而有限模型亏缺是优化或容量问题，而非缺失信息。

论文还按上下文感知算法的条件集所能针对的预测风险对其分类。正是这一分类使该诊断具有实用性：它把机制与实际可获得的信息相匹配，并且是从普通训练后的智能体估计得到，无需参考策略。

对上下文取平均会得到没有回合服从的核

在上下文 MDP 和隐参数 MDP 中，潜在参数可能从共享先验中 i.i.d. 抽取、按背景过程演化，或无结构地变化。只看到当前状态和动作的预测器必须对当时仍可能的上下文取平均，产生模型混合并降低预测精度。

论文的 MiniGrid 示例把这种失败具体化。一个隐藏的风变量在每次移动后以概率方式使智能体位移，而墙会阻挡位移。在不同风的混合经验上训练的模型学到平均核，它没有净位移、散布被夸大，且不支配任何单个回合。然而同一策略可以在回合中途分离轨迹，使状态本身只与一种风一致并隐式识别它，从而使上下文机制部分冗余。

访问分布与核同样重要。在同一上下文下，穿越开阔网格的智能体顺风弯曲并暴露上下文，而沿下风边界移动的智能体因障碍物阻挡而不显示漂移。因此上下文机制还能获得什么，取决于智能体自身轨迹已经揭示什么以及覆盖了什么。

探针仅从训练后的智能体估计余量

余量、历史恢复和充分性差距通过比较带高斯似然头的 MLP 探针与循环探针在留出数据上的下一状态对数损失来估计。评分在回合层面交叉拟合，因此每个转移都由从未在其回合上训练过的探针评分。置换零假设把回合与来自其他回合的上下文重新配对，可解码性读出使用前馈架构和平方误差目标，从当前状态和动作预测上下文，并报告交叉拟合 R 平方。

基准面板覆盖递增的识别难度。i.i.d. 设定使用 CARL DMC Walker Walk。可识别设定每回合均匀采样一个潜在水平风，并设置非零流体密度，使风对身体施加力；困难设定在标称值附近均匀采样一个潜在执行器强度缩放，重力固定在标称值。一个 84 上下文的基准面板被留出用于最终评估。漂移设定遵循已注册的 RWRL 协议，一个 Walker 参数在回合间以三个步长随机游走，使用所有方法共享的冻结实现，步长选择使最高速率下相邻回合自相关保持在 0.5 以上。

所有智能体共享 DreamerV3 超参数，仅在上下文配置上不同：上下文盲基线、从近期窗口推断上下文的 DALI-S、通过深度条件接收真实上下文的 cRSSM-D、在回合边界保留循环状态的携带状态变体，以及维护跨回合潜在变量的链式潜在智能体。由于 DreamerV3 已带有回合内循环状态，将其与 DALI 比较可在固定该主干的情况下分离出专门近期历史通路的价值。运行使用一块 24GB NVIDIA L4；一次 10 的 6 次方步运行约需 9 小时，峰值分配内存为 6-7GB。

可识别设定中余量塌缩而上下文仍可解码

在可识别的 i.i.d. 设定中，估计余量在所有被考察的访问分布下都塌缩，而上下文仍可解码。这一组合是论文最尖锐的诊断结果。如果上下文仍可从智能体自身状态和动作恢复，那么提供它的机制并未增加缺失信息，方法之间的任何回报差异反映的是优化而非信息差距。

论文直接陈述了这一含义：当贝叶斯预测余量为零时，同一访问分布下的任何预测增益都反映有限模型误差的减少。这是对如何解读回报曲线的边界。在此类设定中，上下文感知方法优于上下文盲方法，并不能证明需要上下文；它证明的是其训练或架构更好地处理了同一问题。

与困难设定的对比使这一点成为比较性结论，而非单一负面结果。在那里，尽管回报相当，估计余量在被评估方法中仍然存在，表明成功控制不必解决预测上下文。回报相当与信息相当是不同的主张，探针把它们区分开来。

同一任务在不同先验下产生不同余量

论文的核心比较主张是余量不跟随 MDP 类别。同一任务在不同先验下，在一个设定中留下预测余量，在另一个设定中则与零无法区分。在后一种情况下，智能体的行为隐式识别了上下文，上下文机制的任何收益都不能归因于缺失信息。

这就是为什么仅凭类别标签不是难度度量。两个设定可以共享形式描述，却在智能体诱导的访问分布是否暴露潜在变量上不同。论文对基准构建的建议随之而来：在报告 MDP 类别及其基准定义的同时报告估计余量，因为仅凭设定类别不能决定其难度。

非 i.i.d. 结果把预测收益与漂移机制和机制设计联系起来。链式潜在推断与携带状态之间的对比，展示了预测回合级上下文与保留循环状态之间的区别。在漂移设定中，主要终点是前 25 步的起始瞬态，从最终检查点事后计算，漂移条目报告为种子均值的均值及种子范围。

学习到的状态只部分暴露持续存在的余量

在余量持续存在的地方，学习到的状态只部分暴露它，加入真实上下文仍能降低风险。这是关于充分性差距而非回报的主张：即使上下文机制确实有真实收益，智能体学到的表示也不会呈现全部收益，因此预言机上下文仍有价值。

校准环境为探针提供了参照点。它是一个二维稳定点质量，状态完全可观测，隐藏机制在回合间遵循慢切换马尔可夫链，停留概率为 0.9。精确总体得分差距为 2.518，通过数值积分评估，而采样评估给出 2.51 加减 0.05。历史恢复达到 0.89 加减 0.03，对照由扰动历史滤波器计算出的精确 0.99 参照，给出的是嵌套的仅扰动信息集的恢复比例，而非对完整在策略历史最优的认证界。

校准还显示探针不是什么。探针目标是理想对角高斯得分差距，而非互信息，相应的信息量要小得多：二元机制最多携带 ln 2，约 0.693 纳特，平稳扰动混合信息为 0.507。置换零假设保持在零附近。观测上下文智能体的估计充分性差距接近零，对每种推断方法都集中在回合开始，而携带状态最大，其循环状态通过重置延续上一回合。短回合变体产生精确的每转移残差 0.24，被再现为一种充分性差距，在上下文盲模型中持续存在，而在观测上下文模型中几乎消失。

移除状态信息会恢复余量

论文进行了并行检查，操作的是状态介导的识别，而非更换算法。状态投影在 MiniGrid 和 Point-Mass-Attractor 中移除当前状态信息。状态重置在 MiniGrid 中削弱依赖上下文的访问。在 Point-Mass-Attractor 中，重置速度时余量上升，保留速度时则保持在基线附近。

这些操作检验了论文提出的机制：隐式识别由智能体自身行为产生，因此削弱状态所揭示的内容应重新打开上下文机制可填补的差距。报告的误差棒是 95% 自助置信区间，在显示处，蓝线是全状态结构参照，而非信息集或查询分布改变后的界。

论文还指出一个它未覆盖的难度类别。据其所知，没有标准基准使上下文仅通过刻意提供信息的动作才可识别，因此在那里所有被动类别都被预测为等价。构建此类设定被列为作者认为最有前景的未来方向之一，与在模拟器允许时进行配对反事实重置并列。

让机制匹配智能体已有的信息

论文提供的实用标准是一条匹配规则，而非默认做法。在加入上下文编码器之前，从普通训练后的智能体估计预测余量，并检查在该智能体诱导的访问分布下，上下文是否已可从状态和动作解码。如果余量为零而上下文仍可解码，同一访问分布下的预测增益反映的是有限模型误差减少，该机制的收益不能归因于缺失信息。如果余量仍然存在，残差是真实的，但学习到的状态可能只部分暴露它，因此提供真实上下文仍能降低风险。

因此指导决策的比较应在可识别与困难 i.i.d. 设定之间，而非在上下文感知与上下文盲回报之间。困难设定中回报相当与开放余量共存，可识别设定中余量塌缩与可解码上下文共存。论文对基准的建议遵循同一逻辑：在报告 MDP 类别和基准定义的同时报告估计余量，因为同一任务在不同先验下，在一个设定中产生远高于零假设的余量，在另一个设定中则没有。

一个范围条件与这些估计相伴。所有估计量都是闭环的属性：每个方法的访问分布塑造其可获得的信息，而该信息又反过来塑造方法。作者有意不在共享参考策略下比较，因为没有策略是中立的；随机行为会塌缩访问区域，而胜任行为会编码它已识别的上下文。策略依赖正是所研究的机制，也是实践中重要的条件，因为部署的机制在其训练产生的访问分布下运行。衰减比例是在校准环境上刻画的，而非假定可迁移到其他地方，因此探针最好被解读为在工作回合长度下的比较性诊断。

本文引用的文献