结构化推理能改善长时程文本世界建模吗？

递归展开会让中间误差不断累积

世界模型必须预测环境在一系列动作下如何演化，智能体才能在执行前比较各种可能的未来。常见做法是学习一个单步转移模型并递归展开，把每个预测状态再喂回模型以生成下一个状态。这种分解方式方便，也自然暴露中间状态，但每个中间误差都会成为之后所有转移的上下文，因此误差会随时程累积。

论文提出的替代方案是非递归预测：以当前状态加上完整的未来动作序列为条件，直接预测目标状态。论文指出的困难在于，长时程预测本质上是多时程的——用单个直接模型覆盖多个时程很难训练，而为不同时程分别训练模型又会割裂数据、阻碍跨时程的共享学习。这在部分可观测环境中尤为关键，因为模型必须在多步中既保留历史信息，又跟踪依赖动作的变化。

用稀疏增量替代完整状态重写

论文提出的转移方式 latent-SR 把多步演化视为一条结构化轨迹。每个动作只对原本持续存在的状态造成稀疏改变，模型在一次自回归解码中输出这些稀疏增量，再作用到持续状态上得到中间状态，而无需重新进入模型。由于这些编辑从不作为输入喂回新的转移调用，它们可以被监督，又不会重新引入递归反馈。

论文把这种方式与直接端点预测的关系类比为立即作答与先做思维链再作答的区别——只不过这里的中间推理是一条显式、语义有据的世界状态轨迹，本身可以被监督和奖励。一项在共享的 500 例 ScienceWorld 子集上的消融实验比较了稀疏增量推理与完整状态推理（每个动作后重新生成完整中间状态）：稀疏增量推理把 Fact-F1 从 0.499 提升到 0.556（Qwen3-4B），从 0.597 提升到 0.625（GPT-5.2）。自由形式思考——用非结构化思维链文本替代受状态模式约束的格式——在同一子集上得分更低，Qwen3-4B 为 0.465，GPT-5.2 为 0.606。

预测增益与轨迹中段奖励各司其职

两个训练信号是核心。预测增益目标奖励学到的状态相对于一个以原始历史为条件的匹配预测器所带来的改进。中间预测奖励则监督轨迹上的每个状态，这很重要，因为仅靠端点监督提供的信用分配很弱，中间预测可能看起来合理，却丢失了后续状态所需的信息。

CEO-Bench 上的消融实验区分了这些组件。从蒸馏得到的 83.49 平均 SE-score 出发，以蒸馏为初始化的轨迹强化学习把平均分提升到 84.86，而没有这一热启动的强化学习则降到 61.12——教师蒸馏得到的潜在轨迹在该设定中是重要的初始化。加入预测增益把平均分提升到 86.58，再加入中间状态奖励进一步提升到 87.35。论文报告称，在中间状态监督之前，所有 latent-SR 变体的判别力均为零（中位数约等于 0，不显著），因此把完整模型显著的正边际具体归因于该奖励组件，而非蒸馏、轨迹强化学习或预测增益本身。

预测时程越长，优势越明显

在 ScienceWorld、Jericho 和 CEO-Bench 上，latent-SR 在每项指标上都取得最强的平均表现，论文指出增益集中在更长的时程上。在 h10 时，它在 ScienceWorld 上比 obs-direct 高出近 10 个 Fact-F1 点和 13 个 BLEU 点，在 CEO-Bench 上高出约 7 个 SE-score 点。

逐时程表格显示了这一优势的形态。在 CEO-Bench 上，latent-SR 在 h1 得 93.76，在 h10 得 81.73，平均 87.35，而 obs-direct 为 81.85，obs-recursive 为 81.08。在 ScienceWorld 上，latent-SR 平均为 92.44 Fact-F1 和 92.37 BLEU，而 obs-direct 为 88.94 和 85.92。Jericho 是值得注意的例外：obs-recursive 在最短时程（h1、h5）上在 BLEU 和 Score MAE 两项都领先，但 latent-SR 从 h10 起反超，并在两项指标上都取得最佳平均值（24.5 BLEU，1.728 Score MAE）。

论文还拆分了整体系统差距。latent-direct——表示方式和训练（到预测增益为止）相同，但采用直接转移——在 ScienceWorld 上达到 89.16/87.63 Fact-F1/BLEU，在 CEO-Bench 上达到 83.53 SE-score，领先 obs-direct，但远低于 latent-SR。在匹配的预测增益阶段，latent-SR 自身的消融在 CEO-Bench 上达到 86.58 SE-score，在 ScienceWorld 上达到 91.91/91.10，因此转移架构解释了相对 latent-direct 的大部分差距，中段奖励贡献了较小的剩余部分。

注入的虚假事实在递归下持续，在 latent-SR 下衰减

为直接探查误差传播，论文在 CEO-Bench 中干预编码状态，同时固定未来动作序列，向不同架构注入同一虚构事实，并按固定目标协议报告 SE-score 下降幅度。相关扰动注入一个与真实轨迹矛盾的虚构每周 5000 美元外生现金冲击；无关条件注入一个位于四个评分字段之外的延迟干扰项。

相关扰动损害了所有模型，而无关干扰项影响接近于零，论文认为这表明该干预具有选择性，而非一般性破坏。对 latent-recursive，相关扰动在各时程造成 8 至 14 点的 SE-score 损失，平均 11.1。latent-SR 在蒸馏后平均损失为 5.4，完整模型为 1.7。论文的解释是，latent-recursive 反复把预测的中间状态变成后续转移调用的输入，因此错误事实可能持续存在；而 latent-SR 只以原始编码状态为条件做一次多步生成，不会递归地重新输入重建状态。作者指出，这本身并不能确定内部机制，但与递归反馈导致的传播减少相一致。

轨迹强化学习进一步提升了鲁棒性，同时干净性能也在上升：在 latent-SR 架构固定的情况下，平均扰动损害从蒸馏后的 5.4 降到完整模型的 1.7，而同一子集上的干净 SE-score 从 83.2 升到 87.1。论文指出，鲁棒性提升并非通过单纯降低干净预测质量换来。

只有 latent-SR 对未来动作有显著敏感性

总体准确率无法说明模型的预测是否真的跟随给定的动作序列。论文在 CEO-Bench 上测试这一点：把一段共享历史分叉为三个分支——激进增长、削减成本和一个重采样对照——它们在时程 10 时明显分化，然后要求每个模型仅根据某一分支的动作预测该分支的结果。

在公司聚类的反事实分析中，latent-SR 是唯一对未来动作具有统计显著敏感性的模型。obs-recursive 和 obs-direct 在聚类符号检验下显著为负。论文解释说，它们的置换 p = 1.000 不能被解读为反对动作敏感性的证据，因为当多数公司的中位数并列在同一数值（最常见的是零）时，中位数之中位数统计量会退化；基于均值的统计量不存在这一失效模式。

一个具体的分支案例研究说明了调整后边际所衡量的内容。一家源公司（分叉点处 81.1 万美元现金、139 名客户）分叉为三条指令。三个分支第一周动作相同，因此各方法在 h=1 的现金预测几乎一致；到 h=10 时分支急剧分化。latent-SR 沿正确方向跟踪了这种分化，在两个较平缓分支上与真实值相差在 1500 至 1700 美元以内，在急剧分化的激进增长分支上相差在 34.5 万美元以内。Chronos-2 不以分支特定的未来动作为条件，因此在三个分支上产生相同的 81.5 万至 85 万美元轨迹，在 h=10 时与真实激进增长结果相差 59.9 万美元。

论文还做了一项无需外部参考模型的模型内动作置换检验：把以某分支自身动作为条件的预测，与从同一初始状态出发、以另一分支动作为条件的预测进行比较，并按原分支的真实值评分。作者指出，相当一部分检查点和时程上，多数公司的差值恰好为零——无论给定哪个分支的动作，模型都产生评分相同的预测——因此他们聚合到每公司均值而非中位数。

这些结论的适用范围到哪里为止

实验聚焦于文本、部分可观测的模拟环境：ScienceWorld、Jericho 和 CEO-Bench。CEO-Bench 是合成商业模拟环境，不涉及真实公司、个人或金融数据。同样的分解方式是否有利于视觉或连续世界模型，或能否改善下游闭环规划，在论文自身的表述中仍是未决问题。

还有两条边界紧邻它们所限定的结果。第一，反事实敏感性证据仅来自 CEO-Bench，且论文自身的聚类分析记录了基于中位数的置换统计量存在退化，迫使对两个原始历史基线依赖符号检验。第二，成对的 CEO 案例显示优势是总体性的而非处处一致：在一个案例中 latent-SR 更好地捕捉了订阅者和问题数量的下降，但其现金预测不如 obs-direct 准确；在另一个案例中，它虽然保留了订阅者增长的方向，却低估了现金和未解决问题数。论文还指出，在一个接近枯竭的案例中，latent-SR 未计分的取消量预测为 509，而真实值为 16，因此该案例不能作为整个窗口内流量预测准确的证据。

用时程斜率和动作敏感性评判转移模型

这篇论文中与决策相关的区分不在于哪个模型平均分更高，而在于差距沿两个轴如何变化。第一个轴是时程斜率：latent-SR 相对 obs-direct 的优势在 ScienceWorld 和 CEO-Bench 上从 h1 到 h10 不断扩大，而在 Jericho 上 obs-recursive 仍在 h1 和 h5 领先，直到 h10 才失去领先。因此，比较转移设计的读者应查看逐时程曲线而非平均值，因为平均值可能掩盖交叉点。

第二个轴是预测是否对动作序列作出反应。模型内置换检验在这里是最锐利的诊断：它考察当只有条件动作改变、初始状态固定时，模型自身的预测是否相应改变；论文报告称，相当一部分检查点和时程上多数公司的差值恰好为零。这是一个具体的失效特征，且与总体准确率不同——模型可以平均得分很高，却无论给定哪个分支的动作都产生相同预测。

论文自身的优先级排序来自其消融实验：转移架构解释了相对 latent-direct 的大部分差距，中间状态奖励贡献较小的剩余部分，而正是中间状态奖励把零反事实边际变成显著的正边际。对于任何要决定在长时程文本世界模型上把精力投向何处的人，这一排序——先做非递归结构化转移，再做中间状态监督——是论文在其测试环境中可迁移性最强的结论。

本文引用的文献