语言模型能作为世界模型预测 AI 研究实验结果吗？

在实验执行前给候选干预排序

论文要回答的是：语言模型能否充当研究世界模型（Research World Model，RWM），即用同一个模型，在给定研究环境和候选干预时，预测该干预执行后会产生多少增益。环境固定了参考模型、数据、配置、预算和评估协议；干预是对这一初始配方做出的具体改动，例如更换学习率调度或数据混合比例。预测出的增益用于让研究者或自动代理把有限的 GPU 预算只花在最有希望的候选上。

这一设定借用了控制领域的世界模型思路：模型预测动作的后果，代理据此规划。在这里，干预扮演动作的角色，实测的实验结果就是需要预测的后果。论文的动机来自一种错配：AI 研究代理提出可行、可实现的实验的速度，快于这些实验被执行的速度，因此要判断哪些实验值得投入训练或评估预算，就必须预先估计它们的效果。

证据基础是来自九个环境的 2,653 条实验记录，覆盖预训练、后训练和推理，合计代表 171,862 个 H100 GPU 小时。每条记录由环境、干预和实测增益三部分组成，它们构成模型可以参照的历史。默认的 RWM 主干是 Claude Opus 5，上下文窗口为 1M，推理强度为 HIGH；在比较不同知识条件时，这一主干保持不变。

增益误差与排序质量衡量的是两件事

论证主要依赖两个指标，二者不能混为一谈。平均绝对误差（MAE）衡量预测增益与实测增益的接近程度，单位沿用环境自身的单位，越低越好。Spearman 相关系数衡量模型对干预的排序是否与实验结果的排序一致，越高越好。一个模型可以排序得很好，但绝对数值校准很差，论文对两者都做了报告。

增益本身是相对参考值定义的，并随指标不同而变化。对每字节比特数（BPB），增益等于参考分数减去候选分数，因此正值表示改进。对准确率和吞吐量，增益等于候选分数减去参考分数，准确率的差值再乘以 100，以百分点报告。论文把最终性能增益作为主要结果。

当预测被用于决策时，还会出现第三类指标。Regret@3 衡量从 16 个候选中选出 3 个（约相当于 20% 的执行预算）时，因未选中最佳候选而损失的增益；NDCG@3 评估被选中的三个干预的正向增益及其排序。这些选择指标回答的问题与全局排序不同，因为一个良好的整体排序未必能识别出增益最高的少数候选。

真实实验记录提升同环境预测

论文比较了无知识设定（W0，历史为空）与记录条件设定（Win-env，接收来自被评估环境的记录）。在这种比较覆盖的全部五个环境中，记录都同时改善了增益预测和干预排序，使平均 Spearman 相关系数比 W0 提高 0.27。

各环境的数字展示的是变化范围，而非单一效应。在 OLMo3-100M 上，Spearman 从 0.62 升到 0.90，MAE 从 2.93e-2 降到 2.03e-2 BPB。在推理优化环境，Spearman 从 0.54 升到 0.88，MAE 从 13.19 降到 1.34 tokens/s。数学蒸馏从 0.43 升到 0.70，Code RL 从 0.48 升到 0.62。

记录条件的 RWM 在每个环境的两个指标上都优于两个基于特征的基线，即 k 近邻回归和岭回归，尽管这些基线拿到的是同样的记录和候选输入。论文据此认为，语言模型从实验经验中学习的效果，优于在相同输入上运行的标准回归器。

预训练经验可迁移到新环境

跨环境评估依次把五个自回归预训练环境作为目标。模型接收来自另外四个环境的 244 条记录，预测目标环境中 71 个干预的增益；目标环境没有任何记录，且留出的干预及其近重复组已从源记录中排除。

源记录在全部五个目标上都提高了 Spearman 点估计，宏平均为 0.73，而 W0 为 0.63，kNN 为 0.36。最受关注的迁移结果是 Qwen3 目标：仅使用来自 OLMo3、Marin 和 Nanochat 的预训练经验，RWM 就把 Qwen3 中的选择遗憾相对零经验设定降低了 78%。

论文也展示了朴素迁移会在哪里失效。kNN 在四个同环境面板上优于 W0，但在每个迁移目标上都低于 W0，因为语义相似的改动在不同初始配方下可能对应不同的修改。有一个例子：某个 Muon 优化器变体在源环境的类似案例中看起来有益，但在已经使用 Muon 的 Nanochat 上实测增益为 −0.036 BPB，而 W0 预测为 −0.035。因此，总体迁移收益与个别源类比误导的情况同时存在。

更好的排序转化为更好的实验选择

为了检验预测是否有助于决策，论文模拟固定执行预算：从每个 16 个候选的池子中选出 3 个干预，并在每个环境测试面板的 200 次随机划分上取平均。随机选择提供了参考期望分数。

同环境知识大幅降低了 Regret@3：从 W0 到 Win-env 的各环境相对降幅的等权平均为 58.2%，且 NDCG@3 在每个环境都有改善。跨环境知识使宏平均 Regret@3 相对 W0 降低 52.2%，除 Marin 外所有目标的两个选择指标都有改善。在跨环境设定下，两个基于特征的基线的宏平均 Regret@3 都高于 W0。

论文还给预测步骤定了价。按观测到的平均 API 成本，用一次调用给 16 个候选打分约需 6.3 美元；而九个环境每次实验的平均计算成本中位数为 42.3 个 H100 GPU 小时，按每小时 3 美元计约 127 美元。因此，给整个候选池打分约相当于一次代表性实验成本的 5%，正是这一比较让预测在紧张预算下值得做。

多轮搜索同时受益于两类知识

多轮 Autoresearch 测试在 OLMo3-100M 上运行五次评估，每次八轮。每轮引入 16 个新的候选干预，每种方法从当前可用的候选中选出 3 个，每次评估的总选择预算为 24。所有方法看到相同的候选，并面对相同的预算。

相对无知识设定，具备同环境知识的 RWM 使取得的最佳增益提高 15.8%，具备跨环境知识的 RWM 使其提高 11.6%。同样的跨环境记录也提供给了 kNN 和岭回归作为对照。这些是固定预算下找到的最佳结果的提升，而非预测准确率的提升，因此衡量的是预测是否真正改变了被发现的东西。

实验知识比换模型和加推理更重要

在 13 个用作 RWM 主干的语言模型上做的消融显示，加入研究知识对干预排序的改善，大于更换模型或单纯提高推理强度。在 OLMo3-100M 面板上，两个性能区间没有重叠：带记录的最低表现主干，也超过不带记录的最高表现主干。

推理强度的比较指向同一方向。即使是带记录的 LOW 推理强度设定，也优于所有不带记录的推理强度设定，包括 XHIGH。论文的解释是，单靠更换主干无法弥补实验证据的缺失，因此它主张积累实验记录，而不是只扩大预测模型。

迁移结论的适用边界

已展示的收益通过上下文学习实现：记录在预测时提供给模型，而不是用来训练它。跨环境证据目前仅限于自回归预训练，因此 78% 的 Qwen3 遗憾降幅和 52.2% 的宏平均遗憾降幅，不应被理解为在后训练或推理环境中也已成立，这些环境只报告了同环境结果。

论文还指出，构建记录和评估 RWM 本身消耗大量算力，并报告了 171,862 个 H100 GPU 小时，以便把效率主张与这一成本对照权衡。语言模型的预测依赖商业 API，无法逐位复现，不过模型版本、上下文窗口和推理强度是固定的。

证据支持的优先判断是一个比较，而非笼统建议：在固定选择预算下，向语言模型预测器提供真实实验记录，对选择结果的改变大于更换主干或提高推理强度，而跨环境记录在没有任何目标环境数据的情况下带来了其中大部分收益。作者提出的开放问题是：用多样记录训练 RWM 是否比上下文学习在未见环境中泛化得更好，以及如何平衡即时改进与为未来决策积累知识。

本文引用的文献