JANUS 如何用世界模型改进长程自主研究？

瓶颈在执行延迟，而非想法供给

多数自主研究系统运行的是“生成—执行—反馈”循环：智能体写代码，代码被执行，运行结果影响下一次尝试。论文认为，这种被动的试错设计在长程任务中会因两个相互叠加的原因而失效。执行代价高昂，往往需要数小时的模型训练、仿真或编译，因此反馈来得晚。与此同时，每次实验都会衍生新的假设，可能的研究轨迹空间随时间呈组合式扩张。

作者把后果界定为一个扩展性问题，而不是调参问题：当研究算力增长时，系统应如何在长程探索中行进，以最大化累计进展？他们的答案是，不再把每个候选都当作必须执行的对象。JANUS 改为在物理执行之前预测结果，自适应地分配执行资源，并把过去的运行转化为可复用的研究直觉。

论文的评估围绕两个术语展开。演化效率指每单位研究算力积累进展的速度。演化上限指持续探索能推进到多远才趋于平台。论文把二者视为两个独立目标，其主张是 JANUS 同时提升了这两者，而不是以牺牲其一换取另一。

演化图让分支与功劳归属保持明确

JANUS 把研究过程维护为一张持续演化的有向无环图。每个节点保存一个候选方案、一个预测值、一次执行结果和一次评估，边记录哪个方案源自哪个方案。作者用长程循环的两种失效模式来解释这一结构：多轮迭代后的上下文漂移，以及当结果远离产生它的决策时变得难以处理的功劳归属。

这张图是循环其余环节得以运转的基础。新方案扩展前沿；世界模型为其打分；被选中的节点被执行并记录；图的拓扑结构让系统能把后续结果归因到祖先方案。由于分支以节点形式保留，而不是消失在对话历史里，系统可以重新访问、改进或剪除它们，而不必从一份有损的摘要重新开始。

预测决定哪些方案值得占用执行名额

在执行之前，编排器生成候选方案，世界模型为每个方案打分。分数综合三项标准：价值提升、信息增益和探索效用。这些分数通过稀疏的 Bradley-Terry 比较方案拟合得到：JANUS 挑选有信息量的方案配对，优先选择比较不确定性高的配对，并把拟合出的标准分数归一化到 0 到 1 区间。

随后，三项标准按权重合并为单一的研究优先级，权重根据近期研究进展、剩余预算和当前技能动态调整。这正是论文所称自适应探索的机制：系统并不固定地偏好利用或探索，而是随运行推进改变二者的平衡。低价值方案被剪除，有前景的方案可能被改进，而在持续停滞时，编排器会参与辩论，先改进方案再重新评估。

只有完成这一选择之后，代码执行器才会实现并评估某个方案。经过验证的结果被写回图中，这正是“预测—验证—演化”循环区别于单纯猜测的地方：预测要与真实结果对照，而不是被直接采信。

稀疏反馈被转化为三类技能

执行反馈代价高昂，因此 JANUS 试图从每次结果中提取比单个数据点更多的东西。原始的成功与失败轨迹先被提炼为任务内技能，例如针对某一任务的领域特定错误缓解方法，再被泛化为跨任务技能，例如由假设驱动的消融研究。这一两级层次让一个任务中的知识可以迁移到另一个任务，而不必重新学习。

世界模型有自己独立的反思通道。它会把自己先前的判断与积累的实验证据对照，从预测的价值提升与实际发生情况的差距中提炼预测技能，并从近期的权重设置和剩余预算中提炼探索技能。第三个组成部分是协调协议，它规定研究智能体与世界模型如何沟通，包括何时进行辩论。

论文用持续协同进化来称呼这一结果：研究智能体打磨候选生成能力，世界模型则改进其预测判断。关键的结构性要点在于，世界模型不是从外部引入的固定打分器，它与智能体由同一条反馈流更新。

在 MLS-Bench-Lite 上得分更高、上限更高

主要评估使用 MLS-Bench-Lite，它包含 12 个领域的 30 项研究任务。每项任务要求智能体改进机器学习系统中的一个目标组件，并证明该改进在受控设置下可以泛化。JANUS 与 AutoResearch、AIDE、MLEvolve、AIBuildAI、Arbor 和 Codex 比较，每种方法都允许查看文件、在许可范围内修改代码，并反复运行实验直到预算耗尽。

论文报告了六项指标。Valid Sub. 是最终提交完成评估并通过有效性检查的任务百分比。Beat Any、Beat Median 和 Beat All 分别是超过至少一个、超过中位数水平、超过全部所提供人类基线的任务百分比。Dev Score 和 Test Score 是开发与测试评估设置下的平均归一化任务分数。这些指标衡量的是不同的事情：超过某个基线不等于归一化分数更高，开发分数也不等于测试分数。

论文报告称，JANUS 在这些指标上显著优于当前最优基线，且优势在不同骨干模型上保持一致。各指标的具体数值呈现在论文的结果表中，此处提取的证据未复现该表；证据支持的是所报告优势的方向和一致性，而不是某个数值差距。

真实任务与扩展曲线的形状

在基准之外，作者还加入三项任务，覆盖算法优化、系统设计和科学发现：来自 AutoResearch 的 nanoGPT 训练优化、来自 KernelBench 的 MinGPT 注意力核优化，以及一项来自真实世界的基因型到表型预测任务。每项任务使用各自的指标：nanoGPT 使用验证集每字节比特数，MinGPT 因果注意力核使用相对 PyTorch 即时执行的加速比，基因型到表型预测使用宏平均皮尔逊相关系数。由于这些指标的单位和改进方向不同，不应把它们合并成一个统一的性能数字。

扩展性分析追踪性能随研究算力增加的变化。论文报告称，JANUS 用更少算力达到相同进展，并且比被动基线更晚进入平台期，这正是演化效率更高与演化上限更高的操作含义。消融实验进一步把增益归因于两个组件：自适应探索策略和经验驱动的协同进化。

证据覆盖了什么，又留下了什么

比较在受控协议下进行：每次运行分配一块 NVIDIA A100 GPU，MLS-Bench-Lite 上每项任务给予 5 小时实际耗时预算，各方法使用相同的初始设置、任务目标和评估协议。主要骨干模型是 DeepSeek-V4 Flash，并辅以 DeepSeek-V4 Pro 和 GPT-5.6 Sol。因此，所报告的优势是在这些预算、这一基准和这些骨干模型下成立的；论文并未确定在算力大得多的情形下，或在三项真实任务之外的领域里，预测与执行之间的平衡会如何变化。

世界模型的贡献还取决于预测质量，而论文针对预测偏差的补救办法，正是用积累的证据来校正模型的反思机制。这使得协同进化这一步成为承重结构而非可选项：预测带来的增益被主张为一个持续被校正的模型所具有的性质，而不是一次性预测器的性质。

执行前剪枝才是值得关注的结果

论文最具影响的论断不是世界模型能给方案打分，而是在执行前打分改变了算力—进展曲线的形状。在所报告的比较中，同样的研究预算带来更多进展和更晚的平台期，而消融实验把这一变化归因于自适应探索加经验驱动的协同进化，而不是任何单一打分标准。

因此，对于判断这一方法是否有意义的读者，有区分度的问题是：执行在何处构成约束瓶颈。JANUS 面向运行代价高昂、反馈延迟的场景，其证据来自以小时级预算运行的机器学习系统任务。在执行相对于预测很廉价的场景中，预测步骤只会增加成本，而无法缓解论文所指出的瓶颈。

本文引用的文献