交替多智能体会话能超越单智能体 MLE 工作流吗?

HMA 让两个智能体交替工作并重置上下文,在 75 个 MLE-bench 任务上以四分之一时间预算达到 78.2% 的任意奖牌率。

直接答案

在特定条件下可以。论文显示,让两个原生智能体在同一共享工作区上交替工作、把每次会话限制在 k 次实验以内、并在会话之间重置上下文,能够超过单智能体的参考上限。在 MLE-bench 的 75 个 Kaggle 任务上,这一工作流达到 78.2% 的任意奖牌率,比最强的开源基线高 8.0 个百分点,而所用时间预算只有后者的四分之一。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

单次会话越长,推理投入反而越少

论文的出发点是一个测量问题,而不是一个设计构想。六个模型在单智能体 /goal 模式下运行,最多使用六小时活跃运行时间,覆盖 75 个任务、每个任务重复三次;从第 0–2 小时到第 3–5 小时,每条记录响应的平均输出 token 数下降了 29.8% 至 45.0%。作者把这一现象称为长程减速:随着分数增益变小,智能体用于思考下一步尝试什么的 token 反而更少,而不是更多。

这个统计量只是一个代理指标,论文也这样对待它。它统计的是供应商报告的输出 token 数除以响应条数,在 30 分钟滑动窗口内计算,并把同一配置下的任务和重复合并在一起;它不包含工具返回文本、输入 token 和协调器输出。因此,这一结论说的是智能体自身响应长度随时间的变化,而不是总计算开销,也不是对其推理质量的直接衡量。

实际后果是:单纯让一个智能体运行更久,并不会自动把额外时间转化为额外探索。论文把响应长度下降与前缀增益的快速饱和放在一起看,这正是它转向工作流层面、而不是在单次会话内部寻找解决办法的原因。

底层模型变强,定制 harness 的价值减弱

第二个动机性发现针对许多 MLE 智能体额外添加的上下文工程层:用 Markdown 指令、技能和积累的经验来引导智能体的下一步。论文在 16 个 MLE-bench 任务的子集上,把三个近期 harness(ScienceFlow、ML-Master 2.0 和 MLEvolve)与官方 DeepSeek Harness 进行比较;为保证公平,禁用了任务特定的冷启动知识,所用模型为 DeepSeek-V4-Flash 和 DeepSeek-V4.1-Flash。

作者报告的模式是 harness 陈旧化:随着底层模型变强,定制 harness 相对官方 harness 的优势缩小。在更强的 DeepSeek-V4.1-Flash 上,官方 harness 在这 16 个任务上达到 77.1% 的奖牌率,而 ScienceFlow 为 68.8%,ML-Master 2.0 为 37.5%,MLEvolve 为 50.0%。作者认为官方 harness 的强势可能与训练中形成的模型–harness 对齐有关,并明确说明这是一种解释,而不是已被证明的机制。

这组 16 个任务的数字与 75 个任务的主要结果是两套独立比较,不应混在一起。它们在论证中的作用更窄:为弥补某一模型弱点而调校的指导,对它的后继模型可能变得多余甚至有害,因此依赖这类指导的工作流未必能跨模型版本迁移。

交替把修复点从提示词移到工作流

Humanize MLE Agents(HMA)不改动每个原生的模型–harness 组合,而是在工作流层面协调完整的智能体。两个智能体 A 和 B 在同一个共享工作区上工作,该工作区保留已评估的候选方案和当前最佳结果。每次会话最多进行 k 次实验,每次交接时重置智能体的上下文,而工作区和保留的结果继续存在。预算结束时,由一个评审步骤选出最终候选。

形式化框架是上下文重置半马尔可夫决策过程(CR-SMDP)。每次智能体会话被建模为一个 option:一个启动集合、一个内部策略和一个终止规则。终止产生一个 option 边界,工作流策略在此选择下一个 option;在 HMA 中,这个边界保留共享工作区和结果,但清空上下文。这正是该方法属于工作流层面干预、而非又一个 harness 的原因。

理论主张是有条件的,而非普适的。在一个假设——最佳结果永不丢失——以及另一个假设——两个智能体能够持续协作地访问超出任一单智能体可达范围的高质量状态——之下,论文证明交替可以超过单智能体参考上限。证明思路追踪“仍未达到目标质量”的概率,并显示该概率随周期数几何式缩小。读者应把它看作充分条件结果:它说明交替在什么情况下能起作用,而不是说它总会起作用。

预算界解释了短会话上限为何有用

基于同一分析,论文推导出一个明确的实验预算界。把初始低于目标的概率设为 1、目标成功概率固定为 p0、每周期成功因子 a 很小时,一个充分预算按 2k/a 乘以 1/(1−p0) 的对数项缩放,并带有低阶修正。上限 k 直接进入该式,因此会话长度是一个设计变量,而不是随意设定的参数。

第二个定理讨论上限提前截断会话时会发生什么。把带上限的策略与自然终止的交替策略相比,论文表明:当自然终止的余量加上被中断 option 的期望净增益为正时,超过单智能体上限是有保证的。换言之,上限并非自动无害;只有当用全新上下文重启的价值超过继续当前会话的价值时,它才保住优势。

论文从经验上论证短上限的合理性,而不是推导最优 k。这是一个真实的边界:理论给出条件和预算形式,但实验中使用的具体上限是由结果支持的选择,而不是闭式最优解。

四分之一预算下达到 78.2% 任意奖牌率

主要结果来自 MLE-bench 的 75 个 Kaggle 任务,每个配置独立重复三次,比率先按每次重复的奖牌数计算再取平均。HMA 达到最先进的 78.2% 任意奖牌率,比最强的开源基线高 8.0 个百分点,而所用时间预算只有该基线的四分之一。

这些对比基线并未做资源匹配,论文也说明了这一点:ScienceFlow 使用 24 小时预算,MLEvolve 使用 12 小时,ML-Master 2.0 使用 24 小时,硬件分配也各不相同。因此,时间预算上的优势是关于各自报告配置的陈述,而不是受控的效率测量。任意奖牌率本身也是粗粒度指标:它只统计任务是否获得任意奖牌,而不区分奖牌等级,因此单凭它不能说明 HMA 能产出更好的顶尖方案。

论文还报告了金牌百分比和平均百分位等指标,但主要主张所依赖的是任意奖牌率。读者若要把 HMA 与某个具体系统比较,应核对该系统的预算和资源是否匹配,因为 8.0 个百分点的差距是在最强开源基线自身报告的配置下得出的。

增益在五组异构智能体配对中保持

单一强势配对可能只是某个幸运的模型组合。为检验这一点,论文运行了六个配置,覆盖五组异构智能体配对,并把 HMA 与两个组成单智能体基线的平均值比较,在每个配对内等权平均。在这些配置上,HMA 的任意奖牌率平均比组成基线高 6.4 个百分点。

这是更有信息量的泛化主张,因为比较发生在每个配对内部:同样的两个智能体先单独测量,再一起测量。6.4 个百分点的平均值小于相对外部基线的 8.0 个百分点,两个数字回答的是不同问题。一个说明 HMA 胜过已报告的最强开源系统;另一个说明交替往往胜过它所由组成的智能体。

论文还报告,在六个配置的等六小时预算下,HMA 的奖牌率超过更强的那个组成智能体。这一表述很重要:对于在“运行一个智能体”和“交替两个智能体”之间做选择的实践者,相关比较对象是两个智能体中更好的那个,而不是它们的平均值。

一个 kernel 案例谨慎地扩展了结论

在 MLE-bench 之外,论文报告了一个 kernel 优化的补充案例,达到 878 个 cycle。作者将其与截至 2026 年 10 月 8 日的 Paradigm 社区排行榜比较:878 个 cycle 对应第 10 名的分数,比榜首的 864 个 cycle 高 14 个 cycle(1.62%)。他们明确指出,该排行榜使用独立的九种子评审,因此这是报告分数的比较,而不是经过验证的排行榜名次。

这个案例是在 48 小时时间跨度上的单次运行,论文将其标记为适用于 MLE-bench 之外的初步证据。它不应被解读为在 MLE-bench 之外确立了比较性增益;作者把这一点列为未来工作。该案例的价值在于展示了工作流在比 MLE-bench 运行更长的时间跨度上运作,而不是说明它在 kernel 优化上占优。

综合来看,证据支持一个具体优先级:当单智能体的响应长度在衰减、且其 harness 是为更早的模型调校时,论文结果更支持用短上限会话加上下文重置来交替完整智能体。最可能改变答案的条件是上限能否在每次交接时保住价值,而中断定理把这一点变成了需要显式检查的条件,而不是默认假设。

本文引用的文献

1

Humanize MLE Agents: Multi-Agent Session Alternation Beyond Single-Agent Limits

两个原生智能体在同一共享工作区上交替工作,每次会话设有实验上限并在会话间重置上下文,在 75 个 MLE-bench 任务上达到 78.2% 的任意奖牌率,比最强开源基线高 8.0 个百分点,而时间预算只有后者的四分之一;在六个配置上,其任意奖牌率平均比组成基线高 6.4 个百分点。