AI 系统能在实验研究品味上比肩人类专家吗？

TasteVal 只评实验设计，不评选题

论文把研究品味定义为挑选有趣问题、设计实验并解读实验结果的能力。TasteVal 刻意只测量其中后两项：给定一个固定的研究问题，考察模型能否迭代地设计实验并从结果中得出结论。问题选择被明确排除在基准之外。

这一边界决定了如何理解下文所有数字。TasteVal 得分高，说明模型能围绕一个已知的评分信号推进实验进程；它并不说明模型会自己选中这个问题，也不说明这个问题接近前沿 AI 研发。作者指出，目前的进展来自浅层和中度优化，而非新想法。

计算效率就是品味指标

TasteVal 把实验品味操作化为计算效率。如果 Researcher 用一半的串行实验算力达到与人类专家相同的分数，它的实验品味就是人类的两倍。因此品味被表示为实验算力上的乘数，作者把它视为预测 AI 进展的关键输入。

这与最终性能不是一回事。论文报告了两个不同的量：计算乘数，即模型为匹配参考分数所需串行实验算力减少的倍数；以及性能乘数，由归一化最终性能衡量。两者随时间的变化方式不同，读者不应互相替代。

固定 Coder 把品味与编码分离

为把品味与实现能力分开，被评估的模型扮演 Researcher，迭代设计实验；一个固定的 Coder 智能体负责实现实验并报告结果。Researcher 从不读取 Coder 的工作区或对话记录，只能看到包含 index.md 及附件的报告，并可在实验运行时观察训练与验证曲线。测试分数在每一层都对 Researcher 隐藏。

Coder 受若干规则约束以保护测量：不得修改实验，不得填补重大缺口，不得运行未经要求的变体或消融，也不得在报告中下结论。Experiment Monitor 会在执行前审查每份实验描述，拒绝底层实现细节、指定文件结构、描述过于含糊，或任何会泄露测试数据的内容。被拒绝的实验不消耗 GPU 小时。

Researcher 持续执行，直到 40 H100 小时或 120 墙钟小时预算耗尽。Liaison 通道让 Researcher 询问 Coder 的状态；模型使用该通道少于人类，69% 的模型运行至少提过一个问题（这些运行的中位数为 4 次），而全部 24 次人类运行都提过（每次运行中位数 28 次）。

8 个任务、24 位专家与最佳尝试基线

TasteVal 由 8 个新颖、有挑战、开放式的任务组成，代表前沿 AI 研发，涵盖预训练数据筛选、语言模型预训练、预训练模型微调、人类偏好建模，以及针对对抗提示的模型对齐。为保持基准不被污染，任务不予公开。

每个任务有两个基线。朴素基线是一个零品味的弱提交，预期所有非平凡提交都能超过它。专家基线来自 24 位招募的基线研究者，他们的研究经历与各自任务直接相关，近期任职机构包括 OpenAI、Google DeepMind、NVIDIA、Microsoft Research 和牛津大学。每人获得报酬，在开始任务前用 4–16 小时研究相关领域并撰写一份简短文献综述。

每个任务至少有两位人类专家在相同的算力和墙钟预算下、使用同一个 Coder（Opus 4.8）尝试。每个任务的专家基线取该任务上最好的一次人类尝试，而非平均值。基线研究者不得使用 AI 协助设计实验或解读结果。

Opus 5.5 以 2.3 倍超过专家基线

研究评估了 2023 至 2026 年间发布的 20 个模型。表现最好的模型 Opus 5.5 超过专家基线，计算乘数为 2.3 倍（95% CI 1.15–4.37），每次运行成本约为基线研究者的 1/30。置信区间较宽，下界接近 1 倍，因此对专家基线的领先幅度并未被精确锁定。

作者还指出，他们的专家基线平均每次运行被拒绝的实验数量明显多于近期前沿模型。用 Fable 5.1（max）对监控器拒绝人类所提实验的原因进行分类，75% 源于描述不够具体，10% 源于误提交不完整描述，9% 源于指定了底层实现细节，其余 6% 属于长尾错误。在所有人类运行中，最后 10 GPU 小时内每个所提实验的被拒率比最初 10 小时低 69%。由于被拒实验不消耗 GPU 小时，作者并不把大量拒绝视为专家基线被低估的明确证据。

趋势断点把品味与性能分开

在 TasteVal 上，前沿模型的计算乘数自 2025 年 12 月以来大约每 3.0 个月翻一番（95% CI 1.7–5.0），而 2023 年至 2025 年 12 月间为每 14 个月翻一番。断点被定在 GPT-5.2 发布时，两条独立的对数线性拟合达到 R2 = 0.96。误差棒来自两层分层自助法，重采样 1,000 次，先按任务抽样，再在任务内按运行抽样。

以归一化最终性能衡量，前沿模型没有出现趋势断点，每 14.6 个月翻一番。这一对比是论文内部最鲜明的比较：加速出现在计算效率上，而不是模型达到的最终分数上。作者还报告，在完整 40 小时预算之前截断运行，模型排名和前沿模型乘数几乎不变，5 小时时与 40 小时排序的秩相关为 0.94，10 小时起至少为 0.97。断点后的翻倍时间随预算缩短而变短，从 40 小时的 14.6 个月缩短到 10 小时的 11.6 个月和 5 小时的 10.5 个月，且在每个预算下都落在 40 小时较宽的 95% 区间 8.4–29.8 个月内。

这些结论不适用于哪里

作者按主要影响计算乘数的水平还是其增长率，对局限进行了分组。若干特征可能高估水平。TasteVal 任务刻意设计为易于验证，评分噪声低，在两个划分上通常耗时不到 10 分钟，且开发只需一块 H100，远低于前沿 ML 开发的算力规模。任务也缺少前沿 ML 开发中的若干“混乱因素”：每个任务都有干净的进展真值信号，且都不需要与其他智能体实时协调。在 METR 的 16 因素混乱度量表上，作者自评均值为 7.5，而 METR Time Horizon v1.0 任务约为 3.7，但他们指出这些分数是自评的，且缺失的因素恰是前沿研究最重要的因素之一。

另一些特征可能低估水平。对 Researcher 和 Coder 的引导都有限，优化脚手架或更新驱动 Coder 的模型都可能显著提升表现。成本也朝另一方向作用：表现最好的模型 Opus 5.5（max reasoning）每次运行的 API 成本平均为 282 美元，约为专家基线每次运行成本的 1/30。

论文还明确指出，TasteVal 与前沿 AI 研发之间仍存在很大差距，且 TasteVal 不测量问题选择。

这个乘数对 AI 研发预测意味着什么

论文自身的框架是：AI 研发预测中的品味参数此前一直由专家判断设定，而 TasteVal 提供了一种可直接测量、并可在新模型发布时重复的指标。在论文的示例计算中，每 4.6 个 ECI 单位翻一番会使有效实验算力提高 ln 2 / 4.6 = 0.151（每个 ECI 点），再乘以 AI 所主导的实验研究支出占比。在这些假设下，只要研究者质量的回报 gamma 超过约 0.21，算法进步就可在实验与 AI 研究者之间几乎任意支出分配下自我维持。Cunningham 等人估计 gamma 为 0.15–0.3，因此在其大部分区间内成立。该结果依赖完全自动化：如果仍有三分之一研究支出流向人类研究者，这一循环只在该 gamma 区间的上半段自我维持，再往上则不成立。

对想从这篇论文中取用结论的读者来说，关键区分是计算乘数与性能乘数。自 2025 年 12 月以来 3.0 个月翻一番，说的是前沿模型在 8 个易于验证、单块 H100 可跑的任务上、在固定 Coder 和最佳尝试人类基线下，为匹配参考分数所需串行实验算力的变化。归一化最终性能 14.6 个月翻一番，则是更平缓、无断点的趋势。论文最具决策相关性的主张是这两条曲线已经分化，而分化是在作者自己都描述为比前沿 AI 研发更易验证、更少混乱的任务上测得的。

本文引用的文献