如何衡量 AI 智能体通过经验实现自我改进？

终点分数看不出智能体是否真的学会了

大多数智能体评估只问系统在某个固定时刻能完成什么。这个问题无法区分一个本来就强的智能体和一个真正变强的智能体，也无法说明提升能否延续到产生这些提升的交互之外。因此，论文把评估重新组织为三个问题：未来表现是否提升，并且能否泛化到学习交互之外；新能力获得的效率如何；自我改进过程在哪里失效。

为了让这些问题可以被检验，研究冻结模型权重，只让改进通过智能体自己构建的持久产物发生，包括工具、技能、策略和文本记忆。每个行动回合都从全新上下文开始，而后续实例会继承此前训练交互中打磨出的产物。这样就把智能体外化的东西与底层模型本身已有的能力区分开来。

可塑性衡量每单位学习成本换来的提升

论文的核心指标是智能体可塑性，即智能体把经验转化为未来留出集性能提升的效率。它并不等同于自我改进，而是刻画改进过程的一个属性：智能体消耗的学习投入能换来多少留出集能力。

这一测量把三件容易混淆的事分开。留出集分布内表现检验提升能否泛化到学习所用交互之外；留出集分布外表现检验能否迁移到更难的场景；学习成本与两者同时记录，因此任何提升都不会脱离产生它的投入单独报告。由于每次修订可能提升、保持或降低表现，研究记录的是完整轨迹，而不只是终点。

四个环境检验同一套协议

该协议在 Chess、Go、Hex 和 NetHack 上运行。Chess、Go 和 Hex 是完全可观测、交替回合的棋盘游戏，反馈定义明确；NetHack 则增加了长时程、部分可观测的单智能体场景。只有训练轨迹会进入反思循环，留出集的分布内和分布外划分仅用于评估，因此不会回流到被评判的产物中。

各环境的反馈强度并不相同，论文也明确说明了这一点。Chess 的循环内反馈最强，因为有一个独立专家引擎估计每一步所选走法损失的价值。Go 和 Hex 的反思器只收到较轻量的确定性诊断，更强的引擎裁决留给单独的离线失败分析，不会用于改进被评估的智能体。NetHack 记录丰富的执行遥测，但没有最优动作预言机。因此跨游戏的比较反映的是不同的反馈条件，而不是同一把统一标尺。

学习机会相当，改进轨迹却明显分化

在多个环境中，即使学习机会相当，前沿模型也表现出截然不同的改进轨迹。有的在留出集交互上取得大幅且持续的提升，有的停留在初始表现附近甚至更低。训练分布内取得的提升也往往只能部分迁移到分布外条件，因此训练分布内的改进并不保证更广泛的能力。

NetHack 让这种分化变得具体。在检查点 0 到 40 之间，Claude Opus 5.5 在早期提升后维持了较高表现，但各检查点之间波动很大，而其他谱系的变化很小或为负。论文报告该谱系的拟合总升幅为 68.95 个归一化点，检查点 11 是首个达到该升幅 90% 的观测检查点。其拟合增益为 66.25 点，对应的已测学习成本为 1,072.73 美元，因此可塑性为每 1,000 美元 61.75 点。其他模型未观察到显著的表现提升。

这些数字附带重要条件。可塑性分数用固定锚点重新缩放 NetHack 平均分，213.6 映射为 0，6,526.98 映射为 100；锚点定义的是单位而非上下界，性能图仍保留原始分数。该估计还依赖分数上升空间、学习时程、饱和拟合假设和供应商定价。论文本身主张，在报告任何标量可塑性数值时同时给出完整学习曲线，而不是把小差异当作通用排名。

最终分数最高不等于学习效率最高

在这项研究中，终点能力与获取效率出现了分离。最终表现最好的智能体未必是改进效率最高的那个，因为高终分可能反映起点很强，而不是提升很大。论文直接把这一点作为终点表现不足以为凭的理由。

NetHack 的产物对比进一步说明，机制更多不等于学得更多。在检查点 10，所有谱系都玩同样的十局游戏，Claude Opus 5.5 以平均分 9,015 领先，而 Claude Opus 5 的工具代码约为其三倍（13 个文件、8,237 行，对比 6 个文件、2,713 行），得分却只有 1,919。论文也标出了注意事项：Claude Opus 5.5 在检查点 0 的得分已是其他模型的 2.6 到 25 倍，其最好的三局贡献了检查点 10 总分的 69%，其他谱系使用的是更早的框架版本。更多代码或更多工具调用本身并不能解释这一领先。

失败集中在改进循环的不同环节

沿循环追踪失败，暴露出的是不同的候选瓶颈，而不是一个共同的弱点。可塑性低的智能体常常根本没有复用相关产物。可塑性更高的智能体即使复用了相关产物，仍可能失败，这指向产物质量、泛化或应用方面的限制。

该诊断把失败分成三个互斥类别：不存在覆盖该问题的产物；存在覆盖产物但未被使用；使用了覆盖产物但失败仍然发生。由于这些类别以失败为条件，研究另外测量决策层面的复用率：在至少有一个已保存产物相关的决策中，任一相关产物被实质性使用的比例。产物相关性与失败覆盖是两回事，因为一个产物可能广泛相关，却没有解决某个具体错误。

论文明确指出这些诊断是观察性的。使用产物并不证明因果有效性，使用后仍失败也无法区分是产物不足还是应用不当。要区分这些机制，需要移除产物、替换产物或强制调用等受控干预。具体案例显示了循环失效方式的差异：一个智能体针对已知早期吃子的规则在各检查点不断累积，错误却持续发生，因为固定的开局库在检查运行之前就给出了答案；另一个智能体的笔记要求它直接复制列出的第一个合法走法，在检查点 20，它的每一步留出集走法都是那个第一项，包括导致失败的走法。

可塑性是协议属性，不是模型排名

可塑性是智能体在特定学习协议下的属性，而不是底层模型固有的标量属性。长上下文能力可能支撑反思、产物构建和复用，但可塑性问的是这些机制能否把经验转化为相对于学习成本的持久留出集提升。高产物复用率可以与差异很大的任务表现并存，因此单靠检索并不能解释可塑性。实验也没有分离长上下文指令遵循对产物构建或应用贡献了多少。

适用范围还有更多边界。全新上下文和冻结权重把持久适应限制在自建产物上，但没有把环境反馈的价值与分析经验、修订产物所额外消耗的计算分开；要做到这一点，需要预算匹配但无反馈的反思。分别训练的谱系不能证明产物或改进策略可以跨任务迁移。有限的评估集还会带来检查点层面的噪声。

先报告曲线，再追问哪个环节失效

论文给出的实际优先级是一条比较规则：用完整轨迹上的每单位学习成本换来的留出集提升来评判自我改进的智能体，并在报告任何标量可塑性数值时同时给出曲线。考虑到对上升空间、时程、拟合假设和定价的依赖，单个终点分数，或把单个可塑性数值当作通用排名，都无法承载这一判断。

第二个优先级是诊断。当智能体未能改进时，首先要问相关产物是否存在、是否被使用。产物未被使用提示检索或部署问题；产物被使用后仍然失败，则把注意力转向产物质量、通用性或应用。论文的框架还指向更远的方向：对持久产物的验证应评估其行为有效性，而不只是结构上有效或可执行；可塑性本身也可以成为后训练的目标，而不只是测量对象。

本文引用的文献