代理训练团队如何在自适应可执行环境中通过自我对弈诊断成功与失败模式？

如何判断自我对弈是否真的在提升你的智能体？

诊断成功与失败的第一步，是衡量智能体是否真的在学习。在自对弈中，环境本身会随着智能体的进步而变化，因此原始的胜率或任务完成率可能具有误导性。相反，应使用一个能反映智能体当前能力与环境所构成挑战之间差距的信号。SPADE是一个用于自适应可执行环境中自对弈的框架，它通过智能体在有特权提示和无特权提示下获得的奖励之差，来估计其“遗憾值”[4]。当这个差距较大时，说明智能体正在挣扎；当差距缩小时，则表明智能体正在掌握环境。这一遗憾信号使环境设计者能够持续生成既不太难也不太易的任务，让智能体保持在高效的学习区间内[4]。

同样地，闭环环境生成可根据智能体的表现调整难度，从而避免在过于简单或几乎不可能完成的任务上浪费训练资源。一个针对具身智能体的概念验证系统，能够提取超越二元成功/失败的细粒度性能反馈，并利用这些反馈修改环境，使训练更高效并提升泛化能力[6]。对团队而言，这意味着在自对弈中不仅要追踪结果，还要记录智能体成功或失败的幅度——它离目标有多近、在何处出错——以便判断环境难度是否恰当。

一旦智能体失败，如何找出导致失败的具体步骤？

失败归因——即识别轨迹中导致任务失败的步骤——对调试至关重要。常见做法是分析失败轨迹，但收集步骤级标注成本高昂。OAT提供了一种轻量级替代方案：它仅利用成功轨迹进行训练，在潜在空间中学习成功的动态模式，随后标记失败轨迹中偏离该模式的步骤[1]。实验表明，OAT比基于提示的基线方法快200–5000倍，F1分数在域内提升+20%，在分布外提升+7%，且仅需训练100条成功轨迹即可实现[1]。这意味着团队无需昂贵的人工标注即可诊断失败原因。

另一种方法是AgentRx，它人工标注了三个领域的115条失败轨迹，并构建了失败类别分类体系[5]。该方法从轨迹中综合约束条件，逐步评估这些约束，并生成可审计的违规日志，由基于LLM的评判器用于定位关键失败步骤[5]。与现有基线相比，这改进了步骤定位和失败归因[5]。对于团队而言，将这些方法结合使用——采用OAT风格的异常检测进行快速分诊，以及AgentRx风格的约束检查进行更深入的审计——可以揭示失败是源于单个关键步骤，还是源于一系列错误的级联效应。

自对弈中常见的失败模式有哪些，如何避免？

自我对弈可能会以可预见的方式失败。一个主要的模式是“猜想者崩溃”，即环境生成器通过制造人为复杂的问题来破解其奖励机制，而这些问题并不能帮助智能体提升能力[3]。自我引导式自我对弈（SGS）通过引入第三个角色——一个“引导者”来对生成的问题进行相关性和自然性评分，从而防止生成器退化，解决了这一问题[3]。在形式化定理证明中，SGS在不到80轮内超越了强强化学习基线的渐近求解率，并使一个70亿参数的模型解决了比6710亿参数模型pass@4更多的问题[3]。这表明，如果没有适当的引导，自我对弈可能会陷入停滞，但有了纠正信号，它就能实现扩展。

另一种失败模式是“利用陷阱”，即系统基于早期误诊贪婪地精炼单一技能，将有限的试验次数浪费在无成效的路径上[2]。SkillHEX通过生成可证伪的失败假设，并利用测试中的证据引导对可能技能修订的树搜索来应对这一问题，从而在支持编辑的利用与替代方案的探索之间取得平衡[2]。在87项任务中，SkillHEX在五次迭代预算下，使用不同模型分别实现了55.9%和57.9%的通过率[2]。对团队而言，这意味着要构建防止训练过程陷入局部最优的机制——无论是通过添加引导、多样化假设，还是采用基于Elo匹配的群体自博弈，以确保智能体面对难度适当的对手[7]。

关于这些来源

WisPaper

原文