动态场景合成能验证智能体技能是否可复用吗？

现有任务很少真正用到技能

自进化智能体会把自己的解题经验提炼成技能：技能包含一个条件，说明它在什么情况下适用；还包含一条原则，说明该做什么。由于这些经验里混有冗余探索、错误和任务特有的细节，提炼出的技能可能编码了错误流程，或包含无法迁移的知识。论文把值得检验的性质定义为可复用性：当技能被用到来源经验之外时，它的指导是否仍然有用。

论文认为，两种显而易见的证据来源都回答不了这个问题。重放来源任务能重现目标情境，但只发生在原始语境中，因此证据相关却不新颖。在其他现有任务上评估虽然语境是新的，但这些任务是独立于该技能定义的，未必会暴露技能所针对的情境。作者量化了第二个问题：在 500 个下游任务之后，视访问设置不同，有 17–32% 的技能从未被使用过，只有 44–55% 的技能在至少五个不同任务中被使用过。一个从未被执行的技能，其可复用性也就无从观察。

合成把验证变成受控测试

SkillSandbox 把验证从挑选现有任务改为按需围绕目标技能构造任务和环境。它的产物是验证场景，由任务、配置好的环境和成功判据组成，要求既与技能相关（完成任务必须处理技能条件所描述的情境），又是新颖的（语境不同于来源经验）。

三个组件分工完成这件事。Proposer 利用技能的条件、来源任务和来源轨迹写出一份程序化规格：哪些要求必须被复现，才能让条件在执行中真正出现；哪些细节应当变化，才能让语境变新。这份规格只能通过环境暴露的构造操作来表达，例如加入干扰项、移除物品或修改商品选项。Builder 随后把规格中的变量绑定到环境数据里的具体对象和取值，编译成可执行的构造程序并运行。一个校验循环使用与执行器相同的模型，丢弃不满足 Proposer 要求或与先前场景重复的场景，不断生成候选，直到每个技能得到五个有效场景。

只有真正带来收益的技能才被保留

对每个合成场景，Verifier 让同一个执行器分别在有技能和无技能的情况下各运行一次，并在动作前观测一致的对齐步骤上比较两条轨迹。它的分数结合两个信号：一个是可执行性指标，当带技能时采取的动作确实执行了技能指令时取 1；另一个是效用项，衡量按剩余动作数折算后的最终成功奖励之差。先在每条轨迹对内部对保留的步骤对取平均，再跨场景取平均，得到可复用性分数；分数为正判为 Keep，否则判为 Reject。

因此论文列出的三个维度是三个不同的问题，而不是一个分数。可执行性问的是：当条件成立时，原则能否通过环境允许的动作被执行。效用问的是：与不使用技能相比，应用它是否提高了任务成功率。效率问的是：它是否用更少的动作完成任务。一个错误、过于具体或无法执行的技能，应当没有收益甚至拖累执行，从而被拒绝。

合成场景能区分有用与有害的技能

第一项分析固定 Verifier 和 rollout 预算，只改变证据来源：五个合成场景、来源任务的五次执行，或五个随机任务，两个基准都使用 Gemini 3.1 Flash-Lite。判定结果对照每个技能在留出任务上测得的实际效果来评分：提高成功率的技能标为有用，降低成功率的标为有害。

合成场景在两个基准上都取得了最高的判定 F1 和表现最好的技能库，留出成功率最多比替代方案高 15.7 个百分点。替代方案的失败很有说明性。在 ALFWorld 上，来自来源任务和随机任务的判定几乎无法区分有用与有害技能，它们保留的技能库低于 No Skill 基线，随机任务验证甚至低于未验证的技能库。ALFWorld 上报告的留出成功率为：合成场景 56.4，来源任务 49.3，随机任务 50.7，无技能 44.3；WebShop 上各比较设置分别为 32.0、33.3 和 52.9。作者的解释是，来源任务只在原始语境中暴露该情境，而随机任务几乎不会暴露它。

判定准确率取决于基准环境

判定结果与留出技能效果的一致程度，在不同环境间差异很大。在 WebShop 上，以 Gemini 3.1 Flash 作为 Proposer 时，精确率为 96.0%，召回率为 82.8%，F1 为 88.9%，特异性为 94.4%。高精确率和高特异性意味着被保留的技能在留出任务上通常仍然有用，有害技能则被过滤掉；82.8% 的召回率意味着大多数有用技能被保留，尽管有一些被错误拒绝。

ALFWorld 在同样指标上更弱：精确率 39.1%，召回率 81.8%，F1 52.9%，特异性 60.0%。论文把低精确率主要归因于基础比例，因为 ALFWorld 上只有 23.9% 的技能在留出任务上有用。召回率与 WebShop 接近，有用技能占验证后技能库的 39.1%，高于未验证的技能库。实际解读是：在 WebShop 上，Keep 判定是可复用性的有力证据；而在 ALFWorld 上，这个过滤器主要改善技能库的构成，而不是为单个技能背书。

验证不需要更强的模型

由于该框架面向自进化智能体，作者检验了验证质量是否依赖模型能力。他们只把 Proposer 换成 GPT-5.6 Luna，技能、执行器、Builder 和 Verifier 保持不变，再把判定结果与相同的留出效果对照。在两个基准上，执行器自身的模型在每一项报告指标上都达到或超过更强的 Proposer，并保留了更多有用技能；更强的 Proposer 拒绝了更多有用技能，却没有拒绝更多有害技能。

作者把这一点与分工联系起来：语言模型只用于规划和 rollout，构造与评分则是固定流程。这是论文对“结构化执行证据为何能降低对模型强度的依赖”的解释，也意味着自进化智能体无需外部更强的模型，就能筛选自己的技能。

成功率提升可能掩盖多余动作

把可复用性拆成三个维度，可以看出单看成功率并不够。在 WebShop 上，即使两次运行都成功，带技能时智能体平均也采取了更多动作；对 Qwen3.5-27B 和 Gemini 而言，技能提高了任务成功率，但在本就会成功的任务上增加了低效。论文的结论是，仅凭成功率提升无法评估可复用性，因为技能指导可能引入只看成功率时不会体现的额外动作。

ALFWorld 呈现出另一种分化。两个 Qwen 模型都在成功率上获益并节省了动作，而 Gemini 虽然可执行性很高，成功率却下降、动作数增加，属于指导能被遵循但并不奏效的情况。跨模型来看，至少有一个动作执行了技能指令的场景占比，在 ALFWorld 上为 92.3、95.5 和 95.5，在 WebShop 上为 62.5、76.6 和 81.1，可见可执行显然不等于有用。

Keep 阈值在哪里值得信任

论文最具决策意义的区分，不是合成是否胜过静态任务池，而是 Keep 判定在哪里可信。在 WebShop 上，正分对留出效果的精确率为 96.0%，特异性为 94.4%，因此被保留的技能很可能继续有用。在 ALFWorld 上，只有 23.9% 的技能在留出任务上有用，同一阈值主要把技能库中有用技能的占比从未验证基线提高到 39.1%，这是过滤带来的增益，而不是对单个技能的保证。

这种不对称应当决定采用者的优先级：把判定当作改善技能库构成的工具，其可靠性必须在目标环境中对照留出效果重新检验；同时把效率项与成功率一起看，因为 WebShop 上的技能在提高成功率的同时，也在本就会成功的任务上增加了动作。论文自身的范围是 ALFWorld 和 WebShop 加三个模型，因此这里报告的精确率与召回率之间的平衡，是应当重新测量而非直接套用到其他环境的参照点。

本文引用的文献