监管机构如何评估关于长周期智能体在政策内技能选择的声明？

为何仅凭结果奖励无法证明技能选择有效

监管者面临的核心问题是，一个长期智能体的最终成功并不能说明它是否在正确的时间选择了正确的技能。一篇论文指出了结果奖励强化学习中的一个结构性缺陷：当轨迹很长时，少数几个命名所选技能的token在训练损失中占到的份额微乎其微，而它们获得的信用也越来越倾向于错误方向——如果后续执行失败，即使技能选择本身是有价值的，正确的技能选择也会受到惩罚[2]。这意味着，像“我们的智能体在策略内选择技能”这样的说法，不能仅通过查看最终任务成功率来验证；你需要检查训练信号本身。

同一篇论文提出了一种修复方案——将信用拆分为两个通道，一个用于执行，一个用于技能选择——并表明这能将一个90亿参数的策略在五个基准上的试验成功率从40.8%提升至53.2%，同时将接触误导性候选的概率降低三分之二[2]。对监管者而言，这是一个具体的检验：智能体的训练是否明确奖励了技能命名的标记，还是技能选择仅仅是涌现的副产品？如果是后者，那么这一主张就站不住脚。

技能选择基准测试中应关注什么

监管机构应询问评估是否使用了真正衡量技能切换难度的基准，而非仅仅衡量单项技能的熟练程度。一篇论文引入了“技能熵”（Skill Entropy）这一指标，用于衡量从一项技能切换到另一项技能的难度，并构建了一个涵盖9个领域、558项技能的基准测试（Skill^2-Bench）[1]。他们发现，在熵值较高的任务上准确率会下降——这意味着随着切换难度增加，模型失败得更多——而这正是揭示智能体是否真正处理策略内选择的关键信号[1]。监管机构可以利用此类基准来测试，当任务复杂度上升时，智能体所声称的技能选择能力是否能够优雅地逐步退化，而非突然崩溃。

另一篇论文LH-Bench则认为，对于主观性企业任务（如内容创作或设计），二元正确性判断并不充分；他们提出基于专家制定的评分标准以及分步奖励信号，并表明领域专家撰写的评分标准比大语言模型撰写的更可靠（kappa值0.60对比0.46）[4]。这表明，在受监管领域中，评估应包含人类专家判断，而不仅仅是自动化指标。技能熵基准与专家评分标准的结合，为监管机构提供了一种双管齐下的方法：客观难度测量加上主观质量验证。

隐藏的轴线：对齐与适时弃权

除了技能选择之外，监管者还必须考虑智能体的决策是否符合监管和人类标准。一篇论文提出了四个正交的对齐维度——事实精确性、推理连贯性、合规重构以及校准后的弃权——并表明总体准确率掩盖了关键失败，例如所有六种测试架构在每起案件中都作出承诺而不弃权[5]。这对高风险领域而言是一个危险信号：一个从不表示“我不知道”的智能体，无论其技能选择准确度多高，都算不上对齐。

同一篇论文发现，一个简单的摘要基线在事实回忆上表现得出奇地好，甚至推翻了作者自己的预测——这提醒我们，关于智能体行为的假设需要经过实证检验[5]。对监管者而言，这意味着评估不仅要涵盖智能体做了什么，还要包括它拒绝做什么，以及其推理是否连贯且合规。该框架通过构建事实模式并校准合规审计器，可迁移至任何受监管领域[5]。

关于这些来源

此回答基于5项研究（均为预印本）——发表于2026年，其中5项为2024年或之后——从10项通过质量筛选的研究中选出最具相关性的，这些研究源自从超过5亿篇论文的数据库中检索到的54篇文献。

本文引用的文献

相关研究问题