自我进化型编码代理的最低安全边界是什么？
第一道防线是严格的评估契约，任何候选输出都必须通过它，才能被允许影响任何结果。在车辆阻力预测蓝图中，作者在接纳任何代理模型之前，强制实施了防泄漏机制（确保测试集数据不会混入训练集）、确定性重放（相同输入始终产生相同结果）、多随机种子稳健性（结果在不同随机起点下保持一致），以及资源预算约束[2]。这意味着智能体不能随意自由演化——它必须每次证明其输出符合这些标准。对于编码智能体而言，这转化为在代码合并或部署前，必须通过强制性的单元测试、集成测试和可复现性检查。
同样的原则也体现在安全评估框架中：SafeEvalAgent持续生成并强化测试用例，作者发现，随着测试越来越复杂，模型的安全率急剧下降——GPT-5在欧盟AI法案上的安全率在连续迭代中从72.50%降至36.36%[1]。这表明静态基准并不足够；评估本身必须不断演进，才能跟上智能体的能力。因此，边界并非一个单一的检查点，而是一份动态的、不断收紧的契约，随着智能体的学习而调整。
自主进化代理应在何时被停止并移交人工处理？
第二个边界是升级机制：当智能体不确定或情况超出其舒适区时，它必须自动移交给人类或更高保真度的系统。阻力预测蓝图明确采用了“筛选并升级”模型：代理模型为设计探索提供快速排序，但低置信度或分布外的情况会自动升级到高保真度CFD（计算流体动力学）[2]。这是一个实用的安全阀——它让智能体在常规情况下发挥作用，同时防止其在边缘情况下做出冒险决策。
这与关于自进化智能体的更广泛综述一致，该综述将安全性视为一项关键挑战，并指出智能体的设计必须使其了解自身局限[3]。综述强调，进化应受明确的奖励和反馈引导，且安全机制必须内置于架构之中，而非事后附加。在实践中，这意味着需设定一个置信度阈值，低于该阈值时智能体不得自主行动，并且任何低于该阈值的输出都必须经过人工审核流程。
是否应允许智能体重写自身代码？
一个关键的安全决策在于智能体能否修改自身的代码库。自适应编排论文反对自我重写，转而提出一种动态重构其运行时环境的系统——根据实时需求“雇佣”专门的子智能体，并采用最近最少使用（LRU）淘汰策略来管理资源[4]。这保持了稳定性，因为核心逻辑保持不变；只有子智能体的组合发生变化。作者发现，与静态智能体集群相比，这种方法在维持高任务成功率的同时，最大限度地减少了令牌消耗[4]。
这与允许系统演化其测试生成策略的自我进化安全评估框架形成对比[1]。区别在于，在安全评估的情况下，演化仅限于测试生成，而非核心评估逻辑。因此，这里的边界是：允许外围组件（工具、提示词、子代理选择）进行演化，但保持核心决策逻辑不可变。这是一种务实的折中方案，在适应性与安全性之间取得平衡。
关于这些来源
这个回答基于4项研究（2项经同行评审，2项为预印本）——发表于2025年至2026年，其中4项为2024年或之后——从4项通过质量筛选的研究中选出最具相关性的内容，这些研究来自从超过5亿篇论文的数据库中检索到的37篇文献。
本文引用的文献
SafeEvalAgent：迈向大语言模型智能体化与自我进化的安全评估
SafeEvalAgent是一个用于自我进化式安全评估的多智能体框架，其研究表明，随着它生成难度逐步提升的测试用例，模型的安全率显著下降——GPT-5在欧盟《人工智能法案》上的安全率从72.50%降至36.36%——这证明静态基准无法捕捉深层漏洞。
车辆空气动力学阻力预测中自进化编码智能体的蓝图
以合同为中心的自我进化编码智能体蓝图，在车辆阻力预测中强制执行硬性评估合同（防泄漏、确定性重放、多种子鲁棒性、资源预算），并采用“筛选-升级”部署模式，将低置信度或分布外案例升级至高保真CFD处理。
自我进化智能体综述：通往超级人工智能之路
对自我进化智能体的综合调查指出，安全性是一项关键挑战，并强调需要构建结构化的进化机制，包括明确的奖励与反馈，以引导适应性并防止不安全行为。
自适应编排：可扩展的自进化多智能体系统
一种采用动态专家混合（DMoE）方法的自适应编排系统，通过动态招募和驱逐子代理而非重写自身代码，在保持高任务成功率的同时，相比静态代理集群显著降低了令牌消耗。