层级式智能体自我改进与检索、微调及人工审查相比，效果如何？

“智能体框架的分层自我改进”究竟指什么？

把基于大语言模型的智能体想象成一辆汽车：基础模型是发动机，而“缰绳”则是方向盘、刹车和仪表盘——也就是引导模型如何与外界交互的工具、记忆和工作流程。层级式自我改进意味着智能体能在看到自身错误后，自己学会调整这套“缰绳”，无需人类技师介入。Self-Harness系统运行一个循环：它从执行轨迹中挖掘特定于模型的失败模式，提出最小化的缰绳调整方案，并且只有通过这些调整通过回归测试时才会采纳[1]。类似地，Living-Harness将每个已完成的任务转化为“情景记忆”和“状态图”——本质上是一本不断扩充的“出错与修复手册”——并在未来任务中检索使用[3]。

与静态方法的关键区别在于，测试框架会不断演进。静态框架就像一份固定的菜谱；而自我改进则像一位厨师，品尝菜肴、调整调味料，并记下新配方以备下次使用。证据表明这种方法行之有效：在三种不同的基础模型上，Self-Harness 将保留测试集的通过率分别提升了21.4、14.3和14.2个百分点[1]。Living-Harness 在八个环境中，将平均 Pass@1（首次尝试即解决任务的比例）相较于最强的交互式基线分别提升了10.07和9.91个百分点[3]。

与检索、微调和人工审查相比，它表现如何？

检索（RAG）和微调的核心在于注入知识，而非改变行为。2023年的一项研究发现，无论是针对已有知识还是新知识，检索的效果都稳定优于无监督微调——但这两种方法都无法调整智能体的决策过程[5]。自我改进针对的是“驾驭机制”（harness），而智能体的行为恰恰就体现在这里。例如，Self-Harness不只是添加泛泛的指令，而是将模型的具体弱点转化为可执行的、具体的改动[1]。这是检索无法做到的，而微调则需要重新训练整个模型。

人工审查是改进防护装置的传统方式，但其扩展性有限。《自我防护装置》论文明确指出，随着模型变得更加多样且快速演进，人工设计的防护装置“扩展性差”[1]。自我改进则将该流程自动化，并且可以持续运行。《活体防护装置》研究表明，进化后的防护装置状态可复用于不同的模型骨干，这意味着改进并不局限于单一模型[3]。关键在于：自我改进需要护栏。《自我防护装置》采用回归测试以避免破坏现有能力[1]，而《活体防护装置》则冻结工具和基础上下文，以防止失控的变更[3]。

自我改进何时真正奏效——其局限又在哪里？

自我改进在交互式、多步骤任务中表现尤为突出，因为智能体能够从自身的失败中学习。相关证据来自终端基准任务（Self-Harness）、交互式环境如τ²-Bench和MultiWOZ（Living-Harness），以及数学推理任务（Gödel Agent）[1][2][3]。在所有这些场景中，智能体都通过迭代提升了自己的表现。但这并非魔法：这种提升需要反馈信号（如评估器）以及验证变更的机制。Gödel Agent受理论上的Gödel机器启发，利用高层目标来引导自我修改，并实现了持续改进，但其效果仍受限于该引导的质量[2]。

这些限制是真实存在的。如果验证环节薄弱，自我改进可能会对训练分布过拟合——Self-Harness的回归测试正是为了防范这一点而设计的[1]。它也无法弥补知识空白；如果智能体缺乏事实性信息，仍然需要检索或微调[5]。此外，虽然收益是稳定的，但在某些情况下幅度有限：DARWIN将进化式自我改进应用于训练代码，经过五次迭代后，模型困惑度仅提升了2.07%[4]。因此，结论是：自我改进是检索和微调的有力补充，而非替代品，并且只有在你能清晰衡量成功、并能安全测试变更时，它才能发挥最佳效果。

关于这些来源

原文