进化策略训练究竟何时才能真正防止重复犯错？
进化策略训练在智能体能够从整个回合的结果中学习时最为有效，而不仅仅依赖即时反馈。在SAGA研究中，智能体从每局游戏中提炼经验，并将其应用于下一局——这种跨游戏学习使其在五局后取得了最高分，并且在四张不同地图上，其第五局表现始终优于第一局[1]。这意味着智能体不仅是在任务过程中反应更佳，它还在将之前的失误经验延续下来，并在后续尝试中避免重蹈覆辙。
同样的原则也体现在Agent-pro中，作者发现，反思并优化整体策略——而非仅仅调整单个动作——对于长时程任务更为有效[2]。这表明，要避免重复犯错，智能体需要更新其高层策略，而不仅仅是修补某一步的失误。
局限在哪里？进化策略训练何时会失效？
收益在很大程度上取决于反馈的结构。在SAGA研究中，智能体只收到延迟的最终得分——没有中间奖励——因此作者不得不添加一个双时间尺度的反馈循环，在游戏过程中设定短期目标，并为下一局提炼经验教训[1]。如果没有这一额外机制，智能体仅凭延迟得分无法改进。因此，如果你的任务直到最后才给出信号，仅靠进化策略训练可能不够；你需要设计中间目标，或找到一种方法将最终结果转化为可执行的教训。
此外，进化策略训练并非避免错误的唯一途径，也不总是最佳选择。在AppWorld研究中，作者使用强化学习（RL）训练了一个交互式数字代理，它学会了查阅API文档、避免无根据的假设、减少虚构内容，并从挫折中恢复过来[3]。该强化学习方法在性能上比一个更大的模型（OpenAI o1）高出9个百分点（相对提升15%）[3]。因此，对于代理通过API与有状态环境交互的任务，强化学习可能比进化策略更为直接，后者通常在没有价值网络的情况下，跨多个回合优化策略。
你如何将这一方法应用到自己的长周期智能体中？
如果你正在为一项漫长的多步骤任务构建智能体，有证据表明可以遵循三个实用步骤。首先，确保你的训练循环能够跨回合吸取经验教训——而不仅仅是在单次运行之内。SAGA智能体的跨游戏学习是其进步的关键[1]。其次，如果你的任务只有延迟的最终得分，那就添加中间目标或反馈循环，让智能体在任务过程中有东西可学[1]。第三，考虑进化策略或强化学习哪种更适合你的环境：当你能够模拟大量完整回合并希望优化整体策略时，进化策略表现出色[2]；而当智能体与实时API交互并需要在运行中从错误中恢复时，强化学习则更为强大[3]。
这里的研究在核心信息上是一致的：长时程智能体并不会自动避免重复犯错——它们需要一种覆盖整个任务的训练信号，以及一种将该信号转化为策略更新的机制。无论你使用进化策略还是强化学习，关键在于刻意设计这种反馈回路。
关于这些来源
这个回答基于3项研究（1篇同行评审，2篇预印本），发表于2024年至2026年间，其中3篇为2024年或之后发表，共被引用144次——这些研究是从3项通过质量筛选的研究中选出的最相关成果，而这些研究又源自从超过5亿篇论文数据库中检索到的54篇文献。
本文引用的文献
SAGA：面向长时域策略游戏规划的场景感知、目标演化智能体
在类《文明》风格的基准测试中，具备跨游戏学习能力的SAGA智能体在五局游戏后得分最高，并且在四张地图上从第一局到第五局持续进步。它采用双时间尺度反馈循环来设定短期目标并提炼经验教训。
Agent-pro：通过策略级反思与优化学习进化
Agent-pro表明，策略层面的反思与优化——一种进化策略——比仅进行行动层面的反思更能提升长周期任务的表现，尽管摘要中未提供具体的数值提升幅度。
面向长时程交互式LLM智能体的强化学习
在AppWorld环境中，一个采用LOOP（一种强化学习变体）训练的320亿参数智能体，其表现超越了规模大得多的OpenAI o1，领先9个百分点（相对提升15%）。该智能体学会了查阅API文档、避免臆断、减少虚构内容，并能从挫折中恢复。