哪些具体数字表明经验链能带来实际收益？
最直接的证据来自一项2026年的研究，该研究提出了“经验链”（Chain-of-Experience，CoE）方法，让大语言模型在测试时通过迭代交互积累经验轨迹。在8个大语言模型（包括GPT-5、Gemini-2.5 Pro、Claude-4.5 Sonnet）以及数学、编程和知识类任务中，CoE相比无反馈基线实现了5.6%的整体提升，并将API成本降低了19%[1]。这意味着模型不仅得到了更好的答案，而且效率更高——这很难被当作基准测试的“刷分技巧”来否定，因为它还节省了成本。
同一项研究发现，将互补的反馈渠道（例如，模型自我反馈加上正确性信号）相结合能带来额外的收益，并且CoE在每token准确率上优于现有的测试时策略[1]。这表明改进不仅仅在于记住基准答案，而在于利用反馈来优化推理过程，这是一种更通用的能力。
另一项名为Evo-Memory的研究，在10个数据集上对具有自我进化记忆的LLM智能体进行了基准测试，发现经验重用（通过其ExpRAG基线）在顺序任务流上提升了性能[5]。这进一步印证了该优势在不同设置下均能显现，而非仅局限于某一特定基准。
在反馈较弱或任务变化时，这种改进是否依然成立？
基准测试技巧的一个关键问题在于，它们只在理想条件下有效。CoE研究直接对此进行了检验：模型在微弱或虚假反馈下依然保持稳健，不同类型的反馈促进了不同方面的改进，且大部分提升在迭代早期就已显现[1]。这意味着即使反馈不完美，仍然能发挥作用，而且模型在反馈带有噪声时也不会崩溃。
持续学习研究也表明，模型能够在学习新任务的同时不遗忘旧任务，这体现了真正的进步，而非对单一基准的过拟合。例如，归因引导的持续微调（2026）在保持新任务竞争力的同时，显著提升了对旧任务的保留能力[4]。类似地，一项面向方面级情感分析的持续学习模型（2024）在19个数据集上取得了最先进的性能，同时保留了历史领域的能力[3]。
这些结果殊途同归：从经验中提升，不仅关乎在某一项基准上表现更佳，更在于跨任务保持并积累知识，而这正是真正的持续学习应有的样貌。
我们如何确定这些提升并非仅仅来自基准测试数据泄露？
基准测试泄漏——即训练数据中包含测试集答案——可能会人为地抬高分数。2023年的一项研究表明，泄漏可能大幅提升评估结果，导致评估不可靠[6]。这是一个真实的风险，但CoE研究及其他相关研究采用了避免此问题的评估协议，例如在未见过的任务上进行测试，或使用并非源自基准答案的反馈[1][5]。
例如，CoE采用公开编程测试通过率等环境信号，这些信号并不包含在基准测试的答案中[1]。Evo-Memory则使用流式任务流，每次交互后记忆都会更新，因此模型并非简单回忆预先见过的答案[5]。这些设计降低了成绩提升源于记忆效应的可能性。
此外，PandaLM基准测试（2023）提供了一种自动评估方法，该方法不仅关注客观正确性，还侧重于清晰度和指令遵循等主观因素，并且其评估能力达到了GPT-3.5的93.75% [2]。这表明评估可以更加细致入微，而此类主观指标的提升不太可能仅仅是简单的基准测试技巧。
关于这些资料来源
这个回答基于6项研究（1篇同行评审，5篇预印本）——发表于2023年至2026年间，其中4篇为2024年或之后发表，合计被引用53次——这些研究是从10项通过质量筛选的研究中选出的最相关者，而这10项研究又源自从超过5亿篇论文数据库中检索到的46篇文献。
本文引用的文献
持续改进大语言模型的体验链方法
Chain-of-Experience（CoE）在8种大语言模型和多项任务上将准确率提升了5.6%，并将API成本降低了19%，同时具备对弱反馈的鲁棒性，且收益在迭代初期便已显现。
PandaLM：面向大语言模型指令调优优化的自动评估基准
PandaLM作为评判型大语言模型，在F1分数上达到了GPT-3.5评估能力的93.75%和GPT-4的88.28%，从而在不依赖API的情况下实现了更公平、更经济的评估。
通过持续学习增强大型语言模型在基于方面的情感分析中的能力
一个基于大语言模型的持续学习模型在面向方面的情感分析任务中，在19个数据集上取得了最先进的性能，同时保持了历史领域的能力。
面向大型语言模型的属性引导持续学习
基于归因引导的持续微调方法优于基线方法，在更好地保留旧任务知识的同时，保持了在新任务上的竞争力表现。
Evo-Memory：基于自进化记忆的LLM智能体测试时学习基准评测
Evo-Memory基准测试了LLM智能体在10个数据集上的自进化记忆能力，结果表明经验复用（ExpRAG）能够提升顺序任务流上的性能。
别让你的大语言模型成为评测基准作弊者
基准测试泄露会显著虚高评估结果，导致评估不可靠；为此提出了相应准则以避免此类问题。