为何静态基准在文档变化时无法保持可靠
基准本质上是一种冻结的测试：它在某个时间点上衡量RAG系统针对特定问题集和特定文档集合的表现。如果底层文档发生更新——例如新的医疗指南发布、法律条文修订或产品手册改版——基准的相关性就会下降，因为“正确”答案可能改变，或检索上下文可能偏移。CRAG基准[2]明确承认了这一点，其问题设计旨在反映“从数年到数秒不等”的时间动态性，并承诺长期维护该基准以服务研究社区。若无此类维护，基准将沦为历史产物，而非衡量当前性能的可靠标尺。
基准测试本身揭示的文档变更敏感性
MIRAGE医学基准测试[1]针对41种不同语料库、检索器与大语言模型的组合，开展了超1.8万亿提示词token的大规模实验。研究发现，多种医学语料库与检索器的组合取得了最佳性能，并观察到一种"中间迷失"效应——即检索文档的顺序会影响结果。这意味着对文档集合的微小改动（增删或重排文档）都可能显著改变RAG系统的准确性。类似地，RAGBench[3]覆盖了五个行业特定领域，包含10万个源自用户手册等频繁更新行业语料库的样本。该基准测试旨在实现"生产应用的持续改进"，这表明在文档不断演变的实际部署场景中，静态评估方法已不足以满足需求。
领域特定挑战：法律与医学基准揭示风险所在
在法律领域，LegalBench-RAG[4]专注于从法律文件中精确检索最小文本片段，因为长上下文窗口成本更高、延迟更大，且容易导致大语言模型产生幻觉。法律文件经常修订，该基准测试的6,858个问答对全部由法律专家从特定语料库（超过7900万字符）中人工标注。若该语料库发生变化——例如新增判例法或更新法规——标注内容便会过时。医学基准测试MIRAGE[1]通过提示链将大语言模型准确率提升高达18%，但这一提升是基于固定医学问答数据集测得的。这两个基准测试均未提供自动适应文档变更的机制，因此其可靠性依赖于定期重新标注和重新发布。
如何让领域特定的RAG基准测试长期保持可靠性
这些研究中最有力的证据指向三个实际步骤。首先，选择一个明确承诺持续维护的基准——CRAG [2] 声明将长期维护以服务研究社区，其设计将时间动态性作为核心特征。其次，使用能提供可解释、可操作指标的基准，例如RAGBench的TRACe框架 [3]，该框架支持对生产应用进行持续评估与反馈。第三，要认识到单一基准并不足够：MIRAGE研究 [1] 测试了41种组合后发现性能差异显著，因此每当文档集合发生变化时，都应重新运行基准测试。CRAG基准 [2] 显示，即使是最先进的RAG解决方案，也只能在63%的问题上避免幻觉，且对于动态性更高的事实，准确率进一步下降——这意味着文档变化越频繁，静态基准的可靠性就越低。
关于这些来源
该回答基于4项研究（2篇经同行评审，2篇为预印本）——均发表于2024年或之后，共被引用171次——这些研究从通过质量筛选的4项研究中选出，作为最相关的内容，而后者又源自从涵盖超过5亿篇论文的数据库中检索到的53篇文献。
本文引用的文献
医学检索增强生成的基准测试
MIRAGE [1] 在7,663个医学问题上测试了41种语料库、检索器与大语言模型的组合，发现使用RAG后准确率最高可提升18%，但效果因语料库选择差异显著，并揭示了文档顺序影响结果的“中间迷失”效应。
CRAG——综合RAG基准测试
CRAG [2] 包含来自五个领域的4,409个问答对，时间跨度从数年乃至数秒不等，具有动态性。研究发现，即使是最顶尖的RAG解决方案，也只能在不产生幻觉的情况下回答63%的问题，且对于动态性更强或不太常见的事实，准确率还会进一步下降。
RAGBench：面向检索增强生成系统的可解释性基准
RAGBench [3] 提供了来自真实用户手册的10万个示例，涵盖五个行业领域，其TRACe评估框架能够为生产环境中的RAG系统提供持续且可解释的反馈。
LegalBench-RAG：法律领域检索增强生成基准测试
LegalBench-RAG [4]包含来自超过7900万字符法律语料库的6,858个人工标注的问答对，专注于精确检索最小文本片段，以避免上下文窗口问题和幻觉现象。