什么是数据污染，以及它为何导致基准测试不可靠？
数据污染是指语言模型在训练时使用了与后续评估完全相同的测试题目。这是最直接的作弊形式：模型实际上已经提前看到了答案。2023年的一篇立场文件将其定义为最严重的数据污染类型，因为它会导致模型真实性能被高估，进而可能使错误的科学结论得以发表，而正确的结论却被弃用[5]。这一问题普遍存在，因为许多基准测试数据集都源自公开代码库、数学竞赛试题和新闻文章，而这些内容同样被用于训练大语言模型[1][2]。
一项2025年针对代码基准测试的研究发现，在应用简单的代码重构——重命名变量和重组代码结构——后，训练数据与测试数据之间的重叠率下降了75%，模型性能平均下降了19%[1]。这意味着模型近五分之一的表面能力实际上只是对记忆代码结构的模式匹配，而非真正的问题解决能力。
除了直接污染，基准测试还可能以哪些方式被操纵？
除了死记硬背，基准测试还可能被“基准过拟合”所利用——即模型通过针对测试集的特定漏洞进行调优，比如选择题的格式或正确答案的分布。2024年一项介绍LiveBench的研究指出，许多近期基准测试试图通过从人类或大语言模型评审者那里众包新提示来避免这一问题，但这些方法会引入自身的偏差，并且在评分难题时失效[2]。LiveBench本身则试图通过使用来自近期来源（如arXiv论文、新闻文章）的频繁更新问题，并依据客观真实答案自动评分来抵抗这种投机行为，然而即便如此，顶尖模型的准确率仍低于70%，这充分说明了构建真正稳健的基准测试有多困难[2]。
另一篇2024年的论文提出了一项激进方案：通过密码学或机密计算技术，让模型所有者完全无法接触测试数据集，从而在不泄露测试数据的前提下评估模型性能[3]。这种被称为“私有基准测试”的方法，旨在从设计层面同时防止数据污染和作弊行为。但作者也承认，该方案会带来计算开销，且需要用户对评估基础设施建立信任。
为何现有方案未能彻底解决问题？
即使最严谨的基准测试设计也存在局限性。2025年一项关于数据污染的研究指出，尽管该领域已从静态基准（固定测试集）转向动态基准（频繁更新的问题），但目前仍缺乏标准化标准来评估这些动态基准实际抵御污染的能力[4]。这意味着不同研究团队可能基于不同标准宣称其基准测试"无污染"，导致跨研究的结果难以比较。
私有基准测试方法[3]前景广阔，但尚未得到广泛应用，它需要专用硬件（机密计算）或速度较慢的加密协议。与此同时，像CodeCleaner[1]这样的代码重构工具虽能减少污染效应，但仅适用于基于代码的基准测试，无法解决自然语言或推理任务中的污染问题。2023年的立场文件[5]呼吁社区共同努力，开发自动检测工具，并标记那些结论可能因污染而受到影响的论文——这表明该问题仍远未得到解决。
关于这些来源
该答案基于5篇经同行评审的研究——发表于2023年至2025年间，其中4篇为2024年或之后发表，累计被引用152次——这些研究是从通过质量筛选的5项研究中选出的最具相关性的成果，而后者又源自从超过5亿篇论文数据库中检索到的50篇文献。
本文引用的文献
CodeCleaner：缓解大语言模型基准测试中的数据污染问题
CodeCleaner的代码重构操作将训练集与测试集的重叠率降低了75%，同时导致大语言模型性能平均下降19%，这表明模型依赖的是记忆化的表面模式，而非真正的理解能力[1]。
LiveBench：一项具有挑战性、受污染限制的大语言模型基准测试
LiveBench是一个旨在抵抗数据污染的基准测试，其题目来自近期来源并频繁更新。该测试发现，顶尖模型的准确率仍低于70%，这凸显了构建稳健基准的难度[2]。
私有基准测试以防止污染并改进大语言模型的比较评估
私有基准测试提出通过加密或机密计算方法完全保密测试数据集，以防止数据污染，但这会带来计算开销和信任要求[3]。
数据污染背景下的大语言模型基准测试：从静态到动态评估的综述
一项2025年关于数据污染的研究指出，尽管动态基准测试正在兴起，但目前尚无评估其抗污染能力的标准化标准，这限制了不同基准之间的可比性[4]。
NLP评估陷入困境：论为每个基准测试衡量LLM数据污染的必要性
一篇2023年的立场文件指出，当模型在基准测试的精确测试集上训练时，污染最为严重，这会导致性能被高估，并可能得出错误的科学结论[5]。