哪些隐性成本会让评估集的构建与代表性比看起来更难用？

为什么你的评估集可能在欺骗你：预算错配与数据污染

最隐蔽的隐性成本不是金钱，而是有效性。当你构建自定义评估集时，可能会在不知不觉中将你的模型与一个预算不同（例如，更多推理尝试或更多token）的基线进行比较。一篇2025年关于可验证奖励强化学习（RLVR）的立场论文发现，一旦RLVR系统与基线之间的预算被对齐，几项引人注目的性能提升要么大幅缩水，要么完全消失[2]。简而言之：如果你的新模型有10次机会回答一个问题，而旧模型只有1次，那么你衡量的是努力，而不是智能。

污染是第二个无声的杀手。如果你的评估文档或问题与模型的训练数据重叠，你测的就是记忆，而不是推理。同一篇论文使用了部分提示污染探针，发现一些看似能力提升的结果实际上只是记忆效应[2]。实际要点是：在信任任何评估结果之前，先检查你的测试集是否可能泄露进训练数据——如果有可能，就把这些分数当作记忆测试，而非推理测试。

自动化生成节省成本，但暗藏验证开销

自动化评测集构建工具号称能大幅降低成本，确实如此——但前提是你愿意在验证工作上付出代价。YourBench作为2025年的一个框架，仅用不到15美元的总推理成本就生成了一个基准测试，并在七个MMLU子集上完美保持了模型排名（Spearman rho = 1）[1]。这听起来像捡了个大便宜，但关键在于，作者必须运行严格的算法检查（例如引用溯源）和人工评估，以确保生成的问题确实基于所提供的文档，而非模型自身的知识[1]。如果没有这些检查，你面临的风险就是构建出一个测试生成器记忆力的基准，而非测试目标模型能力的基准。

这里隐藏的成本是专业知识和时间：你需要设计这些验证检查、运行它们，并解读结果。对于一个没有NLP经验的团队来说，这部分成本很容易超过那15美元的计算费用。论文发布了15万多个问答对和评估追踪记录，这确实有帮助，但并不能消除你自己进行验证的需求——尤其是如果你的领域比较小众的话。

对于低资源语言，人工构建成本高昂，自动化是唯一选择——但这也带来了多样性风险

处理少数民族语言时，隐性成本更为高昂。2021年一项关于壮语词嵌入的研究指出，手动构建测试集成本极高，以至于许多少数民族语言根本没有评估方法[3]。作者提出了一种自动化采样算法（SPXY_Word）来构建测试集，其生成的壮语基准900（Zhuang-Benchmark900）展现了均衡的数据分布和良好的模型区分度[3]。但他们也指出，传统方法生成的测试集往往缺乏多样性——这种隐性成本可能使你的评估难以代表真实应用场景。

权衡显而易见：自动化让低资源语言的评估变得可行，但你也继承了测试集狭窄、缺乏代表性的风险。研究发现，他们的自动化测试集在相似性任务上与中文测试集的评估能力有97%的相似度，但在相关性任务上仅为60%[3]——这提醒我们，某一维度上的“足够好”可能在另一维度上很薄弱。如果你正在为少数语言构建评估集，请为多样性检查预留预算，而不仅仅是追求准确性。

关于这些资料来源

这个回答基于3项研究（2项经同行评审，1项为预印本），发表于2021年至2025年间，其中2项为2024年或之后发表。这些研究从3项通过质量筛选的研究中选出，被认为最具相关性，而这些研究又源自从超过5亿篇论文的数据库中检索出的51篇文献。

本文引用的文献

相关研究问题