为什么基准测试会高估智能体在真实场景中的表现？
测试基准（harness）通常衡量的是模型在一组精选任务上的上限表现，但现实世界中的任务往往更杂乱、更多样。一项2026年关于测试基准适配的研究发现，小型语言模型（SLM）在21个任务-模型组合中的7个上能够匹敌大型语言模型（LLM），但这仅在测试基准针对这些特定任务进行自动优化之后才成立[1]。这意味着，在基准测试中表现良好的测试基准，如果任务重复性较低或模型的基础能力较弱，在生产环境中可能会失效——同一项研究也指出，适配对于工作流程重复性较高的任务效果最佳[1]。
最佳情况与典型情况之间的差距也关乎成本。研究显示，经过优化的SLM智能体能够以4%的成本恢复LLM性能的89.7%[1]。但这是调优后的最佳场景；若未经调优，将SLM直接放入为前沿LLM设计的框架中，其表现通常会有所欠缺[1]。因此，若测试框架未考虑成本或模型与框架的匹配度，就可能让一个实际上不可行的方案看起来可行。
测试装置评估常常忽略哪些具体方面？
测试框架可能会忽略对可复现性和结构化观察的需求。一篇2026年发表的论文在介绍VERO时指出，智能体优化——即通过编辑-执行-评估的循环迭代改进智能体——需要同时捕获中间推理过程和下游执行结果[2]。标准测试框架通常只记录最终输出，遗漏了对调试和改进智能体至关重要的推理轨迹[2]。缺少这些轨迹，测试框架可能只会显示通过或失败，却无法揭示智能体为何失败或如何修复。
另一个常被忽视的方面是“harness”本身的定义。2026年的一项概念分析指出，“agent harness”一词的使用较为随意，有时指整个产品（如Claude Code），有时指评估脚手架（如SWE-bench），有时又指SDK或插件[3]。这种模糊性意味着，两个不同的“harness测试”可能评估的是完全不同的东西，导致结果无法比较[3]。该论文提出了一个包含必要且充分条件的构成性定义，但在该定义被广泛采纳之前，harness测试可能仍会在同一名称下衡量不同的构念。
在什么情况下，测试框架最可能给人虚假的安全感？
测试框架在忽略LLM智能体的随机性时最具误导性。与确定性代码不同，智能体将代码与随机性的LLM生成结果交织在一起，因此单次运行可能不具备代表性[2]。VERO通过采用预算控制的评估和版本化的智能体快照来解决这一问题，以确保可复现性[2]。如果没有此类控制，测试框架可能在一次运行中通过、另一次运行中失败，而测试本身无法揭示这种变异性。
测试框架若未考虑成本与性能的权衡，同样会误导决策。2026年的研究发现，小型语言模型（SLM）的成本可降低90%，但前提是测试框架需针对其优势进行调整[1]。若测试仅报告准确率而不涉及成本，可能会导致部署昂贵的LLM，而实际上一个经过适配的SLM足以胜任；反之，也可能因框架未适配而部署失败的SLM[1]。
关于这些来源
该回答基于3项研究（1篇经同行评审，2篇为预印本）——发表于2026年，其中3篇为2024年或之后——从3项通过质量筛选的研究中选出最具相关性的内容，这些研究源自从超过5亿篇论文数据库中检索到的48篇文献。
本文引用的文献
更好的工具，更小的模型：通过自动化工具适配构建成本降低90%的智能体
在一项涵盖七项商业任务和三个SLM系列的研究中，优化后的“脚手架”在21对任务-SLM组合中的16对上提升了性能，其中七对缩小了SLM与LLM之间的差距，表现最佳的SLM以4%的成本恢复了LLM性能的89.7%，但适配仅在重复性任务和性能足够强的SLM上效果最佳。
VeRO：一个用于优化智能体的智能体评估框架
VERO评估框架提供了版本化的智能体快照、预算控制的评估以及结构化的执行轨迹，从而支持可复现的智能体优化，并指出标准评估框架往往遗漏了中间推理过程和执行结果。
什么使一个“缰绳”成为缰绳：智能体缰绳的必要且充分条件
概念分析提出了智能体“缰绳”的构成性定义，并给出了必要且充分的条件，同时指出该术语在产品、评估脚手架和框架中被宽泛使用，可能导致评估不一致。