基于LLM的研究代理能否在基准分数之外提升可靠性？

为什么基准测试分数无法全面反映可靠性

标准基准测试衡量的是大语言模型回答孤立问题的能力，但现实中的研究型智能体必须处理复杂、多步骤的任务，其中单个错误的工具或数据点就可能导致连锁失败。本研究表明，原始基准测试成绩往往夸大了模型的可靠性。例如，当21个大语言模型接受10500项临床决策测试时，它们有40.6%的概率选择虚假（伪造）指南——这意味着它们几乎有一半时间都是错误的，尽管这些模型在标准医学问答基准测试中可能表现优异[1]。在涉及安全关键变更时，失败率最为严重：模型有54.2%的概率遗漏已删除的警告，并有61.7%的概率未能发现用药剂量错误[1]。这种差距之所以存在，是因为基准测试并未检验智能体能否识别被污染或误导性的信息来源——而这恰恰是现实研究型智能体必须完成的任务。

类似地，用于科学数据分析的LITURAt智能体虽实现了较高的一致性（内部94.8%，外部91.9%），但在高度可变的查询上仍表现出不稳定性[2]。作者指出，模型稳定性仍是一个局限，这意味着即使设计精良的智能体，在面对不可预测的输入时也可能出错。因此，第一个教训是：基准测试分数是底线而非天花板——它们无法反映智能体应对对抗性输入、工具故障或模糊指令的能力。

智能体架构如何真正提升可靠性——以及它们仍存在的短板

证据表明，智能体系统通过引入独立大语言模型所缺乏的外部检查与结构化工作流程，显著提升了可靠性。例如，Repo2Run智能体通过迭代构建Docker镜像、运行单元测试，并根据每一步的反馈合成Dockerfile——在420个Python代码库上实现了86%的成功率，而基准SWE智能体仅为9%[3]。这77%的提升源于智能体从自身构建失败中学习的能力，而非更优的语言理解能力。同样，LITURAt智能体采用“规划-求解”框架，动态检索PubMed文献并执行统计分析，因此其80.3%的回答被GPT-4评估者评为准确且全面[2]。

然而，可靠性的提升仍十分脆弱。临床智能体研究[1]发现，模型极易受到呈现偏差的影响：模型在72.7%的情况下会选择第一个选项，这意味着准确率会因假手术（sham）出现在第一或第二位置而在36.7%至82.3%之间波动。这表明，若无独立验证或排序等防护机制，智能体的可靠性可能被简单的顺序操控所利用。Agent Laboratory框架[4]指出，在每一阶段引入人工反馈能显著提升研究质量，这提示最可靠的智能体应是将自动化推理与人类监督相结合的系统。在材料科学领域，LFAST智能体[5]采用结构化双循环提示，从文献中挖掘并验证合成参数，随后在自动化平台上执行——使结晶度指数提升了350%。这一成功的关键在于智能体具备交叉验证数据的能力，而不仅仅是检索数据。

隐藏的危险：当智能体信任错误工具时，可能放大错误

为大型语言模型（LLM）添加工具和检索功能并不会自动提升其可靠性——实际上，这反而可能引入新的故障模式。临床智能体研究[1]给出了最明确的警示：当模型需要在真实指南与经过一次对抗性篡改的虚假版本之间做出选择时，它们有40.6%的概率未能拒绝虚假版本。这意味着智能体对检索来源的依赖使其比仅依靠自身训练数据作答的模型更加脆弱。作者明确警告称，“智能体系统中的指南选择因此容易受到污染源的影响”，并建议在临床部署前建立独立验证与排序防护机制[1]。

这一发现在LITURAt研究[2]中得到了印证：即使设计精良的智能体，其局限性也表现为“对高度变化查询的模型稳定性不足”。而Agent Laboratory论文[4]指出，尽管由o1-preview驱动的智能体取得了最佳研究成果，但人类参与仍是提升整体质量的必要条件。由此可见，规律十分清晰：当智能体引入结构化验证与人类反馈时，可靠性会提升；但当其盲目信任检索到的工具或信息来源时，可靠性反而会下降。关键不在于是否使用智能体，而在于如何设计其决策流程。

关于这些来源

该答案基于5篇经同行评审的研究——发表于2024年至2026年间，其中5篇为2024年或之后发表，1篇发表于Q1期刊——这些研究是从5篇通过质量筛选的文献中选出的最具相关性的成果，而后者又源自从超过5亿篇论文的数据库中检索到的60篇文献。

本文引用的文献

相关研究问题