工具增强在基准分数之外究竟带来了什么？
在结构化、知识密集型任务中，增强工具的LLM（大语言模型）表现显著优于其独立版本。在医学问答领域，一个能够自主检索文档、重新排序证据并基于检索文本生成答案的智能系统，在USMLE Step 1和Step 2中分别取得了82.98%和86.24%的准确率，超越了GPT-4的80.67%和81.67%[1]。这并非偶然：在五项医学基准测试中，该工具增强系统均达到或超越了最先进的专有模型，表明引入检索与推理工具能够将准确率推升至甚至最大基础模型单独无法企及的高度。
这一益处不仅限于医学领域。在生物信息学代码生成中，能够处理包含完整上下文（包括功能依赖关系）的长提示（超过2600个词元）的模型表现显著更优，GPT-3.5/4的通过率约为50%，而较小模型最高仅为25%[2]。在特定领域数据上对模型进行微调，可使某些提示的性能提升超过15%[2]。这些结果表明，工具使用与领域适应相结合，能够将性能大幅提升至远超通用基准测试的水平。
然而，这些提升并非普遍存在。在受控的教育环境中，增强工具后的模型（GPT-DR和Gemini-DR）在过程性指标（如问题解决、推理）的覆盖面上优于其基础版本，但Gemini-DR仅覆盖了70.9%的机会，而GPT-DR更是只有54.7%[4]。作者提醒，这些数据是“可见过程证据覆盖率”，而非正确性或深度的衡量标准——这意味着即便是最擅长使用工具的模型，仍会遗漏大量人类评估者认为重要的内容。
使用工具的语言模型在哪些方面仍有不足，为何这很重要？
尽管工具增强型大语言模型在基准测试中表现亮眼，但其存在关键盲点，削弱了实际应用的可靠性。一项针对工具使用意识的专项研究发现，即便是最先进的模型也常常无法识别自身信息不完整或所需工具不可用的情况——它们仍会强行调用工具，从而生成不可靠的输出[8]。研究人员为此专门构建了测试基准，结果显示模型普遍会忽略这些关键信号。虽然通过明确提示模型评估信息充分性与工具可用性的策略能显著提升表现，但这一根本性缺陷依然存在[8]。
基准性能与实际可靠性之间的差距，在名为ZebraArena的诊断环境中得到了鲜明体现。该环境将推理-行动耦合与记忆或数据集污染相隔离。在此环境下，即便是GPT-5和Gemini 2.5 Pro等前沿模型，在困难实例上的准确率也仅为60%，而GPT-5的工具调用次数比理论最优值高出70%至270%[5]。这意味着模型不仅效率低下，还会进行不必要或重复的调用——在真实系统中，这可能导致时间浪费、成本增加或引入错误。
问题不仅限于工具使用。在循证医学任务中，大语言模型通过提示工程展现了强大的总结与知识迁移能力（例如，将GPT-4的PICO提取准确率提升了13.10%），但在命名实体识别任务上远低于PubMedBERT等专业基线模型，且人工评估揭示了持续存在的事实矛盾与领域错误[6]。类似地，在自动论文评审中，GPT-4在单项选择上的准确率超过60%，但完全正确的答案仅占约20%，且在长论文与零样本评分方面表现薄弱[9]。这些发现共同指向一个发人深省的结论：工具增强虽有助益，却无法消除大语言模型根本性的不可靠问题。
工具使用的可靠性从何而来，又因何失效？
可靠性在很大程度上取决于工具使用的训练方式与结构设计。一项针对工具增强型智能体规划流程的研究发现，采用过程级奖励的强化学习——即衡量工具调用的完整性与执行有效性，而不仅仅是最终答案的正确性——能够将无效动作序列减少41.6%，并将任务完成的可靠性提升29.8%[3]。这表明，关注工具使用过程本身的质量，而非仅仅关注结果，能够带来显著的性能提升。该训练基于2900条工业场景轨迹数据，说明真实世界的数据具有重要价值。
类似地，在机器学习任务规划中，标准的ReAct式方法难以生成复杂流程中有效的工具调用序列。而一些简单的改进——例如使用带有结构化文本反馈的塑形确定性奖励，或将问题分解为子任务——使性能相比使用GPT-4o的ReAct方法提升了16.52个百分点[7]。这表明，工具调用的架构（即模型如何决定调用哪个工具以及何时调用）至少与模型的原始能力同等重要。
然而，即使设计精良的工具使用也无法确保在所有领域中的可靠性。在类器官科学传播中，GPT-5取得了最高质量评分（C-PEMAT 16.05，GQS 4.70），但其他模型的评分分布更为分散且表现不稳定，同时可读性与科学质量之间并未呈现强相关性[10]。这意味着，一个读起来流畅易懂的模型，在实质内容上仍可能不可靠。结论是：工具增强可以提升可靠性，但必须结合领域特定训练、流程级优化以及超越简单准确性指标的审慎评估。
关于这些来源
该答案基于10篇经同行评审的研究——发表于2024年至2026年间，其中10篇为2024年及之后发表，累计被引用115次——这些研究是从通过质量筛选的10项研究中选出的最具相关性的成果，而后者又源自从超过5亿篇论文的数据库中检索到的66篇文献。
本文引用的文献
面向医疗问答任务的智能体记忆增强检索与证据锚定。
一个增强工具代理系统在美国医师资格考试第一步（82.98% 对 80.67%）和第二步（86.24% 对 81.67%）的五个医学问答基准测试中均优于GPT-4，表明检索与证据锚定能够将准确率提升至独立大语言模型之上。
BioCoder：面向大语言模型的生物信息学代码生成基准测试。
在BioCoder基准测试中，GPT-3.5/4在生物信息学代码生成任务上的通过率约为50%，而较小模型的通过率最高仅为25%；对StarCoder进行微调后，其在特定提示上的性能提升了超过15%，这凸显了长上下文处理能力和领域知识的重要性。
面向工具增强型大语言模型智能体的规划过程强化学习
在2900条工业轨迹上应用进程级强化学习（对工具调用完整性与执行有效性进行奖励），使无效动作序列减少41.6%，任务完成可靠性提升29.8%。
基于量规的评估：面向课程对齐教材项目的工具增强型大语言模型评价
在对73项教材项目任务进行的基于量规的评估中，增强工具后的模型Gemini-DR和GPT-DR分别覆盖了70.9%和54.7%的过程指标。但作者指出，这些数据仅为证据覆盖率，并非正确性或深度的衡量标准。
ZEBRAARENA：用于研究工具增强型大语言模型中推理-行动耦合的诊断性模拟环境
在ZebraArena诊断环境中，GPT-5和Gemini 2.5 Pro在困难实例上的准确率仅为60%，且GPT-5的工具调用次数比理论最优值高出70%至270%，暴露出持续存在的低效问题以及推理与行动之间的耦合缺口。
基准测试大语言模型在循证医学中的表现。
LLMs通过提示（例如，将GPT-4的PICO提取性能提升13.10%）展现了强大的总结与知识迁移能力，但在命名实体识别任务上表现不及PubMedBERT，且人工评估揭示了事实不一致与领域不准确的问题。
ML-Tool-Bench：面向机器学习任务的工具增强规划
在ML-Tool-Bench基准测试中，标准的ReAct方法难以应对复杂的机器学习流水线；而采用带有反馈的塑形确定性奖励或问题分解策略，使GPT-4o的性能相比ReAct提升了16.52个百分位。
工具增强的大型语言模型能否意识到不完整的条件？
即使是最先进的大语言模型，也常常无法识别条件不完整或工具不可用的情况，仍会尝试使用工具；而一种明确评估信息充分性与工具可用性的提示策略，显著提升了模型的认知能力。
LLM 是可靠的审稿人吗？关于LLM在自动论文评审任务中的全面评估
GPT-4在论文评审任务中，对单一选项的准确率超过60%，但完全正确的回答仅约20%，且在处理长论文和零样本评分方面表现较弱，这表明其作为自动化评审者的可靠性有限。
基准测试大型语言模型在类器官科学传播中的可读性、可靠性与科学质量。
GPT-5在类器官科学传播质量方面得分最高（C-PEMAT 16.05，GQS 4.70），但其他模型得分分布广泛，且可读性与科学质量之间并无强相关性，这意味着语言流畅度并不能代表信息的可靠性。