为何“完成任务”是一个危险且狭隘的衡量标准
仅依赖任务完成率的最大问题在于，它掩盖了成本和可靠性方面的巨大差异。一项对12个主要基准的系统分析发现，最先进的智能体在完成相同任务时，成本可能相差50倍，而准确率却相近[3]。换句话说，一个智能体可能花1美元完成工作，另一个却要花50美元——而简单的完成率指标会认为它们同样优秀。同一项研究还表明，当连续运行八次时，智能体的性能从单次运行的60%骤降至仅25%，这意味着它每四次才可靠成功一次[3]。二元的通过/失败评分永远无法揭示这种脆弱性。
最佳情况与典型表现之间的差距并非孤例。在真实的电商工作环境中，即使是最前沿的模型，也有约40%的任务会失败，且失败模式可预测地集中在能力层级的特定环节：工具使用、规划、适应性、立足现实以及常识推理[5]。更强的模型并非在基础步骤上出错，而是在需要超越明确指令进行上下文推理的任务中失败——这种细微的失误，简单的完成度评分只会笼统地归为“错误”，却无法解释原因[5]。综合上述研究，证据指向同一结论：任务完成度是必要的基准，但远不足以判断一个智能体是否真正具备投入实际应用的条件。
该智能体与人类协作的效果如何？
一个能完成任务却让人类队友感到挫败或困惑的智能体，并非真正的成功。基于合作纸牌游戏《花火》的人机协作研究发现，基于规则和基于强化学习的智能体在人类玩家感受到的合作性与团队感方面存在显著差异，即便两者都能完成游戏[7]。作者指出，随着人工智能从工具转变为队友，评估必须纳入主观指标，例如感知到的合作性——因为一个技术过硬却难以共事的智能体，最终会被排斥或误用[7]。
一项针对45名放射科医生的临床研究进一步证实了这一发现。在使用AI辅助乳腺癌筛查系统时，AI将假阳性率降低了27%，假阴性率降低了4%。同时，研究人员还测量了临床医生对该系统的接受程度及互动方式[1]。结果显示，91%的临床医生表示抱有积极预期且感到满意，并且AI使每位患者的诊断时间缩短了3分钟——但这仅仅是因为系统界面设计提供了临床医生实际需要的解释和功能[1]。如果一个AI系统只是简单输出诊断结果而不提供解释，那么无论其准确度多高，都很可能被忽视或不被信任。启示是：人机交互质量是一个独立的维度，必须直接评估，而不能仅凭任务完成情况来推断。
企业真正需要的是什么：成本、可靠性、安全性与适配度
对于部署AI智能体的组织而言，实际需求远不止于准确性。CLEAR框架——即成本（Cost）、延迟（Latency）、效能（Efficacy）、保障（Assurance）与可靠性（Reliability）——正是为应对企业部署中需平衡这些相互冲突的需求而专门提出的[3]。在针对300项企业任务对六个智能体进行的测试中，该框架对生产环境成功率的预测效果（相关性0.83）远优于仅依赖准确性指标（相关性0.41）[3]。这意味着，一个在基准测试中表现优异的智能体，若运行过慢、成本过高或可靠性不足，在实际业务中可能并非理想选择。
安全性是任务完成指标完全忽略的另一个维度。AI代理与外部工具和数据交互，使其容易受到间接提示注入等攻击，从而触发未经授权的操作[6]。名为Progent的框架通过强制执行最小权限原则来解决这一问题——每次工具调用都会对照安全策略进行检查，该策略未经明确批准只能缩小[6]。在标准基准测试中，Progent在保持实用性的同时显著降低了攻击成功率[6]。一个能完成任务但泄露敏感数据或执行有害命令的代理比无用更糟糕。同样，用于选择AI开发工具的“成本-方法-适配”（CMF）框架认为，工具的价值是“工作流依赖的，而非工具固有的”——这意味着同一个代理可能对某个团队是生产力助推器，对另一个团队却是拖累，具体取决于它是否契合团队的实际工作模式[2]。一项对照试验报告任务速度提升了55.8%，而一项针对经验丰富开发者的随机试验却发现净速度下降，这凸显了上下文比原始能力更重要[2]。
最后，智能体系统的评估必须涵盖其使用工具、调用记忆、与其他智能体协作以及与环境的交互能力——这些维度是二元任务完成指标无法捕捉的[4]。在与MontyCloud公司的一次行业部署中，这些局限性直到系统投入生产后才显现出来，这凸显了超越任务结果、对智能体行为进行系统性评估的必要性[4]。结论显而易见：对计算机操作型AI智能体的恰当评估必须包含成本、延迟、可靠性、安全性、人类协作质量以及工作流适配度——而不仅仅是智能体是否完成了任务。
关于这些来源
该回答基于7篇经同行评审的研究构建而成——发表于2022年至2026年间，其中6篇为2024年或之后发表，1篇发表于Q1期刊，合计被引用208次——这些研究是从10篇通过质量筛选的文献中选出的最具相关性的成果，而该10篇文献又源自从超过5亿篇论文数据库中检索到的42篇论文。
本文引用的文献
BreastScreening-AI：评估用于人机交互的医疗智能代理
在一项涉及45名临床医生使用AI辅助乳腺癌筛查的研究中，AI将假阳性率降低了27%，假阴性率降低了4%，每位患者的诊断时间缩短了3分钟，且91%的临床医生表示满意——这表明，人机交互质量与临床工作流程的整合比单纯的算法准确性更为重要。
超越价格与基准：一个面向AI开发工具选择的成本-方法-适配框架及评估协议提案
一项关于AI开发者工具的纪录片式对比研究发现，工具的价值取决于工作流程，而非工具本身；一项对照试验报告称任务速度提升了55.8%，而另一项针对经验丰富开发者的随机试验却显示净效率下降，这表明情境决定了生产力影响。
超越准确性：企业级自主AI系统评估的多维框架
对12个基准测试和6个智能体在300项企业任务中的分析发现，仅优化准确率会使智能体成本比考虑成本的方案高出4.4至10.8倍，且仅以准确率评估预测生产成功的相关性为0.41，而多维度的CLEAR框架则达到0.83。
超越任务完成：评估智能体AI系统的框架
在MontyCloud公司的一次行业部署中，二元任务完成指标未能捕捉到工具使用、记忆检索及多智能体协作中的行为不确定性，因此提出了一个涵盖大语言模型、记忆、工具和环境的四支柱评估框架。
智能体能力层级：在真实强化学习环境中评估前沿模型
在电商强化学习环境中对150项真实工作场景任务的评估揭示了一个代理能力层级（工具使用、规划、适应性、情境关联性、常识推理）；即便表现最佳的模型仍有约40%的任务失败，且失败模式沿此层级呈现可预测的聚类分布。
Progent：通过权限控制保障AI智能体安全
Progent 通过权限控制来保障AI智能体的安全，每次工具调用都会对照安全策略进行检查，且该策略未经批准只能缩减（单调约束）。在AgentDojo和ASB基准测试中，它在保持高实用性的同时，显著降低了攻击成功率。
超越任务表现：以合作纸牌游戏《花火》为依托，构建人机成功协作的新标准
在一项基于合作卡牌游戏《花火》的初步研究中，基于规则与基于强化学习的智能体在合作感知与团队协作体验上存在差异，这表明除客观任务表现外，主观指标对于评估人机协作同样不可或缺。