该智能体与人类协作的效果如何？
仅凭任务完成情况，无法判断AI智能体在实际应用中是否真正有用。一项涉及9家机构45名临床医生的研究发现，当放射科医生使用AI辅助系统进行乳腺癌筛查时，假阳性率降低了27%，假阴性率降低了4%，每位患者的诊断时间缩短了3分钟[1]。但关键发现是，91%的临床医生对AI的满意度和接受度更高，仅仅是因为评估衡量了他们与系统的交互方式，而非仅关注系统是否正确分类图像[1]。这表明，人机交互质量——例如AI是否解释其推理过程、能否融入现有工作流程——是一个独立且至关重要的评估维度。
类似地，针对客服聊天机器人的研究发现，表达积极情绪的AI智能体反而可能适得其反：它们虽能唤起顾客的积极感受，却因违背用户预期，使得互动效果不如人类表达相同情绪时那样有效[2]。这意味着评估必须衡量用户期望与情感反应，而不仅仅是问题是否得到解决。在科学研究中，一个将多个AI智能体与人类研究者相结合的生物信息学协同系统，在多种任务上达到了最先进水平，但其成功依赖于精心设计的人机交互机制与持续学习策略，而不仅仅是原始任务准确率[8]。
你能看到智能体如何以及为何做出决策吗？
若无法洞察AI智能体的推理过程与行动逻辑，便无法信任其结果，更难以追究其责任。一套全面的负责任AI指标框架区分了三种类型：过程指标（决策方式）、资源指标（所用工具与框架）以及产品指标（输出结果）[7]。这种三分法对生成式AI尤为重要，因其涉及数据隐私与内容虚构等高风险问题[7]。欧盟《人工智能法案》提案对高风险AI系统的可解释性设定了最低要求，研究人员指出，合规指标必须聚焦风险、不依赖特定模型、具备目标意识、清晰易懂且易于获取[9]。
对于人工智能研究智能体而言，评估应包含可解释性指标——即智能体能否以人类专家可理解的方式论证其结论？一项针对ChatGPT生成研究论文的评估发现，尽管该AI能产出高质量文本，但评审者对其研究的归属性和完整性表达了严重担忧，且AI在文献综述与研究方法章节的撰写上表现最为薄弱[3]。这表明评估不仅需判断输出结果是否准确，更要考察推理过程是否透明且可复现。在IT运维领域，能够主动预测并解决问题的自主型AI系统，需要对其决策过程保持可见性，以确保可问责性并避免意外后果[4]。
该智能体是否真正改善了现实世界中的结果？
在受控测试环境中完成任务并不能保证其在实际应用中的价值。一项医学人工智能研究表明，真正的益处在于减少临床医生的错误并节省时间，而不仅仅是追求高分类准确率[1]。同样，在生物信息学领域，一个多智能体辅助系统不仅复现了一项开创性研究中复杂的数据整合流程，还发现了罕见的细胞类型，并引入了一种递归注释策略，捕捉到了连续的细胞状态——这些发现已超越了原始任务本身[8]。这表明，评估应衡量智能体是否能够带来新的见解或提升人类的决策能力，而不仅仅是看它是否完成了分配的任务。
伦理考量同样至关重要。针对AI智能体的可见性研究提出了三类措施——智能体标识、实时监控与活动日志——以确保从集中式到分布式系统的不同部署场景中都能实现问责制[6]。这些措施有助于降低隐私侵犯和权力集中等风险。在虚拟现实领域，一款基于大语言模型的AI智能体能够通过恰当的面部表情和手势模拟人类行为，其评估不仅关注回应的合理性，更注重其融入社交VR体验的程度[5]。这种涵盖伦理、社会及实践影响的更广泛评估视角，对于将部署在医疗、教育或科学发现等敏感领域的AI研究智能体而言至关重要。
关于这些来源
该答案基于9篇经同行评审的研究构建而成——发表于2022年至2025年间，其中5篇为2024年及以后发表，3篇发表于Q1期刊，累计被引用650次——这些研究是从通过质量筛选的9项研究中选出的最具相关性的成果，而后者又源自从超过5亿篇论文的数据库中检索到的59篇文献。
本文引用的文献
BreastScreening-AI：评估用于人机交互的医疗智能代理
在一项涉及九家机构45名临床医生的研究中，AI辅助乳腺癌筛查系统将假阳性率降低了27%，假阴性率降低了4%，每位患者的诊断时间缩短了3分钟，并实现了91%的临床医生满意度——这表明人机交互质量是超越任务准确性的关键评估维度。
有情感的机器人：AI客服应表达积极情绪吗？
控制实验表明，在客服场景中表达积极情绪的AI智能体既能引发顾客的积极感受，也会违背其预期，导致其效果不如表达相同情绪的人类客服——这凸显了评估情绪效应与预期效应的必要性。
人工智能在科学研究中的应用潜力与隐忧：ChatGPT性能评估
评审员在评估ChatGPT生成的研究文章时，对所有权和完整性表示担忧，并发现AI在文献综述和方法论构建方面最为薄弱——这表明评估必须考察推理透明度和研究质量，而不仅仅是输出的可信度。
预测性AIOps中的自主智能体：提升IT自主性与性能
在IT运维中，智能体AI通过主动预测和解决系统问题来提升自主性与性能，但需评估其决策透明度与问责机制，以避免在复杂环境中产生意外后果。
在社交虚拟现实中构建基于大语言模型的AI智能体
在社交虚拟现实中，基于大语言模型的人工智能代理在回应合理性与面部表情及手势的整合方面接受了评估，结果表明，对于具身代理而言，社交与情境适宜性是与任务完成同等重要的衡量指标。
对AI智能体的可见性
提出三类可见性措施——代理标识符、实时监控与活动日志记录——以确保在集中式和去中心化的人工智能代理部署中实现问责制，从而应对隐私侵犯和权力集中等风险。
构建负责任的人工智能指标目录：一套用于AI问责制的指标集合
提出了一套全面的AI问责制指标目录，包含三类指标：过程指标（程序完整性）、资源指标（工具与框架）以及产品指标（输出结果），并强调尤其需要对生成式AI进行细粒度评估。
面向大规模组学研究和科学洞察的数据智能密集型生物信息学副驾驶系统。
一个多智能体生物信息学助手在多种任务中实现了最先进的性能，并在肺细胞图谱中发现了稀有细胞类型，这表明评估应衡量智能体是否能够带来新的科学发现，而不仅仅是完成分配的任务。
指标、可解释性与《欧洲人工智能法案》提案
主张《欧洲人工智能法案》下的人工智能可解释性指标必须聚焦风险、无关模型、目标明确、易于理解且便于获取——从而为评估人工智能系统是否符合法律透明度要求提供框架。