为何稳定性和一致性比单纯胜率更能衡量表现
一支有80%胜率但其余20%时间陷入混乱的团队，其可靠性远不如一支胜率75%但几乎零波动的团队。一项关于基于角色的多智能体协作研究发现，尽管该方法在简单场景下平均胜率仅提升0.17%，却将性能偏差降低了16.67%；而在极难场景中，偏差更是大幅下降了66.30%[1]。这意味着团队行为变得更具可预测性和可复现性——这对现实部署至关重要，因为不可预测的故障可能代价高昂。
另一个专门用于捕捉行为不确定性的框架发现，二元任务完成指标完全忽略了智能体在使用工具、检索记忆或相互协调时的运行时偏差[2]。在一个生产级云自动化系统中，这些隐藏的不一致性导致了胜率指标从未标记的故障。结论是：衡量结果分布（方差、偏差）并记录行为轨迹，而不仅仅是最终成功。
沟通效率揭示智能体实际协作的优劣程度
高效团队不仅沟通更频繁，更懂得如何聪明地沟通。一项关于多智能体图注意力通信的研究表明，其最优方法相比基线减少了27.4%的消息发送量，同时在最困难的任务上仍将奖励提升了约10.5%[3]。这意味着智能体学会了何时保持沉默、向谁传递信息，从而在不牺牲协作质量的前提下减少信息干扰。将通信开销（每项任务的消息量、带宽使用、延迟）与任务成功率一同评估，能更清晰地衡量团队效率。
同一研究还表明，这种通信策略可扩展至更大的状态-动作空间，并对随机性保持稳健[3]。因此，良好的评估应包含一条“通信成本与性能”的权衡曲线——而不仅仅是单一的胜率。
人类信任与适当的自主水平决定实际效能
当人类与多个AI智能体协同工作时，智能体拥有的决策权限（即其“自主程度”）会直接影响任务表现、工作负荷与信任度。一项关于人机团队操控模拟无人机的研究发现，即便任务完成率相近，不同的自主层级仍会在操作者压力、信任度及协作质量上产生可测量的差异[5]。研究人员得出结论：评估标准必须超越“智能体能否完成任务”，转向“人类与智能体作为队友而非工具，其协作效能如何”。
一项名为“和谐指数”的独立指标被专门开发出来，用于捕捉MOBA类游戏中的团队动态，事实证明，它在预测实际团队效能方面优于简单的胜负记录[4]。该指数利用真实世界的行为数据，为团队平衡提供可操作的反馈。这些发现共同表明，信任度调查、工作量评估以及团队动态指标（如和谐指数）应纳入任何多智能体评估体系，尤其是在有人类参与的情况下。
关于这些来源
该回答基于5篇经同行评审的研究——发表于2021年至2025年间，其中2篇为2024年及以后发表，1篇发表于Q1–Q2期刊，总被引次数达231次——这些研究是从5篇通过质量筛选的文献中选出的最具相关性的成果，而该5篇文献又源自一个包含超过5亿篇论文的数据库中所检索到的60篇论文。
本文引用的文献
基于结构信息原理的高效稳定角色型多智能体协作
在《星际争霸II》的微操任务中，SR-MARL角色发现方法在困难场景下将平均测试胜率提升了最高6.08%，而在超困难场景下则将性能偏差降低了最高66.30%，这表明稳定性提升可能远超胜率提升。
超越任务完成：评估智能体AI系统的框架
在生产级云自动化部署中，二进制任务完成指标未能捕捉到工具使用、记忆检索及智能体间协调中的行为偏差；而所提出的四支柱框架（大语言模型、记忆、工具、环境）则成功捕获了这些运行时的不确定性。
多智能体图注意力通信与协同
MAGIC通信协议在最困难的合作任务（Google Research Football）中实现了消息发送量减少27.4%，同时奖励提升约10.5%，这表明通信效率是一个独特且有价值的评估维度。
和谐指数：评估、预测与可视化多智能体团队动态中的有效性
和谐指数（Harmony Index）是一种基于数据的MOBA游戏团队动态衡量指标，它比简单的胜负记录能更准确地预测团队效能，并为游戏设计师提供可操作的反馈。
队友而非工具：自主程度对多智能体分布式团队中任务表现与人机协同动态的影响
在一项模拟的多无人机监视任务中，即使任务完成率相近，AI智能体不同水平的自主性也会导致操作员信任度、工作负荷、压力及协调质量出现可测量的差异，这凸显了在人类与智能体协同中，需要超越任务完成率来评估团队协作指标。