多智能体AI系统安全可靠的证据何在？
最大的证据缺口在于缺乏全面的临床和真实世界验证。在放射学领域，多智能体框架在减少幻觉、提升诊断准确性方面展现出潜力，但“缺乏全面的临床验证”，且“计算需求过高”[1]。同样，一项关于医疗领域多智能体人工智能的综述指出，这类系统会形成“复合不透明性”——多个智能体交互产生的层层难解的决策过程——使得安全性几乎无法验证[2]。若缺乏在真实临床环境中开展的大规模、严谨试验，我们根本无法判断这些系统是否足够安全以供常规使用。
问题在于，传统的可解释人工智能方法在应用于多智能体系统时失效。在放射学领域，适用于单一诊断预测的方法“在涉及多个专业智能体的多步推理过程中无法奏效”[6]。这意味着我们甚至缺乏适当审计这些系统的工具，从而在安全保障方面留下了关键空白。
多智能体系统出错时，责任该由谁承担？
第二个重大缺口在于问责机制：当多个AI智能体协同运作时，错误责任的归属变得极其困难。一篇关于医疗多智能体系统伦理问题的叙事性综述指出，"错误传播与归因困难，导致临床伤害的问责复杂化"是一项关键挑战[2]。另一项针对智能体系统的多专家分析也证实，"决策过程中的归因与共同责任问题"是尚未解决的核心难题[4]。这并非杞人忧天——在医疗场景中，若诊断智能体、治疗方案规划智能体与资源管理智能体共同导致错误决策，究竟该由谁承担责任？现有证据尚未提供清晰的框架来回答这一问题。
这一问题因“自主性-透明性悖论”而进一步加剧：随着AI智能体能力增强、自主性提高，其可解释性反而降低[6]。这与医学等高风险领域对透明度的需求直接冲突。若缺乏清晰的问责框架，监管机构和临床医生将难以信任或采纳这些系统。
不同AI智能体之间的协作效果究竟如何？
第三个证据缺口涉及未经协同设计的智能体之间的协调问题。在自动驾驶的多智能体感知中，当不同智能体采用不同的神经网络模型时，传输的特征可能存在“巨大领域差异”，导致性能显著下降。2023年的一项研究发现，与基线方法相比，一个轻量级桥接框架将3D目标检测性能提升了至少8%，但这恰恰凸显了缺乏此类修复时性能损失之严重[3]。这一问题普遍存在：在多智能体强化学习中，关键挑战包括“非平稳性”（环境随其他智能体的学习而变化）和“可扩展性”[8]。这些协调失败不仅是技术上的麻烦——它们可能引发难以预测或控制的突发性、不可预知的行为[5]。
证据还表明，通信限制是一个主要障碍。在异构多智能体系统（即各智能体能力不同）中，有限的通信渠道可能阻碍智能体达成共识[9]。另一项关于自适应共识的研究发现，“有限信息”——即智能体之间传输的不完整数据——对系统稳定性构成了重大挑战[7]。这些发现表明，如果没有更好的方法来处理多样化的智能体和有限的通信，多智能体系统在实际应用中仍将脆弱且不可靠。
关于这些来源
该答案基于9篇经同行评审的研究构建而成——发表于2021年至2026年间，其中6篇为2024年及以后发表，2篇发表于Q1期刊，累计被引用505次——这些研究是从15篇通过质量筛选的文献中选出的最具相关性的成果，而该15篇文献又源自从超过5亿篇论文数据库中检索到的72篇论文。
本文引用的文献
放射学中的自主AI与大语言模型：机遇与幻觉挑战。
2025年的一项综述指出，多智能体人工智能在放射学中可提升诊断准确性并降低错误率，但相关方法缺乏全面的临床验证，且计算需求较高。
多智能体AI系统在医疗中的伦理问题：一项叙述性综述
这篇2026年的叙述性综述基于21篇文章，识别出医疗多智能体人工智能中的七大关键伦理挑战，包括复合不透明性、错误传播以及人类监督的削弱。
弥合多智能体感知中的领域差距
这项2023年的研究提出了一种轻量级框架，用于弥合多智能体感知中的领域差异，在3D目标检测任务上相比基线方法实现了至少8%的性能提升。
AI智能体与智能体系统：多专家综合分析
这份2025年多专家分析指出了智能体系统面临的关键挑战，包括归因与共同责任、与遗留系统的兼容性，以及偏见问题的应对。
AI Agent与Agentic AI：概念分类、应用与挑战
这份2025年的综述区分了AI智能体与智能体AI，指出了每种范式面临的独特挑战，包括幻觉、脆弱性、涌现行为以及协调失败。
超越单一系统：多智能体AI如何重塑放射学伦理
这篇2025年的论文探讨了放射学中的多智能体AI如何产生“复合不透明性”以及自主性与透明度之间的悖论，即能力提升与可解释性之间的冲突。
针对不确定非线性多智能体系统，基于有限信息的自适应一致性控制
这项2024年的研究探讨了在信息受限条件下，不确定非线性多智能体系统的自适应共识问题，表明不完整的数据传输会带来显著挑战。
多智能体强化学习：挑战与应用综述
这篇2021年关于多智能体强化学习算法的综述指出了关键挑战：非平稳性、可扩展性和可观测性，并基于这些维度对算法进行了比较。
异构多智能体系统在有限通信条件下的脉冲分层控制
这项2023年的研究探讨了在通信受限条件下异构多智能体系统的共识问题，通过引入虚拟层和脉冲控制来处理不同维度的智能体。