为何多智能体系统会引发新型“黑箱”问题
当多个AI智能体协同工作时，整个系统的理解难度可能远超单个智能体。2025年一项关于多智能体放射学系统的研究将这种现象称为“复合不透明性”——即专业智能体在图像分析、报告生成和治疗规划等任务协调过程中，因相互交互而产生的层层不可解释性[4]。传统可解释AI方法仅适用于孤立预测场景，面对这类多步推理链条时则完全失效[4]。
这并非仅仅是理论上的担忧。在电信模拟中，研究人员发现，即使单个智能体设计良好，不同“角色”（例如，具有不同编码风格或规划倾向的智能体）的组合也会导致持续存在的漏洞，如策略漂移和安全指标波动[1]。该研究在多次运行中测试了32组角色设定，发现虽然某些指标随迭代次数增加而改善，但其他指标仍不稳定[1]。
多智能体系统出现故障时，责任应由谁承担？
多项研究共同指出的一个核心风险是责任分散。当决策由多个自主智能体协作产生时，便难以明确谁——或什么——应为错误负责。2025年发布的一项多专家分析明确指出，“决策过程中的归因与共同责任问题”是智能体系统面临的关键挑战[2]。该论文呼吁建立“稳健的治理框架”和“透明的问责机制”以应对这一问题[2]。
这一担忧在关于科学工作中AI代理的研究中得到了呼应，作者们警告称，“责任缺口”可能导致基于错误或带有偏见的AI输出而做出糟糕的政策决策[5]。他们提议设立“AI验证专家”或“AI担保人”来监督诚信问题，但指出此类角色尚未成为标准实践[5]。2025年一篇关于代理型AI安全的章节进一步强调，治理挑战需要全球协调和公众参与，并暗示当前的监管力度不足以跟上发展的步伐[3]。
自主性-透明性悖论：能力越强的智能体越难被信任
在提升AI智能体的自主性与确保其足够透明以保障安全使用之间，存在直接矛盾。放射学领域的研究将这一现象称为“自主性-透明度悖论”——AI能力的增强与临床信任及监管监督所需的可解释性直接冲突[4]。这意味着，随着多智能体系统变得更加强大，在医疗等高风险场景中，它们也可能变得更加危险。
然而，证据也指出了潜在的缓解措施。电信研究发现，精心设计智能体角色与规划导向可提升安全指标，其中分析器惩罚机制与分配器-编码器一致性在迭代运行中呈现出渐进式改善[1]。这表明部分风险可通过优化系统设计加以管控，但同一研究也发现，特定角色组合下仍存在漏洞，说明没有任何单一方案能消除所有风险[1]。
关于这些来源
该回答基于5篇经同行评审的研究——发表于2025年至2026年，其中5篇为2024年及之后发表，累计被引用63次——这些研究是从58篇论文中筛选出的5篇通过质量审查的最相关文献，而58篇论文则源自一个涵盖超过5亿条记录的数据库。
本文引用的文献
合作式生成式多智能体系统中的安全与风险路径：电信视角
在包含32组角色设定的电信多智能体系统受控模拟中，研究发现，尽管某些安全指标在迭代运行中有所改善，但在特定角色组合下，政策漂移与变异性等持续性漏洞依然存在[1]。
AI智能体与智能体系统：多专家综合分析
一项多专家分析指出，智能体系统面临关键挑战，包括决策中的归因与共同责任问题，并呼吁建立稳健的治理框架和透明的问责机制[2]。
智能体AI安全的挑战
本章关于自主AI安全的讨论强调了包括非预期优化、欺骗性对齐以及价值漂移在内的风险，并指出治理需要全球协作与公众参与[3]。
超越单一系统：多智能体AI如何重塑放射学伦理
在放射学中，多智能体AI产生了“复合不透明性”——即智能体交互带来的层层不可解释性——以及“自主性-透明性悖论”，即能力增强与可解释性需求之间的冲突[4]。
在研究中运用AI智能体的益处与风险
在研究中运用AI代理的风险包括责任缺失、研究人员技能退化以及AI生成知识难以验证；该论文提出设立AI验证专家岗位以监督研究诚信[5]。