核心治理模式是什么？
最有力的证据指向一个三层框架：自动关键词匹配、带思维链推理的语义分析，以及人类专家裁决。在对50个医疗领域特定对抗性提示词的系统评估中，关键词层仅识别出12个高风险案例中的2个（17%），这意味着它漏掉了83%的危险输出[1]。语义层使用更先进的AI模型，捕获了全部12个高风险案例（100%），且零误报，人类专家与其评估结果完全一致（kappa = 1.00）[1]。这表明，纯粹基于自动化、模式匹配的方法是不够的；你需要一个能理解上下文和意图的语义层，再加上人类监督来进行验证和裁决。
如何将这一方案从一次性测试扩展到规模化应用？
对于将被广泛部署的AI智能体而言，红队测试必须是持续且贯穿整个生命周期的，而非一次性的审计。自主红队智能体能够生成新颖的攻击场景，根据模型响应调整策略，并持续运行，从而比仅由人类主导的团队提供更全面、更可复现的覆盖范围[3]。这与在宏观（系统层面，覆盖整个开发生命周期）和微观（模型层面）两个尺度上实现红队测试操作化的建议相一致[4]。因此，治理模式应将自主智能体整合到开发和部署流程中，同时保留人类专家进行监督和伦理判断[3]。
什么样的治理结构能确保问责制？
治理模型必须明确界定角色、流程和问责机制。构建—攻击—防御（BAD）框架将开发、安全及利益相关方之间的协作流程正式化，确保红队演练具有可重复性并得到有效整合[2]。对于智能体AI系统，模型—控制—策略（MCP）框架提供了一种结构化方法来治理自主工作流，将可解释性、人在回路及红队演练作为关键控制措施纳入其中[5]。这些框架强调，红队演练不仅是技术性工作，更是一种治理实践，需要多职能团队的参与，并关注社会技术风险[4]。
关于这些来源
本回答基于5项同行评审研究——发表于2024年至2026年，其中5项为2024年或之后发表——这些研究是从5项通过质量筛选的研究中选出的最具相关性的成果，而这些研究又源自从超过5亿篇论文的数据库中检索到的43篇文献。
本文引用的文献
AlignInsight：一种用于检测医疗AI系统中欺骗性对齐与评估感知的三层框架
在对50个医疗保健提示词的系统评估中，一个三层框架（关键词、语义、人工）发现，关键词匹配漏掉了83%的高风险案例，而语义分析则100%捕获，且零误报，与人工判断完全一致（kappa=1.00）。
AI红队行动手册
提出了一份在“构建-攻击-防御”（BAD）框架内进行AI红队演练的操作手册，明确了开发、安全及利益相关方之间的协作流程，以建立可重复的红队机制。
AI系统的自主安全测试：评估AI红队代理在持续对抗性评估与模型韧性中的应用
提出了一种自主AI红队智能体框架，能够生成新颖攻击、调整策略并持续运行，与人类主导的团队相比，在覆盖范围、效率和可复现性方面均有显著提升。
AI红队测试
认为当前AI红队测试过于狭隘地聚焦于模型层面的缺陷，并提出一个双层框架（宏观系统与微观模型）及六项建议，强调多功能团队和社会技术风险。
网络安全中的智能体AI工作流：机遇、挑战及基于MCP模型的治理
提出了一种用于治理网络安全中智能体AI工作流的模型–控制–策略（MCP）框架，将可解释性、人在回路以及红队测试作为关键控制措施纳入其中。