安全边界究竟应该划在哪里？
多智能体平台的安全边界应当划定在系统架构层面，而不仅仅停留在单个智能体的层面。一篇关于云原生系统中代理式AI的2026年论文指出，自主决策循环可能在运行过程中产生不稳定或具有经济破坏性的结果，因此必须将显式的控制与安全边界内建于架构本身，并将可观测性与确定性干预作为强制性基础设施[5]。这意味着安全边界并非一条单一的线，而是一组每个智能体都必须遵守的约束，外加一套在约束被违反时切换到安全回退机制的方案。
控制屏障函数（CBFs）是定义这些边界的有力工具。在分布式单纯形架构中，每个智能体运行一个局部安全控制器，该控制器利用CBFs来决定何时从高级（可能不安全的）控制器切换到基线安全控制器[2]。因此，安全边界由CBF约束定义，并且如果基线控制器总能为其优化问题找到解，则该架构可保证安全性。然而，这一保证依赖于可行性——如果优化变得不可行，安全性可能受到损害，因此切换逻辑必须避免此类状态[2]。
这些边界在实践中表现如何？
证据显示，最佳情况与典型情况下的表现之间存在差距。在2026年针对消费级AI聊天机器人处理儿科健康问题的一项基准测试中，四个模型的整体安全适当率为95.5%，但这是在部署了以安全为导向的系统提示词的情况下实现的[1]。在没有这些提示词时，该比率较低——提示词将安全性提升了5.9个百分点[1]。这表明安全边界并非自动生成，而是需要精心设计和配置。
对抗性压力也可能将系统推向不安全的行为。同一项基准测试发现，虚假的专业资质声称是最易诱发漏洞的压力模式，而情绪升级则与最高的安全评分相关[1]。这意味着边界必须对操纵具有鲁棒性，而不仅仅是对偶然错误具有鲁棒性。对于多智能体系统，2024年一项关于自适应安全学习的研究发现，控制屏障函数（CBF）的配置深刻影响涌现行为，且手动调参往往不够充分——他们提出了一种自适应强化学习框架，以自动调整CBF系数[4]。
边界划定后，如何强制执行？
执行需要运行时保障与自适应学习的结合。分布式单纯形架构提供了一种运行时保障技术，在必要时切换到安全基线控制器，并已在集群编队、地面漫游车导航和微电网运行中进行了测试[2]。这是一种确定性方法，只要基线控制器的优化可行，就能保证安全性。
对于随机系统，2022年的一篇论文提出了一种概率安全证书，即使在每个智能体缺乏系统完整信息的情况下，也能保证长期的安全与性能满足概率[6]。这在存在不确定性的环境中尤为有用。此外，2023年一篇关于分布式安全验证的论文采用场景采样方法，以分布式方式量化安全性，该方法可扩展至大规模网络[7]。
然而，执行并非万无一失。一篇2023年关于虚假数据注入攻击下纳什均衡搜索的论文指出，大多数现有算法在网络攻击下会失效，且状态约束常被忽视，这可能导致系统崩溃[3]。这凸显了对具备攻击韧性且明确考虑状态约束的边界条件的迫切需求。
关于这些来源
本回答基于7项同行评审研究——发表于2022年至2026年，其中3项为2024年或之后发表，3项发表于Q1期刊——这些研究是从9项通过质量筛选的研究中选出的最相关成果，而该9项研究又源自从超过5亿篇论文的数据库中检索到的57篇文献。
本文引用的文献
面向儿童健康咨询的消费级人工智能系统中的安全边界维护：在自然与对抗性压力条件下的跨平台基准评估。
在一项针对四款消费级AI聊天机器人的600个儿科健康查询基准测试中，整体安全适当率为95.5%，而面向安全的系统提示词将安全性提升了5.9个百分点；虚假专业资质声明是最易诱发漏洞的压力模式。
一种用于多智能体系统的分布式单纯形架构
提出分布式单纯形架构，这是一种运行时保障技术，利用控制障碍函数来确保多智能体系统的安全性，前提是基线控制器的优化问题保持可行。
虚假数据注入攻击下多智能体博弈的分布式纳什均衡搜索
针对虚假数据注入攻击下的纳什均衡搜索问题，指出大多数现有算法在攻击下失效，且常常忽略状态约束，这可能导致系统崩溃。
学习多智能体系统的自适应安全性
提出了ASRL，一个自适应安全强化学习框架，能够自动优化策略与CBF系数，并表明CBF配置对涌现行为有深远影响，而手动调参往往不足以应对。
云原生分布式系统中智能体AI的控制与安全边界
认为云原生系统中的智能体AI必须通过系统架构层面的显式控制与安全边界进行治理，并将可观测性与确定性干预作为强制性基础设施。
多智能体系统的概率安全证书
提出了一种针对随机多智能体系统的概率安全证书，该证书通过短视评估确保长期安全概率和性能满足，即使智能体缺乏完整信息时也依然有效。
多智能体系统的分布式安全验证
针对网络化非线性多智能体系统，提出了一种基于场景采样的分布式安全验证算法，并在多机器人避碰场景中进行了验证。