真实自适应提示注入攻击对 LLM 邮件代理有多有效？

衡量整条攻击链的基准

LLMail-Inject 是一个公开的红队挑战，围绕一个模拟的 LLM 邮件助手搭建。参与者只写一封邮件；模拟用户要求助手总结邮件或回答关于邮箱的问题；检索器把相关邮件取进模型上下文；模型则可能调用 send_email 工具。攻击者的目标是让助手用错误的参数调用这个工具，例如把邮件发到用户从未提到的地址。

关键设计在于：成功与否不看模型是否复述了注入的文本。只有攻击者的邮件被检索到、躲过所有已部署的防御，并触发参数正确的工具调用，这次提交才算成功。正因如此，论文称该基准衡量的是完整的执行链，而不是单个分类步骤。

背后的语料规模很大：839 名参与者在跨五个月的两个阶段中提交了 461,640 次尝试，最终得到 208,095 条不重复的提示。参与者自己撰写攻击，并且知道部署了哪些防御，因此数据集收录的是社会工程和说服式手法，而不只是“忽略之前的指令”这类显式字符串。

模板基准为何低估真实风险

论文的出发点是比较两类测量之间的落差。现有提示注入基准通常只含 100 到 1,000 条由固定模板生成的攻击样例。在这些集合上评估的防御可能过拟合于狭窄的模式，模型表现也趋于饱和——作者把这视为基准已失去区分能力的信号。

LLMail-Inject 换掉了分母。它不问分类器能否识别已知模板，而问一封针对特定子关卡人工撰写的邮件，实际促成未授权工具调用的频率有多高。按这个标准，同样的模型显得弱得多：论文指出，专门针对提示注入训练、在以往基准上 ASR 低于 5% 的 Meta SecAlign，在这里达到 32%；GPT-4o 达到 58%，GPT-5 mini 为 47%。

这些数字来自竞赛结束后对已收集攻击的回放，而不是实时排行榜，因此衡量的是固定的人工攻击语料对各模型的效果，而不是有动机的攻击者多快能攻破一个关卡。

攻击虽强，端到端成功仍属少数

高 ASR 并不意味着大多数提交都奏效。在所有提交中，不到 1% 能同时做到被检索到、躲过防御并以正确参数调用工具。多数尝试在链条的某一环失败，而这正是模板基准把攻击直接交给模型时所跳过的复杂性。

论文还报告了一个相关现象：被检测到的攻击，其工具调用率明显高于未被检测到的攻击。也就是说，穿过防御的攻击并不只是喊得最响的那些；防御层与工具调用层之间存在相互作用。叠加防御进一步压低了成功率，在第二阶段，当所有防御同时启用时，没有任何提交攻破 GPT-4o-mini 的子关卡。

这正是论文的核心张力：人工撰写的攻击单看比模板更危险，但一条包含检索和多层防御的真实流水线，仍会滤掉其中绝大多数。

文本分类器是最薄弱的一环

挑战部署了五种防御：Spotlighting（用分隔符包裹并标记不可信内容）、名为 Prompt Shield 的生产级黑盒分类器、被提示去标记注入的 LLM 裁判、TaskTracker（在外部数据处理前后比较激活差异的线性探针），以及全部组合。

文本分类器无法可靠区分合法的邮件指令与攻击，召回率只有 60%–68%。作者将其解释为表层特征问题：真实工作邮件本就包含指令，因此按已知攻击模式匹配的分类器，要么误报正常邮件，要么漏掉读起来像普通请求的攻击。LLM 裁判表现好得多，召回率达到 99.4%，但论文指出它所需的攻击者尝试次数是文本分类器的 5–6 倍——这是成本上的权衡，而非免费的胜利。

在第一阶段，完整防御组合对调用了 send_email 工具的攻击提交达到 99.8% 的召回率。这个数字描述的是对已经走到工具调用这一步的提交的检测能力，并不等同于端到端 ASR，两者不能互相替代。

攻击可迁移到编程与文件任务

为检验语料在邮件之外是否有用，作者在 GPT-4o 上做了两组迁移实验。第一组保留攻击提示，只更换代理脚手架：一个概念验证的编程代理，系统提示、上下文和工具都不同，send_email 仅用于发送告警。攻击在那里达到 37% ASR，而原始邮件场景为 58%。

第二组用 LLM 改写成功的攻击，使其瞄准新目标。文件上传任务达到 28% ASR，日历删除任务达到 45% ASR。作者将其作为概念验证，说明迁移过去的是策略而不只是措辞——从总结邮件到分析数据集的语义转变，并没有让攻击失效。

迁移数字低于邮件基线，且只来自单一目标模型，因此它们指示的是方向和大致量级，而不是一个通用的跨领域成功率。

分类体系能催生新攻击，而非只能回放

回放固定语料检验的是旧攻击是否仍然有效，并不检验底层手法能否生成新攻击。作者从成功攻击中提炼出一套分类体系，并用 GPT-5.4 据此生成 500 条新提示，过程中不针对目标模型的反馈做迭代。

这 500 条中有 90 条攻破 GPT-5.4-mini（18% ASR），10 条攻破 GPT-5.2（2% ASR）。由于没有递归优化，作者称这些数字衡量的是提炼出的模式能否被复用，而不是任一目标模型的最大脆弱性。

这一区分对解读头条 ASR 数字很重要：18% 和 2% 是在固定一次性流程下的生成结果，而 32%–58% 是在大规模人工语料上的回放结果。

这组比较无法确定的事

模型之间的比较是描述性的，而非因果性的。在这些实验中，较低的 ASR 与指令层级训练和更多推理相关，但专有模型在架构、训练数据、安全流程和推理设置上各不相同，无法分离。论文对此有明确说明。

第二阶段还一次性捆绑了多项改动——更新的分类器、更新的 TaskTracker 模型、修订的裁判提示、防御性系统指令、输入清洗以及一致性黑名单——因此成功率下降无法归因于任何单一组件。作者称第二阶段是让更强的防御组合再经受一轮自适应攻击，而不是受控消融实验。

攻击目标也较窄：多数子关卡针对发送邮件，第 4 关才加入数据外泄。这使 64 个子关卡保持可比，并保证每种配置收集到足够攻击，但也意味着该语料不是覆盖多种工具的通用代理安全基准。

防御重点应转向何处

论文中最具决策价值的比较发生在防御类型之间，而非模型之间。生产级文本分类器是最弱的防御，LLM 裁判强得多但攻击者尝试成本也高得多，而叠加防御取得了最好的召回率。对需要决定投入方向的部署方来说，这一排序——先叠加，再投入上下文推理而非模式匹配——直接来自实测的召回率与成本数字。

作者提出的方向是上下文检测：让防御去推理指令是给谁的（用户还是助手）、哪些动作与当前任务一致、以及拟议动作是否真是用户要求的。支持它的证据是间接的——依据是表层分类器的失效，以及那些读起来像普通工作邮件的攻击——因此这是一个有依据的设计建议，而不是本文已验证的结果。

实际含义是：模型在模板基准上的得分，几乎说明不了它面对人工撰写邮件攻击时的暴露程度；即便单条攻击很强，带检索和叠加防御的端到端流水线仍是更难攻破的目标。

本文引用的文献