自蒸馏能让 LLM 智能体抵御提示注入又不损失效用吗？

RAISED 要打破的效用与安全权衡

工具型智能体会读取来自网页、邮件、文档和工具输出的不可信内容，因此隐藏在这些内容中的指令可能劫持智能体，使其偏离既定任务。防御面临双向约束：模型必须抵御工具输出中的对抗指令，同时仍要执行这些输出中可能合法包含的任务相关指引。

论文认为，现有训练期防御以效用为代价换取鲁棒性。监督微调的目标来自外部来源而非基座模型自身的输出分布，可能使模型偏离原有行为；而 DPO 等基于偏好的防御，在含注入的上下文上优化偏好响应相对于被拒响应，却没有直接匹配模型在干净上下文上的预测分布。论文报告称，基于训练的防御会引起模型输出分布的显著漂移，即使在良性场景下也改变其行为，并将这种漂移视为效用退化的潜在机制。

智能体不再执行工具输出指引的失效模式

除分布漂移外，论文还指出一个具体失效模式：在良性工具使用任务中，模型执行到某一步后，会拒绝执行完成任务所需的某个已授权步骤，尤其是当该步骤由工具输出指明时。即使模型被明确要求端到端完成任务、无需用户进一步介入，任务仍会半途而废。

论文的解释是训练目标中的不对称性。该目标持续推动模型远离那些遵循工具输出中注入指令的响应，却对遵循同一渠道中合法可执行信息提供的信号少得多。观察到的失败符合这种不对称下的自然捷径：模型把工具输出当作信息使用，却回避按其指引行动，即使这样做是完成已授权任务的必要条件。

RAISED 如何训练不变性而非新策略

RAISED 结合了自生成与自蒸馏。被防御模型的一个冻结副本同时充当数据生成器和教师，可训练副本充当学生。在自生成阶段，冻结模型创建工具使用场景，重点覆盖完成任务必须依据工具输出中合法指引的情形，并由同一模型生成干净的任务求解轨迹以及针对其工具输出的注入。

在自蒸馏阶段，学生在同一轨迹的干净变体和注入变体上，于生成的词元位置最小化教师下一词元分布与学生分布之间的 KL 散度。在干净上下文上，这使学生保持接近冻结模型的原始分布，限制漂移。在注入样本上，同样的教师目标训练学生在加入对抗内容的情况下恢复原始预测。由于合法工具内容保持不变，该目标鼓励模型抵御注入，同时仍执行完成任务所需的合法指引。为提升效率，方法只存储教师 top-K 词元概率外加一个残差桶；论文报告残差桶通常只含很少概率质量，约为 10^-5。

无需牺牲效用的鲁棒性提升

论文的核心主张是，RAISED 大幅降低了工具响应中提示注入的攻击成功率，并且与以往基于训练的防御不同，在智能体基准和通用基准上都保持效用。对比对象是 SecAlign++ 的 313 步检查点，即论文用于主要比较的检查点。

论文报告称，RAISED 达到或超过 SecAlign++ 的鲁棒性，同时更好地保持良性效用，并且引起的分布漂移远小于 SFT 或 DPO。作者由此得出的框架是：当期望行为已存在于干净模型中时，防御性训练应在攻击下保留它，而不是学习一个新的防御策略。

更长训练降低攻击成功率却掩盖能力损失

论文说明了检查点选择为何会影响对这些防御的评价。延长 SecAlign++ 训练会持续提升鲁棒性：在 Nemotron 上，AgentDojo 的 ASR 从 313 步的 4.0±0.7% 降至 625 步的 0.7±0.0%，AgentDyn 的 ASR 从 7.8±0.3% 降至 3.0±0.2%。仅看安全基准，进一步训练似乎有益。

通用能力评估则给出不同图景。从 313 步到 625 步，MMLU 从 48.3±0.7 降至 42.8±0.3，GPQA 从 43.8±1.7 降至 39.4±1.1，Minerva Math 从 75.0±0.1 降至 66.1±0.9，MBPP 从 64.6±1.0 降至 13.4±2.7。在良性智能体基准上，影响较温和但不均匀：ToolTalk 从 43.2±0.6 降至 42.7±0.6，BFCL 从 33.0±0.4 降至 31.8±0.8，MMT-Bench 从 43.4±0.3 降至 41.9±0.3，AsyncTool 从 34.5±0.3 降至 32.3±0.8，而 WorkBench 上升。论文的解读是，延长训练带来的不是统一崩塌，而是更广泛且日益不均匀地偏离原始检查点的能力，仅按攻击成功率选择检查点可能掩盖其他方面的显著退化。相比之下，RAISED 在同一套评估上保持接近 Vanilla 检查点。

消融实验区分训练数据与训练目标

由于 RAISED 在训练目标和训练数据上都与 SecAlign++ 不同，论文在 Gemma-4-12B-it 上进行了受控比较。在固定 Glaive Function Calling v2 轨迹、注入位置和渲染输入的情况下，自蒸馏在同样低的攻击成功率下比 SFT 或 DPO 保留更多良性智能体效用：在 AgentDojo 上达到 80.1 效用，而 DPO 为 79.1、SFT 为 73.2；在 AgentDyn 上为 55.5，而两者分别为 48.6 和 17.5。SFT 的攻击成功率略低于自蒸馏，但效用代价大得多。

在固定目标的情况下，自生成轨迹带来进一步的效用增益。使用 DPO 时，将 Glaive 替换为自生成数据使 AgentDojo 的良性效用从 79.1 升至 82.2，AgentDyn 从 48.6 升至 55.6，同时 ASR 分别从 1.8 降至 1.0、从 2.3 降至 1.6。自蒸馏呈现同样趋势，分别从 80.1 升至 83.5、从 55.5 升至 60.0，同时保持低 ASR。在保持生成流程其余部分不变的情况下禁用高层结构模式，AgentDojo 效用从 83.5 降至 80.8±0.4，AgentDyn 从 60.0 降至 56.7±2.1，接近自蒸馏下使用 Glaive 轨迹得到的 80.1 和 55.5。论文得出结论，收益主要来自针对那些锻炼其希望保留行为的场景，而非仅来自合成数据生成。

注入下内部状态变化更小

论文检验了训练目标是否体现在模型内部。在 AgentDojo 的 88 个干净/注入上下文对上，它测量了 48 个解码器块中每一块由注入引起的隐藏状态变化，以及各训练模型与基座模型在干净上下文上的距离。注入在各模型早期块中产生相似模式，随后在约第 31 块出现峰值，此处基座模型的相对 L2 变化为 0.45，RAISED 为 0.23。

伴随的行为检查覆盖 72 个对：RAISED 在 12.5% 的检查对中启动了被注入的工具调用，而基座模型为 62.5%，SecAlign++ 为 13.9%。RAISED 在干净上下文上也比 SecAlign++ 更接近基座模型（第 47 块为 0.12 对 0.19），其相对基座模型干净预测的 KL 为 0.011 nats，而 SecAlign++ 为 0.062，基座模型为 0.338。论文认为这些测量与目标意图一致：降低对注入内容的敏感性，同时限制对干净上下文行为的改变。

鲁棒性主张的适用边界

威胁模型是静态间接提示注入，即对抗内容独立于被防御模型选择。这与 InjecAgent、AgentDojo 和 AgentDyn 的评估协议一致，也是论文提出鲁棒性主张的场景。作者还尝试了使用 PISmith 的自适应黑盒攻击，但报告称在大多数模型-防御配置中优化奖励始终为零，使优化器没有信号。他们明确指出，失败的优化运行不能作为自适应鲁棒性的证据，并将实证主张限定在静态威胁模型；对模型自适应提示注入的鲁棒性仍是未解问题。

还有两个边界对解读效用结果很重要。干净上下文自蒸馏保留的是模型自身行为，而非提升其正确性，因此如果干净模型选错工具、遵循糟糕计划或产生幻觉，该目标会在注入下保留这些行为而非纠正它们；被防御模型的质量受干净上下文教师的上限约束。评估覆盖三个具有不同分词器、后训练配方和基线鲁棒性的模型家族，但不包括万亿参数级的前沿模型，因此同样的安全-效用行为是否在该规模下持续仍是实证问题。论文还将 RAISED 定位为纵深防御机制，补充而非替代访问控制、沙箱、能力限制和最小权限工具设计。

比较检查点要看能力而非只看攻击成功率

这里最具决策相关性的结果不是单一攻击成功率数字，而是两项测量的配对。在 Nemotron 上，将 SecAlign++ 从 313 步延长到 625 步，使 AgentDojo 的 ASR 从 4.0±0.7% 降至 0.7±0.0%，同时 MBPP 从 64.6±1.0 降至 13.4±2.7，Minerva Math 从 75.0±0.1 降至 66.1±0.9。仅按攻击成功率选择的检查点看起来严格更优，却带有只在通用能力套件上才显现的能力损失。

这正是 RAISED 想要赢下的比较：在同样低的攻击成功率下，它在智能体基准和通用基准上都保持接近 Vanilla 检查点，消融实验将收益归因于两个可分离的选择——用干净上下文分布匹配而非 DPO 式偏好目标，以及专门锻炼依据合法工具输出指引行动的自生成轨迹。Qwen 的结果将该模式扩展到已处于低 ASR 状态的模型，RAISED 仍在不降低良性工具使用能力的情况下降低了 AgentDojo 和 AgentDyn 上的攻击成功率。对于正在权衡训练期注入防御的读者，论文自身证据表明：应在攻击成功率之外，用能力基准评估被防御检查点，并检查该防御是否仍允许智能体执行通过同一工具输出渠道传来的合法指令——而它正被训练去不信任这一渠道。

本文引用的文献