ReSA 窃取的是奖励而非提示
现有红队攻击分为两类。提示操纵攻击构造对抗性提示，但需要密集的查询级优化，或昂贵的离线训练来寻找通用后缀。对比解码攻击利用严格配对的安全与不安全模型之间的 logit 对比来修改 token logits，因此要求分词器和词表完全一致。论文认为这两类范式要么受制于高计算成本，要么依赖严格的模型配对。
ReSA 针对的是另一个对象：作者认为支撑对齐的潜在安全奖励。其主张是，RLHF 和 RLVR 重塑了 LLM 的输出概率分布，这种分布可被视为受一个底层奖励调控；该奖励从未被显式暴露，却始终跨提示、跨模型地支配输出行为。如果这个奖励能被还原，它就成为一种通用对抗信号，既不需要逐提示优化，也不需要配对的模型。
奖励提取把对齐模型当作专家
第一阶段把奖励还原建模为逆强化学习问题。对齐策略被当作专家，通过采样它对有害提示的回复来收集轨迹。提示分布被明确限制为有害提示，使优化只聚焦于安全域内的条件分布。
由于多个奖励模型都能解释同一批专家轨迹，还原问题本身存在歧义。论文采用最大熵原理，在与专家特征期望一致的轨迹分布中选取熵最高的那个。命题 1 指出，该约束问题具有唯一的闭式玻尔兹曼解，从而可把代理奖励写成轨迹特征的线性函数，特征提取器冻结，参数可学习。
优化使用标准的特征匹配梯度，把模型的期望特征推向专家的期望特征。由于模型期望难以计算，一个预训练生成式 LLM 充当可处理的采样器，用 GRPO 训练以最大化代理奖励，并对冻结的参考策略施加 KL 惩罚。论文把这种交替更新描述为类似 GAN 的动态：奖励模型是判别器，演员是生成器。
反转奖励把安全机制变成攻击先验
第二阶段推导出一个对抗策略，在最小化代理安全奖励的同时保持与安全策略接近，以维持生成质量。命题 2 给出最优对抗策略，它是安全策略上的指数倾斜分布，其中一个缩放因子控制对抗强度与生成质量之间的权衡。
由于全局配分函数的存在，直接在序列层面采样不可行，因此论文采用自回归近似，在每个解码步施加负奖励引导。恒定强度可能损害中性 token 的连贯性，所以方法引入基于边际奖励的自适应强度，即候选 token 奖励与上下文奖励之间的差距。对中性 token，对抗强度趋于消失；对安全含义重大的 token，则启用全部强度。
主动探索优于被动线性探测
为论证 IRL 框架的必要性，论文与一个监督式线性探测基线比较，该基线通过从冻结演员持续重采样轨迹来训练。在 Llama3.1-8B-Instruct 上，线性探测在 AdvBench 上达到 74.8 ASR，在 HarmBench 上达到 76.0，而 ReSA 分别达到 85.2 和 86.0。在 Qwen2.5-14B-Instruct 上差距更大：AdvBench 上 25.7 对 48.5，HarmBench 上 38.0 对 60.5。
作者把差距归因于两种方法的探索方式。被动采样无法挑战探测器的盲区，得到的决策边界较浅，在解码时易受奖励黑客攻击。ReSA 迭代更新的演员充当自动化的难负样本挖掘器，迫使奖励模型惩罚边界轨迹并逐步收紧安全边界。这是论文的解释，而非直接测量的机制。
没有完全未对齐的演员也能完成提取
该框架并不严格要求未对齐的演员。在 Unalign-Free ReSA 设置中，一个对齐模型充当演员，面对一个更严格的专家策略，两者之间相对的安全差距提供了足够信号来分离出真正的安全行为。在 Llama3.1-8B-Instruct 上，Unalign-Free ReSA 在 AdvBench 上达到 83.2 ASR，在 HarmBench 上达到 86.5，接近标准 ReSA 的 85.2 和 86.0。
在 Qwen2.5-14B-Instruct 上模式不同：Unalign-Free ReSA 在 AdvBench 上达到 56.2 ASR，高于标准 ReSA 的 48.5，但在 HarmBench 上为 51.5，低于 ReSA 的 60.5。论文结论是，跨家族提取可行且高效，无需完全未对齐的对应模型，尽管在该目标上两个基准并不同步。
攻击强度与对齐方法改变权衡
缩放因子支配攻击有效性与语言连贯性之间的权衡。在 Llama3.1-8B-Instruct 上，把它从 0.5 提高到 2.0，AdvBench 上的有害分数从 1.08 升到 3.79，同时困惑度从 17.11 升到 21.52。论文报告，约 1.5 处于最优帕累托前沿，既能取得高有害分数，又能维持困惑度水平。
对对齐方法的稳健性是混合的。尽管结构不同，ReSA 能从 DPO 和 RLVR 对齐的 LLM 中还原潜在奖励。从 DPO 还原的奖励能驱动强效有害生成，但带来更高的困惑度代价，作者将其与偏好优化碎片化的概率景观联系起来。从 RLVR 还原的奖励有效性减弱，作者归因于离散约束式对齐产生的信号更稀疏，更难以通过最大熵 IRL 重建。
移除自适应强度会削弱攻击有效性，却不会改善连贯性。论文把自适应项描述为一个过滤器，抑制对中性 token 的对抗压力，同时把攻击预算集中在安全关键的决策边界上。
还原出的奖励能区分安全与有害轨迹
论文验证 ReSA 重建的是潜在安全奖励，而非记忆表面模式。随着训练推进，梯度范数下降，同时演员 LLM 的有害分数也下降，作者将其解读为演员通过代理奖励更新逐步掌握专家行为。
安全景观可视化显示，从第 0 步到第 200 步，攻击成功率被抑制的区域变宽变深，因此最终模型在参数噪声下仍保持低 ASR。还原奖励的密度图呈双峰分布，对安全专家轨迹给出持续高分，对有害轨迹给出低分，形成显著的决策间隔。作者把这种可分性视为代理奖励在反转后能提供精确引导信号的证据。
可迁移性主张依赖单个还原奖励
论文的核心优先级是可迁移性：单个还原出的奖励可跨提示和跨多种模型泛化，这正是 ReSA 区别于逐提示优化和配对对比解码之处。因此最重要的比较不是任何单个 ASR 数字，而是一次提取能否迁移，报告中的跨模型和跨家族结果就是支持这一点的证据。
有两条边界限定该主张。第一，奖励是从特定专家策略中还原的，论文自身的敏感性结果显示，该策略背后的对齐方法会同时改变有效性和困惑度代价，其中 RLVR 导出的奖励明显更弱。第二，自适应强度并非可选：消融实验显示恒定强度会削弱有效性，却换不来连贯性。对评估这一攻击的读者而言，实际问题在于目标模型由哪种对齐方法产生，以及连贯性预算允许多大的对抗强度，因为这两个变量对结果的影响超过基准的选择。
本文引用的文献
Reward Stealing Attack on Large Language Models
ReSA 通过最大熵 IRL 从对齐 LLM 中还原代理安全奖励，并在解码时反转它，报告的攻击成功率和跨模型可迁移性高于提示操纵或对比解码基线。