解码时重对齐能否免重训调节语言模型对齐？

DeRa 把正则强度旋钮移到解码阶段

基于人类反馈的强化学习（RLHF）等对齐方法要权衡两件事：最大化学到的奖励，以偏向人类偏好的回答；同时保持与监督微调模型（即参考模型）的接近。这种接近由强度为 β 的 KL 惩罚约束。正则太弱会诱发奖励黑客，即模型钻奖励的空子并损失能力；正则太强又会阻碍对齐。要找到合适的 β，通常得为每个候选值单独重训一个模型，对大模型而言代价很高。

DeRa 免去了这种重训。论文证明，不同 KL 强度下的对齐模型都是参考分布与某个对齐分布的几何混合，只是混合权重不同。DeRa 在解码时自回归地近似这些混合：把参考模型和对齐模型的 logits 线性组合，再从得到的 softmax 中采样 token。一个标量 λ 把有效强度设为 β/λ，因此 λ = 1 复现原始对齐模型，λ = 0 复现参考模型。

胜率比较了 DeRa 与重训模型

主要定量测试使用摘要任务。作者从测试折中抽取 1000 条查询，用每个重对齐模型生成回答，再让 PaLM 2 Large（text-unicorn-001）判断每对回答中哪个更好。胜率是被偏好样本占全部样本的比例，因此每个数字都相对于某个指定对手，而不是绝对质量分。

他们让 λ 取 {0.5, 2/3, 1.0, 2.0, 5.0, 10.0}，对应 KL 强度 β/λ 为 {0.2, 0.15, 0.1, 0.05, 0.02, 0.01}。λ 大于 1 属于外推：组合后的 logits 落在参考与对齐 logits 的凸包之外。作者有意纳入这些值，以压力测试 DeRa 在此处是否仍能合理近似。比较分别针对参考模型、基础对齐模型，以及同强度下从头重训的模型进行。

DeRa 与重训吻合，并找到更优强度

有两个发现值得注意。第一，DeRa 找出的 KL 强度，其胜率超过了默认强度 β，在论文图中表现为高于红色参考线的点。第二，DeRa 与重训模型总体吻合良好，即使在外推区间 λ > 1 时也保持这种吻合。作者据此认为，DeRa 可以作为一种低成本而准确的方式，在决定投入重训之前先选出有效的 KL 强度。

同一比较还诊断了基础模型。在摘要设置中，DeRa 提示对齐模型正则过强：降低 KL 惩罚（λ > 1）提高了胜率，重训模型也证实了这一点。附录报告了相反情形：DeRa 标记出正则过弱的模型，并建议用 λ < 1 加大 KL 强度。扫描给出的不只是差距是否存在，还包括调整方向。

幻觉控制呈现同样的双向权衡

第二个任务测试检索增强生成中的幻觉缓解。模型要把正反论点列表改写成散文，同时严格保持原意、不添加新内容。一个 PaLM 2 模型通过 LoRA 充当奖励模型，另一个 PaLM 2 用基于 LoRA 的 RLHF 在 β = 0.1 下对齐。随后 DeRa 让 λ 取 {0.011, 0.1, 0.5, 0.67, 1, 2, 5, 10}，对应强度 β/λ 从 9 到 0.01。

定性结果是权衡而非单一最优点。λ 较低时行为更接近参考模型，幻觉倾向上升。增大 λ 会改善所需的改写行为，但继续增大则损害自然度：模型逐字照抄原始论点并失去连贯性，论文将其标记为奖励黑客。这是定性示例，不是胜率测量，因此不应读作调好的阈值。

聊天模型扫描显示提升空间有限

附录把 DeRa 用于 Zephyr-7b，这是一个基于 Mistral 7b 用 DPO 微调的开源权重聊天模型，其发布包含 SFT 模型和 β = 0.1 的对齐模型。让 λ 从 0 到 2.0 以 0.2 为步长扫描，并用 GPT-4 按 1 到 10 分给 MT-Bench 的 160 个问题打分，λ = 1 的基础强度已接近最佳分数。作者因此预计，对这个模型重新调整 KL 强度带来的提升潜力有限。

他们仍把 λ = 0.5（β/λ = 0.2）视为合理备选，因为此时 MT-Bench 分数仍接近峰值，而更强的正则可以保护对齐通常会削弱的能力。在该强度重训 Zephyr-7b 证实了这一推理：MT-Bench 平均 7.23，原始模型为 7.37；Open LLM 排行榜平均分从 59.23 升至 61.55，GSM8K 从 12.74 回升到 30.02。同一张表也显示了代价：TruthfulQA 从 57.45 降至 54.72。

节省训练成本，但解码开销翻倍

DeRa 的好处体现在训练阶段：它避免为大量正则强度逐一重训，并允许在解码时按用户、提示或任务选择强度。论文指出，组合两个模型的 logits 会使解码时间和内存相对标准解码翻倍。附录表明，改为组合模型权重而非 logits 可行，但会带来性能损失，这与以往权重组合研究的发现一致。

阅读证据时要注意范围。定量胜率比较来自一个摘要任务，评判者是 PaLM 2，使用 1000 条测试查询；幻觉案例是定性的；聊天模型证据是附录中对 Zephyr-7b 的扫描，由 GPT-4 在 MT-Bench 上打分。该方法假定同时能拿到参考检查点和对齐检查点，论文指出 Llama-2 和 Mistral 7B 等开源权重模型具备这一条件。

先扫描，再只重训胜出的强度

论文确立的实践优先级是两阶段流程：先用 DeRa 在验证数据集上扫描 λ，定位有希望的强度，然后只对选中的强度重训。支持这一顺序的证据是：在整个扫描范围（包括外推）内，DeRa 与重训模型高度吻合；以及一个具体案例——DeRa 在 λ = 0.5 的建议下重训出的 Zephyr-7b，以 MT-Bench 小幅下降换来了更高的排行榜平均分和强得多的 GSM8K。

值得带走的判断是有条件的。当基础模型正则过强或过弱时，如摘要设置，扫描会指出值得重训的方向和幅度。当基础强度已接近峰值时，如 Zephyr-7b 的 MT-Bench 扫描，诚实的结论是：在该基准上重新调参收益很小，支持更强 KL 惩罚的理由在于保住数学推理这类能力，而不是提高对齐分数本身。

本文引用的文献