一个凸损失族涵盖 DPO、IPO 与 SLiC
这篇论文的核心做法，是不再把离线对齐算法当成彼此独立的配方。它定义了一个统一的损失：对每个偏好对，把某个凸函数 f 作用在一个对数比之差上，再对所有偏好对取平均。这个对数比之差是：偏好回答在训练策略与参考模型下的对数概率比，减去非偏好回答在两者下的对数概率比。训练策略就是正在对齐的模型；参考模型是固定的起点，损失以它为基准来衡量偏离程度。
在这个损失族里，几个已有算法只差在选用哪个凸函数。DPO 用缩放后的 logistic 损失，SLiC 用 hinge 损失，IPO 用平方损失。论文把它们都看作对 0-1 损失的凸近似，而 0-1 损失衡量的是二分类准确率；正因如此，推导可以借助监督式二分类的成果，而不必依赖强化学习。任何其他凸函数都能给出一个现有文献中还没有的离线偏好损失，所以这个框架不只是给旧算法换名字，还能生成新变体。
分类视角说明策略学到了什么
把奖励建模看成二分类问题，作用不止是整理代数式。按论文关于 Bayes 一致性的讨论，只要 f 是凸的、连续可微且 f′(0) < 0，其最小化点的符号就与 Bayes 最优分类器一致，也就是学到的偏好预测方向正确。这个结论针对一般的双变量偏好模型；论文明确指出，把它推广到逐点奖励模型（此时 Bradley-Terry 假设只是近似成立）仍留待后续工作。
方向正确不等于幅度正确。论文指出，即使不同损失给出相同的符号，预测值也可能因 f 不同而差别很大，并用 logistic 与 hinge 的对比作为例子。这一点对读者很重要：不能因为某个凸损失满足 Bayes 一致性，就假定它训练出的策略可以互相替换。
离线正则只是近似 KL 惩罚
标准 RLHF 最大化奖励减去一个 KL 散度项，该项衡量训练策略与参考策略之间的差异。GPO 损失并不直接包含这一项；取而代之的是，凸函数的选择决定了离线损失把策略拉回参考模型的力度。论文的分析和实验表明，离线正则与 RLHF 想要的 KL 正则一般并不相同，两者之间有联系，也有细微差别，不能画等号。
作者确实推导出一个具体联系：当偏好对分布取为策略自身时，KL 散度的梯度等于一个以该分布加权的平方损失的梯度。这正是平方损失（实际上就是 IPO 损失）在正则讨论中地位特殊的原因：在这种加权下，它的梯度与 KL 一致。论文还证明，对任何满足 f′(0) < 0 的光滑凸 GPO 损失做二阶泰勒展开，都会得到一个重新缩放 beta 后的平方损失，因此平方损失是整个损失族的局部近似。
beta 对不同变体设定不同的正则强度
权衡实验使用带人类反馈标签的摘要任务，基座是 700M 参数的 T5X 编码器-解码器模型，学习率固定为 1e-5，批大小为 32，优化器为 Adafactor、衰减率 0.8，共训练 2×10^5 步。评估采用由提示驱动的 PALM-2 模型做两两比较，评估集为 2000 个例子，默认基线是监督微调后的模型。这些条件界定了结论范围：一个任务、一个模型系列、一个自动评判器。
各变体对监督微调基线的峰值胜率相近，但峰值出现在哪个 beta 上并不相同。平方损失和截断平方损失一般在较低的 beta（约 1）处达到峰值，其他变体则在较高的 beta（约 10）处达到峰值。论文把这一差异归因于各凸函数随 beta 变化所诱导的正则强度不同，并报告说在 beta 较大时，离线正则与 KL 散度的相关性明显更强；其中平方损失和截断平方损失的正则强于 logistic、指数和 Savage，hinge 居中。
在相同 beta 下各变体表现接近
直接对比时，beta 固定为 0.1；论文称在这个取值下，按对监督微调检查点的胜率看，所有算法都表现尚可。在这个矩阵中，一个 GPO 变体对另一个变体的胜率集中在 50% 附近，例如第一行为 50%、48%、50%、47%、50% 和 48%。论文据此认为各变体表现大体相似；峰值胜率存在一些波动，例如指数损失看起来略好，但可能并不具有统计显著性。
实际含义可以分成两件事：选哪种损失，以及把它的强度调到多少。如果在相同 beta 下比较，这个设定里各变体差异很小；如果让每个变体各自调到最佳 beta，峰值表现也相近，但达到峰值的 beta 不同，这与理论预测一致。对考虑是否采用某个新凸损失的实践者来说，这是论文中最有决策价值的比较。
该框架只覆盖对比式离线损失
论文自己给出了两条边界。框架建立在 RLHF 的奖励最大化表述之上，因此当真实偏好结构复杂时，它仍会继承相应的理论问题；作者建议未来把 GPO 与纳什均衡等替代解概念联系起来。此外，它只处理具有对比形式的离线损失，不涵盖基于监督学习的损失。
这些限制紧挨着它们所限定的结果。统一性主张针对的是由凸函数参数化的对比式离线偏好损失，而不是所有对齐目标；实证的权衡结论来自上述单一摘要设定，而不是广泛的基准测试扫描。
按损失选 beta，而不是照搬习惯
对对齐实践者来说，论文最有用的一点是：beta 不是可以在 GPO 各变体之间通用的超参数。由于每个凸函数诱导的正则强度不同，适合 logistic 类损失的 beta 并不适合平方损失；实验显示平方损失和截断平方损失在 beta 约 1 处达到峰值，其他变体则在 beta 约 10 处达到峰值。按损失分别调 beta，而不是从 DPO 或 IPO 的实践中照搬一个值，是证据支持的具体做法。
第二点是设定预期。在相同 beta 下各变体接近，在各自最佳 beta 下它们的峰值胜率在这个受控摘要设定中也接近，因此单靠一个新的凸损失，不太可能带来大幅性能跃升。它的价值在于所诱导的正则行为，以及可以有意地在不同凸函数之间做选择；这正是统一视角让读者看清的东西。
本文引用的文献
Generalized Preference Optimization: A Unified Approach to Offline Alignment
GPO 用一族凸函数参数化离线偏好损失，DPO、IPO 和 SLiC 都是其特例；实验显示各变体的正则-性能权衡相似，但最优 beta 取值不同。