TL;DR

在 Large Language Models (LLMs) 的强化学习（RLHF）过程中，传统的 PPO/GRPO 依赖固定的裁剪比例（如 0.2）来保证稳定性。然而，复旦大学等机构的研究者发现，这种固定比例裁剪本质上是对低概率动作的“歧视”，会导致严重的熵崩塌。本文提出的 BandPO 通过动态的 Band 算子，根据 Token 的原始概率自适应调整裁剪边界，成功在提升推理性能的同时，找回了被忽视的“长尾策略”。

1. 痛点：被扼杀在摇篮里的“天才想法”

在数学推理等任务中，正确的解题思路（Action）初始概率往往很低。 现有方法（如 GRPO）的约束公式为： $1-{ϵ}_{-}\le \frac{{\pi }_{heta}}{{\pi }_{old}}\le 1+{ϵ}_{+}$

物理直觉上的崩塌： 如果一个富有潜力的新策略原始概率仅为 $0.01$，在 $ϵ=0.2$ 的限制下，它最多只能增加到 $0.012$。即便它能带来极高的奖励，梯度的贡献也会被过早地“裁剪”掉。反观高概率动作（如 $0.8$），却拥有巨大的绝对变动空间（从 $0.16$ 到 $0.96$）。 这种线性依赖关系（Variation scales linearly with old probability）形成了一种结构性瓶颈，导致模型只会反复加强已有的平庸路径，而无法探索出藏在概率分布长尾里的卓越策略。

2. 核心机制：从几何约束到动态 Band

BandPO 的核心构思非常优雅：不再拍脑袋定一个 $0.2$，而是利用 $f$-divergence（如 KL 散度、${\chi }^2$ 散度） 构建信任区域（Trust Region），并将其投影到一元比例空间。

2.1 架构解析：概率感知的自适应边界

作者通过数学证明（Lemma 1 & Theorem 1），将高维空间的概率约束简化为一个简单的标量方程 $g_f(p,r)=\delta$。

• 低概率区（Tail）： 边界自动放大。允许 $r$ 达到很大（甚至趋于无穷），为模型从 0 到 1 的突破留出足够空间。
• 高概率区（Head）： 边界自动收紧。防止模型产生剧烈震荡，确保稳定性。

图 1：BandPO (蓝色区域) 相比固定裁剪边界 (DAPO/DCPO)，在低概率区提供了更大的上升空间。

2.2 闭式解与数值效率

为了实战部署，作者甚至推导出了 TV 散度 和 Pearson ${\chi }^2$ 散度 的解析解：

• TV 边界： $r=1\pm \frac{\delta }{p}$
• ${\chi }^2$ 边界： $r=1\pm \sqrt{\frac{\delta (1-p)}{p}}$ 对于最为通用的 KL 散度，作者实现了一套 CUDA 加速的二分查找算法，确保在训练过程中几乎不增加额外延迟。

3. 实验战绩：全线飘红

在 Qwen2.5 和 DeepSeek-R1-Distill 等主流模型上的测试显示：

• 性能飞跃：在 AMC2023 任务中，BandPO 相比 GRPO 提升了近 10 个百分点。
• 破解崩塌：如图 2 所示，BandPO 对低概率 Token 的裁剪频率几乎降为 0，而此时策略熵（Entropy）一直保持在健康水平，未出现基线算法常见的断崖式下跌。

图 2：策略熵演化图。BandPO (紫色) 有效防止了早期快速的熵塌缩。

4. 资深主编点评 (Critical Analysis)

BandPO 的真实价值在于其对 “裁剪预算再分配” 的洞察。

1. 方法论的回归：它不仅是 SOTA 的叠加，更是对 TRPO/PPO 原始信任区域思想在 LLM 时代的重新解释。
2. 局限性：虽然解决了空间维度上的概率敏感性，但对时间维度（不同的推理阶段）仍采用统一的 $\delta$。未来的工作如果能让 $\delta$ 随推理逻辑深度（Token 的信息熵）动态变化，可能会带来更强的推理模型。
3. 实践建议：对于正在调优 O1 类推理模型的团队，BandPO 是一个极佳的、具备直接替代性（Drop-in replacement）的工具。

5. 总结

BandPO 证明了：通过理论严谨的数学投影替代经验性的超参数设置，可以显著增强 LLM 在复杂逻辑任务中的探索深度。它告诉我们，与其粗暴地裁剪模型，不如给它一个符合信息论规律的“信任区间”。

关键词： BandPO, LLM RL, RLHF, GRPO, Trust Region, Entropy Collapse, 长尾探索