[CVPR 2026 预选] DCPO：打破数学推理模型“蜜汁自信”的解耦优化法

TL;DR

在强化学习（RLVR）催化下，大语言模型的推理能力突飞猛进，却也带火了一个隐疾——过度自信 (Over-confidence)。模型往往能以 99% 的把握说出错误的答案。本文提出的 DCPO (Decoupled Calibration Policy Optimization) 通过在梯度层面将“推理”与“自信心评价”完全解耦，成功实现了：推理准确率不掉队，校准误差 (ECE) 暴跌 70%！

1. 痛点：为什么强行对齐会导致“顾此失彼”？

目前的 SOTA 推理模型（如 DeepSeek-R1 系列）多采用可验证奖励（Verifiable Rewards）进行强化学习。然而，这种基于轨迹的 RL 容易陷入模式崩溃 (Mode Collapse)：模型为了最大化奖励，会将所有概率质量压在某一个输出路径上。

作者通过数学推导发现了一个令人沮丧的结论：准确率优化与校准误差最小化之间存在负相关的梯度冲突。

Figure 1: 当模型过度自信时，提升准确率的梯度方向与降低校准误差的方向夹角大于 90 度。

这意味着，如果你强行在一个 Loss 函数里同时优化这两者，它们会互相“打架”，导致模型要么推理变笨，要么依然盲目自信。

2. 核心方案：DCPO 的“三层解耦”策略

为了化解上述冲突，DCPO 不再尝试将两个目标揉在一起，而是选择“各走各的路”。

2.1 结构解耦 (Block-wise Rollout)

模型在生成推理过程（Reasoning Block）后，必须紧跟一个特殊的 <conf> 标记，然后输出其对该答案的置信度分值（Confidence Block）。

2.2 梯度解耦 (Masked Gradient)

这是 DCPO 的精髓。在反向传播时，作者使用了梯度掩码（Mask）：

• 推理 Token 只受“正确与否”的奖励信号（$A_r$）驱动，保证逻辑严密性。
• 置信度 Token 只受“校准好坏”的奖励信号（$A_c$）驱动，学会自我反省。

这种设计在共享参数的同一个模型内，实现了优化路径的物理隔离。

2.3 稳定监督：利用 GRPO 的组采样特性

单次生成的正确性具有随机性。DCPO 利用了 GRPO 算法中的组采样（Group Sampling）机制，证明了组内平均准确率是一个比单例标签更稳定的不确定性估计信号。

Figure 2: DCPO 整体架构：解耦的优势估计与混合监督信号。

3. 实验战绩：准确率与校准的最优平衡

作者在 Qwen3-8B 基础上进行了广泛实验，对比了标准的 GRPO 以及专门做校准的 RLCR、CCGPSG 等基线。

3.1 核心数据对比

深度见解：可以看到，传统的耦合优化（如 RLCR）在将 ECE 降低的同时，AIME24 准确率惨跌近 10 个点。而 DCPO 几乎在不损害任何推理能力的前提下，达到了最佳的校准性能。

3.2 训练动态性

Figure 8: DCPO 生成的置信度分布更加平滑且符合直觉，而 GRPO 表现出严重的右偏（极度自信）。

4. 总结与反思

DCPO 的价值在于：它承认了模型“推理”与“元认知（评估自己）”是两种不同的能力，且在优化目标上天然互斥。 通过将置信度预测作为一个独立于推理路径的任务来处理，DCPO 成功解决了强化学习中长期存在的 Over-confidence 难题。

局限性：

1. 置信度口语化：目前依赖显式的数值输出，未来是否可以直接通过 Logits 反馈？
2. 计算开销：虽然梯度掩码简单，但额外的置信度输出会增加推理长度。

未来展望： 这种解耦思想非常适合推广到法律、医疗等对“模型不知道自己不知道”这一风险零容忍的场景。它不仅是算法的改进，更是对“可靠 AI”设计哲学的一次重要实践。