直接学习优势函数比 Q-learning 更省样本吗？

用两个共享估计替代 Q 函数

标准 Q-learning 为每个状态-动作对存一个数，并把它更新到自举得到的目标值。VA-learning 改为维护两个估计：价值函数 V(x)，每个状态只有一个数；优势函数 A(x, a)，记录动作 a 比该状态的平均水平好多少。需要时用 Q(x, a) = V(x) + A(x, a) 重建 Q 值，因此不再单独维护 Q 表或 Q 头。

策略改进真正需要的是优势函数，因为它衡量每个动作相对于该状态基线的表现。在 Q-learning 中，优势函数只能在事后用 Q 值减去一个平均值来还原。这篇论文要问的是：如果把这一步减法直接写进学习目标，而不是事后才做，会发生什么。

共享价值估计为何加快自举

论文的解释建立在信息如何向后传播上。在 Q-learning 中，对 (y, a) 这一对的更新只改善状态 y 下该特定动作的估计。如果前一个状态 x 需要从 y 处的另一个动作 b 自举，那么在 (y, b) 被采样到之前，这个目标一直缺乏有效信息。

VA-learning 把同一个自举目标拆成价值目标和优势目标，因此在状态 y 采样动作 a 时，V(y) 和 A(y, a) 会同时被更新。之后状态 x 从 Q(y, b) = V(y) + A(y, b) 自举时，即使 A(y, b) 从未被更新，它也能用上已经改善的 V(y)。价值函数在所有动作间共享，所以一个状态下所有动作的自举目标都会汇入其中，重建出的 Q 函数也就继承了这些汇总的信息。

表格实验显示优势函数收敛更快

表格实验使用随机生成的 MDP，包含 20 个状态、5 个动作，折扣因子为 0.99，轨迹在固定行为策略下采集。在策略评估设定中，行为策略为均匀策略，目标策略是某个确定性策略与均匀策略的凸组合。

以优势估计相对真实优势函数的平方误差衡量，在任意给定数据预算下，VA-learning 都比 Q-learning 收敛更快，渐近精度也更好。而在 Q 函数误差本身，改善较小：VA-learning 只表现出略快的衰减速度。这一区分很重要，因为论文报告的大幅提升出现在优势估计上，也就是与策略改进直接相关的量，而不是 Q 函数误差。

控制任务与 Atari-57 结果

在控制设定中，行为策略设为某个固定确定性策略与均匀策略的混合，混合权重让作者可以调节数据采集的随机程度。性能按从学到的 Q 函数导出的贪心策略的价值计分，并在所有状态上均匀平均。

深度强化学习部分，作者在 DQN 智能体基础上加入 double Q-learning 和 5 步自举，在 Atari-57 套件上训练 200M 帧，并报告跨随机种子的四分位均值（IQM）分数。VA-learning、behavior dueling 和 uniform dueling 并非在每一个单独游戏上都胜过 n 步 Q-learning，但总体比较更有利于这种分解式参数化。学习率是各变体之间唯一调过的超参数，分解式方法使用的学习率比 n 步基线更小。

与 dueling 架构的联系

论文指出 VA-learning 与 dueling 架构有紧密联系，后者同样把 Q 网络拆成一个价值头和一个优势头。这在一定程度上解释了为什么对 DQN 智能体做一个简单的架构改动往往能提升性能。

作者提出的 behavior dueling 让这一联系更清晰：把优势参数化为 f(x, a) − f(x, µ)，其中 µ 是行为策略分布，而不是原始 dueling 设计所用的均匀分布。论文证明这一选择唯一地最小化优势函数的加权平方范数，可以理解为最小化动作之间不共享的信息、最大化共享成分。在 20 个随机生成的 MDP 上的表格实验确认，behavior dueling 的优势平方范数低于 uniform dueling。

这种等价在实践中并不精确。在深度强化学习实现所用的 Huber 损失下，VA-learning 与 behavior dueling 之间所述的等价不再成立，作者指出这在大规模设定下可能造成更大的差异。

共享价值函数何时可能有害

论文明确指出，VA-learning 并非总是比 Q-learning 更省样本。这一分解假设把 V(x) 在同一状态的不同动作间共享是有用的。如果同一状态下不同动作的 Q 值差距远大于不同状态之间的价值函数差距，那么分别学习这些 Q 值可能比强行共用一个价值项更好。

作者仍然预期这种共享在许多实际场景中能带来收益，他们的表格实验和深度强化学习实验也符合这一预期。应用该方法时值得留意这个条件：收益来自问题本身的结构，而不只来自参数化方式。

优势估计才是该关注的指标

论文中最具决策相关性的比较不是 Q 函数误差，而是优势误差。在表格型策略评估实验中，相同数据预算下 VA-learning 的优势误差比 Q-learning 大幅改善，而 Q 函数误差只略有改善。因此，只按 Q 值精度比较方法的读者会低估论文所主张的差异。

由此得出的实际优先级是：先检查问题是否具备这一分解所假设的结构，即同一状态下的各动作共享一个共同的基线价值。如果具备，论文的证据支持预期价值加优势的参数化能学得更快，其中以行为策略加权的优势归一化版本具有最清晰的理论依据。

本文引用的文献