方差感知 UCB 中，高斯推断何时需要分配稳定性？

稳定性是充分条件，但并非总是必要

这篇论文追问：从 bandit 数据做高斯推断时，是否必须依赖分配稳定性，也就是能否用一个确定性序列近似某个臂的最终拉动次数，并使相对误差趋于零。答案分成两层。对于固定目标，例如单个臂的均值或两个均值之差，即使最优臂的计数不稳定，普通 Wald 统计量仍保持标准正态极限。对于系数向量可以随时域变化的目标，同一高斯近似要对所有确定性非零系数向量一致成立，当且仅当最优臂计数稳定。

两个结果都附带同一个条件：每个臂的有效样本量必须发散，即其最终拉动次数与奖励方差的乘积依概率趋于无穷。论文的设定有意收得很窄：两个臂、奖励落在 [0,1]、时域已知，且奖励分布本身可以随时域变化。在这一设定内，作者精确划出了稳定性不再是前提、以及稳定性成为前提的分界。

方差感知奖励项使最优臂计数分散

经典 UCB 用奖励范围的一个共同上界构造探索奖励。方差感知规则改用每个臂估计出的标准差，在标准差项与拉动次数倒数项之间取较大者，并在每一轮使用固定的探索因子 ρ log T。论文用于引出问题的图比较了两种规则在一个两臂实例上的表现，该实例有 T = 10^6 轮、ρ = 2：经典 UCB 下最优臂的拉动次数高度集中，而方差感知规则下明显更分散。

这种分散之所以关键，是因为 Wald 推断的常规论证假设每个臂的计数可以被一个确定性数值替代，然后对中心化奖励和套用鞅中心极限定理。如果计数确实是随机的，这一替代就不再成立。论文因此把方差感知规则当作一个可以真正观察到稳定性失效的测试场景，而不是把失效假设掉。

三条件判据区分稳定与不稳定的计数

在该策略下，次优臂的计数总是稳定的。最优臂的计数则不一定，论文给出了一个当且仅当的判据：当且仅当三个条件沿某个时域子列同时成立时，最优臂计数不稳定。第一，奖励差距 Δ 必须接近 σ2 乘以 c_T / T 的平方根，误差不超过 σ2 乘以 T 的平方根的量级。第二，两个标准差之比必须很小，量级为 c_T 的 −3/4 次方。第三，c_T 的三次方除以 T 与 σ2 平方的乘积必须有界。

这些条件描述了一个临界窗口：在其中，次优臂样本均值的波动可以在一阶上改变最优臂的分配。论文进一步证明，在这个窗口内，每个时域子列都还有一个更细的子列，使得按 T 除以 c_T 的平方根缩放后的最优臂计数依分布收敛到一个非常数随机变量。因此该计数不只是难以用确定性数值近似，它的极限分布本身就是随机的。

固定目标仍保持标准正态极限

核心推断结果是：对每个固定的非零系数向量 u，臂均值线性组合的 Wald 统计量都收敛到标准正态，即使最优臂计数不稳定。因此在有效样本量发散条件下，任一臂均值及其差值的常规 Wald 区间都具有渐近正确的覆盖率。

证明并没有假装计数是确定性的。它把策略路径与一个辅助策略逐路径比较，后者把最优臂的经验指标替换为其总体对应量。该辅助策略的最终最优臂计数与最优臂的整条奖励序列独立，并以趋于零的相对误差近似原计数。这个计数可能仍是随机的，但一旦揭示次优臂的奖励，它在时间零点就可测，因此可以在鞅中心极限定理中充当随机归一化因子。正是这一机制让随机分配仍能给出高斯极限。

一致性要求使稳定性成为必要条件

固定目标的结果是逐点的：系数向量在 T 增长时保持不变。更强的要求是高斯近似对所有确定性非零系数向量一致成立，等价于 Wald 统计量的分布与标准正态之间的差距在 u 和阈值 z 上取上确界后趋于零。在同样的有效样本量条件下，论文证明这一一致近似成立当且仅当最优臂计数稳定。

当稳定性失效时，论文进一步指出哪些系数尺度仍给出标准极限、哪些给出非标准极限。非标准极限出现在系数随时域变化的线性组合上，因为此时缩放后的最优臂计数与两个学生化样本均值误差具有联合极限，而不是各自独立的极限。这就是稳定性成为必要条件的精确含义：它不是为了你事先指定的某个目标，而是为了同时覆盖所有目标的保证。

遗憾更低，均值差区间却更长

论文还比较了方差感知 UCB 与经典 UCB 在遗憾和 Wald 区间长度上的表现。在差距随时域缩小的情形下，方差感知 UCB 与经典 UCB 的伪遗憾之比收敛到 1/λ，该值至少为 2；而均值差区间长度之比收敛到 λ 的平方根，该值小于 1。两个比值在极限下乘积为 1，因此遗憾更低的策略付出的代价是均值差区间更长。

原因在于，在两种策略下，次优臂的计数都一阶决定均值差区间长度的平方。多拉动臂 2 会提高遗憾，但会缩短该区间。最优臂均值的区间方向相反：在方差感知 UCB 下，最优臂只获得趋于零的预算份额，因此其区间比经典 UCB 下长一个发散因子。论文还指出，方差感知 UCB 下的均值差区间与基于真实方差的 Neyman 分配具有相同的一阶长度，尽管最优臂计数在各自的尺度上可能不同。

模拟显示预测的覆盖差距

数值示例使用论文的示例奖励分布，取 ρ = 2、T = 10^8，运行 6,000 对独立实验，每对中两种策略对每个臂使用相同的奖励序列。对于固定目标 (1,0) 和 (1,−1)，两种策略下 Wald 统计量看起来都接近标准正态。对于变化目标 u_T = (1, (2√c_T)^{-1})，方差感知规则产生理论预测的非标准极限，而经典 UCB 仍保持标准正态。

覆盖表反映了这一点。在名义 95% 水平下，变化目标在方差感知 UCB 下的覆盖率为 92.87%，在经典 UCB 下为 94.48%；在名义 90% 水平下，相应数字为 85.97% 和 89.12%。固定目标在两种策略下都接近名义水平。作者指出，即使固定目标具有标准正态极限，覆盖率误差仍然出现；他们尚未给出这些误差如何依赖时域、差距和两个方差的定量刻画。他们还指出，当极限缩放计数在零点有原子时，随时域变化的系数情形分析尚不完整；并且分析限于固定探索因子和两个臂。

先分清目标类型，再判断是否需要稳定性

论文最有用的区分，是把两个容易混淆的问题分开。如果你打算报告单个臂均值或两个均值之差的 Wald 区间，固定目标的结果说明你不需要最优臂计数稳定；你需要的是每个臂的拉动次数乘以其方差发散。如果你需要的保证要覆盖一族系数随时域变化的目标，那么最优臂计数的稳定性正是分界线，而论文关于差距和方差的三条件判据告诉你何时越过这条线。

第二个区分是遗憾与估计之间的取舍。在该策略下，降低遗憾的同一个次优臂计数会拉长均值差区间，因此只报告遗憾的比较并不完整。论文自己的比较把这一取舍说得很具体：遗憾之比至少为 2，而均值差区间之比小于 1，两者乘积趋于 1。

本文引用的文献