当一名玩家偏离时，非耦合福利最大化学习有多脆弱？

非耦合福利最大化学习承诺了什么

完全非耦合学习算法只使用每名玩家自己过去的行动和效用，不需要沟通或协调。在相互依赖博弈中——任何真子集的玩家都能影响子集外至少一名玩家的效用——既有研究中的福利最大化（WM）学习算法会引导玩家到达使福利（所有玩家效用之和）最大化的行动组合。论文将其重述为定理1：若每名玩家都遵循 WM(b, c)，其中 b 属于 (0,1]，c 至少为 N，则每个随机稳定行动组合都是福利最大化的。

这一保证的隐含前提是：每名玩家都必须遵循同一算法。论文追问：当除一名玩家外的所有人都遵循 WM，而这一名偏离者另有所为时，会发生什么。随机稳定性是全文使用的收敛概念：若当扰动 ε 趋于零时某状态的平稳概率仍保持为正，该状态即为随机稳定，因此它刻画的是长期存续的行动组合，而非短暂行为。

随机偏离者让系统无法收敛

论文首先考虑两种改编自既有研究的简单偏离行为。随机（confused）玩家在每个时间步从自己的行动集中均匀随机地选择一个行动。固执（stubborn）玩家始终只玩一个固定行动。这两种行为既可视为刻意策略，也可视为子系统故障。

命题2(a)表明，当偏离者随机行动时，在每个随机稳定状态中，所有非偏离玩家都处于不满（discontent）状态。由于不满玩家会持续探索，这意味着长期来看每个行动组合被访问的频率相同：其余玩家永远无法收敛到福利最大化组合。其机制在于，随机行动的玩家不断注入变化，而 WM 算法的满意/不满记账机制无法吸收这种变化。

固执偏离者能破坏相互依赖

固执的情形更微妙，因为偏离者的固定行动本身可能出现在某个福利最大化组合中。命题2(b)表明，即便如此，也可能不存在任何福利最大化的随机稳定行动组合。命题2(c)进一步强化：也可能不存在任何剩余福利最大化的随机稳定组合，即在偏离者固定行动下使非偏离玩家效用之和最大化的组合。

例1用一个两人囚徒困境具体说明：收益为 (A, A) 得 0.5, 0.5；(A, B) 得 0, 0.8；(B, A) 得 0.8, 0；(B, B) 得 0.2, 0.2。唯一的福利最大化组合是 (A, A)。若玩家1固执地选择 a1 = A（即玩家1在 (A, A) 中的行动），而玩家2遵循 WM，则动态退化为玩家2在 (A, A) 的效用 0.5 与 (A, B) 的效用 0.8 之间选择。唯一的随机稳定组合变为 (A, B)，它不是福利最大化的。

例2展示了一个三人博弈中的剩余福利失效：唯一福利最大化组合是 (A, B, B)。若玩家3固执地选择 a3 = B，则 (A, B, B) 同时也是剩余福利最大化的。但一旦玩家3固定 a3 = B，玩家1的效用就不再依赖玩家2的行动，于是玩家1只学会最大化自身效用，选择 a1 = B。唯一的随机稳定组合变为 (B, B, B)，它不是剩余福利最大化的。其底层机制是：固执偏离者能破坏相互依赖，切断 WM 算法所依赖的耦合。

没有非耦合算法能承受简单偏离

定理3将这两个例子推广为一个不可能性结果。不存在完全非耦合学习算法 F，使得在每个有限相互依赖博弈中，当除一名玩家外的所有人都遵循 F 时，玩家被引导至：若偏离者随机行动则只到达福利最大化组合；若偏离者固执地选择某个出现在某福利最大化组合中的行动则只到达福利最大化组合；或若偏离者固执则只到达剩余福利最大化组合。

随机情形的证明是直接的：在囚徒困境中，随机行动的玩家2在每个时间步以概率 1/2 选择 A，因此无论玩家1采用何种算法，玩家都无法只被引导至 (A, A)。对于固执情形，证明采用反证法，使用例2中的博弈以及一个将 (A, B, B) 处效用替换为 (0, 0, 0.1) 的修改博弈。由于 F 是完全非耦合的，玩家1的行动与效用序列在两个博弈中具有相同分布，迫使 F 在两个博弈中把玩家1引向同一行动，这与 F 需在每个博弈中到达不同福利最大化组合的要求相矛盾。因此，这些例子足以排除任何算法，而不仅是 WM。

策略偏离者能重新加权福利

论文随后转向为自身利益行动的偏离者。最简单的此类偏离是遵循同一 WM 算法但使用不同参数。命题4表明，若除 j 外的所有玩家遵循 WM(b, c)，而 j 遵循 WM(bj, cj)，其中 b, bj 属于 (0,1]，c, cj 至少为 N，则每个随机稳定行动组合都最大化 i 不等于 j 的 Ui 之和加上 (bj/b) 乘以 Uj。参数 cj 不影响哪些组合能成为随机稳定；只有 bj 在福利函数中重新加权偏离者的效用。

例3在同一囚徒困境中说明这一点。若玩家2遵循 WM(1/2, 2)，玩家1也遵循 WM(1/2, 2)，定理1意味着唯一随机稳定组合是 (A, A)。若玩家1改为遵循 WM(1, 2)，使 b1/b = 2，偏离者就能把随机稳定状态偏向给自己带来更高效用的组合。这是参数层面的偏离，而非切换到不同算法。

策略偏离者能完全利用 WM

命题5更进一步：遵循不同算法 UM(Φ, Ψ) 的偏离者，在 Φ 和 Ψ 满足论文条件 (13) 和 (14) 时，可以保证每个随机稳定行动组合都最大化其自身效用 Uj，而其余玩家仍遵循 WM(b, c)。例4在玩家2遵循 WM(1, 2) 的囚徒困境中展示了这一点。玩家1无法通过遵循 WM(b1, c1)（任意 b1 属于 (0,1]，c1 至少为 2）使 (B, A) 随机稳定，也无法通过固执地选择 a1 = B 做到。但取 Φ(u) = 2/(1 + e^(7 - 10u)) 和 Ψ(u) = 1/(1 + e^(10u - 7))，条件 Φ(0.8) - Ψ(0.8) ≈ 1.19 > 1 = N - 1 与 Φ(0.6) - Ψ(0.6) ≈ -0.19 < 0 成立，唯一随机稳定组合变为 (B, A)，玩家1在此获得 0.8，而非在 (A, A) 处的 0.5。

这一区别很重要：命题4让偏离者在同一算法内通过重新加权自身效用来改变结果，而命题5让采用不同算法的偏离者保证自身效用被最大化。两者都专门利用了 WM 算法，这引出一个问题：是否存在其他算法能避免这种情况。

没有福利最大化算法是激励相容的

定理6关上了这扇门。不存在完全非耦合学习算法 F 同时满足：(a) 若每名玩家遵循 F，则在每个有限相互依赖博弈中玩家只被引导至福利最大化组合；(b) 在每个有限相互依赖博弈中，没有玩家能通过单方面从 F 偏离到另一个完全非耦合算法 Fj 而严格提高其长期效用。

证明构造 Fj 为 F 但将每个收到的效用 uj 替换为 σ(uj)，其中 σ 是严格递增函数。由于 F 完全非耦合，所得过程等同于每名玩家在修改博弈中遵循 F 的过程，其中玩家 j 的效用被 σ 变换。取例1的囚徒困境，令 σ(0) = 0，σ(0.2) = 0.01，σ(0.5) = 0.02，σ(0.8) = 0.9，则变换后的目标 U2 + σ(U1) 在 (A, A)、(A, B)、(B, A)、(B, B) 处分别取值 0.52、0.8、0.9、0.21。Fj 引向 (B, A)，玩家1在此获得 0.8；而遵循 F 引向 (A, A)，玩家1获得 0.5。这一偏离严格有利于玩家1，违反 (b)。论文由此得出结论：没有任何完全非耦合福利最大化学习算法是激励相容的——总存在某个玩家有动机偏离。

稳健性只能来自沟通或协调

论文的讨论指出这些结果背后的两个脆弱点。第一，现有算法严重依赖相互依赖来达到理想组合，当偏离者破坏这种相互依赖时，算法便易被扰乱和利用。第二，完全非耦合可能过于严格而无法实现稳健，因为玩家无法“察觉”偏离者。作者提出，不依赖相互依赖、并允许玩家沟通或协调的算法，可能提供通往稳健性的路径。

因此，这篇论文设定的实际优先事项不是调整 WM 的参数，也不是寻找更好的非耦合算法，因为定理3和定理6排除了这两条路。与决策相关的分野在于：一种情形是每个子系统都可被信任运行同一算法，另一种情形是某个子系统可能故障、自利或对抗。在前一种情形中，非耦合福利最大化学习仍保有保证；在后一种情形中，即便只有单个偏离者，保证也会失效，论文的证据指向沟通或协调作为稳健性所需的条件。

本文引用的文献