自参照社会偏好能否在看不到他人奖励时促成合作？

合作通常依赖一个私有信号

序贯社会困境是指个体激励与集体福利相冲突的博弈。论文使用了三个：Escape Room 中，一些智能体必须付出代价去拉杆，其他智能体才能离开；Clean Up 中，清理河流本身不直接带来奖励，但能让苹果持续生长；Commons Harvest 中，智能体必须留下苹果不吃，让资源块得以再生。独立的深度强化学习者在这些博弈中都无法学会合作。

常见的补救办法是给每个智能体一个社会偏好，也就是目标函数中额外的一项，取决于其他智能体的处境。不平等厌恶会惩罚比同伴挣得多或挣得少，社会价值取向把他人结果与自身结果一起加权，亲社会偏好则把他人奖励加到自己的奖励上。这些做法都能提高合作，但都要读取其他智能体的奖励。论文认为这并不令人满意：奖励是智能体对某次经历好坏的私有信号，把一个智能体的奖励交给另一个智能体，等于提供了后者无法通过与环境交互获得的信息。

因此，这项研究保留社会偏好，但替换它的输入。每个智能体只收到同伴的观测和动作，不接触对方的奖励、评论家或参数。它学习一个关于自身奖励的模型，再把该模型应用到同伴被观测到的状态转移上，从自己的视角给出对同伴处境的评估。论文要问的是：用这种替代信号能否学会合作。

评估可以进入奖励或更新

论文研究了两个整合位置。第一种叫 SRR，自参照评估修改学习奖励，也就是智能体自己的奖励先按社会偏好调整，再让评论家从中学习。第二种叫 SRA，评估被用来给策略更新加权，在动作之间重新分配信用，而不改变智能体学习所用的奖励。

在论文重点展示的配置中，SRR 还加入了价值前瞻。评论家的价值能在任何奖励被评估之前区分不同位置，这在 Escape Room 中很重要：从未到达门口的智能体从未见过可评估的奖励，因此只建立在已评估奖励上的社会项会一直为零。价值前瞻通过给尚未获得奖励的位置赋值，让合作得以启动。

论文还为重复交互引入了常设账本。由于每一回合都是同一批智能体相遇，每个智能体维护所有智能体估计回合回报的滑动平均，从而折减长期领先者的收益。其目的是把“总是我”的配置与代价角色轮换的配置区分开。

三个博弈中都出现了合作

在三个环境中，智能体都在不观察他人奖励的情况下学会了合作行为，包括独立学习者失败的设定。在 Escape Room 中，普通 PPO 智能体从未学会拉杆，但自参照智能体能识别出这一收益，因为它从自己的离开经历中学到，到达开着的门值十分。SRA-EI 和 SRR-IA+V 达到了 17 的最优值，与获得真实奖励的智能体相同。

在 Clean Up 中，每个自参照学习者的产出都与其真实奖励对应版本大致相当，说明自参照估计足以维持公共品。在不平等厌恶下，SRR 甚至优于真实奖励学习者：SRR-IA+V 的产出高于 TR-IA，并把最穷智能体的回报提高了一倍以上。论文的解释是，这里真实奖励反而成了障碍，因为刚吃掉一个苹果的智能体看起来远远领先于正在清理的智能体，尽管苹果很快会为清理者长出来。

Commons Harvest 是自参照落后最多的地方。SRA-EI 把普通 PPO 的集体回报提高了一倍，其智能体平均吃苹果的时间晚了四倍，但 TR-EI 和 TR-SVO 的产出仍然更高。论文把差距归因于估计更难：奖励模型与策略共享表示，而策略的图像特征并非为识别奖励而训练，同时光束的大惩罚主导了它学到的东西。

不平等厌恶与利他偏好需要不同位置

有效的整合位置取决于社会偏好。不平等厌恶只在 SRR 下有效：SRR-IA+V 在每个博弈中都是两种方法里更好的那个，而 SRA-IA 从未走出 Escape Room。论文给出的机制是，当评估进入奖励时，领先会让智能体损失一部分回报，它可以学会避免；而在策略更新中，领先只是在分数之间转移权重，没有任何力量推动智能体不再领先。

像 EI 这样的纯粹利他偏好只是把他人结果加总，把动作与其它智能体的收益挂钩。这使 SRA-EI 在 Escape Room 和 Commons Harvest 中成为更好的方法，在 Clean Up 中则大致相当。SVO 也加总结果，但同时给自身结果加权，在策略更新中这会把分配给他人结果的权重限制为自身权重的一个比例，论文发现这不足以达到 EI 的表现。

论文总结出的规则是：比较智能体之间差距的偏好应放进奖励，而像 EI 这样的利他偏好放在策略更新中更稳妥。价值前瞻是 SRR 起作用的关键，但在 EI 下，它在 Escape Room 之外没有明显收益：在 Clean Up 中，SRR-EI+V 比 SRR-EI 少产出约 290 个苹果，在 Commons Harvest 中则停留在普通 PPO 的水平。

高集体回报可能掩盖不均分配

单看集体回报无法显示谁为合作付出了代价。在五个智能体的 Clean Up 中，TR-EI 产出 1,530 个苹果，但其最穷智能体整轮一无所获：最富的智能体吃掉三分之一的苹果，几乎不参与清理，而最穷的两个智能体承担了 96% 的清理工作。Nash 福利是一个几何平均，只要有智能体一无所获就会趋近于零；TR-EI 的 Nash 福利只有 70，尽管其智能体平均约 300 个苹果。

SRR-IA+V 是例外。五个智能体的回报一起上升，每个智能体大约拿走五分之一的苹果、承担五分之一的清理，其 Nash 福利 270 等于平均回报，而集体回报比 TR-EI 低约 12%。论文强调，这种高福利来自分担工作，而不是每个智能体都挣得同样少。

论文同时报告集体回报、Nash 福利和最低智能体回报，因为单独任何一个指标都不够。在 Commons Harvest 中，按 Nash 福利选出的设置把 SRR 学习者的产出压低到普通 PPO 的水平来实现均等，论文称这是该指标的失效模式。常设账本处理的是同一问题在重复博弈中的版本：在七个智能体的 Escape Room 中，Nash 福利选择了门控强度为 2 的带常设账本 SRR-IA，达到最优值的 72%，而另一个设置产出更多，却让最穷智能体亏损。

局部视野与更大群体检验边界

在局部可观测条件下，即 Clean Up 和 Commons Harvest 中采用 15×15 的窗口，策略更新方法对前馈和 GRU 智能体都继续支持合作。群体规模暴露了 SRA 的一个局限：它的系数对 N−1 个其他智能体取平均，因此群体越大，单个智能体的动作影响越小，SRA-EI 与 TR-EI 的差距也越大。SRR 不会以同样方式被稀释，论文报告说，使用真实奖励的不平等厌恶随群体增大而下降，而带价值前瞻的自参照版本保持稳定。

论文还测试了异质私有估值，即智能体对苹果的估值不同。此时自参照变成一种反事实评估：智能体自己在对方处境下会得到的奖励。该测试中没有任何学习者对估值差异作出反应，因此论文指出，这个测试无法说明自参照是否会误导本来会对此作出反应的智能体。

结论成立的前提是奖励函数共享

核心适用范围是共享奖励函数。只有当每个智能体因相同事件、以相同方式获得奖励时，自参照估计才能还原另一个智能体的奖励。奖励来自不同事件、或来自其状态转移无法显示的事件的智能体，超出了自身奖励模型的能力范围。论文提出一个开放方向：把自己的模型作为先验，再根据他人的行为修正，将自参照与逆强化学习结合。

研究中的每个学习者都是独立 PPO。论文认为，奖励位置只需要一个奖励，策略更新位置只需要一个加权策略梯度，因此两者都应能迁移到其他演员-评论家方法，奖励位置还能迁移到基于价值的学习者，但两者都尚未测试。设置也是在两到三个调参种子上按均值减一个标准差选出的，这是一种经验规则而非置信界；论文指出该规则有可见的失败案例，但由于所有报告数字都来自留出种子，这些失败只增加噪声，不会偏向任何学习者。

由此得到的实际优先级不是简单地问自参照是否有效，而是哪种位置匹配哪种偏好。对不平等厌恶，把自参照估计放进奖励并配合价值前瞻；对 EI 这样的利他偏好，改为给策略更新加权。比较配置时，应把集体回报与 Nash 福利、最低智能体回报一起看，因为论文中产出最高的 Clean Up 配置让一个智能体一无所获，而产出略低的配置则分担了工作。

本文引用的文献