行为模型如何区分学习不对称与坚持性？

两种过程会产生相同的选择重复

选择重复是可观察到的行为，论文要问的是哪一种隐藏过程造成了它。学习不对称指智能体根据结果的不同效价，或根据结果是否确认了刚做出的选择，而以不同方式学习；确认偏差是其中一个特例，即确认性结果比非确认性结果被赋予更大权重。选择坚持性则不同：它是一种与结果无关、重复过去选择的倾向，不管那些选择带来了什么。

区分二者之所以重要，是因为两种过程对原始行为做出相同预测。一个智能体反复选择同一选项，可能是因为它学到该选项不错，也可能只是因为它倾向于重复。支持学习不对称的证据通常来自同时包含两种机制并控制坚持性的计算模型，或来自特定的行为标记。论文认为，这两条路径都有严重缺陷。

混合模型可能凭空造出偏差

论文的第一个论证使用模拟，因为模拟让作者知道真实情况。他们模拟出具有坚持性但学习严格对称的智能体，再用一个同时估计坚持性和确认偏差的混合模型去拟合这些模拟行为。混合模型会系统性地把学习不对称归因于本不具备该特征的智能体，因为两种机制会部分地相互模仿。

机制在于拟合内部的权衡。模型低估了坚持性水平，而为了避免低估观察到的选择重复率，它又提高了估计出的确认偏差。本属于单一坚持性机制的方差，被拆分成两个估计错误的机制。作者也报告了反方向：模拟只有学习不对称、没有坚持性的智能体，再用混合模型拟合，会产生较小的虚假坚持性，因此该方向的模仿问题有所缓解，但并未消失。

收缩先验会放大虚假偏差

拟合过程带来第二个问题。作者使用最大后验（MAP）估计，它把数据与参数的先验分布结合起来。沿用此前研究，坚持性参数被赋予一个以零为中心的窄正态先验。由于这些数据集中坚持性通常为正，这样的先验会把估计值向下拉。

一项参数恢复研究量化了后果。模拟数据集由混合模型生成，再用同一模型重新拟合，并跨实验汇总了509名参与者。MAP低估了生成时的坚持性参数（平均差 −0.288，95% CI [−0.318, −0.258]，t(508) = −18.826，d = −0.834，p < 0.001），并高估了确认偏差（平均差 0.030，95% CI [0.015, 0.046]，t(508) = 3.850，d = 0.171，p < 0.001）。加宽先验会减小虚假确认偏差，而此前研究使用的两种先验宽度都仍会产生虚假偏差。

改用最大似然估计（MLE）——它实际上相当于使用无信息先验的MAP——后，坚持性的显著低估消失了（平均差 −0.131，95% CI [−0.486, 0.224]，p = 0.468），确认偏差的显著误差也消失了（平均差 −0.013，95% CI [−0.034, 0.008]，p = 0.227）。在实证数据中，MAP给出的坚持性估计低于MLE，确认偏差估计高于MLE。但MLE并未完全消除问题：作者指出仍能检测到虚假偏差，而且达到无偏的渐近状态可能需要多得不可行的试次数。

APPS检验为每个数据集构建零分布

所提出的检验保留混合模型的不对称估计，但不再把它们当作无偏估计。它要问的是：在真实总体平均学习不对称为零、同时仍存在坚持性的情况下，观察到的组水平确认偏差是否超出了预期。

构建过程使用成对的人工智能体。每名参与者的拟合参数定义一个智能体，而一个反智能体除确认性和非确认性学习率互换外完全相同。按构造，每一对的平均确认偏差恰好为零。2N个智能体各自在实验任务上生成1001个模拟行为数据集，每个数据集都用MLE重新拟合混合模型。为构建零分布，该过程重复10,000次：每次迭代从每个智能体—反智能体对中随机选取恰好一个成员，再选取该成员的一个模拟数据集，然后对选出的N个智能体的估计确认偏差取平均。单侧p值就是这10,000个零样本中平均确认偏差大于或等于实证组均值的比例。

由于零分布由实证参数估计生成，它吸收了特定参数范围和任务设计中起作用的估计偏差。作者报告，学习不对称会随实验设计（例如试次数）以及参与者的生成参数而显著变化。代价是零分布必须为每个数据集重新计算，不能重复使用。

第一类错误率区分不同拟合方法

论文比较了不同拟合方法的错误率。使用MAP时，多数数据集在组水平上表现出明显膨胀的第一类错误率，最高约为100%。MLE的估计偏差小得多，在多数但并非全部研究中似乎能充分控制第一类错误率，最高约为11%。这并非保证：当强化学习智能体从产生特别强恢复偏差的参数区间中抽样时，MLE的第一类错误率也可能高达约100%。

APPS检验对这些参数区间更稳健，但并非完全稳健：在标准t检验达到100%的情形下，它的第一类错误率约为12%。作者还验证了该检验在典型实验条件下能充分控制第一类错误率，并比较了它与其他方法的统计功效。

部分确认偏差通过了更严格的检验

将该检验应用于一个涵盖四项研究、十项已发表实验的大型数据集后，情况发生了变化。稳健的确认偏差在实验间的分布没有此前认为的那么广泛：只有3项实验显示出这种偏差。作者把一些此前报告的确认偏差描述为不稳健，而另一些即使在跨研究层面也依然稳健。

这是关于确认偏差证据的陈述，并非声称学习不对称不存在。论文的讨论得出结论：确认偏差仍是人类强化学习中一个稳健的解释机制，不能简化为选择坚持性的副产物；但证据强度比早先报告所暗示的更为复杂。

常见行为标记无法区分两种过程

论文还检验了被提出作为确认偏差定性证据的行为标记，同时模拟了无坚持性的确认偏差模型和有坚持性的对称学习模型。在一个包含两个同等奖励随机老虎机的任务中（每个有50%概率获得奖励），确认偏差模型预测对某一选项有更强偏好；而有坚持性的对称学习模型产生相似模式。在一个反转任务中，确认偏差模型预测在奖励关联反转后适应更慢；坚持性再次产生相似效果。

基于回归的标记也好不到哪里去：把第t+1次试验重复选择的概率对第t次和第t−1次试验的选择做回归，同样对坚持性敏感。作者得出结论，这些标记无法确凿地指向学习不对称，而强坚持性甚至可能掩盖真实存在的确认偏差。因此他们提出一种任务设计，旨在产生更有效的定性标记。

哪些数据集应优先接受更严格的检验

论文的实践优先级来自偏差进入的位置。当坚持性被低估时，虚假确认偏差最大；这种情况发生在使用窄先验的MAP下，也以较轻程度发生在具有强恢复偏差的参数区间中的MLE下。因此，一项用混合模型报告确认偏差的研究，应先在自己的设计和参数范围内检查参数恢复，再应用为该数据集重新计算的零分布，而不是依赖固定阈值。

作者把这一警示扩展到个体差异。他们指出，学习不对称曾被提出作为心理健康状况、发育变化和政治意识形态的标志，并警告说，从选择行为推导学习偏差的研究可能把坚持性误归因为学习不对称。他们的参数扫描还显示，虚假不对称的幅度可能受选择随机性等其他参数的系统性影响，这使把模型参数当作特定认知机制代理的做法更加复杂。论文自身的范围是强化学习中的确认偏差，并把坚持性视为需要控制的干扰过程；作者指出，在这个数据集中，坚持性的有偏估计问题似乎较小，但这可能取决于任务设计和抽样参数范围，而且他们的流程可以调整以反转两种过程的角色。

本文引用的文献