写入预测误差的记忆层级
CORE 是 COntextual Retrieval and Encoding(上下文检索与编码)的缩写,它并非新原则,而是把若干旧原则按特定方式组装起来:存储经历的情景记忆、由上下文驱动的检索、由预测误差驱动的学习、遗忘,以及分层表征。模型读取一段实验会话的自然语言转录文本——包括指令、刺激、反馈以及被试自己先前的回答——然后为每个可能的按键输出一个概率。
具体机制是一个联想矩阵。每一步,模型都根据当前输入计算一个键、一个查询、一个遗忘因子和一个学习率,因此存储什么、检索什么、衰减什么全都取决于上下文。写入的不是原始输入,而是预测误差:输入与记忆针对该键已经预测出的内容之间的差。多个这样的记忆层堆叠起来,最后一层经过线性读出和 softmax,转换为按键概率。
两个设计选择使跨范式拟合成为可能。转录文本被转换为音素,而不是语言模型标准的字节对词元;并且模型除了写入记忆和从记忆读取之外不含其他计算。第二点对解释很重要:由于架构中没有别的东西,它的行为可以归因于这些原则,而几乎没有其他来源。
在137个实验中联合拟合
训练数据来自 Psych-201,这是一个大型心理学实验集合,涵盖强化学习、决策、类别学习和社会互动。分析聚焦于其中 62 项研究里的 137 个实验,这些实验中被试通过按键作答,共包含 80,452 个实验会话中的 7,036,442 次选择。CORE 使用最大后验估计对全部数据联合拟合。
比较依靠两个指标,它们回答不同的问题。负对数边际似然(NLML)衡量的是:按先验概率对所有可能的模型权重加权平均后,数据有多不可能出现,因此它反映的是模型证据,而非纯粹的预测。预测负对数似然(PNLL)衡量拟合后的模型在留出会话中预测人类选择的效果。两者都是越低越好,论文分别报告,而没有合并成一个分数。
基线包括配置匹配的 Transformer 序列模型、Centaur——一个在人类行为上微调过的大型语言模型,论文称其表现优于特定领域的认知模型——以及每次移除一个组件的 CORE 消融版本。
预测优于Transformer和Centaur
CORE 的 NLML 为 3,498,133,配置匹配的 Transformer 为 4,592,031;PNLL 为 262,572,后者为 329,043。对 Centaur 的留出比较是 262,572 对 389,151;Centaur 在图中没有 NLML 条目,因为它的拟合方式不同。论文指出,Centaur 的参数量比 CORE 多五个数量级。
总体数字背后有逐研究的计数支撑。CORE 在全部 62 项研究中预测留出选择都优于 Transformer,在 62 项中的 47 项优于 Centaur。因此,对 Transformer 的优势在纳入的研究中是一致的,而对 Centaur 的优势广泛但并不普遍——在 15 项研究中,Centaur 在该指标上至少同样好。
移除任一组件都会损失预测精度
消融实验显示了哪些部分支撑了结果。移除层级造成的损失最大(NLML 变化 859,990,PNLL 变化 98,916);论文指出,只有单层时模型缺乏捕捉人类行为的表达能力。移除遗忘排在第二(131,706 和 13,483),因为没有遗忘,旧联想永远不会消退,只能被覆盖。
编码选择也有影响。基于音素的编码优于字节对编码(110,303 和 7,014),尽管字节对模型对训练数据拟合得更好——训练负对数似然为 2,904,051 对 3,066,566——并且使用了多得多的嵌入参数,1,750,016 对 11,136。在这里,更好的训练拟合并没有转化为更好的泛化。
最后,写入预测误差而非原始输入也提升了表现(68,874 和 4,423)。论文的解释是容量:原始输入会再次加入熟悉的内容,而预测误差只携带记忆尚未学会的内容。
复现75%的效应与经典学习特征
仅凭预测准确率并不能说明模型的行为像被试。在模拟时,CORE 复现了相应研究中识别出的 75% 的行为效应——67 项中的 50 项。剩下的四分之一正是论文定位其主要差距的地方。
在模拟实验中,研究者还检查了潜在变量。学习率随深度下降(第一层中位数 0.44,最后一层 0.17),记忆时间尺度从第一层到第四层增加(中位数 8 对 43 个词元)。因此低层追踪近期输入,高层形成更慢、更具整合性的平均值;低层呈现狭窄的单峰分布,高层则宽泛且常常是多峰分布。
在由一系列独立游戏组成的实验中,出现了两个经典特征。学习率随证据积累而下降,正如卡尔曼滤波式的贝叶斯解释所预测:在最强维度上,17 个实验中有 15 个出现下降,平均而言该层的 128 个维度中有 89 个下降。记忆时间尺度在游戏内增长,并在游戏边界处骤降,这与事件分割一致:最强维度在边界处下降 80%,在 17 个实验中全部稳健,平均而言 128 个维度中有 94 个在边界处时间尺度更短。
没有规划,也没有会话之外的记忆
论文明确指出,CORE 难以处理基于模型的规划,这是因为它不包含显式的规划机制;作者建议未来的版本可以加入一个。这是解释那 25% 未解释行为效应的一部分的最直接候选。
第二个边界来自数据而非架构。数据集中的实验通常持续不到一小时,因此数周或数月尺度上的学习和存储从未被观察到,长期记忆也无法从这些转录文本中识别。作者指出,需要纵向的自然情境数据才能加入长期记忆并研究巩固过程。
作者自己还说明了一个解释上的限制:CORE 的原则是可解释的,但它的计算不是。它如何计算键、值、学习率和遗忘缺乏理论依据,因此最好把该模型看作经典认知模型与黑箱系统之间的中间步骤,而不是完整的机制解释。
这是广度检验,不是完备性主张
论文的独特之处不在于新机制,而在于检验组合起来的解释力。此前的工作提供了可解释但局限于单一范式的特定领域认知模型,以及能跨范式泛化但仍是黑箱的大规模预测模型。CORE 同时与两者比较,并在留出选择上同时胜过两者,同时仍由具名原则构建。
因此,对于权衡这一主张的读者来说,逐研究的分布是最具决策相关性的数字。在 62 项研究中全部优于配置匹配的 Transformer,支持了架构比较;在 62 项中的 47 项优于 Centaur,支持了一个小的基于原则的模型可以与一个大得多的黑箱模型竞争的主张,但不支持它在所有地方都占优。
因此,诚实的总结比“一个小的认知核心解释了人类行为”要窄。它解释了 137 个实验中按键选择的很大一部分,复现了报告效应的四分之三,并显示出作者解释为贝叶斯学习和事件分割的学习率与事件边界特征。规划和单次会话之外的时间尺度仍不在这一证据覆盖范围内。
本文引用的文献
一个小的认知核心解释了大规模人类行为
CORE 是一个存储预测误差、依赖上下文的情景记忆层级,对来自 137 个实验的 7,036,442 次选择进行联合拟合,对留出人类选择的预测优于配置匹配的 Transformer 和 Centaur,同时在模拟中复现了报告的行为效应的 75%(67 项中的 50 项)。
