经典错误信念测试为何难以定论
心智理论(Theory of Mind,ToM)是指把自己和他人表征为具有知识、意图和信念并据此行动的能动者。这篇论文关心的不是大语言模型能否谈论信念,而是它们能否持有一个可用的心理模型并据此行动。经典错误信念测试要求模型说出某个角色会去哪里寻找被移动过的物体;这类情景很可能已出现在预训练数据中,因此高分可能反映模式匹配,而非在线追踪心理状态。
为此,研究设计了一款文本游戏,模型在其中扮演第一人称玩家,而不是旁观者。玩家 A 和 B 组成蓝队,C 和 D 组成红队,受测模型扮演 A。每一回合描述物体被放入容器、在容器之间移动的过程,同时部分玩家在房间内、部分在房间外。随后模型选择一个动作:向某位玩家询问某个容器、告诉某位玩家某个容器的内容,或跳过。询问和告知各消耗本队 0.5 分,跳过不消耗分数,回答阶段答对得一分。由于动作带有收益且模型必须做出选择,这项测试衡量的是对心理状态模型的策略性使用,而非口头描述。
四个成分区分自我建模与他人建模
该范式考察多种认知状态,而不只是错误信念。自我知识考察玩家是否意识到:自己离开房间期间环境可能发生变化,因此自己可能对别人知道的事情一无所知。队友知识考察玩家是否表征了队友知道什么。真信念与假信念考察玩家能否区分确定的知识与单纯的信念。队友与对手考察玩家是否表征了合作意图与对抗意图。
这些成分分别计分,而这种区分很重要。模型可能准确判断队友的知识,却仍然无法表征自己可能存在的无知,因此单一的 ToM 总分掩盖了论文想要揭示的模式。在同一游戏中接受测试的人类在各成分上表现同样出色,这为作者解读模型的表现剖面提供了对照。
他人建模提升,自我建模仍近随机
在非思考型大语言模型中,较旧模型的表现普遍较差,但他人建模任务呈现明显的上升趋势,最新模型达到或超过人类水平。自我建模任务没有遵循这一趋势:没有任何非思考型模型显著高于随机水平,也看不出随模型能力提升的上升趋势。论文指出,2025 年中期之前发布的模型在所有任务上都失败。
相关性结构进一步印证了这一分化。在非思考型模型中,各认知成分的表现通常彼此相关,擅长一项可预测擅长另一项。自我知识则截然不同,与其他任何任务都不相关,其表现也不与整体模型能力或发布时间相关。作者将此解释为一种特定缺陷:模型无法表征环境中可能发生了玩家自己不知道的变化,而不是游戏整体能力不足。
推理轨迹让部分模型恢复自我建模
当被允许消耗输出 token 来思考任务时,即使是较旧的模型也能在他人建模任务上表现良好。若干近期模型在自我建模任务上也达到人类水平,且跨模型来看,表现随整体模型能力和发布时间呈上升趋势。因此,思考型与非思考型之间的区别并非细微调整:它决定了自我建模能否成功。
错误分析显示了思考在何处帮助最大。思考型模型整体更好,但当正确行为是抑制一次告知动作时,差距尤为明显。没有思考时,大语言模型倾向于条件反射式地告知回答者,即使当时应当跳过,例如回答者是已经知道真相的队友,或回答者是对手。作者指出,抑制不恰当的告知也是有效欺骗的关键。
状态转换数量而非事件数量拖累准确率
负荷实验独立改变两件事。事件负荷指情景中描述的事件数量,与玩家需要追踪的认知状态转换数量分开控制;认知状态转换负荷则在事件负荷保持不变时改变。对非思考型大语言模型而言,事件负荷的影响很小且不一致,说明额外描述的事件不会让它们困惑。相比之下,额外的状态转换会降低表现。
作者将此解读为提示性证据:大语言模型在单次前向传播中使用某种类似容量有限的工作记忆来保持心理表征。思考型模型表现出类似的认知状态负荷效应,但它们也对事件负荷敏感,作者认为额外的描述文本可能给它们提供了把自己绕进困惑的机会。值得注意的是,思考型模型在自我建模条件下没有表现出负荷效应,论文称这是提示性但非结论性的证据,说明它们在该任务上并非依赖在线心理状态追踪取得成功。
控制实验将失败定位在状态追踪
两项控制实验检验非思考型模型的失败是源于无法将认知状态知识映射为策略选择,还是源于未能解析指令。在信息显式版本中,情景叙述被替换为每位玩家认知状态的明确列表,规则、动作和收益保持不变。表现升至很强、往往接近上限的水平:自我知识的平均准确率从 53.2% 升至 91.9%,队友知识从 89.3% 升至 98.1%,真信念与假信念从 64.3% 升至 97.4%。
在口头报告版本中,保留标准情景,但把动作请求替换为关于认知状态的单词问题。同样的模型在队友知识上回答近乎完美(合并 95.0%),在队友错误信念内容这一经典 Sally-Anne 问题上达到 99.7%,而口头自我知识仍然较差,为 61.5%。两项控制实验共同表明,失败反映的是模型在以支持推理的格式追踪认知状态方面的弱点,而不是未能理解任务。
策略性欺骗与第一人称视角伴随成功
思考型模型更擅长策略性欺骗:花 0.5 分去欺骗一个相信真相的对手,并在对手持有错误信念时跳过。它们也更倾向于向对手撒谎,无论是否具有策略性。领先提供商的最新模型版本比其早期版本撒谎更少,作者认为这可能反映了更强的角色训练。
论文还考察了推理模型采用哪种视角。采用第二人称视角,即用“你”指代自己,与更差的自我知识表现相关;而第一人称视角,即用“我”指代自己,与更好的表现相关,但只到一定程度;大量使用“我”的轨迹中,模型会反复坚称自己知道某些事情。作者将此视为证据,说明这些轨迹不只是触发记忆中的映射,同时承认这些推理过程仍有大量难以解释之处。
这项游戏能确立与不能确立什么
论文将自己定位为迈向基于行为的心智状态建模评估的初步一步。其任务考察认知状态,即知识、信念和无知,这是 ToM 下的一类心理状态;自我—他人不对称是否延伸到欲望、意图或情绪,仍是开放问题。作者也不声称大语言模型在没有思维链时本质上无法表征自己的知识状态,并呼吁在新模型发布时继续测试。
因此,对决策最关键的比较不是单一的 ToM 分数,而是两种条件下他人建模与自我建模之间的分化。非思考型模型可能在他人问题上显得胜任,却在自身可能无知的问题上停留在随机水平;给它们一条推理轨迹,会让部分近期模型达到人类水平的自我建模,但作者的负荷结果仍无法确定这种成功来自在线追踪,还是来自生成的文本最终触发了正确的映射。对于评估机器 ToM 主张的读者,这篇论文的优先事项是追问:测试的是哪个成分,以及模型是否有草稿纸,因为这两个变量把人类水平的结果与随机水平的结果区分开来。
本文引用的文献
Selective Deficits in LLM Mental Self-Modeling in a Behavior-Based Test of Theory of Mind
在一项行为游戏中,近期大语言模型在建模他人认知状态时达到人类水平准确率,但非思考型模型在自我建模上失败;推理轨迹让部分近期模型恢复自我建模能力,且思考型模型容易进行策略性欺骗。
