LLM 智能体能否通过修正认知模型还原人类算法？

修正已有模型，而非从零生成

这篇论文把认知算法发现当作一个程序修正问题，而不是从空白开始生成模型。研究者先把认知模型写成一个概率程序：这段代码规定一个人的动作如何依赖任务状态，并包含需要推断的隐变量参数。随后，这个程序被交给一个由 LLM 智能体组成的系统，它们的任务有明确边界：比较模型预测与观察到的行为，在研究者指定的约束内提出代码层面的修改，并检查修改后的程序是否仍保持原本设想的结构。

这种分工是论文的核心设计选择。人类专家提供假设和基础模型的可解释性；LLM 智能体提供研究者可能没有预料到的、灵活而具体的变体。修改结果随后进入概率推断模块，由该模块完成隐变量推断和数据似然计算，因此每个候选修改都和原始模型用同一套统计标准打分。也就是说，比较的是按拟合度评判的程序，而不是按代码看起来是否合理来评判的程序。

一个能暴露多种策略的解谜任务

评估使用一个旨在暴露多种认知算法的问题解决范式，包含三个基础策略族：颜色分块（Color Blocking）、空间（Spatial）和两阶段填充（Two-Phase Filling）。每个策略族都是关于参与者如何组织同一任务的不同假设。例如，颜色分块预测一个人一次完成一种颜色；两阶段填充预测一个人先推断出颜色的有效顺序，再确定一个顺序来完成棋盘。

基础模型拟合的是每位参与者最后一个正确完成的试次。从未正确完成任何试次的参与者被排除，最终小复杂条件保留 49 个试次，小简单条件 51 个，大简单条件 41 个。基线拟合在数值上稳定，各条件下可计算有限拟合值的覆盖率为 95%–100%，但参与者之间的拟合差异明显：有些人的行为能被基础策略很好地解释，另一些人则不能。这部分未被解释的差异，正是修正流程要利用的空间。

多数修改提案通过了可执行性审核

流程对每位参与者和三个基础策略模型各运行两次，共生成 846 个候选修改程序。审核模块验证了其中 733 个（86.6%）；其余程序在允许的修复尝试后仍无法执行，因此被排除。这个数字衡量的是智能体系统产出可实际运行并打分的代码的频率，而不是修改在心理学上是否有意义。

通过审核的修改随后按自然语言修改提案的语义相似度聚类，并从每个聚类中选取最接近聚类中心的三个代表性程序，最终得到 24 个用于后续分析的原型修改模型。聚类这一步对解读很关键：论文关于反复出现的创新的结论依赖这些聚类，而聚类描述本身由 LLM 生成，仅用于解释，并未用于建模或分析。

略超半数参与者的拟合得到改善

主要改善指标按每步对数边际似然之差计算：在基础程序和修改程序中共同选出的最佳拟合策略得分，减去仅在基础策略中选出的最佳拟合得分。对 53.2%（74/139）的参与者，加入修改策略带来了有意义的改善，意味着最能解释其行为的模型不在原始基础集合中，而在修改后的程序空间里。

同一节还出现另一种不同的比较，不应与前者混为一谈。当分别在各策略族内部评估改善时，三个族都出现了提升：颜色分块 54%，空间 76.9%，两阶段 80.4%。这些族内比例包含这样的情况：某个修改变体改善了并非该参与者整体最优的基础模型，因此它们回答的问题与 53.2% 的整体数字不同。论文的代表性案例说明了所涉及的变化类型：一位被基础颜色分块策略拟合得尚可的参与者，在一个会修复此前关闭事件所破坏颜色的变体下拟合更好，而基础算法并未编码这种行为。

留出数据上改善仍在，还原只是部分成功

为检验改善是否能推广到构建修改时未使用的数据之外，24 个原型修改程序在留出数据集上做了评估。在那里，52.6%（72/137）的试次在修改程序下拟合更好。由于这次评估使用的数据没有参与生成或选择修改，它回应了“改善只是拟合了修正轨迹”的担忧。

另一项合成数据还原测试考察更难的问题：流程能否还原一个已知策略？研究者从 CB damaged 2 策略生成行为轨迹，并对单条轨迹应用流程。在 215 个有效修改程序中，111 个（51.6%）在 40 个留出试次上的平均留出对数似然高于基础颜色分块程序，18 个（8.4%）至少弥补了两个模型之间预测差距的 75%；104 个（48.4%）在留出试次上相对基础模型没有改善。作者认为这种波动可能部分反映了对用于生成每次修改的单条轨迹的特异特征过拟合。这是两种不同的成功标准——超过基础模型，与弥合大部分差距——论文对两者都做了报告。

修改集中在局部修复与打破平局

在全部 462 个修改提案中，修改在语义空间里聚得很紧：颜色分块 6 个聚类，空间 3 个，两阶段 6 个，且每个族内少数几个聚类就占了大多数修改。主导主题是局部化的行为调整——损伤修复、局部纠正动作和确定性的打破平局规则——它们在三个策略族中都构成最大的一个或多个聚类。这些主题约占颜色分块修改的 73%（161/222）、空间修改的 67%（8/12）和两阶段修改的 79%（180/228）。

作者把这种集中描述为结果中一个未预料到的特征。值得区分测量到的内容与它的含义：聚类和百分比是实证结果，而“这些创新捕捉了该任务中有意义的行为变异”这一解读属于作者。论文自己的局限性部分更进一步指出，仅凭数据似然改善不足以说明创新有意义，而这里的意义只做了启发式评估。

单一范式、单次迭代、单个 LLM

研究范围很窄，论文也明确说明。分析只覆盖一个单一的问题解决范式，只使用一次“提议—修改”循环，并依赖单个底层 LLM。作者把这称为有意为之的“窄而深”选择，并表示有必要检验其他算法结构化的情境是否揭示更多洞见。合成还原结果还显示，轨迹层面的修正可能过拟合单个参与者或试次的特异之处，而不是还原底层策略。

作者认为或许最重要的局限是对个体参与者、试次或任务的过拟合，并把有效的部分池化和跨情境的程序压缩列为未来工作的明确优先事项。第二个未解决的问题是，包括本方法在内，目前没有任何方法能系统地把发现的程序与超越低层程序性约束的更广理论框架联系起来。这两项限制都约束着拟合改善能在多大程度上被读作关于人类认知的证据，而非关于模型灵活性的证据。

有用的信号是反复出现的修改，而非原始增益

这里对决策最有价值的结果，不是多数参与者的拟合得到改善，而是改善集中到一小组反复出现、可解释的修改上，以损伤修复和局部纠正行为为主，并且在三个策略族中都反复出现。正是这一模式把该流程与不受约束的模型生成区分开来：修改保持可执行，保持在研究者指定的结构内，同时仍落在紧凑的一组行为创新上，而不是散布在任意的代码改动中。

因此，论文支持的实用判断是一个分界。当一个修改程序超过基础模型，并且属于主导的、反复出现的聚类时，它是关于参与者如何偏离理想化算法的实质性假设候选。当一个修改只在修正数据上胜出，或在合成还原测试中只是孤例——那里只有 8.4% 的程序弥合了至少 75% 的预测差距——这种增益更适合读作灵活性，而不是还原出的认知。论文自己提出的未来优先事项——跨参与者和情境的池化与压缩——正直接来自这一区分。

本文引用的文献