大语言模型是否具备人类加工假词时的亚词汇敏感性？

假词剥离词汇知识，暴露形式线索

假词是符合某种语言正字法规则、但没有存储含义的字母串。由于它没有词汇条目，读者无法依赖记住的词义；他们推断出的任何含义，只能来自亚词汇规律，即语言中已经存在的小型形式单位与含义之间的统计关联。论文因此把假词当作探针：它剥离词汇知识，让形式到含义的映射暴露出来。

研究复用了 Gatti 等人（2024）的两个意大利语实验。每个试次呈现一个目标项和两个选项，被试选出直觉上语义更相似的一项。实验一（EXP1）的目标项是真实意大利语词，两个选项都是假词，一个与目标语义相关（fastText 余弦 0.20–0.44），一个不相关（余弦 ≤0.05）。实验二（EXP2）的目标项是假词，选项是一个相关的真实词和一个不相关的真实词。每个试次的两个选项在正字法长度和 Levenshtein 距离上匹配，EXP2 还匹配了词频与词元频率、语法性别、数和词性。

人类基线来自每个实验 60 名意大利语母语者，每人 50 个试次，剔除反应时低于 500 毫秒或高于 50,000 毫秒的试次。EXP1 保留 2,975 个试次，EXP2 保留 2,997 个。两个实验的关键结构差异在于真实词选项的作用：EXP2 给模型一个熟悉的词汇锚点，而 EXP1 的每个选项都是词汇表外的字符串。

一致性是逐试次吻合，而非正确率

论文的主要指标是人类与模型的一致性：在每个试次上，模型的答案是否与某位人类被试的选择相同？每个模型在每个实验、每种提示条件下运行三次，三次回答按多数票归并为单一答案。该答案再与每位被试的回答比较，得到每个被试—项目对的二元结果：一致或不一致。一致性用仅含截距的二项混合模型估计，被试和项目作为交叉随机截距，并检验其是否偏离 50% 的随机水平。

这与判断模型是否正确不是一回事。哪个假词语义更相关并没有标准答案；基准是模型是否落在人类落下的位置。参照线是 fastText，一个字符 n-gram 模型，此前研究显示它能可靠预测人类的假词判断。在本数据集中，人类与 fastText 的一致性在 EXP1 为 66.3%，在 EXP2 为 58.1%。

研究测试了两种提示条件。基线提示只给出任务描述。角色提示在同样描述前加入一个人设：19–34 岁、视力正常或矫正正常的意大利语母语者，并明确要求模型运用母语者直觉。GPT-4o、DeepSeek-V3 和 DeepSeek-R1 以温度 0 查询；o4-mini 不支持温度参数，使用默认值；Minerva-7B 在本地以贪心解码运行。Minerva-7B 和 DeepSeek-V3 在部分试次产生无效回答，这些试次被排除，因此它们的试次数低于完整的 2,975 和 2,997。

真实词选项把一致性推高到随机以上

在 EXP1 中，两个选项都是假词，所有模型和条件下的一致性在 48.5% 至 58.8% 之间。只有一项结果超过随机水平：Minerva-7B 在基线提示下为 58.8%（p=.018）。其余模型和条件均未达到显著，且所有大语言模型都明显低于 fastText 的 66.3% 参照值。

EXP2 呈现相反图景。有真实词选项可用时，四个模型达到高于随机的一致性，最佳结果还略高于 fastText 的 58.1% 参照值：GPT-4o 角色提示 59.7%（p=.002）、DeepSeek-V3 基线 58.9%（p=.007）、DeepSeek-R1 角色提示 58.3%（p=.009）、o4-mini 两种条件分别为 57.8%（p=.016）和 58.5%（p=.008）。以意大利语为首要语言的 Minerva-7B 走向相反，在 EXP2 处于或低于随机水平（44–51%）。

这一反转引发了对项目覆盖差异的担忧，因为 Minerva-7B 使用的有效项目更少。把分析限制在五个模型都有效回答的项目上——EXP1 为 35 个项目、2,082 个试次，EXP2 为 39 个项目、2,337 个试次——模式依然保持：Minerva-7B 在 EXP1 接近但未达到随机水平（57.2%，p=.052），在 EXP2 处于或低于随机水平（44.1–49.5%），而前沿模型基本复现了 EXP2 的结果。人设操纵本身在两个实验中合并后均无显著效应（EXP1 β=−0.012，p=.621；EXP2 β=−0.015，p=.539）。

亚词汇余弦线索未迁移到大语言模型

如果大语言模型追踪的是与人类相同的形式信号，那么预测人类与 fastText 一致性的项目层面特征，也应预测人类与大语言模型的一致性。论文检验了 Gatti 等人使用的同一组预测变量：Dcos，即与目标 fastText 余弦相似度的差值；DL，即字符串长度差值；DLD，即与目标 Levenshtein 编辑距离的差值。EXP2 还加入 Dfreq 和 Dfreq_L，即对数词频和对数词元频率的差值。每个预测变量都按相关选项的值减去不相关选项的值计算，因此正值表示相关选项在该维度上占优。

结果大多为零。在 EXP1 中，没有任何模型在任何预测变量上达到显著。在 EXP2 中，只有 DeepSeek-R1 在 Dcos 上显示可靠效应（β=0.35，p=.008），其余模型均不显著。相比之下，人类与 fastText 的参照在两个实验中都显示可靠的 Dcos 效应（EXP1 β=0.20，p=.041；EXP2 β=0.27，p=.030）。

论文谨慎说明了这一参照的含义。由于 fastText 选择余弦更接近的选项，Dcos 效应在构造上就是预期的；它起到阳性对照的作用，表明这些项目携带的亚词汇信号足够强，能在此范式中被检测到并被人类追踪。因此，大语言模型的零效应指向对该线索不敏感，而不是刺激集太弱。作者还指出，Dcos 对所有模型都来自 fastText 向量，因此它衡量的是刺激中可用的亚词汇语义信号，而不是模型自身的相似度指标。

推理 token 不追踪人类加工难度

第三个问题问的是：对人类更难的项目，是否也让推理模型消耗更多计算？计算努力用每个试次消耗的推理 token 数衡量，取三次迭代的平均值；人类努力用每个项目的平均反应时衡量，并以反应熵作为补充指标。对每个推理模型和提示条件，论文在 50 个项目上计算对数平均推理 token 与对数平均人类反应时的相关，再在控制 Dcos 后重算偏相关，以排除刺激可区分度的影响。

只有一项关联可靠：o4-mini 基线在 EXP1（r=.28，p=.046；偏相关 r=.29，p=.039），方向为正，即人类耗时更长的项目也引发更多推理 token。该关联在控制 Dcos 后仍存在。但其他模型、条件或实验都没有产生一致效应。在反应熵上，只有 o4-mini 在 EXP2 的两种提示下都显示可靠关联（基线 r=.34，p=.015；角色 r=.29，p=.043），人类回答越平均的项目生成越多 token。DeepSeek-R1 在两个实验中均无显著相关。

o4-mini 一致的正向方向值得注意，但论文并未将其视为普遍发现。这些关联未能在实验间复现，且在 DeepSeek-R1 上完全缺失，因此结果不支持推理 token 消耗与人类在假词任务上的项目级加工需求之间存在普遍对应。

分词与训练覆盖仍是候选解释

论文的解释是：大语言模型不一定共享支配人类假词加工的亚词汇线索。它提出两种候选解释，而非确定机制。第一种是分词：大语言模型通过字节对编码等子词单位处理文本，这些单位按频率而非按承载含义的形式切分字符串。对于没有词汇条目的假词，这些子词 token 是模型可用的主要形式线索，而某种分词是否切分出意大利语的形式—含义线索并无保证。

第二种是训练数据覆盖。观察到的一致性差距，可能既反映模型如何处理亚词汇结构，也反映模型见过多少相关语言。论文指出这一解释无法排除，并建议在高资源语言中重复研究以区分两者。这一限制影响结果的解读方式：该研究是意大利语案例研究，而意大利语优先模型与英语中心前沿模型之间的比较，与训练暴露差异纠缠在一起。

第二个限制涉及项目层面的样本量。一致性分析在试次层面进行，每次拟合有超过 2,000 个观测；但亚词汇预测模型和推理 token 相关分析聚合到 50 个项目，因此这些估计应谨慎解读。试次层面的一致性结果是更稳固的证据；项目层面的线索分析则更脆弱。

真实词线索是论文最鲜明的对照

这篇论文中最具决策相关性的比较不是某个单一准确率数字，而是两个实验之间的对照。当所有选项都是假词时，模型大多徘徊在随机水平，并远远落后于 fastText。当有真实词作为选项时，若干前沿模型达到或略高于 fastText 参照值。论文将此解读为：大语言模型依赖词汇熟悉度，而不是人类使用的亚词汇形式—含义规律。

这一解读对任何把大语言模型当作人类假词加工模型的人都有具体含义。在存在真实词的任务上取得一致，只能弱支持模型共享人类机制，因为真实词提供了模型可利用的锚点。更干净的检验是纯假词条件，而模型在该条件下大多未能超过随机水平。亚词汇预测结果强化了这一点：可靠驱动人类与 fastText 一致性的线索，并未稳定驱动人类与大语言模型的一致性，DeepSeek-R1 在 EXP2 的 Dcos 效应是唯一例外。

论文自身的表述恰当地保持狭窄。它报告的是大语言模型很少具备支配人类假词加工的亚词汇敏感性，而非完全不具备，并把分词和训练数据覆盖留作未决的候选解释。它支持的实践优先级是：把真实词锚定条件下的一致性与纯假词条件下的一致性视为不同证据，并在判断模型是否追踪人类基于形式的意义线索时，更看重纯假词条件。

本文引用的文献