粤语适配的语言模型能更好地预测粤语阅读吗？

适配深度比是否适配更关键

这篇论文问的是：专门用粤语训练语言模型，能否让模型给出的概率估计更好地预测人们实际阅读粤语时的眼动。答案是有条件的：经过大量粤语继续预训练和指令微调的 CantoneseLLM-7B，在预测注视时长上带来最大改进；而只做了轻度粤语适配的 JED351，相对其来源基座模型没有表现出普遍优势。

这一分化是研究的核心结果。作者把它描述为一种有条件的关联，而非粤语适配的普遍收益：更充分的粤语专项训练可能与更强的预测拟合同时出现，但适配本身并不保证优势。作者也提醒，两组模型对在架构和规模上都不同，因此比较反映的是更宽泛的适配策略，而不是某一个被单独隔离的训练成分。

四个指标区分预期与意外

研究为每个目标词从每个模型中导出四个信息论量，且只使用句内前文语境。词汇意外度是实际出现词的对数概率取负值，因此越出人意料的词数值越高。词性意外度把同样的逻辑用于词的句法类别：先在 Cifu 粤语词库中找出与该类别相同的候选词，再汇总模型对这些候选词的概率。

另外两个指标关注不确定性，而不是实际出现的词。目标词出现前的熵是模型在看到目标词之前下一个词分布的分散程度，刻画模型事先有多不确定。熵减等于目标词加入前的熵减去加入后的熵，记录的是观察到该词后，模型对后续内容的预期被收窄了多少。作者把四者视为目标词前预期、目标词层面预期和目标词后更新的互补视角，并不认为它们与认知阶段一一对应。

这一区分对理解结果很关键，因为四个指标对模型的排序并不一致。词汇意外度和四指标联合模型支持 CantoneseLLM-7B 最好，其后依次是 Qwen2.5-7B、CKIP 和 JED351；而熵减指标支持 CKIP。若把这些指标合并成单一的“模型质量”概念，就会错过论文最主要的方法学要点。

30 名粤语母语者的眼动数据

人类数据来自 MCFIX 的粤语部分，这是一个普通话与粤语平行的眼动语料库，采集自 30 名母语者。参与者有两种阅读条件：为理解而进行的自然阅读（NR），以及在文本中搜索指定信息（TSR）。分析的词级结果包括首次注视时长（FFD）、第二次注视时长（SFD）和总注视时长（TFD）。

预测使用 CatBoost 回归，在词级做五折交叉验证，并在 42 至 46 号划分种子下重复，四个模型使用相同的行标识和折划分。不含语言模型的基线包含阅读任务、词性哑变量、到根节点和中心词的距离、依存深度、邻域大小、当前词与前一词的频率、当前词与前一词的音节数，以及词的相对位置。作者随后每次加入一个语言模型指标、加入全部四个指标，并做逐一移除预测块的分析。主要指标是平均绝对误差（MAE），因此正向变化意味着以毫秒计的预测误差下降。

由于 FFD、SFD 和 TFD 的基线误差尺度不同，作者还报告了以基线归一化的百分比改进。这样可以避免 TFD 因数值尺度更大而让原始增益显得比实际更重要。

语言模型指标带来小幅增量

这四个指标确实携带了传统预测变量之外的信息，但增量很小。每个指标都能在至少部分模型与结果的组合中改善预测，四指标联合模型也优于任何对应的单指标模型。然而即使最大的基线归一化联合改进也低于 2%，作者称其为增量式而非变革式的提升。

消融结果解释了原因。当前词音节数和词的相对位置在各模型中仍是最强的预测块，语言模型导出的指标总体处于排序中段。它们的条件贡献小于单指标加入时的增益，这与四个指标之间存在部分重叠一致。模型内相关也支持这种重叠：各模型中目标词前熵与熵减的相关为 0.55 至 0.67，而词汇意外度与词性意外度只有弱相关。

对考虑在眼动分析中加入模型意外度的读者来说，实际含义是：这些指标补充而非取代已有的词汇和位置预测变量，并且使用多个理论上有区别的指标比只挑一个更有信息量。

CantoneseLLM-7B 在多数指标上领先基座

在大模型对中，CantoneseLLM-7B 在四指标联合模型上分别比 Qwen2.5-7B 在 FFD、SFD 和 TFD 上高出 0.132、0.066 和 0.430 毫秒，且五个划分种子的对比均为正。目标词前熵也表现出同样一致的劣势，词汇意外度和词性意外度平均而言同样支持 CantoneseLLM-7B，只是在各种子间不那么一致。熵减的对比则接近零。

原始单指标表显示同样的排序。以 TFD 上的词汇意外度为例，平均改进为 CantoneseLLM-7B 0.683 毫秒、Qwen2.5-7B 0.599 毫秒、CKIP 0.249 毫秒、JED351 0.229 毫秒，且每种情况下五个种子均为正。联合模型在 TFD 上的数值分别为 1.251、0.821、0.651 和 0.409 毫秒。

作者明确提醒不要把这读成规模效应。他们指出，在受控的英语研究中，更多训练和更大的模型曾被报告会削弱意外度拟合，其他语言也出现了类似结果。这里的优势与具体的适配策略相关，而不只取决于模型大小。

轻度粤语微调未胜过其基座

小模型对指向相反方向。JED351 源自 CKIP GPT-2 Tiny Chinese；其中间检查点用粤语字符替换了分词器和嵌入矩阵，本研究使用的版本随后在约 50 MB 粤语维基百科文本上微调了十个轮次。尽管做了粤语词表扩展和微调，JED351 相对 CKIP 并未表现出普遍的预测优势。

在四指标联合模型上，JED351 与 CKIP 的对比在 FFD、SFD 和 TFD 上均为负，没有证据表明较轻的适配策略带来整体优势。单指标的情况是混合的，而非一致更差：熵减明显支持 CKIP，TFD 改进为 0.362 毫秒，而 JED351 为 0.159 毫秒；词汇意外度两者接近。

两组模型对之间的反差是论文中最具决策价值的比较。少量粤语文本加词表替换没有改善心理语言学对齐，而大量继续预训练加指令微调做到了。由于每一对同时捆绑了多项变化，研究无法把差异归因于词表大小、数据量或指令微调等任何单一成分。

注视指标与阅读任务会改变排序

原始改进最强的情况常出现在 TFD 上，但这部分源于其更大的基线误差尺度。经基线归一化后，四指标联合改进在每个模型中都对 FFD 最大。作者把这与各结果所反映的不同加工阶段联系起来：FFD 捕捉首次注视，而 SFD 等二次注视指标可能对较晚的结构需求更敏感。

阅读任务也有影响，在 FFD 上最明显。四个模型在该指标上都表现出 TSR 的平均联合改进大于 NR，作者认为这与目标导向的信息搜索提高了初始加工中词汇预期的相关性相符。这一模式并未一致延伸到 SFD 或 TFD：CantoneseLLM-7B 在这些较晚指标上 TSR 增益更大，而其他模型往往 NR 增益更大。按任务分层的数值来自在 NR 和 TSR 观测上联合训练的模型，而非分别训练的任务专用模型。

结论是：不指明注视指标和阅读条件，关于哪个模型最能预测阅读的说法就不完整。论文自身的排序会随这些维度变化。

比较同时捆绑了多项训练变化

核心限制在实验设计内部，而非边缘。JED351 与 CKIP 的差异在词表、嵌入和粤语维基百科微调；CantoneseLLM-7B 与 Qwen2.5-7B 的差异在粤语继续预训练和指令微调；两组对在架构和规模上也不同。因此结果描述的是更宽泛的适配策略，而不是任何单一训练成分的因果效应。

还有两项约束限定了测量。提取流程把语境和目标词分开分词，由此施加的词边界在 5,072 条 Qwen 系列行中有 246 条与自然拼接分词不同。此外，熵值在不同延续空间的模型与分词器系统之间不能直接比较，这限制了熵类排序能被推到多远。人类数据也仅限于一篇文学翻译和一个参与者样本。

在这些边界内，论文最有价值的优先判断是它能支持的对比：大量粤语继续预训练加指令微调与词汇意外度和联合模型上更好的拟合同时出现，而轻度词表替换加维基百科微调没有。任何要选模型预测粤语阅读的人，都应先确认自己关心的具体指标和阅读条件，因为在本研究中，熵减对模型的排序与其他所有指标都不同。

本文引用的文献