双语语言模型能捕捉 L1 驱动的二语阅读时间偏差吗？

单语模型为何看不到母语迁移

surprisal 理论把加工一个词所需的努力，与该词在上下文中可预测的程度联系起来。单语语言模型的 surprisal 已被广泛证实能预测母语阅读时间，而这篇论文的出发点是：这类模型只训练过目标语言。如果读者的第一语言确实在塑造他们阅读第二语言的方式，那么一个从未见过该第一语言的模型，从构造上就无法表示这种影响。

因此，这项研究的问题比“语言模型能否预测阅读”更窄。它问的是：双语模型内部的跨语言迁移，是否与人类读者在二语阅读中带入的、由 L1 驱动的偏差相一致。检验方式是看把模型的 L1 与读者的 L1 匹配起来，能否带来单语英语基线和 L1 不匹配的双语模型都无法提供的预测准确度。

四项眼动指标区分早期与晚期加工

论文用四项眼动指标评估 surprisal，这一区分对理解结果很重要。首次注视时长是一个词上第一次注视的持续时间。凝视时长累加眼睛首次离开某个词之前落在该词上的所有注视。两者都被视为反映初始词汇通达的早期指标，例如词形识别和意义提取。

回视时间从对一个词的首次注视开始，直到视线移到该词右侧，其中包含回看前文所花的时间。总注视时长累加一个词上的所有注视，包括之后再次回到该词的注视。这些晚期指标被认为反映词汇后加工，例如结构再分析和句法或语义整合。由于这两类指标对应不同的加工阶段，模型在一类指标上的优势不能替代在另一类指标上的优势。

匹配与不匹配模型分离出 L1 特异性迁移

作者在多个“接触阶段”（Step of Exposure，SoE）上训练双语 GPT-2 模型，改变在 L1 学习过程中引入 L2 英语的时点，从而同时操纵初始 L1 训练的时长和 L2 接触量。对 11 个 L1-L2 语言对中的每一个，他们训练了四个 SoE 双语模型，外加一个单语英语基线，并把词的 surprisal 定义为负对数概率；对于被分词器切成多个子词的词，则把各子词的 surprisal 相加。

评估使用多语言眼动语料库（MECO L2），其中来自 13 种 L1 背景的参与者阅读同样的 12 篇英语文本。作者把每个机构保留为独立子集，而不是按 L1 合并；由于巴斯克语子集在 FineWeb-v2 中代表性不足，将其排除；并加入英语母语（En-UK）子集作为对照。当一个双语模型的 L1 等于读者子集的母语时，它被算作匹配模型；其他所有双语模型都是不匹配模型。

预测用线性混合效应模型检验，对参与者和词设置交叉随机截距，基线协变量包括对数词频、词长、词在句中的位置，以及前一个词的对数词频和长度。论证由两组比较支撑：双语模型对单语模型，用相对于表面特征基线的伪 R² 变化来衡量；匹配模型对不匹配模型，用对数似然差来衡量，并在同时包含两种 surprisal 预测变量的包容模型中，用似然比检验衡量匹配 surprisal 所增加的独特方差。

L1 优势出现在晚期阅读指标中

把模型的 L1 与读者匹配，改善了对二语阅读时间的预测，摘要报告这一预测优势集中在晚期眼动指标上。这一位置分布是论文信息量最大的结果：增益出现在被认为发生词汇后整合的地方，而不是最早的词汇识别指标中。

英语母语对照组在这里有特定作用。它检验双语模型是否只是总体上更好地拟合阅读时间；如果这一优势只是多语言带来的普遍改善，它就不应只出现在二语阅读中。论文报告其两套评估框架——双语对单语、匹配对不匹配——得出一致结论，因此作者把这一模式解读为 L1 特异性迁移的证据，而非宽泛的多语言效应。

文字系统重叠与语言水平限定效应范围

两个读者侧变量调节这一优势。第一个是 L1 与 L2 的文字系统重叠：匹配带来的好处随读者的 L1 是否与英语共用书写系统而变化。第二个是语言水平，用 LexTALE 测量，优势在中等水平读者中达到峰值，而不是在整个样本中均匀分布。

这些调节改变了结果的使用方式。“双语 surprisal 捕捉跨语言影响”这一说法，并不等于它对每个读者或每个语言对都同样有用。论文自身的表述把最强信号放在中等水平，并把文字系统重叠视为一个变异维度，因此恰当的解读是有条件的优势，而不是恒定的优势。

证据支持迁移存在，而非完整解释二语阅读

作者得出结论：双语语言模型捕捉到跨语言影响的某些方面，并且这种影响存在于二语阅读行为中。“某些方面”这个词很重要。发现是：在同一次回归分析中，匹配 L1 的 surprisal 解释了超出单语基线和超出不匹配双语 surprisal 的方差，这是关于预测一致性的陈述，而不是证明模型复现了读者的认知机制。

研究的范围也很明确。评估只限于英语作为目标二语，且只使用一个眼动语料库，因此这一模式能否推广到类型学差异很大的目标语言（例如高度黏着的语言或词序更自由的语言）仍是未决问题。文字系统重叠只是类型学变异的一个维度；词序一致性和形态相似性被列为可能重要但本研究未检验的因素。部分 MECO 子集采集于使用地区变体的地区，而模型训练于标准通用领域语料，作者指出这种不匹配可能给个别子集的结果增加噪声。语言水平通过 LexTALE 操作化，这是一种词汇测量，其作为整体水平指标的有效性受到过质疑。最后，每个模型配置只使用一个初始化种子，因此没有测量不同权重初始化之间的方差；作者转而以实验设置的广度论证稳健性，即对 11 个 L1 各训练四个 SoE 模型并与单语基线比较。

先匹配 L1，再考虑扩大模型规模

对于任何用语言模型 surprisal 建模非母语阅读的人，这篇论文给出的优先级很具体：模型的 L1 应与被建模读者的 L1 匹配，评估应关注晚期指标，而不只是早期指标。如果目标是捕捉 L1 驱动的阅读行为，那么单语英语模型或训练于无关 L1 的双语模型就是错误的比较对象。

结果也为预期设定了一个阈值。优势在中等水平读者中最大，并取决于文字系统重叠，因此在偏向高水平读者或特定文字系统配对的样本中出现零效应或弱效应，本身并不构成对发现的否定。最站得住脚的结论是有条件的：匹配 L1 的 surprisal 在晚期二语阅读指标中增加了可解释方差，这正是应当检验该主张、也应当信任该主张的地方。

本文引用的文献