像素语言模型能预测人类阅读时间和跳词吗？

分词为何限制阅读建模

计算心理语言学常用神经语言模型估计惊奇度，即给定上下文时某个词负对数概率，并用它解释读者看一个词要花多久。论文指出，传统基于词元的语言模型（TLM）在这里带有结构性偏差：分词器和词表事先固定，并不考虑认知合理性。惊奇度在这些预定义单位上计算，分词器选择会改变估计值；简单累加子词概率还可能把难度错配到相邻词上。

更根本的限制在视觉层面。把词转换成词元 ID 会丢掉字形信息，因此 TLM 无法表示文本实际长什么样，包括排版、字体或笔画复杂度。这使研究者无法考察阅读中的自下而上视觉效应，也排除了副中央凹信息，即读者在注视某个词之前从它获得的局部视觉输入。论文把这视为实验设计的瓶颈，而不只是数值上的小麻烦。

把文本渲染成图像块

像素语言模型（PLM）的输入方式不同。渲染函数把词序列转换成一张图像，再切成互不重叠的图像块；每个块被展平并投影成嵌入，模型通过重建被遮住的块来训练。整个过程不涉及分词器或离散词表，模型直接处理文本的视觉形态。

论文的关键做法是把这种重建能力变成阅读指标。对一个横跨若干图像块的目标词，模型逐个遮住这些块，记录它重建真实像素的误差有多大。把该词各块的重建误差相加，就得到视觉词汇预测难度（VWPD）：数值高说明模型难以从上下文预测该词的视觉形态，论文预期这与更长的阅读时间对应。

现成 PLM 是双向的，若把未来上下文全部隐藏，训练与推理之间会出现很大落差。作者改为模糊未来上下文，让模型获得大致词长等粗略线索，但看不到清晰细节。这用来模拟副中央凹视觉，主实验采用的就是模糊版本。

两种重建误差计分方式

论文考察两种重建误差形式。第一种是像素空间的逐实例均方误差，即预测图像块像素与真实像素的直接差异。第二种借用计算机视觉中的结构相似性（SSIM）；由于 SSIM 衡量相似度，用 1 减去 SSIM 作为难度分数。作者还计算了像素空间熵，基于预测的黑白像素值，意在捕捉对下一个词的不确定性，而不是含噪的灰色预测。

这些指标回答相关但不同的问题。MSE 和 SSIM 都衡量词的视觉形态有多难重建，熵则衡量预测中的不确定性。论文分别报告它们，不把它们当作可互换的指标；在跨语言和跨阅读指标比较时，这一点很重要。

阅读语料与回归设计

评估使用德语、英语、西班牙语、波斯语、韩语、简体中文、繁体中文和土耳其语的自然阅读数据，除波斯语阅读语料外均来自 MECO 第一波或第二波。结果指标包括首次注视时长、首次通过阅读时间、总阅读时间、首次通过跳词和总体跳词。时长类指标剔除零注视时长和零阅读时间；跳词编码为二值结果，首次通过跳词表示某区域是否在后续区域被注视前被跳过，总体跳词表示该区域在整个试次中是否从未被注视。

每个回归模型只纳入一个关注预测变量，即 PLM 导出的指标，或规模相当的 TLM 给出的词元层面惊奇度或熵，同时控制词长、词频、前一个词的长度和词频以及词在句中的位置。随机效应考虑被试和刺激。时长类指标做对数变换，跳词指标使用二项分布族，用广义加性混合模型拟合且所有效应设为线性。主要比较包括不模糊未来上下文的像素难度、模糊未来上下文的像素难度、单语 GPT-2 惊奇度、多语 GPT 惊奇度和双向 BERT 惊奇度，以及组合模型和交互模型。

像素难度预测注视与跳词

核心结果是，在像素空间计算的 VWPD 对所研究语言中的注视时长和跳词具有较强预测力。论文摘要直接给出这一结论，并补充说像素模型的优势与现有词元层面惊奇度和熵估计互补，也就是说视觉指标携带了词元指标没有的信息。

互补性通过交互模型检验。把像素难度与 GPT 惊奇度连同交互项一起纳入时，论文报告相对单独使用 GPT 惊奇度有提升；附录图把这一提升描述为多模态预测编码了关于跳词的丰富元认知知识。交叉验证附录报告了相同倾向：整合词元预测与视觉预测，尤其是加入交互项，能改善阅读时间和跳词建模。

优势随文字系统和指标变化

论文结合文字系统差异的跨语言分析，让比较变得具体。在交叉验证结果中，视觉预测在某些文字系统里比词元预测更好地解释跳词，尤其是波斯语、韩语和中文。主表显示这种模式因指标而异，并不统一：相对 GPT，带模糊上下文的像素模型在某些语言的某些跳词指标上呈正的对数似然差，在另一些上则为负，因此优势同时取决于文字系统和结果是时长还是跳词判断。

重建误差的选择也与语言相互作用。交叉验证结果并不与“MECO 中文数据中基于 MSE 的 VWPD 优势更强”这一观察相矛盾，论文还按数据集分别报告 MSE 和 SSIM 相对 GPT-2 的表现。与模糊相比，整词遮蔽产生的模式更复杂：在繁体中文中对跳词有利，在韩语中却不利，作者将其解读为自然阅读中可能存在依赖语言的子词加工策略。

视觉信号补充了什么

论文把结果解释为 PLM 至少具有部分认知合理性的证据，尤其是与首次通过跳词等早期语言加工的一致性。其推理是，像素空间预测难度包含字形和副中央凹信息，而词元层面惊奇度无法表示这些信息，因此它捕捉到基于预期的词元指标遗漏的自下而上视觉贡献。作者称这项工作是首次把像素语言模型引入计算认知建模。

这一解释应与实测结果区分开。回归显示像素导出指标为阅读结果增加了预测力；而“这反映了自下而上视觉信息逐步整合进基于预期的阅读”是作者对模式含义的框定。论文讨论把结果与部分输入上的注视前加工联系起来，这与模糊未来上下文的设计一致，但仍属解释，而非对人类副中央凹视觉的直接操纵。

结论适用到哪里为止

证据受渲染和建模选择限制。作者只使用二元组渲染，称其为跨语言泛化性最强的设置，也是目前唯一多语像素模型的基础，并承认视觉词汇预测指标对文本渲染策略高度敏感；他们呼吁未来研究其他渲染策略及其对认知合理性的影响。对于像素模糊，他们指出未进行密集的超参数搜索。

这些限制影响结果的使用方式。该发现支持把像素预测难度作为词元层面惊奇度和熵的补充，用于建模注视时长和跳词；交叉验证分析中，最清晰的文字系统特异跳词优势出现在波斯语、韩语和中文。它并未证明像素指标应取代词元指标，而表中随语言和指标变化的符号意味着，实际优先事项是针对具体文字系统和结果检验视觉与词元预测变量的交互，而不是假定收益一致。

本文引用的文献