LLM 改写人类文本会改变预测阅读时间吗？

两个阅读时间指标方向相反

论文的核心结果来自两个听起来可以互换、实际并不相同的指标。预测总阅读时间估计读完并处理整篇文章需要多久；预测平均每词阅读时间衡量每个词平均占用的加工时间。LLM 生成的改写文本在前一个指标上更低，在后一个指标上更高。

这些数字来自 496 篇人类撰写的文章及其 LLM 改写版本。改写时要求保留原文信息，但可以自由调整措辞、句子结构和组织方式。LLM 文本的预测总阅读时间平均为 115.6 秒，人类文本为 117.1 秒，平均相对变化为 −1.19%。按词计算，LLM 文本平均为 233.4 毫秒，人类文本为 229.9 毫秒，变化为 +1.57%。所有报告的人类与 LLM 差异在多重比较校正后仍然显著（p adj < .01）。

文本长度解释了这两个结果为何能同时成立。LLM 改写平均 496.4 词，原文平均 511.2 词，减少了 2.66%。词数变少抵消了更高的每词成本，所以总时间只是略微下降。论文自己的解读是：简洁不应等同于认知轻松，减少词数不一定减少每个剩余词所需的加工努力。

阅读时间来自预测而非实测

直接对数百对文章做眼动追踪需要大量参与者，难以规模化，因此作者构建了 RoBERTa-RT。这是一个基于 RoBERTa 的模型，用已有的人类眼动语料训练，用来预测单个词出现时的阅读时间。读者注视某个词的注视时长被累加为该词的观测阅读时间，模型通过最小化观测值与预测值之间的均方误差来训练。

由于预测目标定义在词一级，一个词若被拆成多个子词 token，这些 token 的表示会先取平均得到一个向量，再由基于 MLP 的回归头给出预测。文本按段落逐段处理。训练数据合并了 OneStop、GECO 和 MECO 三个眼动数据集，模型先在内部和外部测试集上评估，之后才用于此前未见过的文章对。

这一设计使大规模比较成为可能，同时也限定了结果的含义。报告的时间是模型对文本的预测，实验中并没有参与者真正阅读这些文本。作者指出，还需要有人类参与者参与的研究，才能确定这些差异是否会转化为可测量的认知努力和阅读理解变化。

改写使用更长、更罕见、更多样的词

研究比较了四项语言指标，四项都出现了系统性变化。平均词长从 4.95 个字符升至 5.25 个字符（+6.06%）。平均词频下降 7.61%，意味着更多使用不常见的词。用 MTLD 衡量的词汇多样性上升 31.83%。平均 surprisal 下降 6.51%，意味着词从上下文看平均更可预测。

这些变化与每词预测阅读时间变化之间的相关性，显示了哪些变化对应更高的成本。词长变化呈正相关（ρ = .588），词汇多样性变化呈正相关（ρ = .292），词频变化呈负相关（ρ = −.405），即词频下降越多，每词阅读时间上升越多。surprisal 的表现不同：它的变化呈正相关（ρ = .438），意味着 surprisal 下降越多，每词阅读时间上升越少。

罕见词更多与可预测性更高之间的表面矛盾，可以用两个指标各自描述的内容来解释。词频反映一个词在一般语言使用中多常见，surprisal 则取决于词出现的具体上下文。文本可以使用相对不常见的词，同时把它们放在高度预期的位置。净结果仍是 LLM 文本的每词预测阅读时间更高，所以可预测性带来的好处只部分抵消了词汇层面的成本。

压缩越强，每词成本越高

论文还考察了改写把原文缩短多少是否重要。以词数的相对变化作为压缩程度，缩短越多，与每词预测阅读时间变化的相关性越负（ρ = −.458）。LLM 删词更多的文章对，往往出现更大的每词阅读时间上升。

语言指标的相关性方向一致。词数减少越多，平均词长上升越多（ρ = −.303），词汇多样性上升越多（ρ = −.269），平均词频下降越多（ρ = .364）。同时，surprisal 的下降幅度越小（ρ = −.362），也就是说压缩程度越大，LLM 文本的可预测性优势越弱。

作者称之为压缩与阅读成本之间的权衡。这是 496 对文章之间的相关性，不是缩短文本造成因果效应的证明，而且描述的是预测时间而非观测时间。在这些边界内，它让实际图景更清晰：改写压缩得越激进，省下的篇幅似乎越多地以每词加工需求的形式被偿还。

写作者的效率不等于读者的轻松

论文把自己的贡献定位为将人类与 LLM 文本比较从语言描述推进到阅读努力。对于“某类文本是否单纯更容易读”，它的答案是否定的：LLM 改写减少了需要处理的材料量，同时把更大的预测需求集中在单个词上。作者将此描述为阅读需求的重新分配，而不是一致的改善或下降。

这一框架对任何依据长度或简洁程度判断机器生成内容的人都有意义。在这个数据集中，更短的文本并不是每词预测努力更低的文本，而总时间优势平均只有约 1.5 秒，幅度不大。论文主张，评估机器生成写作的效率时，除了内容生产视角，也应考虑读者视角。

适用范围是具体的：496 对英文文章，改写时被要求保留信息，阅读时间由用人类眼动数据训练的模型预测。结果没有确立阅读理解层面的结果，也没有表明任何特定读者或人群会经历这些差异。它们指出的是应该看哪里：区分两类文本的指标是每词加工成本，而不只是词数。

评估改写应看每词成本而非只看长度

如果要从这项研究中选一个数字来指导如何评估 LLM 改写，那就是每词预测阅读时间，而不是预测总时间或词数。两类文本在每词指标上分歧最明显（+1.57%），而总时间差异（−1.19%）很小，部分还是文本更短带来的结果。压缩分析补充了一种类似阈值的模式：改写把原文缩短得越多，每词代价往往越大。

语言指标的相关性指向同一优先级。词长与每词成本的相关性最强（ρ = .588），高于 surprisal（ρ = .438）、词频（ρ = −.405）和词汇多样性（ρ = .292）。把短而常见的词换成更长、更罕见的词，是每词预测成本上升最明显的情形，即使改写后的文本更短、上下文更可预测。

这些是预测时间中的相关性，作者自己的提醒仍然成立：需要人类参与者研究来检验这一模式是否会体现在实际认知努力和理解上。在此之前，论文最有用的结论是比较性的，而非绝对性的。LLM 改写并没有让阅读一致地更省力；它们改变了预测成本所在的位置，从词的数量转向每个词的难度。

本文引用的文献