语言模型中的神经元消融能复现失语症模式吗？

沉默单元，观察哪里先坏

论文要回答的问题是：语言衰退的模式——哪些能力保留、哪些逐渐侵蚀、哪些突然崩塌——能否从计算架构受到的损伤中预测出来。为检验这一点，作者从语言模型中移除计算单元，测量下一词预测的变化，以及一套 100 条提示的填空（Cloze）测试的变化；这套测试把语法与词义区分开来。

研究使用两个模型家族。循环模型是 3 层 Small LSTM（约 10M 参数，580,320 个非嵌入参数）和更大的 AWD-LSTM（约 44M 参数，20.3M 个非嵌入参数），两者都在 WikiText-103 上训练。Transformer 是 Qwen 0.5B 和 Qwen 1.8B，均为 24 层稠密模型，在 TinyStories 段落上评估。由于这些模型在规模、语料和分词器上不同，作者报告相对准确率（Acc(k)/Acc(0)），并把错误分布与准确率匹配的随机失效基线比较，而不是只看原始分数。

消融是二值且均匀的：在所有层中把比例为 k 的单元置零，并用梯度钩子让这些条目在训练中保持为零。对 LSTM，整体单元移除同时把输入到隐藏和循环权重及偏置置零，前向钩子验证最大活动为 0.0；在 k = 0.5 时，这移除了 Small LSTM 中 70.4% 的非嵌入参数、AWD-LSTM 中 72.7% 的非嵌入参数。对 Transformer，MLP 神经元移除把 up/gate 投影的行和 down 投影的列置零（k = 0.5 时占非嵌入参数的 33.7%），注意力头移除则把 Q、K、V 的行和 O 的列置零（k = 0.5 时占 16.3%）。

LSTM 的语法与词义同步流失

在两个 LSTM 中，整体单元移除都造成平滑下降，没有断崖。Small LSTM 的准确率从 k = 0 时的 0.2747 降到 k = 0.5 时的 0.1260、k = 0.9 时的 0.0712；AWD-LSTM 从 0.3806 降到 k = 0.5 时的 0.1307、k = 0.9 时的 0.0678。在 Cloze 测试上，语法和词义从 k = 0.1 起同步稳定侵蚀，到 k = 0.4–0.6 时实词得分降到零下限，此后模型退回到常见功能词。

作者检验这种曲线形状是否是替代补偿可塑性的微调方案造成的假象。他们比较了不微调、短暂局部 SGD 和 500 步 AdamW 重训练三种情况。即使使用域内 AdamW 重训练，LSTM 曲线仍保持平滑；而在完全不微调时，Transformer 的 MLP 通路仍表现出晚期急剧崩塌，且相对 LSTM 没有早期保留优势。因此作者把曲线形状归因于架构连接方式，而不是短期权重恢复。

连接层面的对照解释了 LSTM 的曲线。只切断来自前文的循环连接，会让语法和词义在整个范围内缓慢同步下降；而切断把当前词送入三层链路的输入连接，则在串行容量损失足够多后迅速跌落到功能词默认输出。把 LSTM 做大能把未受损准确率从 27.5% 提高到 38.1%，但不改变失效模式。

Transformer 分裂为两种失效模式

Transformer 的结果取决于受损的是哪个子模块。在 MLP 神经元消融下，准确率大体保留，随后在较晚的阈值处崩塌，约在 k* ≈ 0.3–0.4。在注意力头消融下，下降更平滑、呈 S 形，并带有早期平台期：Qwen 1.8B 的注意力通路在 k = 0.4 之前一直接近基线，之后才变陡，Qwen 0.5B 的注意力通路表现类似。

作者把这种分裂联系到 Transformer 模块内部各部分的假定角色。此前的可解释性研究提示，前馈 MLP 层充当词关联的分布式记忆存储，而注意力头沿共享残差流从句子前面的词收集上下文。按这一假设，损伤 MLP 神经元会保留上下文但损害对确切目标词的检索；损伤注意力头则保留词存储但削弱句子上下文，使模型转向更安全、更通用的词。

错误模式在定性上符合这一解释。MLP 受损的模型在崩塌前仍以未受损时的比例做出同类别语义替换——即语义性错语——同时无响应输出上升；作者把这比作 Wernicke 型失语症，但指出这种类比只是部分的，因为空白和功能词输出也在上升，所以流畅性并未保留。注意力头消融则产生语义特异性丧失的趋势，作者将其比作原发性进行性失语症的语义变异型（svPPA）。

错误构成比原始准确率更能说明问题

论文的核心测量主张是：只看准确率会掩盖损伤。即使在轻度消融（k = 0.1–0.2）时，相对于准确率匹配的随机失效基线，模型新出现的错误已经转向较少见的实词，而不是极常见功能词（∆R4 < 0，∆D1 > 0）。这一偏移在两个 LSTM 和 Qwen MLP 中从 k = 0.1 起显著，在 Qwen 1.8B 注意力通路中从 k = 0.2 起显著。

作者还计算了傅里叶谱指标 β 和 G，用来描述预测错误随词频排名变化的平滑程度。这些原始指标呈非单调波动，且试次间变异大于 R4，因此作者把主要的跨通路比较建立在准确率匹配、零假设校正后的 ∆R4 和 Jensen–Shannon 散度上。这一选择对读者很重要：谱指标描述错误分布的形状，但不是用来区分通路的证据。

临床类比是根据共享的 100 条提示 Cloze 测试分配的，而不是根据谱分析。作者把这些标签描述为错误模式的描述性名称，并不主张模型具有理解或疾病。

早期平台期与临床储备的相似之处

最具体的临床类比涉及时间进程。Transformer 注意力头消融下的早期准确率保留，在定性上类似于阿尔茨海默病临床症状出现前 40–60% 神经元丢失之前的症状前储备期，这一神经元丢失比例来自 Gomez-Isla 等人（1996）的报告。更平稳的 LSTM 下降则类似于 DeKosky 和 Scheff（1990）以及 Terry 等人（1991）描述的症状进展期。

作者对这种类比的层级很谨慎。阿尔茨海默病最初表现为较长的症状前阶段，随后是广泛的多域衰退；LSTM 整体单元的比较被用来捕捉第二个、综合征层面的维度——多种语言功能逐渐且并行侵蚀，没有选择性的句法–语义分裂——这与 Transformer 子模块消融下出现的局灶通路分离形成对比。

论文的实践建议正落在这里。由于改变疾病的阿尔茨海默病疗法需要在 tau 驱动的皮层萎缩广泛化之前介入，作者提出：把患者在命名或 Cloze 测试中的词频错误模式与准确率匹配的随机基线比较，可能有助于在总体测试分数下降之前区分早期结构性衰退与良性注意力失误。这一提议是从模型行为推导出的假设，不是经过验证的临床工具。

失语症类比的边界在哪里

消融只是一种理想化的损伤模式：在所有层中均匀地二值置零。真实的疾病和卒中可能逐渐削弱突触、在细胞死亡前加入噪声信号、把损伤集中在特定层或区域、破坏区域之间的连接，并以不同于标准微调的方式恢复。作者声明，他们的临床类比描述的是输出层面的行为相似性，而不是与神经认知成分的一一对应。

实证范围也有限。LSTM（约 10–44M 参数，在 WikiText 上训练）和 Transformer（0.6–1.8B 参数，在 TinyStories 上评估）在规模、语料和分词器上都不同。100 条提示的 Cloze 测试能区分 MLP 与注意力通路的总体退化曲线，但要检验单个错误亚型上的细微差异，还需要更大的提示集。

任务本身也限制了哪些失语症状能出现。固定词表上的单词级 Cloze 补全只能分离词选择错误——语义、无关和无响应——但无法复现语音错语或自造非词，因为模型没有语音产生阶段；模型中的形式、混合和新词错误 ≤1%，而患者中约为 20.5%。句子层面的流畅性和语用没有被评估，自动评分还依赖 top-5 准确率匹配和词性门控 GloVe 相似度等操作规则。

决定曲线的是通路而非损伤规模

论文最具决策相关性的结果是一个比较，而不是单个数字：在相同消融比例下，Transformer 的 MLP 通路先维持准确率、随后晚期崩塌，注意力通路先出现早期平台期、随后下降更平滑，LSTM 通路则稳定下降、语法与词义一同下滑。作者认为这一排序在全部四种微调方案下都成立，因此把它归因于架构，而不是恢复动态。

对把这项研究当作失语症模型的读者来说，有用的阈值正是作者强调的那个：错误构成向较少见实词的偏移，在 LSTM 和 Qwen MLP 中从 k = 0.1 起出现，在 Qwen 1.8B 注意力通路中从 k = 0.2 起出现，此时总体准确率还没有大幅下降。这就是论文主张关注系统把哪些词弄错、而不只是错多少的依据。

相应的警示同样具体。临床标签是根据 100 条提示的 Cloze 测试分配的，模型在规模和语料上不同，消融是均匀二值置零。因此论文支持把架构依赖的失效曲线作为失语症综合征的计算机模拟类比，其中 MLP 与注意力的分裂是最清晰的证据——而不是主张任何模型患上了失语症。

本文引用的文献