可解释的 LLM 语义如何预测人脑对语言的反应？

情境性与可解释性曾是取舍

论文从早期语义模型的一个具体缺陷出发。基于认知与神经科学理论构建的特征表示（例如 Binder 等人 2016 年的空间）用有名称的属性描述概念，因此可以直接解释；但它们给每个词分配固定向量，不考虑该词出现在什么句子里。论文自己举的例子是“knife”：在“he cut himself with a knife”中它可能带有伤害和负面情绪，而在“he chopped vegetables with a knife”中则更中性、更偏功能。固定常模无法表达这种变化，而且依赖人工标注和固定词表，难以扩展到任意自然语言。

大语言模型的分布式表示解决了情境和规模问题，却带来了归因问题。它们的内部向量具有情境性，也能预测自然语言理解过程中的神经反应，但这些向量把语义、句法和其他词汇属性纠缠在一起，因此与脑活动的对齐无法干净地归因于意义。SCRIBE 是论文的尝试：保留第一种方法的可解释维度，同时获得第二种方法的情境覆盖能力。

LLM 是标注者，不是表示本身

SCRIBE 不使用 LLM 的内部激活。它把开源 LLM 集成当作标注者，放进 Binder 等人（2016）的语义特征空间里；该空间包含 65 个属性，覆盖知觉维度（视觉、听觉、躯体感觉、味觉、嗅觉）、运动效应器、空间与时间属性，以及抽象的社会、认知和情感特征。每个属性对应一个被描述的意义侧面，例如“容易看到的东西”“与疼痛相关的东西”或“让人感到快乐的东西”。

对于给定的目标概念及其周围语言语境，模型会针对每个属性分别被提示，并被要求返回一个 0（完全不相关或不适用）到 6（非常强相关）之间的数字。随后，各属性的分数跨模型聚合，形成最终表示，输入一个预测 fMRI 反应的脑编码模型。由于每个输出维度都是有名称的属性，读者可以检查是哪个属性驱动了预测；由于提示中包含句子，同一个词在不同语境中可以得到不同分数。论文指出，原始空间中的三个双极属性（温度、质地、重量）按两个极点分别查询，再取最大值合并，最终得到 65 个属性。

分数高于随机水平地贴合人类评分

第一项验证问的是：对于孤立的、脱离语境的概念，生成的分数是否表现得像人类语义判断；这里使用 Binder 等人（2016）已有的人类常模。置换检验把概念—属性配对随机打乱 1,000 次，同时保留标注的边缘分布，为每个指标生成零分布。在所有模型中，真实标注都明显区别于置换后的标注：均方误差更低，Pearson 相关更高。对集成而言，真实平均 MSE 为 1.07，置换后为 3.88；真实平均 Pearson 相关为 0.77，置换后为 0.12。单个模型的真实相关从 0.61（mistral-7b）到 0.74（llama3.1-70b），集成最强；论文把这视为支持跨模型聚合的证据，类似于聚合人类判断。

新的人类数据集显示判断随语境变化

更严格的检验是情境化的。作者收集了一个新的人类标注资源，即情境依赖的语义特征常模；他们称这是首个此类资源，并计划公开。他们从合成数据集的 57 个属性中选出 54 个，排除温度、重量和质地，因为这些属性由成对的对立维度推导而来，而情境标注需要两个维度都在同一句子中评估。对于每个保留属性，他们按原始脱离语境评分强度分层选择六个概念（两个低、两个中、两个高），共得到 324 个概念—属性配对。每个配对出现在三种条件下：旨在增强关联的高目标语境、旨在削弱关联的低目标语境，以及脱离语境条件，共 972 个独特条目。

参与者通过 Prolific 招募，要求英语流利、98–100% 的通过率和至少 100 次历史提交，完成约 10 分钟的研究可获得 2 美元。经过质量控制（包括剔除未通过注意力检查、平均每题反应时间低于 7 秒以及所有条目给同一分数的参与者），并移除一个高目标句子显示错误的配对后，最终样本为 921 名参与者和 11,983 条评分，平均每个条目 12.4 条评分。人类评分在高目标条件下最高（M = 4.23，SD = 1.07），确认受控语境系统性地沿目标维度移动了判断。SCRIBE 捕捉到了这些变化，达到估计的人类噪声上限的 75–81%；论文将其与两组独立收集的人类评分之间的一致性相比较。

语境在语言区增加预测力

神经检验使用参与者听自然故事时记录的脑活动。这里的关键比较在 SCRIBE 内部：它的情境化表示与自身脱离语境表示的比较。加入语境显著改善了对 fMRI 反应的预测，尤其是在语言相关皮层区域。这是模型内比较，因此说明的是情境化分数是否携带静态分数缺少的信息，而不是 SCRIBE 是否胜过所有替代表示。

论文还把 SCRIBE 与最接近的现有方法 QAEmb 比较；后者同样用 LLM 作为标注者，把刺激转成显式、有认知动机、可解释的词级特征，用于脑编码。区别在于这些特征被设计来表示什么：QAEmb 覆盖一般意义上的神经科学动机语言属性，而 SCRIBE 专门在独立定义的 Binder 等人空间内表示概念语义，并估计这些属性如何随语境变化。在报告的比较中，情境化 SCRIBE 比 QAEmb 解释了更多独特神经方差，在语义区域（如外侧颞叶皮层和角回）差异显著。

独特方差在句法控制后仍存在

情境化表示可能因为错误的原因预测脑活动，因此论文加入了一项与独立定义的句法特征的方差分解分析。结果是一个对解释很重要的分裂判断。情境化 Llama2-7B 嵌入的整体脑编码表现高于 SCRIBE（0.2387 ± 0.0215 对 0.1837 ± 0.0144），所以原始预测准确率偏向不可解释的嵌入。但更高的准确率并不能确定是哪种语言信息带来了优势。

方差分解显示，在额下回和额中回，SCRIBE 与句法特征空间的共享方差显著少于 Llama2-7B；在晚期语言区和外侧颞叶皮层也呈现相同的数值方向。这一点值得注意，因为左侧额下区域与句法加工有关。置换检验确认，SCRIBE 独特解释的方差在四个语言相关感兴趣区（晚期语言区、外侧颞叶皮层、IFG/MFG 和角回）都超过随机水平（所有 p ≤ .002）。论文的解读是：SCRIBE 的表示捕捉了所测句法特征无法解释的语言意义侧面，而得分更高的 Llama2-7B 嵌入仍然更难归因。

相对顺序成立，绝对分数需校准

这些限制很具体，值得带入任何使用该框架的场景。SCRIBE 捕捉的是人类判断的相对顺序，但它的分数平均而言系统性地低于人类评分，因此依赖绝对值的应用可能需要校准。个体对情境依赖属性的人类判断有噪声，结论成立在平均评分层面，而不是单个标注者层面。情境刺激是受控的、由 LLM 生成的句子，旨在移动特定属性；用自然文本的人类判断验证 SCRIBE 仍是重要的下一步。固定语义空间还把表示限制在预定义维度集合内，可能遗漏某些意义侧面；作者接受这一取舍，以换取一个有原则、可解释、可与先前工作比较的基础。提示消融显示，性能在所测试的变体中大体稳健，而且集成与人类评分的相关强于任何单个模型。

可解释性改变了哪个模型更好

论文最具决策相关性的结果不是一个准确率数字，而是竞争性表示应如何比较的改变。如果唯一标准是全脑编码相关，情境化 Llama2-7B 嵌入胜出（0.2387 对 SCRIBE 的 0.1837）。如果标准是脑预测信号能否归因于意义而非句法，SCRIBE 的优势就出现：在 IFG/MFG 与句法特征的共享方差显著更少，并在四个语言相关区域都有显著独特方差。对于选择表示来研究脑中语义的读者，这一区分设定了优先级：当问题需要有名有姓、随语境变化的语义维度以及可辩护的归因时，使用 SCRIBE；同时应把其较低的绝对分数和未校准的量表视为需要校正的属性，而不是反对该方法的证据。

本文引用的文献