脑与LLM的对齐有多少来自可解释语义属性?

方差分解显示,LLaMA2-7B的脑预测能力大部分与65个可解释语义属性共享,而非LLM独有。

直接答案

在这项研究中,LLaMA2-7B的脑预测方差大部分与SCRIBE共享——SCRIBE是一种包含65个语义属性的可解释表征——这一结果覆盖全脑和语言相关区域。两种表征同时各自保留了显著的独有贡献,因此这种对齐在很大程度上、但并非完全可以用可解释语义来描述。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

共享方差占主导,但两种表征都不可替代

这篇论文要回答的是:在自然听故事时,大语言模型内部表征与脑反应之间的匹配由什么语言信息驱动。它的答案是,这种匹配的相当一部分与可解释语义信息相关,另一部分则不是。作者通过比较LLaMA2-7B与SCRIBE得出这一结论:SCRIBE对每个实词在65个语义属性上打分,这些属性涵盖感知、运动、空间、时间、社会、认知和情感维度。

比较采用方差分解:对fMRI反应拟合三个岭回归编码模型,分别使用LLaMA2-7B特征、SCRIBE特征以及两者拼接后的特征。将每个模型在留出数据上的预测相关系数平方,得到解释方差,再通过简单相减拆分为两种表征共享的方差、LLaMA2-7B独有的方差和SCRIBE独有的方差。在全脑和所考察的语言相关区域中,共享方差都是主导成分,但两个独有成分在统计上仍然显著。

这一区分之所以重要,是因为单看较高的脑预测分数无法判断模型捕捉的是否为可解释信息。这里的共享成分,指LLaMA2-7B预测能力中也能被SCRIBE显式语义维度捕捉的部分;LLaMA独有成分则是扣除SCRIBE之后剩下的部分。

七名被试、一个模型层、一个故事数据集

脑数据来自七名被试,他们在接受fMRI扫描时聆听Moth Radio Hour的自传体故事。词级表征与fMRI信号对齐,并扩展出四个延迟副本,覆盖约2至8秒,以考虑血流动力学反应。对每个体素,编码模型用九个故事训练,并在一个留出故事上测试,分析仅限估计噪声上限高于0.4的体素。

LLaMA2-7B特征取自32层中的第15层,这是一个中间层,因为中间层往往脑预测能力较强。SCRIBE分数由四个LLM标注器组成的集成产生,此前已用921名人类参与者的情境语义判断进行验证,达到估计人类噪声上限的75–81%。

设计中存在一处不对称:LLaMA2-7B看到的是256至512个前文词的滑动上下文窗口,而SCRIBE使用10个token的窗口。作者让每种表征保持其标准配置,并指出LLaMA独有方差因此可能部分反映更长范围的上下文。由于研究只覆盖一个模型、一个层、一个数据集和七名被试,结论仅适用于这一设定。

具体属性的共享方差高于抽象属性

为了弄清哪类意义承载了共享信号,作者使用五点抽象—具体量表的具体性评分,65个SCRIBE属性中有61个可获得该评分。他们选出最具体的10个和最抽象的10个属性,分别为每组拟合独立的SCRIBE模型和联合模型。

在全脑和大多数所考察区域中,具体属性与LLaMA2-7B的共享方差高于抽象属性。反向关系并不成立:抽象属性并未表现出更高的SCRIBE独有方差。换言之,具体性追踪的是一个属性的脑预测信号与LLM重叠的程度,而不是SCRIBE在LLM之外增加了多少语义信息。

这是两组各10个属性之间的比较,并不表示每个具体属性都如此。它也只涉及共享方差和SCRIBE独有方差,因此不应被理解为关于大脑最强表征哪些属性的普遍结论。

语义贡献在多个属性上累积

第二项属性层面分析逐一移除全部65个SCRIBE维度,重新训练SCRIBE模型和联合模型,并按全脑共享方差和SCRIBE独有方差的平均下降幅度对属性排序。由于属性之间相关,留一法下降幅度衡量的是一个属性在其余64个属性给定时的独有贡献,而不是它的总体重要性。

作者根据这些排序构建嵌套的前5、前10和前20属性集合,逐一移除后重新计算方差分解。结果是累积性的:语义贡献横跨多个维度,对共享方差和SCRIBE独有方差都有累积效应。没有任何单一属性独自承载这种对齐。

作者还指出一个测量问题:SCRIBE独有方差较小,其百分比变化不稳定。因此他们按绝对下降幅度排序和检验,并用被试间中位百分比概括SCRIBE独有方差的变化。在七名被试的情况下,配对单侧精确Wilcoxon检验可达到的最小p值为1/27≈0.0078,只有七名被试全部同向时才达到,这也是论文同时报告每项效应出现在多少名被试中的原因。

共享方差是人类对齐语义,但有一处保留

论文的解释是:对LLaMA2-7B和这一数据集而言,脑-LLM对齐的相当一部分与可解释语义信息相关,同时SCRIBE揭示了LLaMA2-7B表征之外的互补脑预测语义信息。这一框架把问题从“LLM能否预测脑反应”推进到“哪种可解释信息支撑了预测”。

有一处保留限定了共享成分。SCRIBE的两个标注器Llama-3.1-8B和Llama-3.1-70B与LLaMA2-7B属于同一模型家族。作者认为,SCRIBE经过人类判断验证,说明共享成分反映的是与人类对齐的语义,但他们承认无法完全排除LLM特有的贡献。

研究也未确定结果对所选层的敏感程度,以及它能否推广到更新或更大的LLM——这些模型的脑对齐程度随规模变化。这些是尚未检验的边界,而不是研究发现。

这是方差分解,不是因果结论

这些方差成分是对留出预测方差的统计划分,而不是关于大脑实际使用什么的因果陈述。共享方差意味着两种表征预测了相同的脑反应方差;它并不证明LLaMA2-7B计算意义的方式与大脑相同,也不证明SCRIBE的属性就是这种对齐背后的机制。

论文支持的实践重点更窄也更实用:在评估脑-LLM对齐时,共享与独有的拆分告诉你,一个可解释语义基础已经能解释模型预测能力的多少。在这里,共享部分占主导,而具体与抽象属性的比较以及累积消融效应描述了剩余可解释信号所在的位置。

对于比较模型或表征的读者,论文自身的阈值是0.4的噪声上限截断,以及全脑、晚期语言网络、角回、外侧颞叶皮层和IFG/MFG这一区域集合。在这一体素筛选、区域集合、模型、层或数据集之外得出的结论,本研究并未检验。

本文引用的文献

1

用可解释语义表征分解脑-LLM对齐

对七名被试的Moth Radio Hour fMRI数据进行LLaMA2-7B与SCRIBE的方差分解,结果显示共享方差在全脑和语言相关区域中占主导,同时两种表征都保留了显著的独有贡献;具体属性的共享方差高于抽象属性,属性消融显示累积效应。