七名被试、一个模型层、一个故事数据集
脑数据来自七名被试,他们在接受fMRI扫描时聆听Moth Radio Hour的自传体故事。词级表征与fMRI信号对齐,并扩展出四个延迟副本,覆盖约2至8秒,以考虑血流动力学反应。对每个体素,编码模型用九个故事训练,并在一个留出故事上测试,分析仅限估计噪声上限高于0.4的体素。
LLaMA2-7B特征取自32层中的第15层,这是一个中间层,因为中间层往往脑预测能力较强。SCRIBE分数由四个LLM标注器组成的集成产生,此前已用921名人类参与者的情境语义判断进行验证,达到估计人类噪声上限的75–81%。
设计中存在一处不对称:LLaMA2-7B看到的是256至512个前文词的滑动上下文窗口,而SCRIBE使用10个token的窗口。作者让每种表征保持其标准配置,并指出LLaMA独有方差因此可能部分反映更长范围的上下文。由于研究只覆盖一个模型、一个层、一个数据集和七名被试,结论仅适用于这一设定。
语义贡献在多个属性上累积
第二项属性层面分析逐一移除全部65个SCRIBE维度,重新训练SCRIBE模型和联合模型,并按全脑共享方差和SCRIBE独有方差的平均下降幅度对属性排序。由于属性之间相关,留一法下降幅度衡量的是一个属性在其余64个属性给定时的独有贡献,而不是它的总体重要性。
作者根据这些排序构建嵌套的前5、前10和前20属性集合,逐一移除后重新计算方差分解。结果是累积性的:语义贡献横跨多个维度,对共享方差和SCRIBE独有方差都有累积效应。没有任何单一属性独自承载这种对齐。
作者还指出一个测量问题:SCRIBE独有方差较小,其百分比变化不稳定。因此他们按绝对下降幅度排序和检验,并用被试间中位百分比概括SCRIBE独有方差的变化。在七名被试的情况下,配对单侧精确Wilcoxon检验可达到的最小p值为1/27≈0.0078,只有七名被试全部同向时才达到,这也是论文同时报告每项效应出现在多少名被试中的原因。
这是方差分解,不是因果结论
这些方差成分是对留出预测方差的统计划分,而不是关于大脑实际使用什么的因果陈述。共享方差意味着两种表征预测了相同的脑反应方差;它并不证明LLaMA2-7B计算意义的方式与大脑相同,也不证明SCRIBE的属性就是这种对齐背后的机制。
论文支持的实践重点更窄也更实用:在评估脑-LLM对齐时,共享与独有的拆分告诉你,一个可解释语义基础已经能解释模型预测能力的多少。在这里,共享部分占主导,而具体与抽象属性的比较以及累积消融效应描述了剩余可解释信号所在的位置。
对于比较模型或表征的读者,论文自身的阈值是0.4的噪声上限截断,以及全脑、晚期语言网络、角回、外侧颞叶皮层和IFG/MFG这一区域集合。在这一体素筛选、区域集合、模型、层或数据集之外得出的结论,本研究并未检验。
本文引用的文献
用可解释语义表征分解脑-LLM对齐
对七名被试的Moth Radio Hour fMRI数据进行LLaMA2-7B与SCRIBE的方差分解,结果显示共享方差在全脑和语言相关区域中占主导,同时两种表征都保留了显著的独有贡献;具体属性的共享方差高于抽象属性,属性消融显示累积效应。
