fMRI 视觉解码能否统一到同一空间？

一个解码器，八个数据集，一个 CLIP 空间

论文要回答的问题是：来自不同人、不同扫描仪和不同实验的 fMRI 测量，能否被组织进同一个视觉—语义几何空间并支持解码。答案是有条件的“可以”：BRAID-fMRI（跨个体与数据集的脑表征对齐）使用一个 ROI 级 Transformer，其参数在八个视觉 fMRI 数据集间共享，覆盖 93 个数据集特定的被试条目、430,007 次单试次反应和 162,839 个独特刺激。

共享的目标空间不是另一个大脑，而是 512 维的 CLIP ViT-B/32 嵌入空间。模型训练的目标是让一次脑反应落在诱发它的图像的 CLIP 表征附近。由于同一刺激在不同被试和数据集中的重复呈现被多正对比目标当作正样本，模型被推向把这些异质反应放在一起，而不是孤立地学习每个被试。

解剖 ROI 让异质大脑可比

统一化处理是单一模型得以成立的前提。每次单试次反应都用 379 个解剖定义感兴趣区表示：360 个来自 HCP-MMP1.0 分区的皮层脑区，加上 19 个皮层下区域。由于各区域包含的顶点或体素数量不同，每个 ROI 都有自己的两层 MLP 分词器，把原始测量映射到共同的 512 维 token 空间。

分词之后，每个 token 携带一个学习到的 ROI 身份嵌入，并可选地携带一个被试嵌入。Transformer、池化和投影层在全部 93 个被试条目和八个数据集间保持共享。被试向量是一种轻量的条件机制，用来吸收个体和数据集差异；它本身不是共享表征，这也是论文后来能测试不带它的模型的原因。

匹配被试上的检索优于两个基线

核心比较使用八个匹配的被试条目，三种方法在这些条目上都被评估过。BRAID-fMRI 达到 35.0 ± 11.1% 的 Top-10 准确率，MindEye 风格的池化 CLIP 解码器为 27.1 ± 5.1%，岭回归为 21.1 ± 9.1%。在八个条目中的七个上，BRAID-fMRI 的观测准确率最高。

读这个数字要注意两点。MindEye 风格基线只预测单个池化 CLIP 嵌入用于检索，不包含完整 MindEye 框架中的扩散先验或图像重建，所以这是检索比较，不是重建比较。这里的 Top-10 准确率指正确刺激出现在共享空间中最近的十个候选里，分母是候选图库，而不是脑体素或被试数量。

在两种方法都被评估的全部 63 个数据集—被试条目上做更广的检查，BRAID-fMRI 的平均 Top-10 为 22.2%，岭回归为 13.1%，并在七个检索数据集中的六个上取得更高的数据集级均值。NOD 是例外，岭回归以 12.8% 对 8.1% 领先。

未见数据集无需拟合被试向量即可迁移

更强的结论不是模型拟合了许多被试，而是它能泛化到从未见过的被试。在单独训练的被试无关模型中，被试嵌入被禁用，整个目标数据集（包括其全部被试）在训练中被留出。这些模型仍支持目标数据集留出检索。

扩大源预训练池使目标数据集留出准确率相对初始源训练条件最多提升 92.1%，并且最终的更多样条件在全部七个目标上都优于初始条件。论文明确指出，这一比较同时改变了数据集多样性和训练数据量，因此 92.1% 不能单独归因于多样性。课程中的各个步骤也并非一致有益，作者据此认为，额外的神经数据不会仅仅因为增加了样本量就可以互换。

学到的空间保留分级语义结构

仅凭检索准确率无法说明共享空间的组织方式像视觉—语义几何。因此论文比较了三种关系下的脑—脑余弦相似度：同一刺激、同一 CLIP 派生语义簇内的不同刺激、以及不同簇的刺激。同刺激嵌入最相似，同簇配对处于中间水平，不同簇配对最不相似，而且这一顺序在跨数据集比较中依然成立。

在数据集层面，由语义簇质心构建的表征相异矩阵在可评估的数据集对之间显示出对应关系，论文报告了共享至少五个语义簇的数据集对之间的 Spearman 相关。邻域分析还检验在 CLIP 空间中接近的刺激是否在学习到的脑空间中也接近，把观测到的 k 近邻重叠与分析性的随机期望比较。这些分析检验的是预测空间中的结构；它们并不证明该几何唯一或完整地代表人类视觉组织，作者本人也提出了这一点。

腹侧与早期视觉皮层承载大部分信号

消融和 ROI 级显著性把模型敏感性集中在腹侧视觉/物体区和早期视觉区，运动与注意系统则有类别相关的贡献。在全部 40 个语义簇上，各网络的影响大小和相对贡献差异很大，因此皮层层面的结论依赖内容，而不是一张固定不变的地图。

作者直接限定了这一解剖解读：网络掩蔽和梯度归因刻画的是拟合好的解码器，可能反映组大小、冗余输入和分布偏移。生物学解释还需要归因验证和扰动对照，这些分析并不确立相应脑系统的因果必要性。因此敏感性结果说明的是模型使用了什么，而不是大脑需要什么。

源数据的多样性比单纯规模更重要

论文中最具决策价值的比较不是 35.0% 这个头条数字，而是留出结果：共享解码器可以在不拟合被试嵌入的情况下迁移到未见数据集，而且最终更多样的源池改善了全部七个目标。这让跨研究差异成为需要联合建模的对象，而不是在合并前必须去除的干扰。

它设定的优先级是有条件的。由于源数据集在被试、试次和刺激构成上仍高度不平衡，该实验无法把多样性与规模分开，非单调的课程步骤也表明数据更多并不自动更好。实际解读是：解剖对应、跨被试结构和刺激语义应当一起建模，而源数据集的具体组合仍是一个需要选择和检验的变量，而不是可以假定的前提。

本文引用的文献