大脑编码模型能否通过微调匹配个体知觉相似性？

准确预测大脑活动不等于反映知觉

视觉大脑编码模型被训练来根据图像预测实测大脑活动。这篇论文问的是另一个问题：这类模型的内部表征是否反映某个人如何判断两张图像相似？一个模型可以很好地预测体素反应，却仍以不符合任何人知觉相似性空间的方式组织图像。

作者把这个问题当作对齐问题处理。他们比较三类表征相似性矩阵（RSM）：一类来自一个人的相似性判断，一类来自实测 fMRI 反应，一类来自模型预测反应。每个 RSM 记录在该来源下每对图像有多相似，因此比较要问的是：一个人认为相似的图像，是否也产生相似的实测或预测大脑活动。

数据来自自然场景数据集（NSD）：8 名参与者、全脑 7T fMRI，每人约 9,000 张独特训练图像，另有 1,000 张共享图像。知觉相似性判断只覆盖 100 张共享图像，通过多重排列任务收集：参与者把更相似的图像放得更近，摆在一个圆内，最终得到每人一个 100×100 的距离矩阵。

基线编码器比原始 fMRI 对齐更好

在微调之前，基线编码器对个体内知觉相似性的追踪已经强于实测 fMRI。把每个人的判断 RSM 与两个基于大脑的 RSM 做相关，基线编码器的平均 Spearman ρ 为 0.198，实测 fMRI 为 0.146，8 名参与者间差异显著（W = 0，p = 0.008），且两种情况下每名参与者都显著。

作者提出，这可能反映模型预测相对原始 fMRI 具有更高的信噪比，但他们把这当作假设，而非已验证的机制。实际要点更窄：拟合良好的编码器并非知觉的白板，但它相对实测大脑数据的优势体现在个体内图像对结构上，而不体现在人与人之间的个体差异上。

这一区分很重要，因为同样的基线编码器几乎完全保留了实测 fMRI 的跨被试结构（ρ = 0.819，p = 0.008），却与人类判断的跨被试结构没有对应关系（ρ = −0.028，p = 0.890）。实测 fMRI 本身也未能匹配基于判断的跨被试结构（ρ = −0.193，p = 0.345）。

用每人 100 张图像个性化 DreamSim

微调需要为全部约 9,000 张训练图像提供相似性目标，但每位参与者只判断了 100 张图像。因此作者使用 DreamSim——一个预训练模型，其嵌入空间经过优化以复现群体层面的人类相似性判断——作为能给任意图像对打分的替代模型。

为个性化，他们保持 DreamSim 冻结，为每位参与者学习一个 1,792 维重加权向量，在计算图像间余弦相似度之前重新缩放嵌入维度。该向量用此人观察到的判断来拟合，并带一个正则项把它拉向原始单位向量；拟合采用对 100 张图像的 5 折交叉验证，并重复 10 次独立随机折分配。

这一步有效，但幅度不大。群体 DreamSim 与被试个体判断的相关为 ρ = 0.245 ± 0.030，个性化 DreamSim 达到 ρ = 0.314 ± 0.025，平均提升 +0.069，在 8/8 名参与者中出现（W = 0，p = 0.008）。因此个性化模型是个人判断更好的代理，而不是测量判断的替代品。

两种微调目标产生不同的编码器

随后，每位参与者的基线编码器作为学生模型被微调，基线模型的冻结副本作为教师。损失合并两项：一项是对教师体素预测的均方误差，权重为 10；另一项权重为 2，用于最大化学生图像对相似性结构与 DreamSim 派生目标之间的相关。两种条件之间唯一变化的是该目标来自群体 DreamSim 还是个性化 DreamSim，初始化和目标函数完全相同。

与人类判断的个体内对齐在三个模型中依次上升：基线编码器平均 ρ = 0.192，编码器加群体 DreamSim 平均 ρ = 0.287，编码器加个性化 DreamSim 平均 ρ = 0.377，所有两两比较均显著。个性化编码器也超过单独使用的个性化 DreamSim（0.377 对 0.314，W = 0，p = 0.008），因此提升并非仅继承自用作监督的相似性模型。

跨被试图景更清楚地区分了两种条件。个性化 DreamSim 以 ρ = 0.766 再现了跨被试判断结构，用它微调的编码器以 ρ = 0.508（p = 0.002）恢复了该结构，在全部 10 次交叉验证重复中均为正（范围 0.38–0.57）。基线编码器（ρ = −0.026）和群体微调编码器（ρ = −0.099）均未显示显著对应。

个性化对齐牺牲了 fMRI 结构

个性化编码器并非在每项指标上都更好。基线编码器强烈保留了实测 fMRI 的跨被试结构（ρ = 0.84，p = 0.007），群体层面微调后这一相关仍然很高（ρ = 0.77，p = 0.014）。个性化微调后，该相关不再显著。

因此两种微调条件把编码器推向不同方向。群体层面监督使编码器平均而言与人类判断更对齐，同时保持接近实测大脑反应的跨被试组织。个性化监督使编码器同时反映个体内和跨被试判断结构，代价是不再匹配实测 fMRI 在人与人之间的变化。

这是表征目标之间的比较，而非某一种目标普遍正确的证据。哪种编码器更可取，取决于下游用途需要与实测大脑反应一致，还是与特定个人的知觉一致。

对齐收益大于体素精度损失

微调也改变了体素级预测精度，论文明确报告了这一权衡。相对基线，个性化编码器的体素预测精度平均下降 9.2%，群体编码器下降 7.1%，而人类相似性对齐分别平均提升 190% 和 119%。

平均值掩盖了相当大的差异：一些参与者获得大量行为对齐，精度变化却不大；另一些参与者的体素预测下降更多。作者将此描述为因人而异的精度与对齐权衡，而非固定兑换率。

在单个图像对层面，变化是不对称的。从基线到个性化编码器，3.5% 的图像对从与人类判断一致转为不一致，而 6.2% 从一致转为不一致的反方向，即从不一致转为一致，因此净变化朝向匹配此人的相似性评估。

该框架能提供什么、不能提供什么

论文的贡献是一套流程：把少量人类相似性判断转化为大脑编码器的监督信号——为每个人调整通用知觉模型，为整个训练集生成相似性目标，然后在把编码器锚定到原始体素预测的同时进行微调。作者将此定位为把有限行为数据引导为更个性化、更符合人类视觉的模型。

论文陈述的主要限制是 DreamSim 充当人类判断的代理，因此个性化目标的质量取决于该基础模型。作者指出，更新的视觉或视觉-语言基础模型可能提供更强的群体层面基线，并建议测试其他知觉模型是否能成为更好的个性化目标。

实际优先级来自比较而非平均对齐分数。如果目标是让编码器的图像表征追踪某个人的知觉，包括此人与他人的差异，那么个性化监督是实现了这一点的条件，而约 9% 的平均体素精度代价是论文测得的代价。如果保持与实测 fMRI 跨被试结构的一致更重要，群体层面微调在仍提升平均判断对齐的同时保持了该相关较高。

本文引用的文献