交叉注意力路由如何捕捉视觉皮层的时空动态？

学习到的查询为每个分区路由视频特征

这项研究要回答的问题是：如果模型能为每个皮层分区选择“哪些位置、哪些时刻更重要”，对自然视频的 fMRI 响应预测是否更好。分区是一小片皮层区域，其中的体素被一起建模。骨干网络是 V-JEPA-2 ViT-g/16，一个自监督视频模型；每个 3 秒片段被采样为 16 帧，其 token 构成 16×24×24 的网格，每个 token 覆盖一个采样帧（约 0.19 秒）和一个 16×16 像素的图像块。

每个分区有一个学习到的查询，在该 token 网格上做交叉注意力，得到的注意力特征再送入体素特异的线性读出层来预测响应。在联合模型中，softmax 覆盖所有（时间、高度、宽度）token，因此一个分区可以在不同时刻把权重移到不同位置。作者将其与若干受限方案比较：均值池化、仅时间加权、仅空间加权、空间权重与时间权重相乘的因子化形式，以及充当静态感受野的固定空间分布。

对典型被试，联合模型约有 4700 万参数：约 60 万在查询，2180 万在共享的注意力和前馈模块，2450 万在体素读出层。评估使用 102 个留出测试片段；10 个集成成员分别在 1000 个训练片段上按随机 900/100 划分训练与验证，岭回归基线使用相同划分。

联合路由整体占优，但幅度不大

在所有建模体素上取平均，联合模型达到 r² = 0.191，最接近的受限模型——仅空间路由——为 0.187，这一差异在全部 10 名被试中都成立（t(9) = 5.85，FDR 校正后 p < 0.001）。联合模型在全部 10 名被试中也优于其他所有受限模型和岭回归。

受限模型揭示了增益来源。联合路由比均值池化高出 0.010，其中 0.006 可由仅空间路由恢复。仅时间路由没有优于均匀池化（0.180），在因子化形式中把时间路由加到空间路由上，也没有超过仅空间路由（0.186）。为每个分区学习的固定空间分布同样未能超过均值池化（0.181）。

作者将这一模式解读为：增益需要模型根据刺激在不同时刻选择不同位置，而不仅仅是权重更灵活。这是作者对消融模式的解释；比较本身是在留出片段上测得的。

侧部与顶叶皮层从耦合中获益最多

联合路由相对因子化和空间模型的优势集中在侧部枕颞皮层。在侧部/面孔/身体区域，联合模型达到 0.263，即噪声上限的 66%，并在每名被试中都超过因子化、空间、均值池化和岭回归模型（联合减因子化：t(9) = 6.60，FDR 校正后 p < 0.001）。顶叶区域同样偏好联合路由而非其他所有模型。

早期视觉皮层的表现不同。在那里，空间、因子化和联合模型并列于 0.189（联合减因子化：t(9) = −0.03，FDR 校正后 p = 0.98），三者都比均值池化高 0.012。换言之，在早期视觉皮层，根据刺激选择空间位置就解释了全部增益；而侧部和顶叶区域还额外受益于随时间跟踪内容。

场景选择区证据混杂。联合模型和空间模型在那里都未显著超过岭回归基线。作者认为，这可能反映场景选择皮层编码的是全局场景布局，而整段片段平均后的特征可能已经捕捉到这一点。仅看场景选择 ROI（PPA、RSC、TOS）时，联合模型在每名被试中都优于因子化模型（+0.0041 有符号 r²，t(9) = 6.16，FDR 校正后 p < 0.001），但与均值池化特征的岭回归相当（+0.0007，t(9) = 0.42，FDR 校正后 p = 0.75）。

注意力图跟随跨帧移动的物体

由于联合模型的注意力是 token 上的分布，可以按片段可视化。对左侧 EBA 的一个分区，注意力停留在击剑者的身体上，并在切到特写后跟随手臂和剑完成挥动。对左侧 STS 的一个分区，注意力停留在攀爬的熊猫头部和身体上。

因子化模型无法产生这种模式。它的空间图在各帧间固定，只有时间权重变化，因此注意力集中在少数几帧，并在这些帧内散布到包含背景的大片区域。在击剑片段中，同一张空间图必须同时服务远景和特写，尽管身体在两个镜头中位置不同。这一比较是论文对联合路由超越可分离空间×时间加权的最清晰展示。

注意力区分面孔、身体和场景网络

如果一个分区的注意力反映其体素对什么响应，那么类别选择区应关注其偏好类别。作者用每个分区最受关注的 92 个 token（前 1%）与 SAM 3 分割片段得到的类别掩码计算交并比（IoU）来检验。原始 IoU 主要反映类别大小，因此他们在分区之间做 z 分数化，以分离分区差异。

FFA、OFA 和 EBA 比平均分区更关注面孔、身体和动物（这些在片段中常一起出现），更少关注场景；场景选择区 PPA 和 RSC 则相反。对大多数面孔、身体和场景选择 ROI，最高类别是预期类别，OFA 和 STS 例外。

作者随后推导定位对比，发现对比度最高的分区与对应 ROI 的重叠高于随机水平：面孔 0.19 对随机 0.09，身体 0.14 对 0.02，场景 0.28 对 0.10（FDR 校正后 p < 0.05）。这里用不同片段的掩码做对照很重要：对面孔，错配掩码的重叠处于随机水平（0.10 对 0.09），而正确掩码显著更大，因此面孔定位依赖片段内容。对场景，错配掩码与正确掩码的重叠几乎相同（0.26 对 0.28），因此场景定位主要反映分区的空间先验，而非对每个片段中场景的注意力。

短片段与慢速 fMRI 限定结论范围

刺激是 BMD 数据集中的 3 秒片段，因此该框架尚未在更长电影上测试，而更长时间窗上的时间整合可能很重要。fMRI 缓慢的时间分辨率是第二个限制；作者提出在时间分辨率更细的 MEG 和 EEG 数据上测试该模型。

论文还把计算结论与生物学主张分开。作者写道，结果可能提示高级视觉皮层实现了类似时空交叉注意力的机制，但表示这仍有待实证检验。他们指出，缩放点积注意力可能近似一种归一化机制，未来工作应比较交叉注意力与受生物学启发的归一化模型。

侧部区域耦合路由的优势并非 V-JEPA-2 特有：使用 VideoMAE v2 和图像模型 DINOv2、CLIP 的深层特征时，联合模型在侧部/面孔/身体区域仍比因子化模型更准确。但模式取决于特征：使用浅层特征时，联合模型不如仅空间路由；对 CLIP 最后一层，均值池化特征的岭回归在除早期视觉外的每个区域都最准确。

耦合在内容穿越时空时起作用

论文最具决策相关性的比较不是联合路由对均值池化，而是联合路由对仅空间路由，因为后者分离出时间耦合带来了什么。答案因区域而异：在早期视觉皮层，仅空间路由就捕捉了全部增益；在侧部/面孔/身体和顶叶区域，联合路由带来进一步且跨被试一致的提升；在场景选择皮层，超越均值池化特征的证据较弱。

这一分界为读者提供了判断该框架是否值得增加复杂度的具体阈值。如果目标是侧部或顶叶皮层的动态运动和动作处理，联合时空查询就是应使用的模型。如果目标是早期视觉皮层或全局场景布局，更简单的空间或均值池化读出表现相当，而可解释的注意力图应结合片段内容对照来解读，尤其是对场景选择分区。

本文引用的文献