脑启发的提示微调能否提升 CLIP 的脑电到图像检索？

63.2% 的检索分数衡量的是什么

这个核心数字来自 THINGS-EEG2 上的 200 选一检索任务：给出一段被试观看图像时记录的脑电信号，模型要从 200 个候选图像中挑出与之匹配的那一张。论文报告十名被试平均 Top-1 准确率为 63.2%，Top-5 准确率为 90.3%；作为对比，列表中表现最强的基线 UBP 分别为 50.9% 和 79.7%。论文把这两项提升称为 +12.3% 和 +10.6% 的相对改进。

理解这个分数需要注意两个条件。第一，这是被试内设定，即每名被试的数据用于该被试自己的评估；同一张表显示，所有被试都优于 UBP，Top-1 从 48.2% 到 70.6%。第二，比较对象是这篇论文报告的基线，而不是穷尽整个领域。难度高得多的被试间设定——模型要在未见过的个体上测试——平均 Top-1 只有 17.0%。

冻结的 CLIP 为何浪费了对齐空间

CLIP 是一个预训练的视觉-语言模型，它把图像和文本映射到同一个嵌入空间。在论文描述的脑电到图像流程中，CLIP 通常被当作静态特征提取器：图像特征只计算一次，然后训练一个脑电编码器去匹配它们。作者认为，这种做法忽略了视觉表征本身可以在多大程度上被调整以适配神经信号。

他们还指出第二个障碍，即生理-符号鸿沟。文本携带明确的符号，可以与图像内容对齐；而脑电以分布在时间和频率上的神经活动隐式地编码视觉信息，没有人工标注的中间表征。NeuroCLIP 的设计同时回应这两个问题：让视觉一侧变得可调整，并软化对比目标，使其不再要求带噪脑电与图像特征之间精确的一一对应。

Transformer 内部的两级视觉提示

NeuroCLIP 保持 CLIP 视觉 Transformer 冻结，并在两个层级插入学习到的提示。实例级路径从输入图像的第二份、经过滤波的副本出发。一个轻量网络生成内容自适应滤波器，得到滤波后的图像，其 patch token 再通过交叉注意力与原始图像的 patch token 融合。这样，图像内容本身就能调节哪些 patch 表征进入 Transformer，而不是对每张图像施加同一种固定变换。

共享级路径加入跨样本共用的视觉提示 token，与类别 token 和融合后的 patch token 一起插入 Transformer。论文把这些描述为全局的、模态级的提示，在训练中与调整后的 patch token 交互。两者的区别正是关键：实例级提示随每张图像变化，共享级提示承载学习到的、覆盖整个数据集的适配。两者都在 CLIP 主干冻结的情况下训练，因此该方法改变的是视觉表征如何被组装，而不是重新训练视觉模型。

为带噪脑电软化对比目标

标准 CLIP 训练使用对比损失，把每个脑电嵌入拉向配对的图像、推离其他所有图像，并把每个不匹配的配对都当作同等程度的负样本。论文认为这不适配脑电：信号有噪声、语义模糊，一些不匹配的图像在感知上仍可能与记录的刺激相关。

因此 NeuroCLIP 组合了三项。它保留原有的 CLIP 对比损失，并加入两项新损失：一项软对齐损失，用模态内相似度分布构造目标，再通过对称 KL 散度与跨模态分布比较；另一项关系感知正则项，去掉正样本对角线、重新归一化，再比较剩余的负样本分布。总目标是三者的加权和。作者说明，这种软对比设计改编自视觉-语言领域的工作，并按他们的说法，是首次将其应用于脑电-图像对齐。

被试间泛化有提升但仍然偏低

被试间表格是更严苛的测试，也是更有信息量的边界。在那里，NeuroCLIP 平均 Top-1 为 17.0%、Top-5 为 40.3%，UBP 为 12.4% 和 33.4%，论文把这一提升报告为 Top-1 +4.6%、Top-5 +6.9%。改进方向一致，但幅度不均：被试 2 的 Top-1 从 15.5% 升到 31.8%，被试 10 从 16.0% 升到 29.8%，而被试 9 从 15.5% 略降到 9.9%。

这一模式比平均值本身更重要。在 200 选一任务中，17.0% 的 Top-1 远高于 0.5% 的随机水平，但与被试内结果相差很远，且被试间的离散程度说明该方法并不能在个体之间均匀迁移。论文把被试间困难归因于人与人之间更高的脑电变异性，其自身框架也把泛化视为对齐策略最关键的场景。

增益来自哪里，代价是什么

论文的参数表比较了与 NeuroCLIP 搭配使用的 CLIP 视觉主干。随着主干变大，相对对应基线的报告增益缩小：ViT-B/16 为 +1.57%，ViT-B/32 为 +1.54%，ViT-L/14 为 +0.86%，ViT-H/14 为 +0.68%。同一区间内运行时间急剧上升，ViT-B/16 单被试训练需 6.53 分钟，ViT-H/14 需 200.01 分钟，每批检索时间从 1.2 秒增至 5.99 秒。

把这些数字放在一起看，描述的是一种权衡而非简单的规模扩展故事：较小的主干以最低成本获得最大的提示微调收益，最大的主干收益最小，单被试训练时间却约为前者的三十倍。论文还报告了在 THINGS-MEG 上的额外实验，称其被试内与被试间表现具有竞争力，并在被试间相对 UBP 有一致改进；但提取出的结果部分没有给出 MEG 表格的数值，因此这些说法在此无法用数字核对。

结论成立的范围与止步之处

证据支持一个具体结论：对冻结的 CLIP 视觉 Transformer 做提示微调，并结合软化的对比目标，可以在被试内和被试间两种评估下，相对这篇论文报告的基线提升 THINGS-EEG2 上的零样本脑电到图像检索。被试内增益大，且在全部十名被试上一致；被试间增益较小，且在被试之间不均匀。

若干限制紧贴这一结论。作者把脑电编码器描述为相对浅层且任务专用，提示行为是从架构中隐式涌现的，而非被显式控制。提示表征仅限视觉，因此该框架尚未把脑电导出的提示连接到文本编码器。此外，对于任何需要在没有被试专属训练的情况下解码新人脑电的用途，相关参照点是被试间结果，而不是 63.2% 这个核心数字。因此，这篇论文真正的优先级是对视觉一侧做生理感知的适配，而这一收益的大小在很大程度上取决于选择哪种评估设定和哪个主干。

本文引用的文献