EEG 与 iEEG 模型的统一测试平台
脑基础模型是经过预训练的编码器,从电生理脑信号中学习可迁移的表征,再适配到诊断、睡眠分期等下游任务。作者指出,此前的基准主要覆盖头皮 EEG,纳入的可用模型只是有限子集,除下游分数之外的分析也很少。Brain4FMs 被介绍为据其所知首个在 EEG 与 iEEG 上联合评测这类模型的统一基准;iEEG 是仅在临床有指征的患者身上采集的颅内记录。
范围很具体:17 个代表性模型和 21 个公开数据集,覆盖临床诊断、睡眠分期、交流与情感计算。该基准被描述为开放、即插即用,具备数据集感知的预处理、跨被试评测、异构多通道记录处理以及标准化的下游适配流程。这些组件之所以重要,是因为它们决定两个模型是否在相同条件下被比较。
414 个模型–设置组合,另加两种 NeuroGPT 变体
评测覆盖 26 个下游分类设置。17 个模型全部在其中的 22 个设置上评测,而四个异构多通道 iEEG 设置只支持 10 个兼容模型:BIOT、LaBraM、CBraMod、BrainBERT、SppEEGNet、BrainWave、MBrain、BFM、CodeBrain 和 MVPFormer。由此得到 414 个模型–设置组合。对 NeuroGPT,作者还在 22 个适用设置上额外报告了仅编码器变体和编码器–解码器变体,使报告的组合总数达到 436 个。
指标选择取决于任务。二分类任务报告 AUROC、准确率、F1 和 F2,用于刻画无阈值判别能力和类别不平衡下的正类检出。多分类任务使用准确率、一对多 AUROC、宏 F1 和 Cohen's κ,分别衡量整体判别能力、各类别表现和超出随机水平的一致性。结果以 n 折交叉验证的均值±标准差报告,最佳均值依据未四舍五入的数值加粗标出。这些指标衡量的是不同方面,因此在 AUROC 上领先的模型并不自动在 F1 或 κ 上领先。
胜出者随数据集而变
核心发现是异质性。性能随任务、信号模态和适配协议变化,没有单一模型能稳定主导所有评测场景。逐数据集的结果表在具体案例中显示了这一点。在 CHBMIT 上,BrainWave 的 AUROC 达到 .90 ± .03,而该数据集上最强的对比学习组模型 MBrain 为 .75 ± .08,BIOT 则降至 .56 ± .08。在 MAYO 上,BrainWave 再次以 .98 ± .01 领先,BrainBERT 以 .97 ± .01 紧随其后,NeuroLM 为 .64 ± .09。
排序在不同数据集之间并不稳定。在 ADFD 上,REVE 以 .84 ± .07 领先,LaBraM 为 .83 ± .10,BrainOmni 为 .80 ± .07,而 BrainWave 为 .74 ± .05。在 iEEG 设置上局面再次改变:在 HUP-ECoG 上,BrainWave 达到 .88 ± .07,BrainBERT 为 .81 ± .12,但 LaBraM 降至 .51 ± .06,F1 为 .00 ± .00。在 HUP-SEEG 上,BrainWave 以 .79 ± .11 领先,BFM 为 .61 ± .02。只在单个数据集上比较模型的读者,与在全套数据上比较的读者,会得出不同结论。
能进入 iEEG 设置的模型更少
iEEG 设置并不是 EEG 结果的同构延伸。17 个模型中只有 10 个兼容四个异构多通道 iEEG 设置,因此比较集合缩小,那里的排名不能当作 17 个模型的完整竞赛来读。报告的数字也显示,其中一些数据集上的区分度弱得多:在 Cogitate 上,LaBraM 为 .53 ± .01,CodeBrain 为 .52 ± .01,BrainBERT 为 .52 ± .01,BrainWave 为 .49 ± .01,都接近 .50 的随机水平 AUROC。
这正是该基准的设计选择本身成为发现的地方。作者之所以构建数据集感知的预处理和异构多通道处理,正是因为导联布局和记录设置各不相同,而 iEEG 结果表显示迁移到这些设置的表现并不均衡。在这个基准中,模型在 EEG 上的高分不会自动延续到颅内数据。
适配协议改变排名
该基准区分两种适配协议。在全量微调中,预训练模型与下游分类头一起更新。在冻结微调中,预训练编码器固定,只训练分类头。为保持比较公平,作者沿用对应全量微调运行中选出的分类头学习率,并在代表性组合上补充了分类头学习率敏感性分析,覆盖 Bendr、EEGPT、SppEEGNet 和 NeuroGPT 在 MDD-64、MAYO、ADHD-Adult 与 ISRUC-G1 上的情况。
这项敏感性检查之所以重要,是因为分类头学习率选得不好,可能让冻结微调显得比实际更差。对大多数组合而言,改变分类头学习率只带来冻结性能的微小变化。EEGPT 在 MAYO 上是唯一明显敏感的案例:主实验使用的分类头学习率 5×10⁻⁴ 得到验证 AUROC 73.20,接近在 10⁻³ 下搜索到的最佳结果 75.13,但仍远低于全量微调的 91.76。作者由此认为,共享分类头学习率的设置没有实质性地不利于冻结微调,也没有改变其相对全量微调的排序。
少样本增益真实但不均匀
一项基于原型的迁移分析检验了给模型更多标注样本能否提升性能。七个模型在六个数据集上以 1、3、8、15 样本设置运行,每个箱线图汇总每折五次重复支持集采样的折级结果。在总体层面,样本数与性能呈正相关。
在组合层面则并不一致。在具备全部四种样本设置的 42 个模型–数据集组合中,22 个在 FDR 校正后呈现显著的 1/3/8/15 样本正向趋势;在 15 样本对 1 样本的比较中,42 个组合里有 21 个显著提升。SleepEDF 上的若干模型呈现显著正向趋势且 15 样本增益相对较大,BrainWave 在 ADHD-Adult、SZ-28 和 ADFD 上提升尤为明显。其他组合只有温和或不显著的增益,包括 ADFD 配 BrainOmni、ADFD 配 MBrain、SZ-28 配 REVE、ADHD-Adult 配 CBraMod 以及 MDD-64 配 CBraMod。因此总体趋势不应被理解为对任何特定模型–数据集组合的保证。
空间、频谱与离散表征
除下游分数之外,作者还在三个方面对模型特有属性做了探索性分析:空间、频谱与离散表征。其明确目的是理解这些异质的迁移行为,而不是进一步给模型排名。论文还按自监督预训练范式组织模型,在结果表中将其分为对比式、生成式和其他类别,并在每组内按 AUROC 排序。
这种分组提醒读者:该基准比较的是建立在不同预训练目标上的模型,而不是同一设计的变体。表格标注了每个模型的范式,读者可以看出某个强结果来自 MBrain 或 BIOT 这样的对比式模型、BrainWave 或 LaBraM 这样的生成式模型,还是其他范式。这些探索性表征分析被定位为解释差异的方式,而不是任何单一分数背后因果机制的证明。
仅限分类,以及由此排除的内容
该基准有意设定了边界。作者表示他们聚焦分类,因为分类仍是脑信号分析的核心,也是现有脑基础模型支持的主要下游设置。生成式任务未被覆盖,被描述为随着领域和可用模型成熟而后续加入的工作。因此这些结果说明的是跨被试协议下的分类性能,而不是生成质量或临床部署表现。
由此得出的实际优先级是这份证据特有的:在这些模型之间做选择时,应把候选模型匹配到你实际要用的数据集、模态和适配协议,并确认你的设置是否属于只有 10 个模型兼容的那四个 iEEG 设置之一。这个基准提供的决策依据是逐数据集的结果表,而不是单一的总体排名。
本文引用的文献
Brain4FMs: A Benchmark of Foundation Models for Electrical Brain Signal
在 17 个脑基础模型、21 个公开 EEG 与 iEEG 数据集和 26 个下游分类设置上,性能随任务、模态和适配协议变化,没有单一模型能稳定主导所有场景。
