[NeurIPS 2025] NOBEL：首个统一 EEG/MEG 与 fMRI 的全模态大脑大模型

TL;DR

长期以来，脑科学研究受困于信号的“碎片化”：你想看清大脑哪里在跳动，就得忍受 fMRI 的迟钝；你想捕捉思维的闪电，就得接受 EEG 的模糊。NOBEL (Neuro-Omni-modal Brain-Encoding LLM) 首次打破了这一僵局。它以 Qwen2.5 为底座，通过精妙的语义对齐，将高频电磁波、低频血氧信号以及外部视听刺激缝合在一起，实现了“一个大脑，全模态解码”。

1. 为什么我们需要“全模态”？

人类大脑是一个极其复杂的处理器，其活动表现为两种互补形式：

1. 电磁波动（EEG/MEG）：反映神经元瞬间放电，时间精度极高（毫秒级），但空间分辨率极低。
2. 代谢变化（fMRI）：反映血氧水平，空间定位极为精准，但响应非常缓慢（秒级迟钝）。

以往的模型往往是“偏科生”。但在现实中，当人看一段视频时，电磁和代谢信号是同一神经过程的不同化身。NOBEL 的核心直觉在于：如果能将这些异构信号映射到同一个语义空间（如 LLM 的 Embedding Space），我们就能利用它们的互补性，甚至在其中一种信号质量极差时，靠另一种信号完成精准预测。

2. 核心架构：双路径与语义锚点

NOBEL 的架构设计充分体现了“分而治之，合而归一”的哲学：

• EMEG 路径：直接继承了 BrainOmni 的优势，处理 EEG 和 MEG 的时域-频域特征。
• fMRI 双路径（核心创新）：
  • Task-agnostic Path (NeuroSTORM)：捕捉大脑的全局静态特征（如你是谁、有什么疾病基础）。
  • Task-specific Path (MindEye2-style)：提取受刺激诱发的动态特征（如你正在看什么）。
• 语义锚点（Pre-alignment）：因为脑信号信噪比极低，直接训练 LLM 极易崩溃。作者先利用视觉/听觉编码器作为“语义锚点”，通过对比学习（Contrastive Learning）让脑信号学会在低维空间内向对应的感官特征靠拢。

3. 实验战绩：1+1 大于 2 的力量

NOBEL 不仅在单一任务上与专家模型（Specialist Models）旗鼓相当，更在协同解码中证明了价值。

跨模态协同效应

在 Nat-View 数据集中，EEG 信号因为头皮遮挡丢失了大量空间细节，准确率仅为惨淡的 16.7%。然而，当 NOBEL 将其与 fMRI 结合时，准确率飙升至 92.8%。这证明了 LLM 能够从微弱的电磁信号中捕捉细微的时间线索，来补齐 fMRI 的时滞缺陷，实现了真正的“跨模态互补”。

“读脑”生成案例

通过对 NSD 数据集的解码，NOBEL 能够直接从 7T fMRI 信号中预测出受试者看到的图像描述（Caption）。

例：受试者看到一架飞机在跑道上。NOBEL 解码输出：“A white airplane sitting on a runway with a clear sky.”

4. 深度洞察：大脑是另一种“语言”吗？

NOBEL 的成功向我们揭示了一个深刻的趋势：生物信号正在被“Token 化”。

通过将复杂的、非线性的神经活动表征为 LLM 可理解的 Token，我们实际上不再需要为每种传感器（EEG, MEG, 甚至是未来的植入式芯片）单独开发一套解码逻辑。LLM 凭借其庞大的世界知识（World Knowledge），扮演了“翻译官”的角色，将晦涩的生理波动翻译成了语义清晰的人类语言。

5. 局限与未来

尽管 NOBEL 迈出了统一的一步，但挑战依然存在：

• 信噪比（SNR）挑战：fMRI 的 Beta Weights 提取依然非常依赖高质量的预处理。
• 计算成本：即便使用了 LoRA 优化，运行一个 7B 级别的脑解算模型对于实时 BCI 应用来说依然过重。
• 跨个体泛化：人类的大脑拓扑结构存在明显差异，如何在少量样本下实现针对新用户的快速适配（Few-shot adaptation）仍是下一步的关键。

结论：NOBEL 不仅仅是一个 SOTA 模型，它证明了全模态理解大脑的可能性。当“电”与“血”在语义空间汇合时，我们离真正理解人类思维又近了一步。