多尺度 EEG 学习结合模态特异与不变表征能否提升情绪识别？

把三种视角合成一个 EEG 表征

论文从一个具体困难出发：与情绪相关的 EEG 活动会随时间、频带、电极和脑区变化，因此单一感受野的滤波器或单一频率描述子只能捕捉信号的一部分。论文给出的答案是时间-空间-频谱-脑区（TSSR）编码器，它把时间-通道模式、各频带微分熵和脑区关系放进同一个 EEG 嵌入，而不是分在几条独立路径里处理。

处理顺序很关键。不同感受野的多尺度卷积分支先捕捉局部模式，随后跨轴注意力在时间与通道两个方向上建立关联。完成这一步之后才融合五个频带的微分熵特征，再之后才把电极按脑区分组。论文认为，这样的顺序能在脑区聚合压缩信息之前，保留时间与频谱信息原本来自何处。

微分熵描述频带分布而非时序

微分熵（DE）是论文使用的频谱描述子。对于近似为高斯分布的带限 EEG 变量，它按 2πe 乘以方差再取对数的一半计算，并针对每个通道在 δ、θ、α、β、γ 五个频带上分别提取。它是关于活动离散程度的逐频带统计量，并不记录时间顺序，这也是论文把它与时间-通道表征并列保留的原因。

这一区别容易被混淆。某个频带上的高 DE 值说明该通道在该频带上的波动情况，并不说明活动发生在什么时候。因此 TSSR 在图阶段之前先把逐频带 DE 特征与学到的时间-通道特征融合，让图编码器同时获得这两类信息。

脑区先局部滤波再全局交互

时间与频谱特征融合后，EEG 特征按脑区分组。在每个脑区内部，一个可学习滤波器更新电极级节点特征，过滤后的节点再聚合成该脑区的表征。随后在脑区之间构建图，并用归一化邻接矩阵做图卷积，于是局部滤波处理脑区内部关系，图卷积在脑区之间传递信息。

论文自己对五种脑区分区的比较说明这一选择并非无关紧要。仅按半球分组、按粗略解剖脑叶分组、把每个脑叶再分左右、以及细化额区或颞区，得到的准确率各不相同。脑叶加半球的分区（DL）在两个数据集上都是所测分区中准确率最高的：DEAP 上价态 95.37%、唤醒度 95.79%，MAHNOB-HCI 上为 93.76% 和 93.72%。这些是区域编码器在底层融合骨干上的结果，与 GMSI-Net 的整体分类结果分开报告。

保留私有线索并对齐共享情感

融合阶段把问题拆成两部分。模态特异表征（MSR）分支使用成对的双向跨模态注意力并配以可学习门控，信息可以在模态之间传递，同时每个模态原始表征的直接通路仍然保留。论文的理由是注意力不必对称：模态 A 提供给模态 B 的信息，可能与反方向不同；门控可以限制无益的传递更新，而不是对整个模态施加一个全局权重。

模态不变表征（MIR）分支则学习一个共享情感表征，并用自适应加权的对比损失在模态之间对齐。同步记录构成正样本对，不匹配的观测构成负样本，权重随样本变化，因为某个模态的相关性会因观测而异。两条分支的输出被拼接后用于分类，于是互补信息与共有信息都被建模，但承担的角色不同。

外周信号没有被当作 EEG 的复制品。EOG、EMG 和 GSR 各自经过独立的多尺度 Conv-Transformer 编码器，编码输出在融合前被投影到统一特征宽度。

被试内折下准确率接近 96%

GMSI-Net 在 DEAP 和 MAHNOB-HCI 上采用被试内随机十折交叉验证评估。在 DEAP 上，价态为 96.21（1.47），唤醒度为 96.41（1.60）；在 MAHNOB-HCI 上分别为 94.10（2.86）和 94.48（3.77）。括号中的数字是报告的各折标准差。

协议条件必须与这些数字一起理解。被试内折意味着模型在参与训练的同一批个体上评估，因此这些准确率描述的是框架对已知受试者的类别区分能力，而不是迁移到新个体的能力。论文摘要层面的结论也相应地是：把 EEG 特征与互补的生理信息结合可以提升情绪识别，而非跨被试泛化。

融合让原本重叠的类别分开

有两项分析支持融合设计，但它们不是准确率结果。DEAP 上价态的逐频带 DE 地形图显示，低价态与高价态在五个频带上呈现不同的空间模式，局部对比在 β 和 γ 频带最明显，其他频带的差异更有限。对训练后模型做通道扰动显示，电极重要性在价态与唤醒度之间、以及各自类别之间都会变化。

t-SNE 视图比较融合前后的特征分布。多模态融合之前，不同情绪类别的特征重叠明显；融合后的表征形成更清晰的簇。价态的轮廓系数从 0.084 升到 0.567，唤醒度从 0.094 升到 0.535。这些是投影空间中簇分离程度的度量，不是分类准确率；论文把它们作为 MSR–MIR 融合后分离改善的一致性证据，而非因果证明。

比较支持什么又不支持什么

论文的贡献是一个特定组合：在 EEG 编码器内部，把时间、频谱和脑区信息在聚合之前融合；再加上两条分支，分别负责门控的模态特异交换和自适应加权的共享表征。分区比较表明，电极如何分组会改变区域编码器的准确率，五种测试分区中脑叶加半球的划分最好。可视化结果表明，融合后的空间比融合前更好地分离类别。

证据没有确立的部分同样具体。报告的准确率来自两个公开数据集上的被试内随机十折交叉验证，因此本身不能说明在未见个体上的表现；论文明确表述的结论是关于把 EEG 与互补生理信息结合。消融、模态组合和脑区比较被列为结果的一部分，但提取到的文本没有给出各配置的具体数字，因此无法从这份证据中读出每个组件各自的贡献大小。

承载结果的设计取舍

如果这个框架中有一个决定值得关注，那就是把模态特异信息与模态不变信息放在两条分支中分别处理再拼接，而不是让跨模态注意力或共享空间同时承担两种角色。论文的论点是：通过注意力传递的特征未必在统计形式上就是共享的，属于单一传感器的细节应当保留下来供预测使用。门控双向注意力和随样本变化的对比权重，就是实现这一拆分的手段。

实际解读由此拆分和实验协议共同决定。DEAP 上的 96.21 和 96.41、MAHNOB-HCI 上的 94.10 和 94.48 都是被试内结果，分区比较则表明脑区分组是一个可调、且效果可测的选择。因此，评估这一框架的读者应把分支拆分和脑区分区视为论文真正检验的两个杠杆，而把跨被试迁移视为尚未回答的问题，而非已被证明的性质。

本文引用的文献