EEG 与 EOG 融合能提升听觉注意检测的可靠性吗？

单靠 EEG 为何不足以确定注意对象

听觉注意解码（AAD）要让机器从生理信号推断听者正在跟随哪位说话人，从而让助听设备或交互界面据此作出反应。论文把 EEG 视为这项任务的主导模态，因为它反映与注意选择相关的皮层活动；但论文同时列出它在真实视听场景中的弱点：信噪比低、容易受伪迹干扰，而且跨被试、跨会话的泛化能力较差。

论文主张加入 EOG 的理由是：眼动携带与听觉注意有关的行为信息，而 EOG 直接记录眼部活动。论文引用已有发现指出，注视会跟随被注意的自然语音，视觉语音线索也会增强对目标说话人语音的神经追踪。同一批文献还提醒，眼部活动可能引入混杂模式并偏倚空间注意解码，因此作者主张对 EOG 显式建模、自适应整合，而不是把它当作噪声丢弃或简单拼接。

网络针对的三个缺口

论文把现有 EEG-EOG 融合用于 AAD 的局限归纳为三点。第一，连续跨模态依赖建模不足：交叉注意力在相关生理与多模态任务中已被证明有效，但 EEG 与 EOG 之间逐 token 的双向交互在 AAD 中仍缺乏探索。第二，时间建模效率不高：卷积侧重局部模式，自注意力在长序列上计算代价高。第三，受伪迹、被试状态和眼部动态影响，模态质量逐样本变化，固定权重和直接拼接无法适应。

RAMamba-Net 的每个组件对应其中一个缺口。Mamba 是一种具有线性时间复杂度的选择性状态空间模型，用来解决时间建模代价问题；跨模态注意力解决交互问题；可靠性感知模块则通过估计每个样本中各模态的可信程度，应对样本间的质量差异。

独立编码器保留各自信号的信息

EEG 编码器以频带感知的卷积 Transformer 为基础，并加入 Mamba 模块。对 K 个 EEG 频带中的每一个，前置 Mamba 模块先强化原始频带序列的时间结构，再由频带专属的 stem 提取局部时频特征；随后中间 Mamba 模块增强高层特征动态，再送入 Transformer 编码器。各频带表示拼接后经过一个频率感知注意力模块，由它自适应决定每个频带的贡献，并把结果重映射到统一的 EEG token 空间。

EOG 编码器使用两条并行分支：时间 Transformer 捕捉细粒度时间依赖，空间 Transformer 建模通道间依赖。两路输出沿特征维度拼接，再投影到共享嵌入空间。论文说明，这种双分支设计意在保留 EOG 的时间与空间归纳偏置，同时生成与 EEG token 维度对齐的 token，这是后续逐 token 交互的前提。

先交换证据，再由权重决定信任

跨模态注意力让交互变得显式。对每个模态而言，它自己的 token 作为查询，另一模态提供键和值，于是每一路都从对方检索补充信息。更新在两个方向上对称进行，并配合残差学习、层归一化和前馈网络，使每一路在吸收对方证据的同时保留自身模态信息。论文称这种对称设计有助于平衡的信息交换和更好的跨模态对齐。

随后，可靠性感知模块（RAM）估计样本级权重。每个模态的 token 序列先经均值池化得到样本级描述向量，并用 stop-gradient 把可靠性估计与编码器优化解耦。模块计算两个一致性分数：特征一致性是池化后 EEG 与 EOG 向量之间归一化的余弦相似度；预测一致性则由两个单模态预测分布之间的 Jensen-Shannon 散度导出。这些描述向量和分数组成可靠性表示，由一个小网络映射为 EEG 与 EOG 的权重，在拼接和分类之前调制经过跨模态交互的特征。

训练由三项损失组成：最终多模态预测上的交叉熵、每个模态辅助预测上的交叉熵（以保持各编码器的判别能力），以及每个 EEG 频带上的辅助损失。论文报告，可靠性感知模块会抑制不可靠的模态证据，并且对信号扰动和参数变化保持稳健。

5.76% 的增益比较的是融合与单模态

核心数字是在两个 AAD 基准上相对单模态基线取得的 5.76% 准确率提升。这一比较发生在融合 EEG-EOG 的模型与只使用单一模态的基线之间，因此它回答的是把两种信号结合起来是否有帮助，而不是 RAMamba-Net 比其他所有多模态设计高出这一幅度。论文还报告了解码更稳健、表示更具判别性，并把改进归因于两个独立机制：显式跨模态交互改善多模态对齐，可靠性感知模块抑制不可靠的模态证据。

这种区分对理解结果很重要。5.76% 是跨基准的一个总体数值，而机制层面的结论来自关于对齐以及扰动和参数变化下表现的进一步分析。读者不应把这一准确率增益当作任一组件单独就能产生全部效果的证明，因为论文对消融层面的归因在可获取文本中是定性描述，并未给出逐组件的准确率数字。

基准、扰动测试与泛化缺口

证据建立在两个 AAD 基准上，讨论部分将其命名为 AVGC 和 DTU。稳健性结论由信号扰动和参数变化下的测试支持，这些测试考察的是对退化输入和模型设置的敏感性，而不是对新被试或新记录条件的敏感性。论文自己在讨论中把跨被试、跨数据集以及更困难分布偏移下的泛化列为未来工作，同时把降低计算成本的高效适配与部署也列为未来方向。

这一边界最可能改变读者对结果的权衡。引言以伪迹、被试状态和眼部动态的样本间差异作为研究动机，可靠性模块正是为这种差异设计，但已报告的评估并未证明样本级权重能迁移到未见过的用户或记录条件。因此，这一增益最好理解为：在被测试的基准内，自适应 EEG-EOG 融合有帮助；而不是关于临床或消费级部署的结论。

EOG 只有在被加权时才真正有用

论文最可迁移的判断是关于如何加入 EOG，而不是是否加入 EOG。引言指出眼部活动可能偏倚空间注意解码，而设计上的回应是用专门的时间与空间分支对 EOG 建模，并让样本级可靠性估计决定每个模态贡献多少。论文报告的信号扰动和参数变化下的稳健性，是为这一选择提供的证据；报告的对齐改善，则是为显式双向注意力优于较弱交互提供的证据。

对想从这项工作中取用的读者来说，重点是这一配对关系：跨模态注意力提供互补证据，可靠性权重决定何时应信任这些证据。相对单模态基线 5.76% 的增益是值得记住的数字，但需注意它来自两个基准，而跨被试和跨数据集表现在这篇论文中尚未测试。

本文引用的文献