多模态注视、瞳孔与头部数据能改善听觉注意解码吗？

四选一，而非左右二选一

听觉注意解码（AAD）要回答的是听者正在跟随哪一位说话人，靠可测量的信号判断，而不是直接询问听者。以往多数基准把这个问题简化为两位说话人之间的二选一，两人常被放在最左和最右。MAESTRO 则要求解码器在四位同时说话的英语说话人中选出被注意的那一位，因此随机水平是 25%，而不是 50%。

这一改动之所以重要，是因为左右二选一可以仅凭粗略的空间线索完成。要在偏离听者正前方 ±22.5° 和 ±67.5° 的四位说话人中做选择，解码器必须区分具体的声源，而不只是区分空间中的左右两侧。论文认为，这让任务既更难，也更能说明解码器实际依赖的是什么信息。

该语料库包含 16 名参与者和 100 个实验试次，同步记录 32 通道 EEG、双眼注视、瞳孔测量、第一视角视频和头部惯性测量单元（IMU）数据。四路语音来自 LibriSpeech，两路背景噪声来自 CHiME-Home，由后方扬声器播放；在自然混响的房间中，被注意说话人的信噪比为 0 至 18 dB。

注视与头部运动缩小四选一范围

论文的推理是：EEG 承载对目标语音包络的神经跟踪，而注视、头部朝向和场景视频指示听者朝向哪里。这些行为信号无法很好地跟踪语音包络，但可以排除候选说话人。在基线网络中，EEG 嵌入与每位说话人的包络按时间做相关比较；注视、IMU 和视频嵌入则被池化，在不输入任何音频的情况下对四个说话人位置做分类。两类得分相加。

这一设计选择在记录到的行为中可以看到。注视离散度在试次开始和结束时达到峰值，中间保持稳定；头部运动幅度在开始时达到峰值，从六个时间分箱中的第三个起趋于稳定。作者将其解读为最初的定向反应，随后是持续注意和聆听时的姿势静止。

行为信号本身也带有信息。在无法获取语音的情况下，场景视频在留一被试评估下达到 39.57%–44.69%，注视加视频达到 44.61%–47.10%，都远高于 25% 的随机水平。没有任何行为组合能单独匹敌 EEG，但每一种行为信号与 EEG 结合后都能增加几个百分点。

比单用 EEG 提升 5.6 至 13 个百分点

核心比较是单用 EEG 解码与加入行为模态后的配置之间的差异。在被试内设置下，加入行为信号使各窗口长度上的准确率提高 8.03 至 13.01 个百分点。在留一被试（LOSO）评估下，模型用 15 名参与者训练、在被留出的那一位上测试，增益为 5.58 至 10.77 个百分点。

两种划分不应逐格比较。被试内的各折会轮换全部 100 个试次内容，而每个 LOSO 折都在同一组留出的 20 个试次内容上测试，因此结果的两半来自不同的测试材料。两者共同成立的是方向：每一个胜出的组合都包含 EEG，且没有任何纯行为组合在任一窗口长度上表现最佳。

单用 EEG 在被试内设置下跨窗口长度达到 43.63%–59.06%，作者指出这远低于两位说话人二分类解码所报告的 80%–99%。他们把这一差距部分归因于任务难度——四位说话人、变化的信噪比、背景噪声——部分归因于更严格的评估避免了数据泄漏。在最长的窗口上，单用 EEG 仍以超过随机水平两倍的比例找回被注意的说话人，而完整多模态配置在 LOSO 下达到 67.45%。

窗口越短，行为信号的优势越大

决策窗口是模型做一次预测所用的信号片段，测试了 5、10、15、20 和 30 秒五种长度。窗口长度决定可用的时间上下文有多少。多模态增益在 EEG 上下文最少时最大：在 LOSO 下，窗口缩短时增益几乎翻倍，从 30 秒的 5.58 个百分点升到 5 秒的 10.77 个百分点。

最优组合也随窗口长度变化，而不是收敛到某一种配置。作者将其解读为神经信号与行为信号互补的证据，并提出实际系统需要按用户和情境自适应地加权，而不是采用固定的传感器组合。

一项置换式检验支持这一解读。论文报告，加入行为模态既提高了准确率，也提高了贡献度；被试层面的分析显示，每位参与者表现最好的多模态配置在大多数被试—窗口组合中都优于单用 EEG，说明增益并非只是跨人平均造成的假象。

基准刻意消除的音频伪影

MAESTRO 发布的音频中存在一个可能让任务被走捷径的渲染伪影。信噪比调整在 16 位编码前对被注意声道做了缩放，削平了它的峰值，而竞争声道没有。因此被注意的包络具有更低的峰值因数，为 11.1 dB，而竞争声道为 20.5 dB；一个用标准化包络的八项汇总统计量训练的逻辑分类器，在 56% 的窗口上识别出被注意的说话人，而随机水平是 25%。

标准化无法消除这一点，因为它只固定均值和方差，偏度、峰度、稀疏性和动态范围仍然保留。作者对每个窗口的四条包络做直方图均衡，使四者的数值分布完全相同，探针的准确率随之降到 26%。剩下的是时间顺序，也就是皮层跟踪所依赖的信息。

这一变换并非无损，可能移除一些真实的包络信息，但作者指出它只会降低解码性能，绝不会抬高，因此报告的准确率是保守的。该失真仍会影响对原始音频的任何下游使用，论文将其标记为发布录音本身的性质。

理解准确率高，但注视质量参差

行为表现支持这些记录可用。全部 16 名参与者的平均理解准确率为 83.2%，除一人外都在 74% 至 92% 之间；被试 1 为 63%。组均值从第一阶段的 80% 升到第二阶段的 87%，提示在强制 10 分钟休息后出现了熟悉效应。

“我无法集中注意”这一选项只在 1.4% 的试次中被选中，这些试次已从准确率计算中排除。正确性标签随数据集发布，下游研究者可以自行决定纳入或排除。

注视数据质量在试次和参与者上平均为 80% 的有效样本，九名参与者高于 90%。两名参与者，即被试 8 和被试 12，有效性明显偏低，分别为 27.3% 和 42.4%，其余人平均为 86.5%。跟踪丢失主要来自眨眼、部分遮挡，以及自然运动时注视方向超出相机范围。瞳孔直径左右对称且在正常范围内，左眼 3.29 ± 0.62 mm，右眼 3.28 ± 0.57 mm。

固定的四说话人场景限制外推

声学场景是固定的：四个扬声器全程位置不变，因此朝向被注意的说话人简化为在四个已知方向中做选择，注视离散度在试次开始后不久就趋于稳定。与声源会移动、数量事先未知的真实环境相比，行为模态面对的是一个更简单的问题。要在不同房间、用移动或重新布置的声源重复这一范式，才能确定多模态增益能外推到多远。

被试群体是 16 名英语母语者，规模与已有 AAD 数据集相当，但小到限制了跨被试分析，并增加了对离群者（如被试 1）的敏感性。语言限制进一步缩小了适用范围。

基线还对每种模态使用相同的编码器设计，尽管它们的时间特性和噪声特性各不相同，只有 EEG 编码器额外带一个空间混合层。作者把结果视为可达到性能的下界而非上界，并呼吁采用模态专属编码器，以及按信号质量给模态加权的融合方式。

EEG 仍不可少，行为信号决定差距

论文中最具决策意义的模式是分工，而不是替代。每一个胜出的配置都包含 EEG，没有任何行为组合在任一窗口长度上表现最佳，因此神经信号仍是解码器的核心。行为数据流决定差距，而这个差距恰好在 EEG 最弱的地方最大：短决策窗口。

对任何权衡传感器配置的人来说，这些结果隐含的实际阈值是窗口长度。在 LOSO 下，30 秒窗口时加入注视、头部运动和视频换来 5.58 个百分点；5 秒窗口时换来 10.77 个百分点。能承受长整合窗口的系统，从额外传感器获得的收益小于必须快速决策的系统。

第二个含义是，没有任何单一多模态配置在所有窗口长度上占优。这种差异，加上参与者之间的差异，正是论文主张自适应模态加权而非固定传感器组合的理由，也是其基准报告全部 15 种输入配置、而不是给出一个头条数字的原因。

本文引用的文献