为无指令竞争构建的数据集
多数公开的听觉注意脑电基准要求参与者注意指定的一路声音,因此测量的是自上而下的选择。这篇论文针对的是相反的情形:两种声音同时到达,左右耳各一路,没有人告诉参与者该跟随哪一路。作者把这种情形称为刺激驱动的听觉注意,并发布 SAAD-EEG 数据集来研究它。
23 名成年人(14 名男性、9 名女性;平均年龄 27.0 ± 2.7 岁)在三个时段各 160 个试次中聆听了 480 对双耳分听声音。每对声音持续 2 秒,来自四个主要声音类别——高生态效度环境声、低生态效度环境声、语音和音乐——每个类别再分为两个子类别。为避免参与者刻意选择某一路声音,他们观看一部无声故事片,并被要求不要刻意留意这些声音。在 1 秒延迟后,他们报告哪一侧更吸引注意。
这一标签定义对理解下文所有结果都很重要。记录到的结果是参与者对注意朝向的自我报告,而不是经外部核实的被注意耳;论文明确把它界定为刺激驱动注意朝向的行为测量,而非注意状态的客观测量。
声音优先级可泛化到未见配对
论文的行为学核心是一个 Bradley–Terry 模型,这是一种成对比较方法,根据一系列两两对决为每种声音赋予一个潜在强度。问题在于,从部分配对中估计出的优先级能否迁移到模型从未见过的配对上。
答案是能。使用估计出的声音优先级后,留出预测的 AUC 从 0.577 提升到 0.718。换句话说,一种声音在先前竞争中获得的相对地位,包含了它在面对新对手时表现如何的信息;这正是单一优先级数值有用的原因,而不是只能查表逐对比较。
类别层面的选择率以更简单的形式显示了同样的排序。相对于 0.5 的无偏期望,语音被选中的比例为 0.61,高生态效度声音为 0.58,音乐为 0.48,低生态效度声音为 0.33;经 Bonferroni 校正后,四个类别都显著偏离 0.5,且类别之间的所有两两比较都显著。作者将此解读为与语音和高生态效度声音具有更强的语义显著性和生态相关性相一致,也与音乐和低生态效度声音被感知为更像背景相一致。这一解读是作者的解释,而不是另行检验过的机制。
声学差异只能解释部分选择
一个自然的替代解释是,参与者只是选择了更响或纹理更丰富的声音。配对层面的二项 GLM 检验了这一点,把九种感知特征的左右差异与报告的选择关联起来,每种特征都在配对间做了 z 标准化。
若干特征确实能预测选择。响度、频谱调制、频谱质心和时域调制与所选一侧呈正相关(均 p<0.001),而频谱平坦度和 f0 呈负相关(分别为 p<0.001 和 p<0.01),谐和性呈弱正相关(p<0.05)。其余特征不显著。
因此声学确实是真实的贡献因素,但论文的框架是它们并非全部解释。下文的脑电结果被呈现为在声学不对称之外仍具有预测力的信息,这也是所提模型把刺激证据和神经证据保留为两个独立输入、而不是合并在一起的原因。
中央-颞区偏侧化对应报告侧
脑电分析发现了与参与者报告所选一侧相关的中晚期中央-颞区偏侧化。这里的偏侧化指左右半球电极之间的反应差异,其出现于反应的中晚期,意味着它发生在早期感觉编码之后。
两项辅助检查让数据集的神经内容更可信。把 0–2 秒的刺激窗口与 −3 至 0 秒的基线相比,0–40 Hz 范围内的频谱功率增加,其中 theta(4–8 Hz)和 alpha(8–13 Hz)增幅最强,beta(13–30 Hz)增幅较小但一致。alpha 和 beta 的增加在顶枕区最明显,theta 的增加在额前区最明显。
解码提供了另一个试次层面的测量。在受试者内五折交叉验证下使用 EEGNet,平衡准确率平均为 68.38%(跨参与者的 SD = 9.5%),各参与者的均值大约在 57% 到 88% 之间。使用平衡准确率是因为自我报告的标签在不同个体间可能不平衡,因此它对各类别等权,而不是奖励多数类。
解码在更严格的训练-测试划分下仍成立
随机按试次划分可能泄漏信息:同一对刺激可能以一侧耳分配出现在训练集,又以另一侧出现在测试集,让解码器利用呈现耳或刺激特异线索。因此作者增加了两种分组方案。
在镜像约束划分中,同一配对的两个镜像试次被放在同一折,因此模型在训练时从未见过某配对的对侧耳分配。在配对类型留出划分中,六折交叉验证在 24 种子类别层面配对类型中的 20 种上训练,在留出的 4 种上测试。
三种方案给出了可比的结果:随机划分 68.4%,镜像约束 68.2%,配对类型留出 68.3%。这些微小差距是论文的证据,说明解码并非主要由耳线索或记忆的配对驱动。需要注意留出方案检验了什么、没有检验什么:它测量的是对未见配对的泛化,而不是对全新声音类别的泛化。
门控让神经证据调整刺激优先级
所提框架遵循上述两项发现。它首先为每种竞争声音估计一个潜在优先级,并用两个优先级之差构成相对刺激证据。随后,多尺度脑电通路通过两个互补的读出提取试次特异的神经证据:一个带符号读出,可以携带方向;一个基于功率的读出,捕捉幅度。
这些信息流在决策层面通过门控整合结合起来,也就是说,神经证据被允许调节决策,而不是以固定权重平均进去。该框架在镜像约束和配对留出协议下,与声学、脑电和多模态基线以及系统性消融一起接受了评估。
由此得到的解释是:自发的听觉选择反映了可泛化刺激优先级与试次特异神经变异之间的交互。这是一个由所报告比较支持的計算解释,而不是声称优先级导致神经偏侧化或反之。
68% 这个数字意味着什么、不意味着什么
主要的解码数字是中等水平,论文也这样表述:可靠但中等的可解码性,个体间差异很大,平均平衡准确率大约从 57% 到 88%。对多数个体而言,折间变异相对较小,因此这种差异主要存在于人与人之间,而不是测试划分之间。
这些结果伴随若干边界。样本是 23 名大学生,母语为中文、英语流利,听力正常且未报告神经系统疾病,因此优先级排序和解码水平是在这一群体中确立的。标签是 1 秒延迟后收集的自我报告,这一设计用于把运动反应排除在刺激相关脑电之外。配对留出测试覆盖的是同样八个子类别之间的未见组合,而不是新的声音类型。
行为数据本身质量很高:在 5,000 ms 反应标准下只剔除了 15 个试次,占全部试次的 0.14%;中位反应时从第 1 时段的 554 ms 降至第 2 时段的 469 ms 和第 3 时段的 440 ms,作者将其归因于任务熟悉度提高而疲劳影响很小。
优先级是可复用信号,脑电是试次层面校正
这篇论文中最具决策相关性的区分,是什么可以迁移、什么必须重新测量。一种声音的优先级从先前的两两竞争中估计而来,迁移到了未见配对,并把留出 AUC 从 0.577 提升到 0.718——这是可复用的部分,也是系统可以在没有新神经数据的情况下带入新配对的部分。脑电贡献则是相反类型的量:试次特异,随参与者和时刻变化,在严格划分下单独约值 68% 平衡准确率。
对任何基于该数据集开展工作的读者,实际后果是把两类证据视为回答不同问题。刺激优先级告诉你在一场对决中哪种声音通常占优;偏侧化和门控神经读出告诉你这位听者在这个试次中发生了什么。论文的贡献在于表明两者都不可或缺,并且在控制声学不对称和配对记忆之后,神经部分仍然携带信息。
本文引用的文献
A High-Density EEG Dataset for Stimulus-Driven Auditory Attention
从先前两两竞争中估计出的声音优先级泛化到了未见声音配对,把留出 AUC 从 0.577 提升到 0.718;同时,中晚期中央-颞区脑电偏侧化对应报告的选择侧,EEGNet 解码在 23 名参与者中达到 68.38% 的平均平衡准确率。
