从单一干扰声到多人说话群体
多数用于听觉注意解码(AAD)的开源 EEG 数据集让听者跟随一位说话人,同时由另一位说话人干扰。这里的 AAD 指根据脑活动推断听者正在注意哪一路语音,通常做法是比较 EEG 对各个候选语音包络的重建效果。论文认为,这种单一说话人设置抹去了日常聆听中的声学、空间和语义结构,而现实中的干扰通常来自一群人同时交谈。
该范式用“声音气泡”取代孤立说话人:每个气泡是由两名或更多说话人组成、围绕同一主题讨论的紧密群体。听者需要关注一个气泡,同时抑制另一个气泡以及环境噪声。数据集包含 25 段按此方式构建的空间音频,分为 10 段餐厅、10 段家庭电视和 5 段会议,声源方向按模板逐一设定,音频经头相关传递函数渲染,以产生真实的双耳时间差和声级差。
三十名听者,三种聆听环境
来自香港理工大学的 30 名健康母语为中文的参与者(平均年龄 25.6 ± 2.66 岁;10 名女性、20 名男性;28 人右手)完成了实验。EEG 以 250 Hz 采样,使用 128 通道 HydroCel Geodesic Sensor Net 记录,在线参考电极为顶点,电极阻抗保持在 50 kΩ 以下。每个试次先有 3 秒基线,随后是 120 秒的主动聆听。
三种场景在噪声和空间布局上不同。餐厅场景环境噪声高,两个相互竞争的对话气泡分别置于听者两侧。家庭电视场景背景噪声低,一个类似电视的气泡位于前方附近,另一段侧边家庭对话被置于侧面。会议场景背景噪声低,多名参与者组成两个讨论组,从不同方向说话。正式实验共 25 个试次,顺序固定:5 个会议、10 个餐厅,最后 10 个电视试次。
总体理解稳定,细节题差异明显
每个试次结束后,参与者回答两道关于被注意语音的选择题:Q1 考查总体语义理解,Q2 考查具体细节。在三种场景中,Q1 正确率都接近上限,参与者平均为 97.2% ± 2.81%,远高于选择题 25% 的随机水平。这说明尽管存在真实干扰,听者仍能抓住目标气泡的主线。
Q2 正确率平均为 76.3% ± 10.91%,参与者之间差异更大。作者将其解释为在复杂多人环境中提取细粒度信息需要更高的认知负荷。Q1 与 Q2 的差距提醒读者,该数据集中的“理解”并非单一指标:跟上大意和捕捉细节是两种不同结果,只有后者在听者之间表现出明显分散。
信号质量在三种场景间保持稳定
由于各场景噪声不同,一个自然的担忧是声学环境本身是否改变了记录质量。作者报告,在三种场景中,每次运行识别并插值的坏通道中位数都维持在 128 个通道中的约 10 至 13 个;偶发离群值最多达 30 个通道,归因于头发厚度或局部电极帽张力,并通过球面样条插值恢复。
伪迹去除也呈现类似稳定模式:各条件下每次运行被剔除的独立成分中位数为 3 至 4 个,流程先用 Picard ICA、必要时回退到扩展 Infomax,并结合 ICLabel,自动排除被判定为伪迹且概率超过 80% 的成分。论文将这种稳定性视为参与者保持了稳定的行为和生理状态的证据,因此下游差异不太可能由场景间系统性的伪迹方差驱动。
被注意语音的追踪优于被忽略语音
应用基线使用带岭回归的后向多元时间响应函数。对每位参与者,模型将相对于音频时间偏移在 −400 ms 至 100 ms 之间的多通道 EEG 映射到语音包络,并在全部三个场景的合并试次上训练,对 25 个试次做留一交叉验证。解码效果用重建包络与实际被注意包络、未被注意包络之间的皮尔逊相关系数衡量。
在组水平上,与注意语音的相关显著高于与未注意语音的相关(单侧 Wilcoxon 符号秩检验,p = 9.31 × 10⁻¹⁰)。绝对相关值不高,被注意语音的平均相关约为 0.026;作者称这在头皮 EEG 语音包络重建中属常见水平,因为信噪比本身较低。因此关键结果是相对优势,而不是绝对相关值的大小。
重建优势与解码正确率并不等同
论文报告了两个不应互换的 AAD 指标。重建优势 Δr 是被注意与未被注意相关系数之差,衡量被注意语音被重建得好多少。单试次解码正确率是被注意相关高于未被注意相关的试次比例,衡量正确语音胜出的频率,与差距大小无关。
真实标签下的观测值为 Δr = 0.0196、解码正确率 = 0.717。试次标签交换对照在试次层面随机交换被注意与未被注意标签;50,000 次置换中没有任何一次在两个指标上达到观测值,经加一校正后置换 p = 2.0 × 10⁻⁵。这一对照支持如下解释:效应依赖正确的注意标签,而不是非特异性的重建偏差。
餐厅场景的优势最大
按场景拆分留出试次的预测结果可以看到,优势在各处均为正,但并不相等。平均 Δr 在餐厅场景为 0.0252,电视场景为 0.0193,会议场景为 0.0092。单试次解码正确率顺序相同:餐厅 0.767,电视 0.720,会议 0.613。
会议场景每位参与者的试次也更少,为 5 个,而另外两个场景各 10 个,因此解读其较低数值时需要考虑这一差异。尽管如此,两个指标在三种场景中仍都高于各自的零分布或随机水平。对比较 AAD 方法的读者而言,这一场景拆分是论文中最具决策相关性的结果:模型在低噪声会议环境中的优势未必能延续到高噪声餐厅环境,而该数据集正是为检验这种迁移而构建。
数据集能支持什么,不能判定什么
数据集以 BIDS 格式发布,包含原始 EEG、预处理衍生数据、行为日志、空间音频刺激、元数据和分析代码。论文将其定位为真实声学和语义变化条件下 AAD 的基准。三种场景支持跨条件泛化测试,例如在低噪声会议场景训练、在高噪声餐厅场景测试;配对的 Q1 和 Q2 得分则可将单试次神经指标与总体理解和细节理解分别关联。
这些用途仍是提议,而非已证明的结果。基线是经典的 mTRF 模型,在合并试次上训练,并非比较多种解码算法;队列是 30 名年轻、听力正常、母语为中文的参与者,在实验室中使用入耳式耳机。论文自身的重点是场景对比:餐厅场景产生了最大的被注意语音优势和最高的解码正确率,因此真实噪声与多人竞争正是该数据集相较单一说话人基准贡献最大的地方。
本文引用的文献
A multi-scenario EEG dataset for auditory attention decoding in naturalistic multi-talker environments
SoundBubble-EEG 数据集提供 30 名参与者在餐厅、电视和会议场景下、总时长超过 25 小时的 128 通道 EEG;被注意语音包络的重建显著优于未被注意语音,且优势在餐厅场景最大。
