移动的自然对话中如何解码听觉注意？

为移动对话构建的数据集

多数听觉注意解码（AAD）研究考察的是：听者的脑反应是否追踪多个竞争声音中的一个。解码目标通常是语音包络，即一个声音缓慢变化的振幅轮廓；标准检验是重建出的包络与受注意语音流的相关是否强于与未受注意语音流的相关。论文指出，这一检验通常只在静态、简化的场景中进行，与日常聆听并不相符——日常对话中说话者会移动，对话也会轮流进行。

MOV-AAD 针对这一缺口，同步记录了 64 通道脑电与眼动、呼吸气流与呼吸用力、皮肤电反应、心率、外周血氧饱和度、皮肤温度、通过加速度计测量的身体运动以及光电容积脉搏波。50 名听力正常的参与者（年龄 24±4.5 岁）以 1200 Hz 采样率完成了整套流程。语音声源经头相关传递函数渲染，在 -90° 至 +90° 的额侧水平面上移动，因此说话者的空间位置会在一个试次内变化，而不是保持固定。

让听者保持投入的任务设计

数据集把几种聆听情境分开处理，而不是混在一起。重复句子任务（120 句）用作初步的脑电可靠性检查。定位任务要求参与者报告声源所在位置，可选位置为覆盖 -90° 至 +90° 的九个离散方位角。对话任务包括 40 个单对话试次和 56 个多对话试次，每个试次约 40±2.0 秒；双耳背景噪声（行人噪声或语音嘈杂声）比每条对话语音流的功率低 9 或 12 dB，各语音流的均方根功率相互匹配。

注意通过重复词检测在行为层面测量：在受注意语音流中出现重复词后 2 秒内按下空格键记为命中；若前 2 秒内受注意语音流没有出现重复词却按下空格键，则记为误报。这一点对解读解码结果很重要，因为它说明参与者是否真的在跟随被指定的语音流，而不只是听到了声音。

群体层面的定位表现成立

定位准确率定义为正确识别声源位置的比例，随机水平为 1/9，约 11.1%。平均绝对误差比较报告方位角与真实方位角，随机猜测的预期误差约为 66.7°。多数参与者的准确率高于随机水平，误差远低于随机猜测水平；即使在准确率较低的三分之一参与者中，感知角度也大体与正确半侧空间一致。

论文报告在极端侧向位置上区分能力下降，并将其归因于双耳时间差与声级差的线索饱和，以及使用非个体化头相关传递函数。实际含义是：空间线索保留得足以在群体层面支持移动说话者追踪，但个体间的空间精度差异很大。

受注意语音流在行为上被区分

重复词检测确认注意操纵确实生效。在多对话条件下，受注意语音流的 F1 分数显著高于未受注意语音流（Wilcoxon 符号秩检验，p<10⁻⁴，r=0.87）。单对话条件的 F1 分数也显著高于多对话条件下的受注意语音流（p<10⁻⁴，r=0.52），这一降幅较小但可靠，作者将其解读为存在干扰对话时检测表现略有下降。

这一比较是后续所有结果的行为学锚点：受注意与未受注意语音流的差别体现在听者实际做了什么，而不只是刺激被如何标记。

包络解码承载主要信号

解码时，研究者提取语音包络，并将脑电滤波到 1-8 Hz，即通常观察到皮层追踪包络的低频段。一个使用 0 至 400 毫秒时间滞后的后向模型重建包络，岭参数通过留一试次交叉验证选择，性能以留出试次上重建包络与真实包络的 Pearson 相关衡量。

在滑动窗口分析中，随着窗口增大，受注意语音流的相关保持相对稳定，而未受注意语音流的相关接近随机水平，因此在所有测试的窗口长度上都形成清晰分离。AAD 准确率按试次定义为受注意相关高于未受注意相关的窗口比例，它随窗口长度上升，即使在短窗口下也明显高于 0.5 的随机线。在个体层面，包络特征在参与者中普遍给出正的受注意减未受注意相关，并带来更高的准确率。

轨迹特征提供有限补充

论文还检验了说话者移动的位置本身能否被解码。轨迹以 1° 分辨率的一阶马尔可夫链生成，经平滑、上采样到 10 Hz 用于渲染，再插值到 100 Hz 以匹配神经采样率。研究考察了两个频段：delta（0.05-2 Hz）和 alpha（8-12 Hz）。

轨迹解码弱于包络解码。delta 轨迹在各窗口长度下都接近随机水平，而 alpha 轨迹始终优于 delta，并随窗口延长表现出小幅但系统的提升。在基于重建相关的全试次 LDA 分类器中，包络特征在参与者中给出最高准确率，alpha 轨迹特征显著高于随机水平，delta 轨迹仍停留在随机水平。将包络与轨迹特征结合并未超过仅用包络的解码，这与作者的解读一致：包络特征主导 AAD，而 alpha 频段轨迹信息虽有补充作用但作用有限。

听者之间的共享反应

受试者间相关（ISC）衡量参与者随时间变化的反应在多大程度上相似地跟随同一刺激，随机水平由相位随机化的替代数据和 100 次置换估计。脑电、注视位置、瞳孔扩张和光电容积脉搏波在群体层面以及相当一部分参与者中表现出跨受试者的一致对齐。温度等变化较慢的指标在试次层面几乎没有共享结构；心率、外周血氧饱和度等部分紧张性信号产生了显著的群体层面效应，但在个体层面的普遍性有限。

论文将此视为多种记录模态都含有可重复的刺激锁定结构的证据，适合下游多模态建模。这是关于记录可靠性的陈述，并不表示这些模态已被证明可以解码注意。

解码结论的边界

解码证据支持一个具体优先级：在移动的自然对话中，受注意语音包络仍是主导且最可靠的 AAD 特征，延长分析窗口可提高准确率。空间轨迹信息，尤其是 alpha 频段的信息确实存在，但属于次要信号，delta 频段轨迹未能高于随机水平解码。任何比较特征组合或设定窗口长度的人，都应把包络结果与轨迹结果视为回答不同问题，而不是可以互换的指标。

生理信号合理性检查报告各特征分布与既往文献和器件规格给出的预期范围一致，少数离群值被归因于自然变异或轻微记录伪迹。该检查确立的是信号质量，而非注意解码能力。因此，这个数据集的贡献最好被理解为一项基准资源：它让移动的、多模态的聆听变得可测试，而已报告的解码结果则说明哪些信号已经携带注意信息，哪些仍是未来多模态建模的候选。

本文引用的文献