隐马尔可夫模型能否无监督追踪对单一语音的听觉注意?

无监督HMM处理EEG包络追踪分数,1秒窗口下平均注意AUC从0.547升至0.832。

直接答案

可以,但限于离线、无标签的分析场景。把神经包络追踪与隐马尔可夫模型结合后,在全部30名参与者中,1秒窗口下平均AUC从原始追踪分数的0.547升至0.832,5秒窗口则达到0.858。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

只有一路语音时缺少可比参照

绝对听觉注意解码要回答的是:听者对单一语音源的注意有多强,输入只有EEG和该语音源的包络。选择性解码可以在多个竞争说话人之间比较相关系数并选出最高者;只有一路语音时没有比较对象,注意程度只能从单一且带噪声的神经证据流中推断。

论文使用的证据是神经包络追踪。研究者训练一个线性时空解码器,从EEG重建语音包络,再计算某个窗口内重建包络与真实包络的皮尔逊相关系数,作为该窗口的追踪分数。平均而言,分数越高对应越强的目标语音注意,但瞬时值噪声较大,短时间窗尤其明显,还可能被语音包络动态范围变化等非注意因素影响。

隐马尔可夫模型补上时间持续性

该流程把追踪分数作为观测值,再叠加一个两状态隐马尔可夫模型,在每个窗口推断听者处于注意状态还是非注意状态。模型假设注意会随时间持续,因此单次低相关不会立刻翻转估计;输出是注意状态的后验概率,作为连续的注意分数报告。

两个设计让流程无需标签。第一,解码器在每名参与者的全部数据上训练,再应用于同一批数据;作者的理由是,绝对解码更应被看作信噪比随注意变化的信号匹配问题,而不是在可分离的注意与非注意EEG模式之间做分类。第二,发射参数由观测分数序列按参与者估计:先做Fisher变换使相关系数近似正态,再用两分量高斯混合模型在5、10和30秒窗口上拟合。两个阶段都不使用注意状态标签。

默认转移概率为0.01,对应期望状态持续100个时间步;在1秒窗口下即期望驻留100秒。窗口长度改变时,转移概率会重新缩放,以保持这一物理驻留时间不变。

所有参与者都从时间推断中获益

性能用AUC衡量,即随机取一个注意条件下的分数高于随机取一个非注意条件下分数的概率。比较使用研究中区分最清晰的两个状态:无操纵条件作为基线注意,分心任务条件(参与者执行干扰任务)作为非注意。

在1秒窗口下,非因果HMM后处理让全部30名参与者的AUC都提高,平均值从原始追踪分数的0.547升至0.832。因果推断同样优于原始基线,但非因果配置始终更高,因为它在估计当前状态时可以使用未来观测。作者强调,HMM并不是另一种竞争性解码器:它对同一条追踪序列做时间整合,因此增益反映的是结构化的时间整合,而非不同的解码方法。

5秒窗口AUC最高,1秒窗口切换检测最好

窗口长度会改变分数所衡量的内容。平均AUC从1秒的0.832升至5秒的峰值0.858,随后逐渐下降到30秒的0.827。切换检测时间比较估计的转变时刻与协议定义的转变时刻,表现则不同:各窗口长度下个体检测时间为25.95至32.02秒,1秒窗口既给出最低的个体检测时间,也给出最低的漏检率,参与者层面的漏检比例为29.0%至31.0%。

在群体层面,检测时间为13.17至18.17秒,5秒窗口最低。1秒窗口检测出全部7次群体转变,群体检测时间为18.00秒;更长窗口则漏掉7次中的1次或2次。作者因此保留1秒作为默认设置:它给出最好的个体时间精度、完整的群体检测次数,AUC也只略低于5秒峰值。

状态推断优于固定窗口平滑

移动平均是显而易见的替代方案:用包含过去和未来样本的对称窗口平滑分数序列,与非因果设置相匹配。在所考察的各平滑尺度上,HMM的AUC都高于非因果移动平均。两者的个体切换检测时间相当,而HMM在群体层面的检测时间总体更低。

这一比较有意义,是因为两种方法使用相同的底层证据,也都能访问未来数据。区别在于HMM显式建模状态的持续性,而不是对固定数量的邻近样本取平均;这正是论文主张用概率时间推断取代固定窗口平滑的理由。

语音特异证据优于α功率与熵

论文还检验了应该用什么特征输入HMM。α功率和谱熵是与注意或心理努力相关的一般EEG指标,而包络追踪反映的是对语音信号本身的神经响应。在同一个无监督HMM框架中作为观测特征使用时,包络追踪优于这两种替代指标。

这一结果针对观测阶段而非推断阶段:它表明在该流程和该数据集内,语音特异证据比一般指标携带更多关于对目标语音注意的区分信息。

离线分析,流程部分非因果

报告的数字来自离线设计。该流程面向离线分析,即便是标为因果的配置也只作用于HMM推断阶段;预处理、解码器训练和发射参数估计仍然是非因果的,因此因果结果相对于完全实时的实现只是一个上界。

还有两个条件限定结果。解码器训练需要足够长的基线数据,且参与者在此期间确实注意语音;如果基线片段太短,估计出的解码器可能不稳定。此外,协议标签并非完美的真实状态:参与者在无操纵片段中仍可能走神,因此一些看似假阴性的结果可能反映真实但未被观测到的注意中断。评估还基于30名成年人观看75分钟视频讲座,其中干扰条件和增强条件保留在记录中,但不计入准确率指标。

1秒窗口是更有依据的默认选择

论文自身的优先级从比较中很清楚:当目标是追踪单说话人聆听中的注意波动及其时间进程时,应使用1秒分析窗口配合非因果HMM后处理。该设置给出最低的个体切换检测时间、最低的漏检率、全部7次群体转变均被检出,平均AUC为0.832,接近5秒窗口0.858的峰值。

如果只关心稳态区分能力而不关心转变时间,5秒窗口在AUC上更优。如果目标是实时系统,因果HMM的结果是相关参照,但应把它读作上界,因为流程其余部分仍使用未来数据。这项工作的贡献在于证明:一小组可解释、无需标签的参数,就能把带噪声的单路追踪分数转化为可解释的注意轨迹。

本文引用的文献

1

A hidden Markov model for unsupervised EEG-based tracking of auditory attention to a single voice

在1秒分析窗口下,非因果HMM后处理提高了全部30名参与者的AUC,平均AUC从原始神经包络追踪的0.547升至0.832;5秒窗口达到最高的平均AUC 0.858。