目前内心言语解码的水平有多高?
老实说:比瞎猜强,但还不足以让人放心。四个可能的词,纯靠猜的命中率是25%。2021年一项研究用卷积神经网络对八名受试者做测试,四个内心默念的词平均准确率达到29.7%——仅略高于随机水平[4]。后来一项针对十名受试者的对照基准测试在同一个公开数据集上比较了四种网络设计,发现表现最好的是一个混合模型,准确率为28.8%[5]。该混合模型是对比中唯一一个准确率在统计上显著高于25%随机水平的模型;三个标准基线都没能越过这条线[5]。
并非每项研究都落在相同的区间。利用试次间相干性——一种衡量同一单词在重复试次中EEG信号相位一致程度的指标——一个研究团队报告,在四个单词、十名受试者、每人三次会话的条件下,使用最近邻分类器平均准确率为56.08%,使用支持向量机为59.55% [1]。作者将此描述为与早期工作相当或更好,而非一个已解决的问题,并指出现有方法通常达不到实际使用所需的要求 [1]。约30%与约60%这两个数字之间的差距本身就说明问题:结果在很大程度上取决于所选单词、所用特征和评估设置,因此单一的头条数字并不能描述整个领域。
为什么大脑信号如此难以解读
EEG 是通过头皮上的电极记录的,因此它捕捉到的是大量神经元电活动穿过骨骼和皮肤后的总和。默念一个词所产生的神经痕迹在这种背景下非常微弱,而且信号是非平稳的——其统计特性会随时间漂移,甚至在同一场次内也是如此 [5]。基于相位的研究直接指出了同样的障碍:信噪比低、受试者之间差异复杂,以及难以分离出与特定想象词相关的独特神经模式 [3]。
一个有用的类比是:试图在拥挤的房间里,用街对面的麦克风听到一个人的耳语。耳语确实在那里,但其他所有声音也都在。一种应对方法是不要再盯着信号有多大,而是转而看它重复得有多一致:试次间相干性利用的是这样一个事实——即使原始振幅被噪声淹没,同一个想象出的词在不同试次中也可能产生可重复的相位模式 [1]。基于相位的特征被认为对振幅波动和噪声干扰更稳健,原因也在于此 [3]。这些都是合理的策略,两者都报告了相对于传统方法的改进,但都没有消除这种测量本身的根本弱点。
究竟是什么让准确率上升或下降
看起来最大的单一因素,是解码器是否针对个人做了调校。在那项游戏导航研究中,用其他人的数据训练、再在全新受试者身上测试的模型,对四个方向指令的准确率只有 45% [2]。而只用新受试者自己一半的数据做微调,准确率就升到了 88% [2]。这一跃升是这批证据里最清楚的例证,说明针对个人的校准有多重要——它也表明,45% 这个数字是跨受试者的结果,并不能代表内心言语总体上能被解码到什么程度。
相比之下,模型架构似乎远没有人们期望的那么重要。在受控基准测试中,混合模型平均而言优于标准设计,但相对于其中任何一个单一设计,优势都没有达到统计显著水平,而且每个单独分支的表现大致处于其约 26% 的基线水平 [5]。由于只有十名受试者,该研究只能检测到约四个百分点或更大的差异,因此这些零假设比较是不确定的,而不能证明各架构等效 [5]。作者还在相同硬件上把整个协议运行了两次:基线完全复现,但混合模型的均值偏移了零点二个百分点,足以使一项比较从显著变为不显著 [5]。在这种规模下,微小的准确率差异不够稳定,不足以作为设计选择的依据。
要让它变得可用,还需要什么条件?
对于失去说话或行动能力的人来说,一个能直接读取其想表达词语的解码器,会比大多数脑机接口所依赖的间接心理任务自然得多[5]。但上述数字描述的是四词任务。文献中报道的四分类准确率很少能远超百分之三十出头,而该基准自身的结果也落在该数据集此前约26%至36%的范围内[5]。从四个词扩展到可用的词汇量,同时保持足够低的错误率——使误读的指令既不危险也不令人疲惫——这比四分类结果所暗示的要困难得多。
这些证据中最有希望的近期路径不是更好的通用模型,而是个性化:从个体用户那里收集一些数据,并让解码器适应他们,正如微调结果所证明的那样 [2]。悬而未决的问题是这需要多少校准数据,以及这种增益是否能在单一游戏任务之外保持。在跨被试准确率提高、并且基于相位的研究中描述的人与人之间的变异性得到解决之前 [3],内语是一种有前景但尚不可靠的控制信号。
本文引用的文献
探索试次间相干性在基于EEG的脑机接口中用于内语分类
使用试次间相干性作为特征,四词内部言语在十名被试上的平均分类准确率为56.08%(kNN)和59.55%(SVM),与先前工作相当或更好,但仍未达到实际应用要求。
基于EEG的脑机接口用于内心言语分类
一个迁移学习模型在完全新的受试者上测试时,对四个方向性内心言语命令达到了45%的准确率,在用新受试者50%的数据进行微调后提升到了88%。
基于相位分析的脑电信号处理:提升脑机接口中想象语音的解码性能
提出基于相位的EEG特征,通过使其对幅度波动和噪声更具鲁棒性,来改进想象语音分类,从而应对低信噪比和受试者间变异性问题。
使用EEG信号进行内心言语分类:一种深度学习方法
基于EEGNet的二维CNN在八名受试者中对四个内部默说的词进行分类,平均准确率为29.7%,仅略高于随机水平。
从EEG解码内部言语
在一项针对十个受试者的四种架构的受控基准测试中,最佳混合模型达到了28.8%的四分类准确率,是唯一显著高于25%随机水平的模型,但它并未显著优于任何基线,且配对比较在重复运行中不稳定。
