两种假设给出不同的时间预测
语音需要同时在多个层级上被处理:低层语音细节与更高层的词义。论文追问这两个相距较远的层级如何在时间上相遇。如果处理纯粹是自下而上的,那么词中靠后音素的语音表征就会更晚出现,随着声音到达而逐步累积。如果存在自上而下的语义预测,语音表征则会改为对齐到词起始后的某个固定时刻,与音素在词中的位置无关。
作者把这两种解释直接对立起来,分别称为自下而上累积假设和自上而下语义假设,并检验哪一种更能描述同一批神经元中语音编码与词汇语义编码的时间关系。
群体流形揭示隐藏的编码
数据来自植入前部颞上回的微电极阵列的颅内记录,作者将该区域描述为参与整合语言层级各层级。研究共分析三名参与者的624个神经元。其中两名参与者执行听觉语义分类任务,判断听到的动物或物体是否大于或小于一英尺;另有两名参与者在自发对话中接受了自然语音记录。
在单神经元层面,只有少数神经元对探测的特征有显著反应,语义任务中约为4%。因此作者转向群体动态:用主成分分析把许多单元的编码核投影到低维空间,形成他们所称的神经流形。在这个空间里,音素划出轨迹,作者用聚类指数衡量轨迹是否按语音类别分组,该指数用组间距离减去组内距离。
这一步对理解结果很关键。在单个神经元中看不见、在相邻ECoG记录中也未检测到的编码,在考虑群体协同活动后变得可测量。论文把流形当作功能性读出,而不是单个神经元。
音素按共振峰和发音方式聚类
在流形中,元音轨迹按第一共振峰分离,该特征反映舌位高低,参与者1约在200毫秒、参与者2约在150毫秒出现分离。参与者2还在约300毫秒按第二共振峰分离,该特征反映舌头前后位置。辅音在两名参与者中均于约200毫秒按发音方式聚类,参与者1在约400毫秒再次出现。
并非所有语音区分都出现。辅音没有按发音部位分离。作者报告这些聚类效应通过了多重比较校正,并用线性判别分析、秩回归和k均值聚类重复验证,且在一维到六维流形中都成立。
语义类别晚于音素分离
词汇语义核也在流形中分离。概念类别即物体与动物,在两名参与者中均于约450毫秒分开,尽管平均后的概念核从未达到统计显著。知觉语义即更大与更小,在参与者1中约400毫秒分离;语义判断在参与者2中约400毫秒分离。
作者把概念结果作为证据,说明某些词汇语义信息只能在群体层面读出。他们也指出,与语音聚类不同,语义聚类效应未通过多重比较校正。这一统计稳健性差异,是把语义流形结果视为提示性而非定论的理由。
音素顺序对齐到词起始
核心检验使用自然语音。作者为音素顺序拟合编码模型,即每个音素在其词中的位置,与音素类型无关,然后把每个核按平均音素时长约80毫秒的倍数平移。在自下而上累积下,靠后的位置应更晚达峰。在自上而下预测下,所有位置应对齐到词起始后的固定时刻。
两名自然语音参与者的音素顺序核都与词汇语义核同时对齐,支持自上而下对齐的解释。参与者1的对齐出现在词起始后400毫秒,参与者3出现在250毫秒。作者还报告控制了词频、词时长、GPT-2惊奇度和音位配列概率,这些因素未影响对齐。
β与γ峰值支持该解释
为区分自上而下与自下而上处理,作者检查了阵列上的局部场电位功率。他们把β功率12至30赫兹与自上而下处理关联,把低γ功率30至70赫兹与依赖位置的自下而上处理关联。在参与者1中,400毫秒出现显著β峰,与词汇语义核吻合,若干音素顺序的低γ峰与其同时出现。这些频带峰值中有一部分通过了多重比较校正,但并非全部。
参与者3没有出现与显著词汇语义时段同时出现的显著β峰。因此频率证据在参与者1中最强,论文的自上而下解释依赖时间、流形聚类与该频谱模式的汇聚,而非任何单一测量。
结论成立的范围与变弱之处
最强支持来自参与者1,他同时接受了语义任务和自然语音记录。在该参与者中,两个时段的音素轨迹显著相关,直到第九个主成分,尽管两次记录相隔两个多小时,且尖峰分选识别出不同的单元。这支持跨情境稳定的群体层面表征,但只是单个参与者的跨时段比较。
若干边界限定了这一结果。样本为三名参与者,语义任务的单神经元分析在参与者2中未发现显著反应的单元,作者推测可能与阵列位于右半球有关。语义聚类效应未通过多重比较校正。相邻ECoG记录在阵列附近未显示显著编码,作者在质量控制分析后将其归因于该信号更粗糙的群体平均,而非伪迹。自上而下的解读是作者对对齐时间的解释,不是对预测信号的直接测量。
时间对齐是最应权衡的结果
论文最具影响的论断是比较性的:语音表征在词起始后的固定延迟与词级语义表征对齐,参与者1为400毫秒,参与者3为250毫秒,而不是随音素位置向后漂移。这一模式把自上而下解释与自下而上累积区分开来,并在参与者1中由同时出现的β峰以及跨任务与自然语音保持相关的音素轨迹进一步支持。
对读者而言,实际优先级是把这一对齐与其支持强度放在一起权衡。对齐本身是发现,语义预测机制是作者的解释。最强证据在参与者1,语义聚类在统计上较脆弱,ECoG的零结果标出了效应消失的空间尺度。读者在把这项工作与其他语音研究比较时,应先问论断依赖哪个信号、哪位参与者、哪个潜伏期,再判断自上而下对齐是否已经确立。
本文引用的文献
Top-down semantic predictions align phonetic neuronal dynamics in human superior temporal gyrus
语音与词汇语义特征编码于前部颞上回的低维神经元群体流形中,音素顺序核在词起始后的固定潜伏期与词级语义表征对齐,作者将其解释为自上而下的语义预测。
