真实语音与合成语音的语调感知有何差异?

一项初步研究发现,自然语音与克隆语音的差异主要体现在语调和说话人熟悉度如何影响准确率。

直接答案

在这项初步研究中,克隆语音并非一律比自然语音差:两类语音的差异主要体现在语调和说话人熟悉度如何影响准确率。在说话人相似度判断中,疑问语调只在两段语音均为自然语音时带来帮助;在语调识别中,熟悉度提高了合成语音的准确率,却没有提高自然语音的准确率。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

两项任务与三个操纵因素

这项研究要回答的是:AI 生成的语音是否与自然语音受到不同的加工,以及语调和说话人熟悉度如何改变这种加工。17 名普通话母语者参加了说话人身份相似度任务,其中 11 人在另一天完成了语调识别任务。两项任务都采用 2 × 2 × 2 的被试内设计,三个因素分别是语音类型(自然与合成)、熟悉度(熟悉与陌生说话人)和语调(陈述与疑问)。

刺激材料是 10 句中性的六词普通话句子,另加一句练习句。两名陌生人和两名与参与者相熟的人把这些句子读成陈述句和疑问句;合成版本由一个以 F0 为条件的歌声转换模型生成,该模型提取源录音的内容和音高轮廓,再用目标说话人的音色重新合成。两名语音学专家挑选了语调表达最好的合成版本。

两项任务测量的内容不同,不应合并。在相似度任务中,听者听到一对句子,先判断两句是否出自同一人,再按 1 到 7 分评价相似度。在语调任务中,听者听到一句话,判断它是陈述句还是疑问句。两项任务都记录了准确率和反应时。

自然与合成混合配对更难判断

在相似度任务的准确率上,逻辑回归发现语音类型有显著主效应。两段均为自然录音的配对,平均准确率为 0.917(SE = 0.014);一段自然、一段合成的混合配对为 0.851(SE = 0.018)。这一差距是该任务中最清楚的信号,说明克隆语音与被模仿者之间仍存在可被察觉的差异。

论文还报告了语音类型与语调的显著交互。在纯自然配对中,疑问句的判断准确率(均值 0.946,SE = 0.014)显著高于陈述句(均值 0.875,SE = 0.022)。在混合配对中,疑问句(0.826,SE = 0.025)与陈述句(0.872,SE = 0.022)没有显著差异。作者将此解释为疑问语调可能充当说话人识别的线索,而合成特征可能削弱这一线索。这是作者的解释,并非单独测量的机制。

熟悉语音反应更快但评分更低

在同一项任务中,熟悉度同时改变了反应时和相似度评分,而且两者方向相反。对陌生说话人的反应更慢(均值 0.848 秒,SE = 0.089),对熟悉说话人更快(均值 0.748 秒,SE = 0.078)。但陌生说话人得到的相似度评分更高(均值 3.930,SE = 0.131),熟悉说话人更低(均值 3.560,SE = 0.135)。

作者对此的解释是:熟悉语音会与存储的声学表征进行匹配,加工更快、辨别更精细,因此听者对熟悉语音采用了更严格的标准。这一解释与报告的模式相符,但并未直接检验其背后的记忆机制。语音类型也影响评分:纯自然配对得分更高(均值 3.900,SE = 0.136),混合配对更低(均值 3.600,SE = 0.130),该主效应报告为 p = 0.048。

各条件下语调识别准确率接近上限

语调任务的准确率整体非常高,这限制了该交互能说明的问题。Firth 偏差校正逻辑回归发现熟悉度与语音类型存在显著交互。对自然语音,陌生语音为 0.987(SE = 0.006),熟悉语音为 0.982(SE = 0.008),差异不显著。对合成语音,陌生语音为 0.973(SE = 0.012),熟悉语音为 0.992(SE = 0.007),单独看也不显著。

因此,这个交互只是两个各自不显著的小对比在方向上的差异,而准确率都集中在量表顶端。作者将其解读为语音类型改变了熟悉度对语音加工的贡献程度。读者应把它视为这项初步研究提出的假设,而非已确定的效应,因为简单效应未达到显著,任务本身也几乎没有留出犯错空间。

反应时只显示语调的边际显著效应:疑问句更慢(均值 0.270 秒,SE = 0.014),陈述句更快(均值 0.249 秒,SE = 0.013)。作者将其与陈述句和疑问句的音高差异在句末更易辨别联系起来,并指出未观察到交互,因此这一模式对真实语音和合成语音都成立。

克隆模型基本保持了说话人相似度

在听辨实验之前,研究者对合成语音做了客观检查。说话人编码器从转换语音和目标说话人的参考语音中提取嵌入,两者之间的余弦相似度作为说话人相似度分数,范围为 -1 到 1。陈述句平均为 0.55(SD = 0.28),疑问句为 0.51(SD = 0.30),作者认为两类句子的相似度相当。

这对解读准确率结果很重要。合成语音是按与目标说话人较为相似、语调表达较好来挑选的,因此听者表现出的差异并非明显劣质克隆的产物。同时,相似度分数只是中等而非接近完美,而且挑选了得分最高的样本,这意味着受测的合成语音很可能优于该模型的平均产出。

样本小、范围窄的初步研究

有几项特征限定了这些结果能支持的范围。相似度任务有 17 名参与者,语调任务有 11 名,全部是 22 至 41 岁的普通话母语者,四名刺激说话人也都是女性。熟悉度只做了二分对比:熟人与陌生人。合成语音来自一个歌声转换模型处理普通话句子,因此结果描述的是该系统与这种语言,而非一般意义上的语音克隆。

语调任务接近上限的准确率是最重要的限制,因为它压缩了任何因素显示效应的空间。相似度任务的准确率在 0.85 至 0.95 之间,提供了更多可用的变异。论文本身也把这项工作定位为初步探索,并呼吁开展更广泛、多维度的研究。

语调与熟悉度是交互而非叠加

这项研究提示的实际重点,并不是简单判定克隆语音更差。有信息量的差异都出现在交互中:疑问语调只在自然配对中帮助相似度判断,熟悉度对语调准确率的贡献在自然语音和合成语音中方向相反。若把语调或熟悉度平均掉,这两类模式都会被漏掉。

对于要评估合成语音能否替代自然录音用于语言材料的人,论文的证据指向两项具体检查。第一,在陈述句之外加入疑问语调,因为自然语音的优势模式正出现在这里。第二,同时测试熟悉和陌生的说话人,因为熟悉度效应的方向随语音类型而变。鉴于只有 11 至 17 名听者且语调准确率接近上限,在把这些交互视为稳定之前,值得在更大规模上重复这些检查。

本文引用的文献

1

Intonation Perception in Real and Synthetic Speech across Varying Familiarity Levels: A Pilot Study of Equivalence Assessment

克隆语音与自然语音的差异主要体现在交互作用上:疑问语调只在自然配对中提高了说话人相似度判断的准确率,而熟悉度对语调识别准确率的影响在自然语音和合成语音之间方向相反。