贝叶斯语音合成器能从多位教师学习吗？

一段文本需要分布而非单点

文本转语音是一个一对多映射：同一句话可以用不同的音色、韵律和节奏说出，同一位说话者每次重复朗读也会不同。因此，一段文本的合法实现构成一个分布，而这个分布的宽度取决于文本及其上下文。只返回单一输出、或只加入固定随机性的模型，无法表示这种随输入变化的分布宽度。

论文把现有系统分为三类。离散编解码器自回归模型预测词元，会引入量化误差。扩散模型通过迭代去噪生成连续特征。连续值自回归模型逐帧预测梅尔频谱，或用扩散、流匹配头，或像 MELLE 那样使用高斯分布，其 KL 损失在每一帧方差都等于 1 时最小，与输入无关。在这些模型中，分布宽度要么隐含在采样过程里，要么被固定为常数。

BELLE 为每一帧预测方差先验

BELLE（Bayesian evidential learning with language modelling，贝叶斯证据学习与语言建模）保留 MELLE 的架构和单次采样，只改动输出每一帧的那一层。它不固定方差，而是为每个梅尔频谱帧的均值和方差设置贝叶斯先验，并由输入预测该先验的参数。于是分布宽度按每个输入估计，而不是预先设定。

论文明确指出这属于证据深度学习，而非贝叶斯神经网络：网络权重是点估计，先验位于每一帧似然函数的参数之上。训练时最大化观测的边缘似然，潜在参数以闭式形式积分掉。实际结果是，模型输出帧上的一个分布，而这个分布的宽度是预测值，不是超参数。

估计方差需要重复录音

准确估计方差在理论上需要每个输入有多次观测，而标准 TTS 语料库每段文本只有一次录音。作者因此构建了两个互补的一对多监督来源。ParallelVox 是由五个公开数据集组成的人类平行语音语料库，每段文本提示都配有多条录音。LS+6TTS 在 LibriSpeech 基础上加入六位预训练 TTS 教师生成的语音，使每段文本有多个实现。

BELLE 和 MELLE 都在 LS、LS+6TTS 和 ParallelVox 训练集上训练，并把一段文本的每个实现都作为目标。为在相同数据量下比较真实与合成平行语音，BELLE 还在 LS+6TTS-881h 上训练；该子集按文本采样，与 ParallelVox 训练集小时数匹配，同时保留每段入选文本的全部七个实现。

同等训练条件下 BELLE 优于 MELLE

在 LibriSpeech test-clean 上，可懂度用 WER-H 衡量，即 HuBERT 自动语音识别模型对生成语音的词错误率；说话者相似度用 SIM-o 衡量，即生成语音与提示语音的 WavLM-TDCNN 说话者嵌入余弦相似度。评估使用两种推理条件：Continuation 用前 3 秒语音及其转写提示生成剩余部分；Cross-Sentence 用一句提示语音及其转写，以该说话者声音说出另一句话。

与使用相同骨干、数据和训练计划的 MELLE 相比，BELLE 的优势一致。在 LS 上，五项客观指标差异全部有利于 BELLE，p ≤ 0.004；在 LS+6TTS 上，七项差异全部有利于 BELLE，p < 0.05。Cross-Sentence 的 WER-H 差距最大出现在 LS 上，BELLE 低 3.75 个百分点。在 ParallelVox 上，两项 SIM-o 差异和多样性差异有利于 BELLE，p ≤ 0.007，而两项 WER-H 差异不显著。仅在 LS+6TTS 上收集的 MOS 和 SMOS 也偏向 BELLE，分别高 0.19（p = 0.021）和 0.33（p < 0.001）。

仅放开方差不能解释性能提升

一个自然的质疑是：任何可学习的方差都会带来帮助。LS-100+2TTS 上的消融实验把采样模块与其损失分开。没有采样模块时，Continuation 和 Cross-Sentence 的 WER-H 分别为 5.00 和 13.07。MELLE 使用带单位方差 KL 项的高斯分布，达到 3.24 和 6.83。用负对数似然训练的自由方差高斯达到 3.88 和 7.31，在两种条件下都落后于 MELLE，Cross-Sentence WER-H 比 BELLE 差 2.5 个百分点。BELLE 的 NIG 证据损失达到 2.66 和 4.84。

作者用自由方差损失的两个性质解释这一结果。它对均值的梯度被 1/σ² 缩放，因此被赋予大方差的帧对学习均值的贡献很小。它还会把每一帧的方差拟合到少量实现上：LS-100+2TTS 每段文本只有三个实现，而在每段文本三次朗读的真实语音中，这种方差在帧间的变化大部分是采样噪声。BELLE 的逆伽马先验则把该估计拉向先验均值。

预测方差跟随人类朗读差异

论文仅使用对齐后的人类朗读，检验真实语音是否具备先验所假设的性质。在 114 段至少有三条朗读的文本上，一帧标准差的第 99 百分位与第 1 百分位之比中位数为 3.2（四分位距 2.7 至 3.6）；若方差在各帧恒定，仅采样噪声就会给出 1.30。收缩估计器在三次朗读时把约 79% 的权重放在全局方差上，意味着经验方差在帧间变化中约 79% 是采样噪声，这一比例随朗读次数增加而下降。

模型的预测遵循同样模式。在单人重复测试集上，以每组中心样本做教师强制，BELLE 预测方差与朗读间方差的 Spearman 相关中位数为 0.18（95% CI 0.17 至 0.18），88% 的组为正相关，57% 的组显著；去除频谱通量、能量和对齐不规则性后的偏相关中位数为 0.17。在把一句的预测方差与另一句朗读配对的错配对照中，相关中位数为 0.01，没有组显著。斜率中位数 BELLE 为 0.069，MELLE 为 0.024，配对差 0.044，在 89% 的组中为正。

同等数据量下合成教师媲美真实平行语音

数据侧比较是论文最具实际意义的结论。平行语音使 BELLE 优于数据量相近的单次录音数据；在相同数据量下，合成平行语音与真实平行语音表现相当，且更容易扩展。LS+6TTS-881h 子集正是为在匹配小时数下做此比较而设，每段文本保留全部七个实现。

教师权重也经过调优。在 LS-100+6TTS 上，人类录音权重 0.22、每位教师实现权重 0.13 时，两种条件下的 WER-H 最低；0.16/0.14 时 SIM-o 最高；把人类权重提高到 0.22 以上会使四项指标全部变差。由于这两种设置的 SIM-o 差异至多 0.006，而 WER-H 差异为 0.07 和 0.44，论文采用 0.22/0.13。

证据的适用边界

BELLE 只在英语语音上训练和评估，其他语言及跨语言合成的表现尚未测试。MELLE 官方实现未公开，因此论文中所有 MELLE 数字都来自作者用相同骨干、数据和训练计划的复现，绝对分数可能与原报告不同。实现权重比较以及采样模块和通量损失消融都在由 72 小时 LibriSpeech 子集构建的语料上运行，这些排序在 LS+6TTS 规模下是否成立尚未测试。

规模是最尖锐的边界。本文最大训练语料是 4.8k 小时的 LS+6TTS，而在 LibriSpeech test-clean 客观指标上与之比较的更大系统训练数据为 44k 至 250k 小时。BELLE 超出这一数据量后的表现，例如为每段文本只有一次录音的更大语料合成平行语音时，仍未测试。

在这些边界内，论文的优先判断很清楚：价值与其说来自增加一个方差头，不如说来自把证据先验与平行监督配对。自由方差消融显示，仅学习分布宽度会落后于 MELLE；等量比较显示，合成教师能以真实重复录音难以轻易达到的规模提供这种监督。BELLE 支持流式生成，因为每帧只需一次前向传播并以闭式形式采样；这延续了同一设计，而没有改变上述比较。

本文引用的文献