如何用双重切片 Wasserstein 度量文本分布差距？

困惑度上界在不同模型族之间不可比

对自回归模型而言，衡量生成分布与数据分布匹配程度的标准做法是用留出数据、由精确似然计算出的困惑度。扩散模型和流式语言模型无法给出这种精确似然，只能报告基于证据下界（ELBO）的困惑度上界。

论文指出这一替代指标存在两个问题。第一，ELBO 往往并不存在：对连续模型而言，该界只在噪声上取期望时成立，需要沿流使用变量替换公式，且只对部分选定模型推导出来。多数近期模型还使用自条件化，即网络把自身先前的预测作为输入，而该输入产生于采样轨迹之中，对给定数据序列无法复原。第二，即便 ELBO 存在，它在不同模型族之间也不可比。ELBO 与似然之间的差距是噪声过程及其参数化的性质，而不只是模型本身的性质。对掩码扩散该界是紧的，而对均匀扩散则更松，甚至不被训练目标优化。因此更好的困惑度可能反映的是更紧的界，而不是更好的模型。

生成困惑度衡量的是对参考模型的模仿

由于任何模型都可以采样，生成困惑度连同词元熵已成为常见的替代方案。生成困惑度是生成文本在固定参考模型（如 GPT-2 Large）下的困惑度，熵则由序列内的词元频率计算。

论文认为这两个量都没有度量生成分布与数据分布之间的距离。二者都在序列上取平均，因此不奖励生成输出的多样性；论文以模式崩溃为例说明这一点。生成困惑度衡量的还是与参考模型的一致性，而不是与数据的一致性，因此它奖励的是对参考模型的模仿，而非对真实数据的拟合。

论文提出的目标因此是一个面向文本分布的类似评分：只需来自两个分布的样本，是一个当且仅当两个分布一致时为零的距离，并且同时反映质量与多样性。

SOL 比较隐状态的经验测度

SOL 用固定 transformer 下每条序列隐状态的经验测度来表示该序列，并用双重切片 Wasserstein 距离比较这些测度的分布。在论文描述的构造中，一维经验分布由分位函数表示，并沿第二个方向再次切片，从而把语料映射到实数轴上概率测度的空间，在那里计算最终的 Wasserstein 距离。SOL 对两个切片方向上的这一量进行积分。

transformer 可以有两种用法。自回归 transformer 把序列概率分解为下一词元概率的乘积，并通过迭代地评估模型并从中采样来生成。双向 transformer 使用完整输入序列计算每个位置的隐状态；对掩码扩散模型，输入是扩散时刻的受损序列，且不带时间条件。

论文证明当 transformer 为单射时 SOL 是一个度量。在该假设下，对权重均匀的经验分布，SOL 为零当且仅当两个分布相等。证明表明，最后一个隐状态表示的单射性蕴含序列级映射的单射性，结论随后由双重切片 Wasserstein 距离在经验元测度上是一个度量这一事实得出。

SOL 能检测分布性失败并还原模型趋势

论文报告 SOL 能检测分布性失败、还原预期的模型趋势，并给出稳定的基于样本的估计。作为第一步，作者用 SOL 重新评估了多种在 OpenWebText 上训练的模型。

稳定性是一项核心主张。论文报告，对 GPT-2 Large 和 Dream 两种编码器，SOL 都随样本数增加、切片数增加以及积分点数增加而收敛。特别是，仅基于少量样本和切片的低成本 SOL 估计已经能给出相对可靠的近似，作者认为这适合在训练过程中进行监控。

论文将此与 MAUVE 对比，称后者严重依赖所选的聚类数。对两个不相交的 LM1B 语料，报告的 MAUVE 分数取决于评估样本数和聚类数；保持聚类与样本的固定比例时，分数随样本量增加而下降，而固定聚类数并增加样本时，分数会收敛到一。论文称这带来了该报告哪个分数的问题，并使 MAUVE 分数难以比较。

MAUVE 对末位词元分布更敏感

论文报告，在 OpenWebText 上，对 DUO 的贪心尾部采样器，MAUVE 与 SOL 存在明显分歧。为探究原因，作者在选定位置上测量跨文档的词元熵。贪心 DUO 的位置熵从中间位置的 6.32 nats 降到末端的 5.01，而真实 OpenWebText 在两个位置都保持在 6.58 附近。

作者随后按末位词元对生成文档重新加权，使加权后的末位词元频率与真实 OpenWebText 匹配，同时不改变文本。经过这一校正，贪心 DUO 的 MAUVE 从 0.492 升到 0.591，而祖先采样 DUO 只从 0.836 升到 0.843。SOL 分别只变化 0.29% 和 0.07%。论文由此得出结论：MAUVE 对末位词元分布远比 SOL 敏感，因为 SOL 使用所有词元位置的隐状态。

论文还报告，采用标准末位词元隐状态表示的 MAUVE 对序列末端有强烈偏向：把开头替换为随机词元对分数影响很小。采用均值池化表示时，MAUVE 在受损下很快饱和，污染率 5% 时从 0.97 降到 0.47，10% 时降到 0.06，之后一直接近零。论文称该分数在 10% 时就用尽了量程，因此无法区分 10% 与 100% 受损的文本。相比之下，SOL 被报告为在全部受损率范围内单调上升。

困惑度和熵良好并不保证匹配更好

论文认为生成困惑度和熵应联合解读：生成困惑度应较小，而熵应保持接近数据的熵。但论文指出，即便二者同时满足，也不能决定分布质量。

对蒸馏 DUO，祖先采样与贪心尾部采样相对数据的熵偏差几乎相同，分别为 0.069 和 0.071。然而贪心尾部采样大幅降低了生成困惑度，从 62.3 降到 46.5，同时使三种编码器上的 SOL 都变差，包括 Dream 从 30.595 升到 31.802。更有力的是，精确 MDLM 的生成困惑度低于采用 ODE 采样的 VP（59.4 对 66.1），熵也更接近数据（5.445 对 5.435），但在三种编码器上的 SOL 都更差：2.185、14.119、36.394 对 1.775、11.997、33.275。论文由此得出结论：即便生成困惑度和熵表现良好，也不保证与文本分布匹配得更好。

采样策略排序在条件与无条件生成间反转

论文考察采样策略如何影响 GPT-2-XL 与 WebText 分布的一致性，比较了祖先采样、p 等于 0.95 的核采样以及贪心解码。

在条件生成中，作者使用 5,000 篇 WebText 文档，把每篇文档的前 35 个 GPT-2 词元作为上下文，并在首个文本结束词元处或总序列长度（含前缀）达到 256 个词元时停止。两个指标都偏好核采样：SOL 从 0.5083 降到 0.2712，MAUVE 从 0.9407 升到 0.9607。贪心解码明显差于两种随机采样器，MAUVE 为 0.0697，SOL 为 3.7755。

在无条件生成中，GPT-2-XL 以文本结束词元初始化，生成到随后产生的首个文本结束词元或最多 256 个生成词元为止。排序发生反转：祖先采样比核采样取得更低的 SOL（0.8358 对 0.9072）和更高的 MAUVE（0.8832 对 0.8740）。论文指出，SOL 与 MAUVE 在两种设定下对采样策略排序的判断一致，但哪种策略更好取决于生成是条件还是无条件的。

SOL 是基于样本的距离而非通用质量分

SOL 作为度量的保证依赖于 transformer 是单射的。论文在该假设下对权重均匀的经验分布证明了当且仅当为零的性质，因此其度量解释与所用编码器绑定。

OpenWebText 的比较都在同一参考族和同一编码器内进行，论文说明每次模型比较使用 5,000 条生成序列和从 10,000 行参考池中选出的 5,000 行，真实对真实对照使用不相交的子集。论文还指出，LDDM 使用相同的 OpenWebText 来源和划分，但打包工作进程边界不同，而 LangFlow 的历史训练划分未获独立验证。这些条件限定了所报告排序能在多大范围内跨编码器、参考族或预处理流程迁移。

论文自身的定位是 SOL 填补了非自回归模型评估协议中的空白，而重新评估在 OpenWebText 上训练的模型只是第一步。论文确立的实际重点不是一个排行榜数字，而是选择比较什么：SOL 值只在固定参考族和编码器内才有意义，且论文证据显示困惑度、熵与分布拟合可能指向不同方向。因此，在权衡非自回归文本模型时，读者应把良好的生成困惑度或熵视为不充分，并检查分布距离是针对数据分布还是针对参考模型测量的。

本文引用的文献