经验变分自编码器如何用经验先验改进序列数据生成？

先验与后验的差距限制传统VAE采样

变分自编码器引入连续隐变量z，并将生成过程分解为p(x,z) = p(x|z)p(z)，其中p(z)是先验。训练最大化证据下界（ELBO），它在重建项与KL项之间权衡，后者把近似后验q(z|x)拉向先验。

论文的核心诊断是这两个目标相互冲突。优化重建会促使后验捕捉依赖数据的细节结构，从而拉大它与固定标准高斯先验p(z) = N(0,1)的距离。优化KL项则通过把后验推向先验来缩小这一距离，往往以重建质量为代价。论文认为，后验中跨隐变量位置残留的依赖关系与生成时使用的因子化标准高斯先验之间的这种不匹配，正是采样质量下降的原因，也促使VAE类模型更多被用作隐变量压缩器或分词器，而非独立生成器。

EVA从训练数据学习自回归隐变量先验

EVA假设序列x = x1:T与z = z1:T、因果解码器p(x|z) = 对t求积的p(xt|z1:t)、自回归先验p(z) = 对t求积的p(zt|z1:t-1)，以及均值场后验q(z|x) = 对t求积的q(zt|x)。把这些分解代入VAE的ELBO，得到论文所称的EVA ELBO，即对t求和的、由重建项与q(zt|x)和p(zt|z1:t-1)之间逐步KL项组成的表达式。

关键变化在于先验的定义方式。EVA不再使用在所有索引间共享的固定N(0,1)，而是增加一个预测器网络p_omega(zt|z1:t-1) = N(zt; mu_hat_t, sigma_hat_t的平方)，其中mu_hat_t和sigma_hat_t由z1:t-1产生。论文指出这只需在VAE之上增加一个线性层即可实现，并且实践中预测器可与解码器共享因果Transformer主干，用两个不同的线性头分别预测zt和xt。训练最小化负EVA ELBO，从而在每一步把学习到的先验与后验对齐。

生成先在隐空间祖先采样再因果解码

推理时，EVA在隐空间而非观测空间生成。它先从p_omega(z1)采样z1，再对t = 2到T从p_omega(zt|z1:t-1)采样zt，最后按因果方式从p_theta(xt|z1:t)解码每个token。由于先验是自回归的，采样出的隐序列携带跨步依赖，而不是在每个位置独立抽取。

论文还通过加入条件向量c把EVA扩展到条件生成，得到p(x,z|c) = p(x|z,c)p(z|c)，并配有条件编码器、条件解码器和定义条件高斯先验的条件预测器。无分类器引导施加在预测隐分布均值上，除非另有说明，强度取s = 7。这一点重要，因为EVA表示的是p(zt|z1:t-1)而非p(xt|x1:t-1)，所以引导作用于隐先验均值，而不是观测层预测。

玩具基准区分平均化与多峰恢复

论文构建了一个一维隐序列、一维观测的合成过程。隐状态通过带Mlat个离散隐模式的状态依赖转移进行分支，观测则通过多峰偏移生成，每个隐状态有Mobs个可见模式。作者把(Mlat, Mobs)设为(1,3)、(2,2)或(2,3)，因此Mlat控制隐转移的分支复杂度，Mobs控制观测空间中可见的多峰性。

在该基准上，四个模型族表现明显不同。用均方误差训练的自回归模型落入平均化陷阱，无法恢复多峰联合结构。高斯混合模型头优于该基线，在K = 3时可表示(Mlat, Mobs) = (1,3)，因为x0和x1都有三个可见模式，但其有限混合族仍然受限。EVA把样本集中在真实模式上并大幅抑制模式间样本，论文将此解读为学习到的自回归先验更好地表示了跨序列步的隐依赖。由于z1:t是连续的，对其边缘化会诱导出高斯成分的连续混合，使预测分布可以多峰。

图像与声音结果对标自回归基线

论文在256x256分辨率的ImageNet和包含309类的VGGSound上验证EVA。图像由预训练VAE分词为16x16个token、16个通道，波形被裁剪为九秒并由另一个预训练VAE分词为215个token、32个通道。模型在分词序列上训练，最终输出使用预训练VAE解码器。

报告的指标是FID和Inception Score。ImageNet生成50k个样本；VGGSound生成15,446个样本，视测试样本数量每类最多50个，目标分布使用相同数量的测试样本。包括EVA在内的所有模型共享170M参数、24个块、隐藏宽度768的Transformer主干，不含方法特有设计，例如EVA的先验预测头。由于推理时编码器可省略，Causal VAE、带归一化流的Causal VAE和EVA在推理时的参数比AR基线大约少2倍。

用MSE损失训练的原始AR模型失败，与玩具研究一致，表明直接回归不足以在连续空间进行多峰下一token预测。加入GMM头显著提升生成质量。321M参数的AR-Diffusion在训练时与EVA的Transformer块数相同，取得最佳指标，但需要迭代去噪步骤，论文报告其在FID相当时比EVA慢10倍。236M参数的AR-Diffusion在推理时与EVA块数相同，FID仍差得多，论文将此作为证据，说明在推理时Transformer深度匹配的条件下，EVA以更少的推理参数取得显著更低的FID。Causal VAE表现很差，说明仅把VAE解码器变为因果并不足以实现高质量序列生成。

隐空间可视化显示先验跟随后验

论文通过计算源隐块与每个其他隐块之间的双向KL散度来可视化隐空间，颜色越浅表示与源越相似。这是定性诊断而非生成指标，用于说明学习到的先验与后验结构的关系。

论文的解读是，用自预测先验替代标准高斯约束，显著缓解了传统VAE中常见的先验与后验之间的隐分布差距。这种对齐是作者归因于高保真祖先采样的机制，也是论文把贡献定位为重新审视VAE作为独立生成模型而非压缩器的原因。

证据止步之处与下一步权衡

两项限制约束了这些结果的可迁移范围。第一，EVA把空间隐图线性化为一维因果序列，因此没有显式利用其二维空间结构；作者提出专为空间数据设计的自回归先验可能进一步改进图像生成。第二，研究聚焦于ImageNet和VGGSound上的闭集生成基准和中等模型规模，作者把文本到图像、文本到语音和多模态数据生成等更大规模、更多样的下游任务列为自然的下一步。VGGSound数据集也被指出目前仅由第三方提供，且缺少原始数据集的一部分。

值得关注的权衡是匹配深度下的推理成本

这篇论文中与决策相关的比较不是原始最佳FID，而是在匹配Transformer深度下质量与推理成本的配对。321M参数的AR-Diffusion达到最佳指标，但代价是迭代去噪，论文报告其在FID相当时比EVA慢10倍。当改为在推理时块数相等的条件下比较，236M参数的AR-Diffusion的FID仍差得多，而EVA以更少的推理参数取得显著更低的FID。

这就是论文要求读者权衡的具体阈值：当推理预算和匹配深度成为约束时，一个预测自回归隐先验的额外线性层是否足以让VAE作为独立生成器具备竞争力。玩具基准提供了第二个更窄的信号，因为EVA抑制了模式间样本，而MSE训练的AR模型会平均化，GMM头则受限于其有限混合族。两个信号指向同一优先级：承载生成质量的是学习到的自回归先验，而非仅靠因果解码器。

本文引用的文献