TL;DR

本文由信息论泰斗 Abbas El Gamal 撰写，是经典教材《Elements of Information Theory》全新章节。文章从物理直觉和信息论定义出发，深度拆解了从线性回归到深度生成模型（VAE, Diffusion, GAN）的统一逻辑：学习即散度最小化。

1. 统计学习的本质：一场关于“距离”的博弈

统计学习的终极目标非常简单：给定一个未知分布 $p_{data}$ 的采样数据集，在一个分布族 $\mathcal{P}$ 中找到一个 $p_{h}eta$，使其与 $p_{data}$ “最近”。

然而，挑战在于：

• $p_{data}$ 是未知的：我们只有样本。
• 距离定义多样：Relative Entropy (KL 散度) 是最常用的，但它并不总能直接计算。
• 模型复杂度：神经网络将模型空间扩展到了海量参数，导致后验分布往往难解（Intractable）。

2. 监督学习：为什么 MLE 等价于 Cross-Entropy？

在线性回归和逻辑回归中，作者通过公式推导证明了一个深刻的物理直觉：最小化条件相对熵等价于最小化条件交叉熵。在实践中，这进一步退化为极大似然估计（MLE）。对于 Logistic Regression，目标函数是凸的，这保证了通过梯度下降（Gradient Descent）可以找到全局最优权重。

注：图中展示了模型分布向真实数据分布靠近的过程。

3. 潜在变量模型：ELBO 的救赎

当模型引入 Latent Variables $Z$ 时（如 VAE），计算 $p(x)$ 需要对 $Z$ 进行积分，这通常是无法实现的。

作者在此处引入了证据下界（ELBO）。利用 Jensen 不等式，我们将难解的对数似然拆分为两部分：

1. 重建质量：模型对观测数据的解释能力。
2. 先验约束：近似后验分布与先验分布的 KL 散度。

Variational Autoencoder (VAE) 正是通过这种“摊销推理”（Amortized Inference），用一个编码器神经网络来预测后验分布的参数，从而实现了端到端的训练。

4. 扩散模型深度拆解：层次化 Latent 空间

扩散模型（Diffusion Models）可以被视为一种特殊的层次化潜变量模型。

• 前向过程：不断增加高斯噪声，直到信号变为纯噪声。
• 反向过程：模型学习如何“去噪”。

文章通过 Theorem 0.6 揭示了扩散模型训练的本质：最小化预测噪声与真实噪声之间的均方误差。这种看似直观的操作，在数学上竟然完全等价于最大化 ELBO。这一发现将物理过程中的扩散现象与统计学习理论完美地锚定在了一起。

5. 生成对抗网络（GAN）：基于 f-散度的极小极大游戏

与通过 MLE 训练的路径不同，GAN 引入了一个对手——判别器。作者详细推导了 GAN 的博弈过程。

• 当判别器达到最优时，生成器的目标实际上是在最小化 $p_{data}$ 和 $p_{generated}$ 之间的 Jensen-Shannon (JS) 散度。
• 这一理论延伸至其广义形式：f-divergence。通过选择不同的凸函数 $f$，我们可以定义不同的散度（如 Total Variation, χ² 散度等），从而训练出具有不同统计特性的生成器。

6. 得分匹配（Score-Based Models）与 Tweedie 公式

最后，文章探讨了 score-based models。这里不直接模拟概率密度，而是模拟概率密度的梯度——Score Function。

引入 Fisher Divergence 后，作者证明了训练一个去噪自编码器（Denoising Autoencoder）本质上是在匹配分数的梯度。这里最精妙的数学工具是 Tweedie’s Formula，它给出了给定观测值 $Y$ 时，$X$ 的最小均方误差（MMSE）估计与分数函数之间的简洁关系：