TL;DR

对比学习（Contrastive Learning）中的 InfoNCE 损失函数不仅让正样本对齐、负样本均匀散开，它实际上在“强迫”模型学到一个高斯分布。本文首次在理论上证明了在维度 $d o \infty$ 的极限下，InfoNCE 训练出的表征投影会渐进服从多元高斯分布。这一结论在 CLIP, DINO 等基础模型中得到了完美印证。

1. 核心动机：为什么表征长得像高斯？

在对比学习的几何视角中，我们常谈论 Alignment（对齐）和 Uniformity（均匀性）。前人观察到，性能好的模型其表征在超球面上散布得非常均匀。

然而，作者观察到一个更有趣的现象：当维度很高时，这种“球面均匀性”掩盖了一个深刻的统计事实——高维均匀分布的低维投影本质上就是高斯分布。这并非偶然，而是 InfoNCE 目标函数内在的隐式偏置（Implicit Bias）。

2. 理论框架：通往高斯的两种路径

路径 A：对齐高原与对齐上界

作者首先提出了一个基于 HGR 最大相关性（HGR Maximal Correlation） 的新视角，证明了对齐度（Alignment）实际上受限于数据增强的强度。

• Insight：数据增强越猛，正样本对之间能达到的最大相关性就越低。
• 对齐高原假设：在训练后期，对齐度会进入饱和状态。此时，InfoNCE 的优化重点完全转向了提升“均匀性”。

路径 B：正则化路径

为了让证明更严谨，作者分析了一个带正则项的总体损失函数，证明了当加入一个微小的、随维度消失的熵增项和范数惩罚项时，系统的全局最优解就是各向同性的 Gaussian。

图 1：对比学习诱导高斯表征的直观示意。

3. 实验见证：理论在现实中从未“翻车”

3.1 对比学习 vs. 监督学习

这是一个极具洞察力的实验：作者在相同的 ResNet-18 架构下，分别用 InfoNCE 和交叉熵训练。

• 对比学习：各维度坐标完美通过正态性检验（AD Test < 0.752）。
• 监督学习：分布呈现严重的非高斯性，且范数变化极大。 这有力地证明了 Gaussianity 是对比损失函数的功劳，而非架构或数据的功劳。

3.2 现实世界中的基础模型

作者对 CLIP 和 DINO 的预训练特征进行了检测。结果令人惊讶地一致：即便是在 MS-COCO 或 ImageNet-R 这种复杂的真实数据集上，这些自监督模型的表征也表现出了极强的高斯特征（见下表）。

表 1：自监督模型在各项正态性指标上显著优于监督学习模型。

4. 深度洞察：为什么这很重要？

1. 物理直觉的胜利：InfoNCE 实际上在进行一种“熵最大化”过程，而在给定均值和方差的约束下，熵最大的连续分布正是高斯分布。
2. 方法论的法律依据：很多研究者在做 OOD（离群检测）或 Test-time Adaptation 时，会假设 CLIP 特征是高斯的。本文为这些“拍脑袋”的实践提供了坚实的数学支撑。
3. 对齐与均匀的再平衡：实验结果（图 2）显示，对齐度通常很快达到瓶颈，而均匀性则随着 Batch Size 的增大持续缓慢提升。这意味着在大模型训练中，追求极致的 Uniformity 可能是提升下游性能的关键。

图 2：随维度和 Batch Size 增加，均匀性稳重有升，而对齐度在早期即达到高原。

总结与未来展望

本文通过优美的数学推导，将看似感性的“均匀分布”映射到了理性的“高斯统计”中。 但作者也客观指出，目前的分析主要基于总体优化（Population Limit）。在有限样本、极小 Batch Size 或极低维度的极端情况下，高斯性是否依然稳固？这或许是下一个值得探索的领域。

对于开发者而言，最重要的一条启发是：如果你在使用自监督模型的特征，你可以大胆地使用高斯判别分析（GDA）或马氏距离，因为这是损失函数在训练时就为你钦定好的结构。