[ICLR 2025] 为什么组合泛化需要线性且正交的表示？

TL;DR

如果一个 AI 模型能理解“红色的苹果”和“蓝色的方块”，它理应能理解从未见过的“红色的方块”。这种能力被称为 Compositional Generalization (组合泛化)。本文通过严谨的数学证明指出：要实现这种泛化，模型的嵌入空间（Embedding Space）必须满足两个核心几何特征——线性因子化 (Linear Factorization) 和 跨概念正交性 (Cross-concept Orthogonality)。

核心动机：模型为何“不识”新组合？

现代视觉模型（如 CLIP）虽然见过数亿张图，但现实世界的概念组合是指数级的，训练集永远只是冰山一角。当前的痛点在于：模型在见过“人骑马”和“猫坐垫子”后，面对“人骑猫”往往会不知所措。

作者提出，一个真正具备组合能力的表示模型，必须满足三个基本属性（Desiderata）：

1. Divisibility (可分性)：模型必须有能力表达所有可能的组合，哪怕没见过。
2. Transferability (可迁移性)：在稀疏子集上训练的读出器（Readout），必须能直接迁移到全集。
3. Stability (稳定性)：更换训练样本，模型对同一概念的判断不应发生剧烈震荡。

几何必然性：线性与正交

这是本文最惊艳的部分。作者证明了在标准优化（梯度下降 + 交叉熵）下，上述三个属性会产生强大的几何约束。

1. 线性因子化

一个输入 $x_c$ 的嵌入向量 $z_c$ 必须能表示为各个独立概念分量的加和： $z_c={\sum }_{i=1}^k{u}_{i,c_i}$ 这意味着“红色的圆”的向量，必须等于“红色”分量向量加上“圆”分量向量。

2. 跨概念正交性

为了防止不同概念之间互相干扰（Interference），“颜色”的变化方向必须与“形状”的变化方向正交： $(u_{i,1}-u_{i,0})\perp (u_{j,1}-u_{j,0})$

图 1: 视觉语言模型如何通过线性结构处理未见组合的示意图

实验发现：预训练模型走到了哪一步？

作者对 CLIP, SigLIP, DINOv3 等预训练模型进行了深度拆解，发现：

• 正相关性：模型的线性得分（Projected R2）越高，其在测试集上的组合泛化准确率就越强。
• 部分达成：主流模型的 R2 分数通常在 0.4 到 0.6 之间，说明它们已经自发形成了一定的先行构造，但距离“完美”仍有差距。
• 维度瓶颈：理论证明 k 个概念至少需要 k 维空间。当嵌入维度有限时，模型会通过降低每个概念的秩（Low-rank）来“挤进”更多内容。

图 2: 多种模型在不同数据集上的线性度与准确率相关性分析

深度洞察

这篇文章最深刻的价值在于，它回答了 "Why Linearity?" 的问题。过去我们观察到 LLM 或 VLM 的嵌入空间具有加法性质（如同著名的 $king-man+woman=queen$），这往往被归结为一种统计巧合。而本文告诉我们：线性结构不是一种选择，而是模型为了实现组合泛化而不得不收敛到的必然结果。

局限性与未来展望

• 局限性：本文假设的是独立概念组合，尚未深入讨论概念之间存在强依赖（如：特定的形状只随特定颜色出现）时的几何变化。
• 未来展望：通过在训练中显式地增加对线性正交性的诱导，或许能极大地提升模型的小样本组合泛化能力，而不必再盲目堆叠数据规模。

总结

这篇论文是表示学习领域的一篇力作，它用优雅的几何语言重新审视了组合性这一人工智能的基石。对于追求模型本质理解的研究者来说，这不仅是一篇论文，更是一部关于 Embedding 空间“建筑学”的指南。