[ICLR 2025] 从数据统计到特征几何：相关性如何塑造神经网络的“叠加”表征

TL;DR

长期以来，我们认为神经网络中的“叠加”（Superposition）是一种无奈的妥协——为了在有限维度里塞进更多特征，模型不得不忍受干扰。但最新论文 From Data Statistics to Feature Geometry 告诉我们：干涉不全是噪声，它甚至能转化为信号。 通过引入 BOWS (Bag-of-Words Superposition) 框架，研究者证明了：在特征相关的现实世界中，模型会通过“相长干涉”来降低表征成本，这解释了 LLM 中神秘的语义聚类和月份圆环结构。

1. 痛点：现有叠加理论的“理想化落差”

在经典的分布式表征理论中，特征被视为几乎不相关的稀疏信号。为了处理这些信号，模型倾向于将特征排列成正多胞体（Regular Polytopes）。在这种几何结构下，任何两个特征之间的点积都极小且为负，模型通过 ReLU 像切蛋糕一样把干扰“切掉”。

然而，现实出拳了： 我们在真实的 Llama 或 Claude 中观察到的往往不是冰冷的正多胞体，而是：

• 语义聚类（Semantic Clusters）：相关的词挤在一起，这在旧理论看来是极大的干扰。
• 循环结构（Cyclical Structures）：月份、星期等特征在空间中排成一个完美的圆。

这种“各向异性”暗示了底层逻辑的缺失——模型似乎并不急于消除干扰，反而是在利用某种结构。

2. 核心直觉：什么是“相长干涉”？

作者提出了一个关键公式来拆解特征编码： $${\hat{f}}_i=\sigma \left(\Vert w_i{\Vert }^2{f}_i+\sum _{jeqi}⟨w_i,w_j⟩f_j+b_i\right)$$

在旧观点中，右侧的求和项（Interference）是纯噪声。但作者指出：如果特征 $i$ 和 $j$ 是高度相关的（例如“十二月”和“圣诞节”），那么 $⟨w_i,w_j⟩$ 保持正值反而能帮助重建信号！

这就引入了 线性叠加（Linear Superposition） 的概念：当数据协方差矩阵 $\Sigma$ 具有低秩结构时，模型会将特征排列在主成分空间（PCA Subspace）中。此时，干涉增强了信号，而不是抵消它。

3. 方法论详解：BOWS 框架与架构解析

为了验证这一直觉，作者设计了 BOWS (Bag-of-Words Superposition)。他们取 WikiText-103 语料，将其转为二值化的词袋表示。这既保留了真实文本复杂的词汇相关性，又提供了已知的 Ground-truth 特征。

关键图表 1：模型架构与月份循环

图注：左侧展示了 BOWS 框架，中间对比了旧有的“干扰过滤”模式与新提出的“相长干涉”模式，右侧展示了月份特征如何自发形成圆环。

在实验中，当瓶颈维度 $m$ 极小时，模型不是随机排列特征，而是复刻了数据的 PCA 结构。这也是为什么在 LLM 中，月份会自动排成一圈——因为在数据统计中，它们的协方差矩阵本身就是循环对称的。

4. 实验与结果：干涉如何成为“救星”？

案例分析：“The Beatles”与“Christmas”

作者深入分析了特定词汇的重建过程。令人惊讶的是：

• 对于词汇 “Beatles”，如果在孤立（One-hot）状态下输入，模型的重建精度（R²）接近 0。
• 但如果将其置于“列侬”、“麦卡特尼”等相关词汇的上下文中，重建精度大幅飙升。

图注：右图显示，在有支持性上下文时，相关词贡献了正向的预激活（Pre-activation），而 ReLU 则负责在这些词没出现时压制误报（False Positives）。

这说明：模型不仅能容忍干涉，还依赖干涉。 这种机制使得模型在极低维度（压缩比达 50:1 甚至更高）下依然能保持语义理解能力。

语义聚类的涌现

通过 UMAP 可视化，我们发现随着权重衰减的增加，语义聚类变得更加明显。这意味着权重衰减（Weight Decay）会强制模型寻找秩和范数更高效的表征方式，从而诱导“相长干涉”的发生。

5. 深度洞察：关于“特征”的二次进化

本文提出了一个引人深思的概念：存在编码（Presence-coding） vs. 数值编码（Value-coding）。

• 存在编码：如“猫”、“十二月”，其几何结构高度依赖数据相关性。
• 数值编码：如“角度”、“坐标”，其结构（如圆或地图）源于下游计算的需求（如模运算或地理定位任务）。

这一区分破解了一个长期的争论：为什么没有相关性的数据也能产生几何结构？答案是：那是为了方便模型进行数学计算，而不是为了特征叠加。

总结与展望

这篇论文通过一套简洁的数学定义和 BOWS 实验，打破了我们对叠加理论的固有成见。它告诉我们，神经网络的内部空间既是高效的压缩机，也是敏锐的统计学家。

• 局限性：BOWS 模型虽然有效，但距离全参数 Transformer 仍有简化的部分。
• 未来启示：未来的稀疏自编码器（SAE）在提取特征时，可能不应预设“干扰是有害的”，而应更关注特征之间的几何协同效应。

这也许就是神经网络如此强大的秘密：它学会了在混乱的干涉中，寻找优雅的共鸣。