在不同任务上训练的深度神经网络是否共享通用权重子空间？

每个架构内部都存在共享子空间

通用权重子空间假说认为，同一架构的网络即使在不同任务和数据上训练，最终也会使用权重空间中一组共同的方向。论文把这种共享结构称为通用子空间（Universal Subspace）。这一主张并不是说两个训练好的网络权重完全相同，而是说它们的权重可以按层用少量共享的主方向来描述。

作者把这一主张定位在参数层面，以区别于更早关注表征或电路（circuit）的通用性研究。他们的分析单位是某一层的权重矩阵，并在一个由独立训练模型组成的模型池上做分解。当从部分模型估计出的方向也能描述未参与估计的模型时，这个子空间才被称为通用的。

谱分解如何找出共享方向

对每一层，作者把模型池中所有模型对应的权重矩阵拼接起来，再做谱分解。按解释方差排序后，排在前面的主成分构成候选的共享基。随后把某个模型的权重投影到这些主成分上，得到该模型的近似，保留多少方向由方差阈值控制。

这一流程从两方面检验假说。第一，特征值谱显示方差是集中在少数方向上，还是分散在所有方向上。第二，重建检验投影后的模型是否仍然可用。论文同时报告了这两类结果，并区分两种设定：分布内（IID）设定在构建基时包含目标模型；分布外（OOD）设定则完全排除目标模型。

LoRA 适配器集中在16个方向以内

规模最大的一项测试使用500个 Mistral-7B LoRA 适配器，它们分别在500个自然指令任务上训练。LoRA 更新是一个要求很高的检验对象，因为它们编码的是任务特定方向，与预训练权重的对齐程度有限。即便如此，作者报告全部31层中的大部分信息仍集中在16个或更少的方向上。

论文随后随机选取已见和未见任务，把 LoRA 参数投影到该子空间来重建，并报告两种情况都表现稳健。作者还用剩余成分重做了分析，以确认承载任务相关结构的是保留下来的方向，而不是被丢弃的方向。这是证据包中最清楚的一项演示：一个小的共享基可以替代大量任务特定的适配器。

重建精度随保留方差变化

ResNet-50 实验显示，性能在多大程度上取决于保留了多少方差。9个在不同数据集上从零训练的模型给出的子空间估计质量较低，适用性得分为 q_all = 0.0183。不做微调的直接重建在80%方差阈值下达到77.91%的平均 top-1 准确率，原始模型为81.00%；在95%方差阈值下，重建达到80.85%。

另一张表单独考察轻量适配：固定共享基，只优化子空间系数。在 CIFAR-10、CIFAR-100 和 SVHN 上，原始准确率在 IID 下为90.63%，在 OOD 下为90.59%。在80%阈值下，适配后的准确率分别为88.76%和88.87%，使用210万个系数参数。直接重建与系数适配之间的差距体现了实际区别：基提供结构，少量系数恢复任务特定行为。

生成模型与3D模型呈现相同规律

这一假说不限于分类器。20个 StyleGAN2 生成模型覆盖人脸、动物、场景、艺术作品、纹理和地图，得到的适用性得分较低，为 q_all = 0.0572，作者保留了13个常见3x3合成卷积层中的9个。在可评估的18个模型上，平均 Inception Score 在 IID 下仅变化 -0.0041，在 OOD 下仅变化 -0.0040，配对重建的 PSNR 接近20 dB。

另一项测试使用20个 Geometry Distributions 模型，每个模型都在不同的3D基元上从零训练。在95%解释方差阈值且不做微调的情况下，原始模型与重建模型样本之间的平均成对 Chamfer 距离为0.0250。这些结果把规律扩展到生成目标和3D输出，不过这两种设定的模型池都较小。

大规模预训练模型池与免调优合并

最广泛的证据来自约500个从 HuggingFace 收集的预训练 Vision Transformer，覆盖医学影像、卫星数据和合成领域，未做任何筛选，也无法获取原始训练数据。作者还分析了50个 LLaMA3-8B 模型以及177个 GPT-2 和 Flan-T5 模型。在 ViT 模型池中，除第一层和最后一层外，每层的大部分方差由排在前面的少数谱成分捕获。

论文把同样的结构用于模型合并。其通用子空间方法仅根据共享低秩子空间的几何关系解析地计算合并系数，不需要迭代调优或验证数据。作者报告，与合并基线相比，该方法平均准确率更高，同时参数更少，因为合并后的模型加上任务特定系数所含参数少于任何单个模型。

结论的适用范围与边界

通用性是架构特定的。共享子空间是在共享同一架构的模型池内估计的，论文并未声称从 ResNet-50 恢复的子空间可以迁移到 Transformer。作者还指出，模型池较小时子空间近似较差，这正是 ResNet-50 和 StyleGAN2 的适用性得分偏低、但重建仍然可用的原因。

证据是经验性的，具有相关性特征。论文给出了共享子空间何时能被一致估计的条件分析，但没有确立训练为何会收敛到这些方向。作者明确把分离初始化、数据、损失等单个因素影响的受控实验留作未来工作。他们还提出一个开放问题：能否在不使用如此大量数据和算力的情况下发现这些子空间。

方差阈值为何是关键选择

这篇论文中最影响决策的变量不是模型数量，而是保留方差阈值。在60%方差下，ResNet-50 直接重建在 IID 下降到62.71%，在 OOD 下降到56.69%，原始为81.00%。在80%下，这两个数字升至78.26%和77.91%。在95%下，两者都达到80.85%。系数适配呈现相同规律：60%时适配准确率为86.25%和86.74%，80%时为88.76%和88.87%。

这条曲线就是论文的实用信息。只有当保留的方向足以保住足够方差时，共享子空间才有用；基更小的代价体现在准确率上，而不是假说失败。对于考虑复用、合并或参数高效适配的读者，论文给出的优先事项是把方差阈值当作调节旋钮，并在信任一个恢复出的基之前同时检查 OOD 重建，而不只是 IID。

本文引用的文献