加性收缩让谱更集中
标准权重衰减把权重矩阵当作一个扁平向量。它的平方 Frobenius 惩罚取决于奇异值平方之和，因此并不显式地倾向于去掉小奇异值。论文保留了 AdamW 式衰减的解耦结构，但把惩罚换成核范数，即奇异值之和，它是秩的一个凸替代。
实际差别在于如何处理谱。给定只含损失项的更新 Z = W - eta*Delta，并对其做奇异值分解 U_Z Sigma_Z V_Z^T，谱权重衰减施加 W_next = Z - eta*lambda*U_Z V_Z^T。常规 l2 衰减把每个奇异值乘以 1 - tau，而谱步骤在同一奇异基下对每个系数减去 tau。在 tau 以上，相对缩减量 tau/sigma_i 对小奇异值更大，因此把谱推向集中。
作者把这一后步修正与核范数上的近似近端下降联系起来，核范数的精确近端算子会对奇异值做软阈值。近似步骤不必在一次迭代中产生精确的零，但会把小奇异值往下压。这个偏置正是论文其余部分要检验的机制：有效秩更低，截断 SVD 压缩就应该更便宜。
接近秩亏时更新顺序有影响
论文区分了后步衰减和前步衰减：前者使用更新后权重 Z 的奇异方向，后者使用 W 的奇异方向。当极因子发生变化时，前步衰减可能混合当前方向。作者表明，在接近秩亏时，这种前步与后步的差异可能超过 l2 权重衰减下对应的差异，并在附录中对两种顺序做了实证比较。
这是一个设计论证，而不是性能主张。之所以偏好后步形式，是因为它符合近端解释：收缩施加在损失步骤实际产生的矩阵的基上。比较不同正则化方案的读者应注意，衰减相对于优化器步骤的顺序是方法的一部分，而不是实现细节。
验证损失相同时的压缩收益
压缩实验使用 124M 到 500M 参数、用 Adam 系列优化器训练的 LLaMA 模型。比较是在验证损失相同时进行的，这一点很重要，因为仅降低秩并不构成公平的胜利：一种方法可能降低秩的同时损害模型。在匹配损失的约束下，谱权重衰减降低了有效秩，并改善了 SVD-LLM 压缩。
最醒目的数字来自 500M 参数和 4% 失真预算：1.89 倍压缩和 1.18 倍 GPU 推理加速，而标准权重衰减后为 1.14 倍和 1.01 倍。论文不压缩 token 嵌入和输出头，因为急剧截断它们会严重损害质量；它还为其余每个权重矩阵单独选择截断秩，因为有效秩在不同 transformer 块之间差异很大。对 m×n 矩阵做秩 r 近似时，存储 r(m+n) 个参数而不是 mn 个，因此节省来自减小 r，代价是验证损失升高。
图像与文本上的噪声鲁棒性
第二条证据线检验同样的低秩偏置是否限制记忆。在 60% 标签噪声下的固定时长训练中，谱权重衰减相比匹配的 l2 正则化提高了最终平均干净测试准确率：MNIST 上最多提高 17.8 个百分点，四个 BERT-base 任务上最多提高 4.6 个百分点。论文报告的是五个标签损坏随机种子上的均值加减一个样本标准差，初始化、训练顺序、数据划分和正则化系数都固定；因此标准差衡量的是标签损坏带来的波动，而不是初始化或数据划分带来的波动。
逐任务表格显示了增益所在。在 60% 噪声下的 MNIST MLP 上，谱后步达到 63.56，而 l2 权重衰减为 45.78。在 60% 噪声下的 MNIST GRU 上，它达到 65.60，而 l2 为 51.20。在 60% 噪声下的 BERT-base 上，AG News 从 l2 的 78.40 升到 81.07，DBpedia-14 从 96.65 升到 97.88，Yahoo Answers 从 61.34 升到 65.93，Yelp Review Full 从 38.62 升到 42.78。作者将此解释为权重谱集中限制了可用于拟合损坏标签的容量；这是他们的解释，而准确率数字是实测结果。
预训练阶段降低秩代价更低
收益取决于何时施加谱正则化。论文比较了预训练期间使用谱权重衰减，以及从标准 l2 检查点预训练之后再使用它。一个 124M 参数模型先按一个 Chinchilla 最优预算预训练，然后在 32.8M token 上微调。在观察到的重叠范围内，相同平均有效秩下微调带来的损失明显更高，而且需要大得多的 lambda 才能让秩明显变化：扫描中预训练的 lambda 从 0 到 7，微调从 4 到 250。
这是论文最清晰的适用范围条件。在不显著增加损失的前提下，把已有检查点准备好用于低秩压缩仍是未解问题；作者还指出，SLORR 也报告了在保持通用能力的同时用低秩正则化微调 LLM 的困难。计划压缩已发布模型的读者不应假定预训练结果能迁移到短时微调阶段。
需要按优化器单独校准
主要实验使用 Adam 系列优化器，但论文也考察了矩阵感知优化器。Adam 和 Lion 在损失与秩之间表现出有利的权衡，而 Muon 运行中损失随秩下降上升得更陡。正则化尺度也不同：平均有效秩约 300 时，Adam 需要 lambda = 0.8，Muon 需要 0.4，Lion 需要 4。
因此系数不能跨优化器直接移植，尽管 l2 基线使用共同系数。作者把让谱正则化适配矩阵感知优化器列为未来工作。对实践者而言，可操作的要点是：谱权重衰减需要针对目标秩和验证损失预算单独校准，而不是从另一个优化器继承一个权重衰减值。
从比较中应得出的判断
论文最具决策相关性的比较不是谱正则化与不正则化，而是谱正则化与匹配的 l2 在相同验证损失和相同噪声水平下的比较。在这一框架下，压缩和噪声标签分类上的增益是一致的，两者的机制也相同：加性收缩让谱集中，从而降低有效秩。
证据支持的优先事项是：在预训练期间施加谱权重衰减，或者至少预期从 l2 检查点出发时需要大得多的 lambda 和更大的损失代价。500M 参数、4% 失真预算下的结果——1.89 倍压缩和 1.18 倍推理加速，对比 1.14 倍和 1.01 倍——是可供对照的具体阈值，而按优化器区分的 lambda 值是读者复现前需要做的校准。
本文引用的文献
Spectral Weight Decay: Inducing Low-Rank Structure in Neural Network Weights
谱权重衰减施加后步解耦的核范数更新，对奇异值做加性收缩，降低有效秩，并在验证损失相同时改善 SVD-LLM 压缩；在 500M 参数和 4% 失真预算下，它达到 1.89 倍压缩和 1.18 倍 GPU 推理加速，而标准权重衰减后为 1.14 倍和 1.01 倍；在 60% 标签噪声下，它相比匹配的 l2 正则化提高干净测试准确率，MNIST 上最多 17.8 个百分点，四个 BERT-base 任务上最多 4.6 个百分点。