少数群体隐藏时如何比较优化器
论文提出一个范围很窄的问题：如果训练数据包含优化器看不到的少数结构，每个优化器的轨迹要多快才能停止系统性地偏向多数群体？作者把总损失建模为 L = L1 + L0，其中 L1 是多数分量，L0 是少数分量，但优化器只能访问聚合的 L。假设已知的只有一个振幅 ψ > 0，它界定潜在少数群体的有效质量。
这一点重要，因为许多真实的不平衡并没有标签。论文列举了与采集条件、稀有子类、人口属性和稀有语言模式相关的潜在少数群体，并指出需要少数群体身份来做重采样或重加权的方法在这些身份不可用时可能失败。因此这里的比较是关于不确定性下的优化器几何，而不是关于需要群体标签的重加权方案。
理想化几何代表真实优化器
论文认为直接对现代优化器做理论比较无法实现，因此使用两种理想化。第一，保留每个优化器的主导更新几何，舍弃权重衰减、动量和小批量：梯度下降代表 SGD，符号下降对应 Adam 类方法，谱下降对应 Muon 和 Scion 类方法。牛顿下降作为二阶参考被纳入，尽管它在高维中难以处理。
第二，由于典型学习率低于 10^-2，作者研究连续时间中的优化器向量场。连续时间带来时钟歧义，因为缩放向量场会以相同因子缩放时间。论文通过回到步长在 [η_min, η_max] 内的离散更新来解决，比值 κ = η_max/η_min，因此时钟差异由 κ 控制。对于视觉网络，学习率通常从约 10^-3 到 10^-2，给出 κ ≈ 20；论文报告表格学习 κ ≈ 500、语言建模 κ ≈ 700，某张表格表中 κ ≈ 1000。
进入时间衡量对不平衡的暴露
论文为每个理想化优化器定义了一个少数意识区域，并研究 t_entry，即轨迹首次进入该区域的时间。在该区域内，至少有一种可允许的分解会以多数群体为代价带来少数群体的改善。作者明确指出，这不一定意味着学到了真实的潜在子群：意识涉及在给定水平 ψ 下至少一个可允许的少数群体。
因此 t_entry 是对不平衡暴露的指标，而不是最终准确率或恢复真实少数群体的度量。论文推导了这些区域的显式方程，以及梯度下降、梯度裁剪、符号下降、谱下降和牛顿下降的进入时间上下界。核心理论主张是，对于符号、谱和牛顿下降，这些界对少数振幅 ψ 的依赖比欧氏梯度下降更温和，额外的收益由梯度支撑集或矩阵秩决定。
归一化几何为何延迟多数偏置
论文提出的机制是几何性的。欧氏梯度下降的进展与原始梯度幅度挂钩，因此当少数贡献很小时，聚合梯度由多数主导，轨迹在多数偏好的区域停留更久。符号、谱和牛顿下降重新缩放更新方向，改变了进入时间界随 ψ 的缩放方式。
论文还报告了一个强凸性结果，进一步强化了对比：对于强凸目标，符号下降的进入时间上界为 sqrt(2(L(θ_init) − L*)/µ)，而梯度下降的进入时间在 ψ 趋于 0 时趋于无穷。这是关于理想化动力学的陈述，而不是关于实测深度网络训练的陈述，它是在论文的损失假设下推导的，而非直接观测到的。
线性回归检验缩放预测
第一个实证检验使用线性回归，其中潜在分解和进入时间可以计算。作者使用 PCA 构建跨维度的问题族，改变少数群体大小以改变 ψ = σ_max(∇²L0)，测量梯度下降（GD）和符号下降（SD）的进入时间，并用对数–对数回归拟合比值。
在 Superconductor 上他们报告 t_entry(GD)/t_entry(SD) ∝ d^0.65/ψ^0.90，在 YearPredictionMSD 上 ∝ d^0.51/ψ^0.37。论文的解读是，在高维和高度不平衡的情形下，梯度下降的进入时间比符号下降增长更快。两个数据集拟合出的指数不同，因此稳定的发现是效应的方向，而不是某个普适的单一指数。
分类与语言实验显示少数差距
在深度网络实验中，ψ 和 t_entry 无法直接观测，因此作者通过测量少数和多数性能来评估实际对应物 SGD、AdamW 和 Muon。在 Forest Covertype 上，Aspen 类作为隐藏少数群体占数据集的 1.6%，AdamW 相对 SGD 的早期优势在少数类上（平均准确率 63.93% 对 51.40%）远大于多数类（90.99% 对 88.25%）。
在 CIFAR-10 上，对迭代 1–30 取平均，Muon 达到 96.48% 少数准确率和 98.39% 多数准确率，AdamW 为 91.82% 和 95.45%，SGD 为 86.04% 和 92.92%。在 WikiText-103 上的 SmallGPT-2 语言建模运行中，跟踪最稀有的 5% token，论文报告 AdamW 和 Muon 的少数损失先上升后下降，而 SGD 的少数损失严格上升。作者称这印证了标准梯度动力学延迟少数信号优化的理论发现。
结论适用到哪里为止
理论结果适用于理想化的连续时间优化器几何，其中权重衰减、动量和小批量被移除，且损失满足论文的光滑性假设。进入时间比较只在时钟因子 κ 的意义下有意义，作者认为对于深度学习损失该因子适中，但报告图像分类约为 20、表格学习约为 500、语言建模约为 700。
分类和语言实验并不直接测量 ψ 或 t_entry；它们测量少数和多数准确率或损失，回答的是与理论进入时间界不同的问题。论文还指出 AdamW 和 Muon 的相对性能取决于问题几何，因此实验支持的是重缩放方法相对 SGD 的系统性优势，而不是 AdamW 与 Muon 之间的固定排名。
从比较中应得到什么
论文最具决策相关性的主张是一个比较，而不是单一赢家：当不平衡是潜在的且只能看到聚合损失时，符号、谱和牛顿下降的几何对少数振幅的依赖比欧氏梯度下降更温和，实验把 AdamW 和 Muon 放在 SGD 之前（在少数数据上），而最终多数性能保持相当。AdamW 与 Muon 之间的排名留给问题几何决定。
论文提供的实用阈值是少数振幅 ψ 和时钟比值 κ。当 ψ 变小时，梯度下降与归一化几何之间的理论差距扩大，而 Covertype、CIFAR-10 和 WikiText-103 上的实证少数差距方向一致。读者在为疑似但未标注的少数群体权衡优化器时，应把进入时间缩放和观测到的少数对多数分裂视为相关证据，而不应把结果读作任何特定优化器都能恢复真实潜在子群的保证。
本文引用的文献
On the Comparison of Optimizers for Imbalanced Learning
理想化连续时间分析显示，符号、谱和牛顿下降脱离多数群体主导区域时对少数振幅的依赖比欧氏梯度下降更温和，AdamW 和 Muon 实验在语言、表格和图像任务上对少数数据表现出相对 SGD 的类似优势。