[Math & AI] 黎曼流形上的镜像下降：从几何直觉到 SOTA 收敛

TL;DR

本文填补了优化领域的一个重要空白：将镜像下降 (Mirror Descent, MD) 这一经典算法从欧几里得空间推广到了黎曼流形 (Riemannian Manifolds)。通过引入一种基于局部重参数化的 RMD 框架，作者不仅在理论上证明了非渐近收敛性，还在 Stiefel 流形上派生出了高效的随机算法 SCGD，大幅提升了大尺寸正交约束问题的计算效率。

背景定位：这是一篇兼具理论深度与实用价值的底层优化论文，属于黎曼优化（Riemannian Optimization）领域的基础性突破，解决了 MD 算法在非线性空间缺乏通用框架的难题。

痛点深挖：为什么流形上的镜像下降这么难？

在欧几里得空间中，MD 的核心在于通过一个势函数 $\psi$ 构建对偶空间，利用 Bregman 散度来适应问题的几何特性（如概率单纯形上的 KL 散度）。然而，黎曼流形本身就是弯曲的，且通常缺乏全局的坐标系：

1. 对偶映射难求：在流形上找不到像 $abla\psi$ 这样能保持全局性质的映射。
2. 计算成本过高：传统的黎曼梯度下降依赖指数映射（Exponential Map），这在很多流形上（如 Stiefel 流形）极其耗时。
3. 理论缺失：此前关于流形优化的收敛性分析大多基于测地线梯度下降，缺乏镜像下降视角的统一保证。

核心直觉：重参数化 (Reparameterization)

作者的核心 Insight 是：镜像下降本质上就是某种重参数化下的梯度下降。

在 RMD 框架中，算法不再寻求全局的镜像映射，而是利用一系列局部微分同胚 ${\varphi }_t$：

• Step 1 (映射)：将当前点 $x_t$ 映射到局部空间 $M_t$。
• Step 2 (更新)：在 $M_t$ 空间中执行梯度步，并利用 Retraction 保持在流形上。
• Step 3 (回映射)：转回原始空间。

(注：此处应为论文中的 Algorithm 1 逻辑架构图，展示局部映射 $\varphi$ 与 $R$ 的耦合关系)

对于 Stiefel 流形 $St(n,p)$，这种 RMD 框架在特定配置下会退化为著名的 Cayley 变换更新。作者在此基础上提出了 Stochastic Curvilinear Gradient Descent (SCGD)。

随机化加速：SCGD 的黑科技

当处理大规模 $p\approx n$ 的情况时，传统的曲线梯度下降（CGD）需要反演 $nimesn$ 的大矩阵。作者通过随机分块对角近似的方法，将大问题拆解为 $K$ 个并行的小规模逆矩阵计算：

• 将索引集合 $[n]$ 随机划分为 $K$ 个子集。
• 仅保留块内条目，构造 W 的无偏统计量。
• 通过并行反演小矩阵大幅降低单步计算时间。

实验战绩

在线性特征值问题和正交 Procrustes 问题中，作者对比了 CGD 与本文提出的 SCGD：

(注：此处应为论文中显示 SCGD 与 CGD 随维数 n 增加的时间提升图表)

结果显而易见：SCGD 在保持误差量级几乎不变的前提下，将高维场景下的计算耗时降低了 40% 左右。

深度洞察与总结

关键价值

1. 统一性：RMD 框架将欧几里得 MD、测地线梯度下降和 CGD 全部纳入了一个统一的重参数化视角。
2. 非渐近理论：给出了严谨的收敛界限（如测地凸下的 $1/T$ 速率），为流形优化算法的落地提供了信心。

局限性

• 重参数化选择：目前针对不同流形如何最优化地选择 ${\varphi }_t$ 仍依赖人工设计。
• 全局 vs 局部：文章主要讨论了局部微分同胚，对于具有强全局曲率特性的流形，局部性质的累积可能带来额外的震荡。

未来展望

这项工作对于大规模神经网络的正交正则化训练具有重要意义。随着模型规模的增长，利用 SCGD 这种可并行的随机流形优化算法，或许能成为替代传统惩罚项（Penalty methods）的下一代方案。