黎曼优化的数学基石：从微分几何推导到矩阵流形计算

TL;DR

本专著系统性地弥补了黎曼几何理论与数值实现之间的断层。它不满足于优雅的无坐标（Coordinate-free）表述，而是通过详尽的坐标级推导，给出了针对 Stiefel、Grassmann 和 SPD 矩阵流形的梯度（Gradient）、海森矩阵（Hessian）、退回映射（Retraction）和向量输运（Vector Transport）的标准计算公式。这是每一位从事几何深度学习或流形约束优化研究者的“操作手册”。

1. 痛点：为什么我们不能直接使用欧几里得优化？

在深度学习中，我们习惯了参数空间是平坦的欧几里得空间（$R^n$）。但在处理正交约束（如 $X^{o}pX=I$）或正定约束（如 $X\succ 0$）时，简单的梯度更新 $X_{new}=X-\lambda ablaf$ 会导致点脱离约束曲面。

现有的黎曼优化教材（如 Absil 等人的名著）虽然完整，但在具体数值实现时，往往略去了通过 Christoffel Symbols（克里斯托费尔符号） 修正欧几里得 Hessian 的中间步骤。本文的核心动机正是：将抽象的几何对象转化为计算机可处理的张量运算。

2. 核心架构与物理直觉

本文将黎曼流形定义为配备了黎曼度量 $g_p$ 的光滑流形。对于矩阵流形，作者提出了一个至关重要的洞察：嵌入子流形观点（Embedded Submanifold）。

图 1：流形、切空间与局部坐标系的拓扑关系

2.1 黎曼梯度与 Hessian 的本质

• Riemannian Gradient: 它不是欧几里得梯度的简单投影，而是通过逆度量张量 $g^{ij}$ 对偏导数进行加权。对于 Stiefel 流形，其梯度公式为 $\mathrm{grad}f=abla\bar{f}-X\mathrm{sym}(X^{o}pabla\bar{f})$。
• Riemannian Hessian: 欧几里得 Hessian 仅关注函数的二阶导数，而黎曼 Hessian 引入了 Levi-Civita Connection（列维-奇维塔联络），增加了一个修正项，用于补偿流形本身的曲率。

3. 关键方法论详解 (Methodology)

作者重点解析了三大流形的计算几何属性：

3.1 Stiefel 与 Grassmann 流形

• Stiefel 流形 关注特定的正交基，而 Grassmann 流形 只关注由基张成的子空间。
• 论文通过 QR 分解 和 极分解（Polar Decomposition） 导出了高效的 Retraction（退回映射） 算子。

图 2：Retraction 映射将切空间向量投影回流形的几何示意

3.2 SPD 流形：仿射不变度量 (AIRM)

对于正定矩阵，传统的欧几里得距离会忽略矩阵的谱属性。作者详细推导了 Affine-Invariant Metric，在这种度量下，SPD 流形的测地线表现为 $X(t)=X^{1/2}\exp (tS)X^{1/2}$。这保证了在优化过程中，矩阵始终保持正定性，且对全局缩放不敏感。

4. 实验结果与算法价值

论文通过对比不同 Retraction 算子的计算复杂度，证明了：

• QR 型 Retraction 比基于 ODE 求解的 Exponential Map 推理速度提升了约 2-3 倍。
• 引入 Vector Transport（向量输运） 的准牛顿法（R-BFGS），在大规模正交约束任务中展示了超线性的收敛速度。

图 3：Stiefel 流形的测地线闭式解推导结果

5. 深度洞察与总结

主编点评： 该工作真正的价值在于其“工程实用性”。它将克里斯托费尔符号由抽象的张量分量转化为了具体的矩阵乘法项。

• 局限性：尽管提供了详尽的推导，但对于非紧致流形（Non-compact manifolds）在极端曲率下的数值稳定性讨论较少。
• 未来启示：在 Transformer 架构中，如果将 Attention 权重投影到 Stiefel 流形上，利用本文提供的 Hessian 修正项，可能会在神经切核（NTK）理论中找到提升泛化性的新路径。

结论：这是黎曼优化从理论走向大规模工业应用的必经之路，是连接微分几何实验室与高性能计算集群的桥梁。