LoRA 适配器秩应如何依据数据诱导的优化几何来选择？

秩的选择取决于数据几何而非仅模型

LoRA 冻结预训练权重矩阵 W0，学习一个加性低秩更新 M = UV^T，其中 U 和 V 各有 r 列，且 r 远小于 min(n1, n2)。这种分解把被适配矩阵的可训练参数量从 n1n2 降到 r(n1 + n2)，这正是 LoRA 节省内存与优化器状态的来源。论文的出发点是：要实现这些节省，必须选好 r，而现有关于这一权衡的指导有限。

摘要直接点出这一权衡：秩过小可能导致优化景观条件变差，而秩不必要地过大则会牺牲 LoRA 所依赖的效率。论文的核心主张是，合适的适配器秩应取决于数据诱导的优化几何质量，而非仅取决于模型。论文其余部分正是对这一主张的形式化与检验。

LoRA-RIP 度量 LoRA 相关方向上的条件性

论文提出 LoRA-RIP，一种数据依赖的限制等距度量，用于刻画交叉熵目标沿 LoRA 相关低秩方向的条件性。在经典矩阵感知中，限制等距性质衡量感知数据对低秩结构的捕捉有多均匀，其常数是底层数据几何的自然指标。论文指出，LoRA 场景有所不同，因为交叉熵损失与基座模型结构耦合，几何会随模型对数据和适配器更新的响应而变化。

形式上，论文假设在低秩全局极小点与候选 LoRA 更新之间的线段上满足秩 k 限制强凸性与限制强光滑性，对秩不超过 k 的方向有曲率界 0 < alpha_k <= beta_k < 无穷。秩 k 的 LoRA-RIP 常数定义为 delta_k^LoRA = (beta_k - alpha_k) / (beta_k + alpha_k)。这一常数正是后续决定需要多少秩过参数化的量。

足够的秩过参数化可消除伪局部极小

论文证明，足够的秩过参数化——所需秩由 LoRA-RIP 常数显式决定——可消除伪局部极小。这把现有基于 RIP 的保证扩展到经典 1/3 区间之外。换言之，该保证也覆盖 LoRA-RIP 值高于 1/3 的情形，量化了额外秩如何补偿较差的几何以获得良性景观。

其机制在于搜索秩与数据诱导几何之间的联系：当数据几何较差时，LoRA-RIP 常数较不利，需要更多秩过参数化才能排除伪局部极小。论文指出其大多数界是充分而非必要的，缩短与必要界之间的差距是重要的未来方向。这一说明限定了所需秩能在多大程度上被当作处方来解读。

秩扫描显示语言任务准确率上升而视觉任务持平

实验采用受控的先探针后 LoRA 协议：先在冻结骨干上训练线性分类头，随后保持该头固定，仅微调预先指定的 LoRA 模块。在 MNLI/MPNet-base 秩扫描中，被适配矩阵是第 10 层注意力 query，秩取 {1, 4, 16, 32, 64, 128, 256, 512}，测试准确率在最佳验证检查点报告。

在 MNLI 上，测试准确率随秩单调上升：秩 1 为 0.6036，秩 4 为 0.6167，秩 16 为 0.6324，秩 32 为 0.6456，秩 64 为 0.6506，秩 128 为 0.6570，秩 256 为 0.6634，秩 512 为 0.6686。最佳验证交叉熵从秩 1 的 0.8737 降到秩 512 的 0.7677。在 CIFAR-100 与 ViT-B/16 上，同样的秩网格给出的留出准确率曲线平坦得多：测试准确率仅从秩 1 的 0.7243 变到秩 512 的 0.7307，尽管训练交叉熵从 0.1137 改善到 0.0584。论文指出，训练损失随秩改善，而留出准确率比 MNLI 平坦得多，因此不能仅凭表示能力或训练损失来判断秩。

固定秩下均衡梯度覆盖优于长尾采样

数据选择实验固定子集大小与标签预算，只改变分配给标签条件梯度组的质量。在 MNLI 上，候选池只采样一次，每个样本通过把 gold 对最强备选标签的 margin logit 反传到目标 query 矩阵得到草图，草图投影到 256 维并按标签聚成八组，共 24 个标签条件组。所有条件抽取 17,526 个样本，标签计数为 5,847/5,788/5,891。

相对于同秩下的均衡条件，长尾采样降低测试准确率。秩 4 时，轻度长尾为 -0.0079，重度长尾为 -0.0116；秩 16 时为 -0.0093 和 -0.0111；秩 32 时为 -0.0068 和 -0.0138；秩 64 时为 -0.0066 和 -0.0110。同样的排序出现在 DeBERTa-v3-base 上，均衡在 r = 16 时比重度长尾提升测试准确率 2.18 个百分点，在 r = 64 时提升 1.62 个百分点；在 MPNet-base/QNLI 上，均衡在 r = 16 时比重度长尾提升 5.50 个百分点，在 r = 64 时提升 6.79 个百分点。在这两项评估中，秩 16 的均衡仅用四分之一的适配器秩就优于秩 64 的重度长尾。

中间带样本优于简单带与边界带

饱和带实验保持每个标签-梯度组的配额固定，只改变各组内选取哪些样本。对每个样本，论文计算成对 softmax 曲率分数 s = p_pair(1 - p_pair)，其中 p_pair = p_gold / (p_gold + p_alt)，把多分类预测简化为 gold 标签对其最强竞争者。在每个固定组内，样本从简单、中间或边界分位带中抽取，子集大小均为 17,526，标签条件配额固定。

中间带始终最强。秩 4 时，测试准确率中间带为 0.5984，简单带为 0.5868，边界带为 0.5947；秩 16 时为 0.6074 对 0.5959 和 0.6058；秩 32 时为 0.6168 对 0.6029 和 0.6117；秩 64 时为 0.6186 对 0.6144 和 0.6151。论文的解释是，在匹配的梯度组覆盖下，简单带样本的 softmax 侧曲率杠杆较低，而边界带集中于最靠边界的尾部。这是组内选择的结果，并不主张更难的样本总是更好。

覆盖增益可迁移到不同适配器位置

论文检验均衡对重度长尾的覆盖优势是否取决于适配器放置位置。在 MNLI 上，对第 5、7、8 层，梯度草图在相应的 query 投影处重新计算；一个全层 query/value 运行使用固定的第 10 层所选子集来评估位置迁移。均衡在每个测试位置都提升测试准确率：第 5 层 query 提升 0.890 个百分点，第 7 层 query 提升 1.063，第 8 层 query 提升 1.939，全层 query/value 适配提升 1.124。

全层增益使用的是固定的第 10 层所选子集，论文将其作为覆盖收益可跨适配配置迁移的证据。这对秩的问题很重要，因为它表明数据侧效应并不绑定于某一适配器位置，而秩扫描则表明秩侧效应在不同任务间并不一致。

秩与数据质量是相互耦合的资源

论文的实践结论是，秩与数据质量是两种相互耦合的资源，应联合考虑以实现更高效、更可靠的 LoRA 微调。LoRA-RIP 常数使这种耦合显式化：所需的秩过参数化由数据诱导几何决定，而同一刻画也支持在固定秩预算下进行有原则的数据选择。覆盖与饱和实验随后表明，更好的数据组成能让更小的适配器更有效，例如秩 16 的均衡覆盖优于秩 64 的重度长尾。

因此，本文最具决策相关性的比较不是某个单一最佳秩，而是秩预算与数据组成选择的配对。MNLI 秩扫描显示准确率在秩 512 时仍在上升，而 CIFAR-100 扫描显示留出准确率从秩 1 到 512 几乎持平，尽管训练损失大幅改善，因此同样的秩增加在不同任务上带来不同的留出回报。论文自身的说明是，大多数界是充分而非必要的，因此 LoRA-RIP 阈值应被读作良性景观的充分条件，而不是最小可用秩的紧致公式。

本文引用的文献