低秩 LoRA 中冻结因子与谱带哪个影响更大？

谱 LoRA 变体通常纠缠在一起的两个设计选择

LoRA 通过低秩更新 sBA 适配预训练权重矩阵 W0，其中 A 把层输入映射到一个小型中间表示，B 再把该表示映射到输出。固定其中一个因子会减少可训练参数量，但同时固定了更新可用的输入子空间或输出子空间。谱构造又引入第二个决定：用预训练权重的哪些奇异方向来定义该子空间。

已有方法把这些决定混在一起。MiCA 把输出因子固定在底部奇异方向上，而 PiCa 的实现把输入侧投影器固定在顶部方向，并在各层之间共享可训练的输出因子。比较这类方法会同时改变方向、谱带和共享方式，因此分数差距无法归因于任何单一选择。本文则固定模型、数据、适配模块和训练预算，只改变两件事：冻结 A 还是冻结 B，各自取顶部谱带（薄 SVD 的索引 1 到 r）或底部谱带（最后 r 个方向）。

这一区分之所以重要，是因为两种约束并不对称，对矩形层尤其如此。B 冻结时，所有输出更新都落在 B 的列空间中。A 冻结时，更新只能通过 A 的行所表示的输入特征起作用。论文的问题很窄且属于比较性质：冻结因子的对比相对于顶部与底部谱带的对比有多大，以及这种比较如何随秩变化？

秩 2 时因子对比超过谱带对比

核心低秩结果来自秩 2 下的二乘二设计，每种配置单独选择学习率，测试分数在五个种子上报告。在 Format / Llama-3.2-1B 上，A 冻结在顶部谱带达到 77.4%、底部谱带达到 78.2% 的有效格式准确率，而 B 冻结分别为 64.4% 和 59.2%。在 OpenBookQA / Qwen2.5-1.5B 上，A 冻结达到 53.1% 和 52.5% 的多选题准确率，B 冻结则为 46.5% 和 42.2%。

论文用两个对比量概括这一点。F 是在两个谱带上平均的因子对比；S 是在两个冻结方向上平均的带符号谱带对比。在秩 2 时，冻结 A 的同带优势大于任一因子内部的谱带差异，这一点在所有四组具备完整对比的任务—模型组合上都成立。换言之，改变冻结哪个因子对分数的影响，大于在谱带两端之间切换。

这一比较不是方差分解，也不是经参数调整的因果模型，作者把因子与谱带的排序描述为描述性的。图中的自由 LoRA 参照为秩 1，其可训练预算与秩 2 的 B 冻结 LoRA 相当且略大，因此其差距无法分离出冻结因子的因果效应。参照选择也有影响：在 Format / Llama-3.2-1B 上，同秩自由 LoRA 在五个种子上得分为 80.33%，其参数量是 B 冻结的 2.15 倍，这使顶部谱带差距为 15.90 个百分点，而不是相对秩 1 参照的 12.41 个百分点。

冻结 B 比自由 LoRA 低 8 到 18 个百分点

除了内部的二乘二对比，论文还把 B 冻结配置与可训练参数量相近的自由 LoRA 进行比较。在覆盖格式化任务和 OpenBookQA 的五组任务—模型组合上，冻结 B 比预算相当的自由 LoRA 低 8 到 18 个百分点。在冻结秩 2 时参照为秩 1，其参数量在 Llama-3.2-1B 上比 B 冻结多 7.5%，在 Qwen2.5-1.5B 上多 13.4%；在冻结秩 16 时，Qwen 参照使用秩 7，在两个 Qwen 规模上与 B 冻结参数量相差约 2.5% 以内。

作者称其为预算相当的参照，而非精确预算匹配，因为它同时改变了可用的更新空间和秩。这也是该差距被报告为描述性劣势、而非冻结 B 的孤立代价的原因。

A 冻结的优势不能仅由参数量解释。同秩下 A 冻结适配器在 Llama-3.2-1B 上参数量多 15.0%，在 Qwen2.5-1.5B 上多 26.8%，这是模型输入和输出宽度的结果。为检验参数量是否解释该结果，论文把秩 2 的 A 冻结与秩 3 的 B 冻结比较，使 B 冻结在两个模型上参数量更大。A 冻结的优势在单 GPU 型号复现中、在各个 MLP 模块组内部、以及在两个受测组合上把 A 冻结在随机正交基上时都依然存在。

因子对比随秩升高而减弱

完整的 A/B 秩扫描覆盖 OpenBookQA 上 Qwen2.5-1.5B 的秩 2、4、8 和 16。沿该扫描，因子对比下降，在秩 16 时与谱带对比相当。论文把这一趋势作为描述性结果报告，而非阈值，也没有确立排序发生反转的通用秩。

不同配置和秩所选的学习率不同，这也是该比较被界定为受控但非穷尽搜索的部分原因。对于 OpenBookQA 上完整的秩扩展，B-top、B-bottom、A-top、A-bottom 和自由参照所选学习率依次为：Qwen2.5-1.5B 秩 4 时 (5, 2, 5, 2, 5) x 10^-3，该模型秩 8 时 (5, 1, 2, 2, 2) x 10^-3，Qwen2.5-7B 秩 16 时 (1, 0.5, 1, 0.5, 0.5) x 10^-3。

适用范围限制了秩趋势能推广多远。最强证据涉及 Format 和 OpenBookQA。更大的模型只在 OpenBookQA 上测试，Mistral 只在秩 2 测试，完整的秩 4 和秩 8 比较只覆盖一组组合。ARC-Challenge 表现出不同的更高秩行为，且那里的秩 32 结果只涉及 B 冻结配置。论文既没有确立通用秩阈值，也没有给出完整 MiCA 与 PiCa 方法的排序。

学到的输出子空间基本消除 B 冻结的劣势

如果 B 冻结的劣势来自秩约束本身，那么任何固定输出基的选择都不应能修复它。论文通过从已训练 LoRA 中提取子空间并将其用作冻结输出基来检验这一点。训练得到的 oracle 输出子空间基本消除了低秩劣势，这表明该劣势取决于放置位置，而非仅取决于低秩。

论文还考察了更廉价、依赖数据的替代方案。随机放置和初始梯度放置都无法消除观察到的劣势。在格式化任务上，初始梯度放置相对顶部谱带提升 1.79 个百分点，名义 95% 区间为 [-0.84, 4.42]。该区间排除了本实验中 oracle 所显示的大幅恢复，但作者提醒，不应把它读作关于所有梯度导出子空间、秩或优化器的结论。

预热诊断介于这两个极端之间。自由秩 2 LoRA 先训练选定比例的训练步，然后冻结其输出基，并在剩余步中从零重新训练 A，总步数不变。原始方向种子和两个新种子给出相同的定性模式：在受测的 5%、10% 和 25% 截断点上，更长的预热带来更大的平均增益。在 10% 时，相对顶部谱带 B 冻结的增益在 OpenBookQA 上为 4.12 到 4.64 个百分点，在格式化任务上为 6.09 到 7.79 个百分点，四个新比较中的每一个都通过了该族的 Bonferroni 校正。但它们的校正区间都没有确立至少恢复此前自由 LoRA 差距的 70%。

MiCA 的 PEFT 实现在迁移配方下落后于 LoRA

论文包含一项对 PEFT 的 MiCA 实现的后续研究，该实现把输出因子固定在底部奇异方向上。在 OpenBookQA / Qwen2.5-1.5B 秩 16 上，该实现在从 MiCA 论文迁移来的共享训练配方下，比预算相当的 LoRA 低 3.08 个百分点。迁移设置是明确的：init_lora_weights 设为 mica，r 等于 alpha 等于 16，固定 B 且 A 初始为零，学习率 5 x 10^-4，四个 epoch，余弦调度，10% 预热，权重衰减 0.01，适配器 dropout 0.05，梯度裁剪 0.3，批大小为四且不做累积。

作者谨慎界定这一比较的性质。原始研究使用 512 token 上限，通常适配 query 和 value 投影，而本次运行保留全部七种模块类型以及论文自己的 OpenBookQA 加载器、384 token 块、精度和评估器。原始基准的 base 到 instruct 权重组成不属于该协议，因此作者称其为迁移配方，而非完整复现。

共享配方测试是在更早一次战役结果之后才计划的，当时 MiCA 减去底部 B 冻结臂为 2.56 个百分点，区间为 [1.30, 3.82]，属描述性结果。作者指出，共享配方比较是自适应选择的后续研究，不是对 MiCA 的独立复现，且其中两种方法都没有被独立重新调参。该后续研究覆盖一个模型、一个任务和一个迁移配方，没有评估习得—遗忘权衡。

近似多重性审计削弱了若干早期结论

论文自身的不确定性核算收窄了某些结果可被解读的确定程度。五个报告种子对小幅效应和比值的精度有限，且区间以固定测试集为条件。种子与项目的自助法把选定的 Format 区间扩大了 1.8 到 2.6 倍，而 OpenBookQA 缺少用于该分析的保留预测。

校正只在各战役内部适用。一次约 145 行的 Holm 审计减少了历史上的阳性判定，并排除了新实验。因子与谱带的分解是事后进行的，秩趋势以描述性方式报告。回顾性功效计算通常需要 3 到 5 个百分点的谱带差异才能达到 80% 的检测概率，因此不显著并不等于等价。

硬件和选择带来进一步限定。在 137 个历史分数单元中，86 个仅使用 RTX 4000 Ada，51 个混合了 GPU 型号，另有六个单独 GPU 记录缺失；七臂 Format 复现全程使用 RTX 4000 Ada。学习率依据验证分数选择，通常使用种子 0 和 1，且某些战役网格终止于所选边界，这意味着未测试的学习率并未被排除。事后敏感性分析若在报告种子上选择最佳学习率，则偏乐观，不能有效替代基于验证的模型选择。

比较变体前先报告方向、基与尺度

本文支持的实践优先级是报告顺序，而不是新的默认适配器。在比较谱 LoRA 变体时，应先说明冻结方向、基构造和尺度，再比较分数，因为在秩 2 时方向选择对结果的影响大于顶部与底部谱带的选择。若一次比较同时改变方向、谱带和共享方式，其差距就无法归因于其中任何一项。

第二个优先级是秩与预算区间。因子对比在秩 2 时最大，并沿 OpenBookQA 扫描减弱，在秩 16 时与谱带对比相当，因此秩 2 的发现不应未经复核就带到更高秩。同秩参照与预算相当参照回答的是不同问题：同秩下 A 冻结适配器在 Llama-3.2-1B 上参数量多 15.0%，在 Qwen2.5-1.5B 上多 26.8%，而秩 1 自由 LoRA 参照的参数量分别比 B 冻结多 7.5% 和 13.4%。

第三个优先级是冻结子空间的放置位置。由于训练得到的 oracle 输出子空间基本消除了 B 冻结的劣势，而随机或初始梯度放置不能，该劣势最好被理解为固定基所处位置的性质，而不是冻结 B 不可避免的代价。对于决定下一步测试什么的读者，论文自身的排序是有用的：先固定方向和基的报告方式，再检查秩 2 的因子差距是否在实际使用的秩和预算下依然存在。

本文引用的文献