语言模型多步推理的稳定性由什么决定？

误差放大因子决定推理稳定性

论文追问的是：什么决定了长推理链是否稳定。它的答案是一个推理误差上界，该上界由各生成步中经由输入空间取得的雅可比矩阵谱范数之积控制。这个乘积就是误差放大因子，它作为推理稳定性的定量度量。

真正需要区分的是单步误差与累积误差。一个在每一步都犯小错的模型，如果每一步都把先前的偏差放大，最终仍可能严重失败。放大因子刻画的正是这个倍数，因此它会随推理步数呈指数增长，而不是保持平稳。

该上界与实测推理损失同步增长

论文报告其上界在 Bellman-Ford 算法推理任务上紧密跟随推理损失，两者都能随步数呈指数增长。在图 5 中，损失差距与误差放大因子在 Bellman-Ford 和 Prim 算法上针对 T 从 1 到 5 进行测量，使用 Gemma-2B 和 Llama-1B 模型；推理损失随步数显著增加，放大因子紧密跟随这一增长。

该上界是最坏情况的上界，而非精确预测，论文将两个量画在各自独立的坐标轴上，因为它们的绝对尺度不同。表 2 对 Qwen-1.5B、Llama-1B 和 Gemma-2B 在 Bellman-Ford 上的上界做了分解。在 Qwen-1.5B 上，上界与损失差距之比在所有 T 上保持在 6 到 9 之间，但在 T=5 时，Llama-1B 上达到 2.3×10^6，Gemma-2B 上达到 1.5×10^5。论文将这一差异归因于常数：三个模型的 C1 都保持在 0.01 到 0.07 之间，而 C2 相差约三个数量级，从 Qwen-1.5B 上的约 5 到 Llama-1B 上的 3×10^3 以上。

分解还显示主导项发生了变化。二阶项随 T 增长快于一阶项；对 Llama-1B 和 Gemma-2B，它从 T=3 起主导上界，而在 Qwen-1.5B 上一阶项始终更大。在 T=1 时没有累积误差，因此损失差距与上界都为零。

理论上 Transformer 可收敛到放大衰减的解

论文在被训练预测线性与二次函数等简单任务的 Transformer 模型中分析了这一稳定性度量。它从理论上证明，Transformer 模型会收敛到一个稳定性度量衰减的解，从而在任意长的步数上得到接近零的推理损失。

数值检验支持同样的图景。当把雅可比矩阵乘积的范数作为推理长度 T 的函数来评估时，它随 T 增大收敛到一个值，这与对线性与二次函数梯度下降更新规则的分析一致。这是关于所分析特定设定的结果，并不保证任何训练过的语言模型都会落入这样的解。

长度压缩以更少步数换取更高单步误差

稳定性分析给出两个算法杠杆。第一个是思维链长度压缩：对于一个有 T 步、采样因子 λ 在 (0,1] 内的训练样本，该方法均匀采样 T′=⌊λ·T⌋ 个中间步，并在该压缩序列上最小化训练损失。

报告的效果很大。在 Dijkstra 和 Prim 任务上，子采样步骤相比在所有步上训练，将误差放大因子分别降低 92 倍和 181 倍。但论文明确指出这一权衡是双向的：子采样降低了放大因子，同时提高了单步误差 ε_t，因此最优的 λ 是平衡这两种效应的那个值。在 Dijkstra 和 Prim 上，中间数量的步数取得最低的推理损失。

量化感知训练正则化输入雅可比范数

第二个杠杆是量化感知训练，它在训练前向传播中对全精度权重施加均匀量化函数，并用直通估计器计算梯度。论文假设这起到对误差放大因子的正则化作用：在伪量化噪声模型下，量化模型的损失可视为均值零随机舍入噪声下的期望损失，最小化它会惩罚损失 Hessian 的迹，而该迹可分解为经由输入空间的雅可比。

报告的结果是：在 Dijkstra 和 Prim 上，结合 1 比特量化相比全精度，放大因子分别降低 3.6 倍和 5.8 倍。表 3 展示了 Qwen-1.5B 在 T=5 时同样的两种相反作用：降低比特宽度单调地降低放大因子并提高单步预测误差，因此上界与测试精度取决于二者的平衡。在 Dijkstra 和 Prim 上，预测误差仅增加 1.6 倍和 1.3 倍，1 比特时上界分别降低 6.8 倍和 2.5 倍，测试精度相比全精度分别提升 3.1% 和 4.0%。在 Bellman-Ford 上，放大因子的降低很小，而预测误差从 4 比特到 1 比特翻倍，因此上界与测试精度都在 4 比特时最好。

七项评测与更长输入上均有提升

这些算法通过在图形算法推理任务和符号状态跟踪任务上微调语言模型得到验证。在七项评测中，算法相比基线平均提升 3.5%，在更长输入上提升 8.2%。消融分析验证稳定性度量大幅降低 3-8 倍，确认了对输入空间雅可比谱范数的正则化效果。

与具名基线的对比是在 Llama-1B 和 Gemma-2B 上、Bellman-Ford 任务 T=5 时报告的。该算法在两个模型上都取得最低的损失差距和最低的上界。与连续思维链（Coconut）相比，它平均将损失差距降低 58%，将上界降低 78%；与标准思维链微调（SFT-CoT）相比，它将上界降低 330 倍和 65 倍。在每个模型内部，各方法按上界的排序与按损失差距的排序一致，尽管上界的绝对尺度在两个模型之间相差数个数量级。

分析止于何处以及未覆盖的范围

该形式化针对在真实步骤上的监督微调。论文指出，Group Relative Policy Optimization 或 Proximal Policy Optimization 等强化学习方法是在模型自身的 rollout 上优化；由于测试时生成与训练目标无关，稳定性分析同样适用于用强化学习训练的模型，但将上界正式扩展到该设定仍留待未来工作。

该方法在训练期间正则化雅可比范数，论文指出针对每个输入样本在推理时自适应的测试时正则化是未来工作。对于梯度和雅可比无法直接获取的黑盒模型，基于噪声扰动的代理稳定性度量可能提供一种实用替代。将基于雅可比的误差累积分析扩展到更广泛的语言模型任务，包括工具使用、生成和问答，也仍然开放。

长度泛化是另一条边界。在分布外设定下，测试误差上界可能以两种方式增大：单步预测误差因协变量偏移而增大，误差放大因子在额外步数上累积。如果逐步雅可比范数超过 1，额外步数会以几何方式放大误差，这正是正则化方法在此处重要的原因。

比特宽度与步数是可调的杠杆

这篇论文的实用解读是：稳定性不是模型的固定属性，而是会响应两个训练选择的量——保留多少中间步，以及多激进地量化权重。两者都作用于同一个放大因子，且都带有论文实际测量而非假设的抵消成本。

证据中最清晰的判断阈值是任务相关的。在 Dijkstra 和 Prim 上，表 3 中 1 比特量化给出最好的测试精度，而在 Bellman-Ford 上 4 比特最好，因为放大因子的降低很小，且单步误差从 4 比特到 1 比特翻倍。论文指出，误差水平增长开始占主导的比特宽度取决于任务，并在验证集上选择该比特宽度。这就是这篇论文特有的优先级：按任务针对放大因子来调整压缩因子和比特宽度，而不是针对单一全局设定。

本文引用的文献