什么样的训练选择让流匹配隐式推理在 LLM 中有效？

五项要求界定有效的隐式思维

论文主张，隐式思维只有满足五项要求才值得消耗算力。它应当有用，即帮助产生正确答案，而不只是改变答案。它应当多样，使重新采样能得到不同的推理轨迹。它应当可解释，使解码出的思维链反映答案实际遵循的推理。它应当可精化，在获得更多推理算力时提升准确率。它还应当高效，在可比准确率下比显式思维链成本更低。

这五项要求是论文的框架，而不是实测基准。作者用它们组织对既有工作的批评和自身的评估，并为每项要求设计了单独的探针。当前方法很少满足这些要求，是作者的论点：他们称现有方法从问题中学习捷径、把显式思维链蒸馏进权重，或逐 token 模仿它。

隐式空间编码符号化思维链

FLaRe 首先训练一个变分自编码器，把思维链压缩进隐式空间。编码器把符号化思维链映射成一个小型代码，解码器既可以把该代码读回符号化思维链，也可以在给定问题时读成自然语言思维链。训练时该代码会被破坏，论文称这会产生更平滑的隐式空间。

随后，在问题条件下，流模型把高斯噪声精化为该空间中的隐式思维，同一模型再从该思维自回归地生成最终答案。这就是论文所称的隐式流匹配流程。作者指出，用标准文本扩散时，该流程远远落后于显式思维链，只有少数训练选择做对时它才有效。这些选择正是该配方所收集的内容。

两个训练阶段分离流学习与自训练

阶段 1 训练流模型在给定干净前文的情况下预测被加噪代码的速度，并以问题作为条件信号。该阶段的答案损失读取流的一步端点，因此答案通路学会消费流实际产生的那类思维。论文报告阶段 1 使用 EMA 权重读取。

阶段 2 是自训练循环。EMA 模型从中心化高斯起点为每个问题提出 K 个思维，冻结的解码器把每个思维转换成符号化思维链，只有最终答案与参考答案匹配的思维链会被保留并重新编码为流目标。接下来的更新把这些代码作为目标，并通过从新噪声出发的全新 rollout 反向传播答案损失。论文报告阶段 2 使用 LIVE 权重读取，而非 EMA。

验证过的思维与全 rollout 梯度带来增益

消融实验分离出阶段 2 的贡献。阶段 2 相比阶段 1 把直接读取提升 3.8 个点，把解码读取提升 1.3 个点，论文把这些增益归因于通过完整 rollout 的答案损失。去掉答案损失会让模型停留在阶段 1 的水平。把 rollout 端点分离会损失直接读取 2.3 个点、解码读取 2.6 个点，把 rollout 缩短到一步则损失 2.8 和 1.9 个点。

验证同样关键。在未验证的思维上训练会损失直接读取 2.0 个点、解码读取 1.9 个点。相比之下，其他若干选择在两种读取上都与阶段 2 相差不到一个点：原始生成的隐式目标、每个问题只保留一条验证过的轨迹、去掉在线流损失、去掉阶段 1 回放，以及使用五步 rollout。论文的解读是，通过 rollout 的答案损失和验证步骤是最重要的选择，其余设计细节相对宽容。

Euler 步数越多准确率持续上升

可精化探针在训练预算之下和之上运行每个冻结模型。Coconut 保持平坦，CODI 在预算两倍时损失约一个点，PCCoT 从三次迭代的 54.1 降到十二次的 42.8，作者自行训练的深度循环模型从六次循环到 64 次循环保持平坦。

FLaRe 的表现不同。在解码读取上，阶段 1 模型从一步的 40.6 升到两步的 58.2 和二十步的 61.3，而其直接读取从第一步起就是 55.3。阶段 2 的答案通路在 10 步 rollout 上训练，两种读取都从一步到二十步有增益，解码读取从 36.6 到 62.6，直接读取从 56.7 到 59.1。两个模型在四十步时损失都不超过一个点。论文把这些增益放在显式思维链的算力尺度上，其计为 24 次顺序前向。

FLaRe 用四分之一延迟换取 97% 准确率

核心对比对象是显式思维链。FLaRe 以四分之一延迟达到显式 CoT 准确率的 97%，论文还报告它在算术基准上与既有隐式方法相比表现良好。效率论证的基础是思维只是一个小型代码：生成它的成本低于逐 token 生成显式思维链。

论文还测量了一个重新实现的 LaDiR 基线，使成本差异更具体。LaDiR 每个推理步骤生成一个块，每块需要完整的引导步去噪，因此其成本随推理长度增长。在 GSM8K 测试思维链上，平均 3.3 步、第 90 百分位为 5 步，论文估计 LaDiR 在 20 步时每个问题约需 130 次顺序前向，而 FLaRe 为 40 次。按实测每次引导 Euler 步 22 ms 计算，这约为平均每问题 1.5 s、第 90 百分位 2.2 s，而 FLaRe 直接读取为 0.46 s。

证据限于算术任务且探针由作者自设

定量结果来自算术基准，主要是 GSM8K 和 GSM8K-Aug，分布外集合 GSM8K-Hard、SVAMP 和 MultiArith 使用与 GSM8K 相同的提示、采样器、种子和评分器零样本运行。五项要求由作者设计的探针评估，因此 FLaRe 在全部五项上优于既有隐式方法这一说法，是关于这些探针的说法，而不是关于某个共享外部标准的说法。

还有两条边界值得留意。阶段 2 的验证只把解码思维链的最终答案与参考答案比较，并不认证中间步骤，因此被接受的轨迹仍可能包含错误推理。可变长度实验在 GSM8K-Aug 上没有带来增益，八个槽位已能精确重建 98.7% 的测试思维链，十六个槽位只增加 0.4 个点；作者预期可变宽度会在思维链长度变化更大的数据上有帮助，但这是预期，而非本文的实测结果。

关注 rollout 梯度与验证过滤

如果只从这篇论文带走一点，那就是：可用的与失败的流匹配隐式推理器之间的差别，集中在两处，而不是整条流程。答案损失必须通过完整 rollout 反向传播，自训练目标必须用参考答案验证过滤。去掉任一项都会在两种读取上损失约两个点，而论文消融的其他设计选择都相差约一个点以内。

可精化探针给出第二个与决策相关的对比。FLaRe 的直接读取在一个 Euler 步时已是 55.3，其解码读取从一步的 40.6 升到二十步的 61.3，因此推理预算可以花在有回报的地方。这与 PCCoT 形成对比，后者从三次迭代的 54.1 降到十二次的 42.8，也与 Coconut 和深度循环模型形成对比，它们保持平坦。因此论文自身的优先级不是隐式空间或流架构本身，而是把思维与答案绑在一起的训练信号。

本文引用的文献