轨迹级聚合会丢弃部分有效工作
多数组合多次推理尝试的方法都在整条轨迹层面运作:选出最好的一条链,或对最终答案投票。论文认为,这会丢弃那些部分正确、但后续出错的尝试中有用的中间工作。一个错误的中间步骤就可能让原本有希望的推导偏离方向,因此把全部算力押在一条长轨迹上风险很高。
论文的替代做法是把扩散采样视为可复用的步骤级候选来源,而不是一组完整解答。其论点是:低成本扩散采样得到的链中常包含局部正确的子结果,若能识别并重新组合这些步骤,就能在不从头支付一次长推导代价的情况下,获得大范围搜索的大部分收益。
三个阶段分离探索、打分与综合
流程分三步。第一步,掩码扩散语言模型针对一个问题生成许多多样、低成本的推理轨迹,每条轨迹被切分为若干步骤。第二步,现成的过程奖励模型(PRM)给每个中间步骤打一个[0,1]区间的分数。第三步,跨轨迹收集分数达到或超过置信阈值的步骤,按时间顺序排序,同序时高分优先;同时保留整条得分最高的轨迹作为锚点。这份拼接出的证据列表交给生成式求解器,由它只重新计算最终答案。
这种设计刻意保持模块化:扩散负责探索,PRM负责评估,自回归模型负责解答综合。作者将其与把探索、打分和最终生成耦合在一起的统一混合架构对比,认为后者限制灵活性,也使针对性改进更难。由于各条轨迹相互独立,可以分发到不同设备并行执行,延迟优势正来自这里。
拼接优于投票和选最佳轨迹
在GSM8K和MATH500上的消融显示出清晰的递进。普通LLaDA基线分别为78.8和37.6。对最终答案多数投票达到85.1和42.0。加入求解器但不做拼接时,以全部采样链为条件达到86.6和46.0,以单条最佳链为条件达到90.1和49.2。置信度过滤的拼接达到90.4和52.0,拼接再加最佳链作锚点达到91.5和54.2。
有两点值得注意。求解器很重要:重新计算能把拼接后并不完美的推理转化为正确答案,作者将其列为关键消融发现。筛选同样重要:只保留超过阈值的步骤,优于把所有内容都交给求解器,说明PRM的过滤确实在起作用,而不只是增加上下文。
最终求解器强于扩散解码器
另一组比较固定拼接证据,只改变由谁写出最终答案。在GSM8K上使用四条轨迹时,自回归求解器以96.9步达到91.5准确率,而置信度0.7的扩散求解器以106.3步达到90.1,置信度0.9时以141.6步达到90.3。在MATH500上差距更大:自回归求解器为54.2,扩散求解器分别为50.2和52.0。
使用八条轨迹时模式相同,自回归求解器在GSM8K上达到91.4,在MATH500上达到55.0。作者据此认为,正是最终求解器把拼接后并不完美的推理转化为准确答案,而单靠扩散解码,即使提高置信度、增加步数,也略逊于它。
收益在不同扩散骨干上保持
该框架在模型无关的意义上只假设两件事:有一个能产生候选轨迹的生成器,以及一个能给步骤打分的PRM。把它用于其他扩散骨干,收益保持一致。LLaDA-1.5在MATH500上从38.0升到53.8,同时推理步数从163降到134,因为拼接允许使用更低的置信阈值。Dream在GSM8K上从82.6升到85.4,在MATH500上从48.2升到53.2,步数基本不变。LLaDA 2.0在MATH500上从44.6升到61.4,计算量大致相当,为256到267步。
总体数字是:在六项数学与编程任务上平均准确率最高提升23.8%,相对Dream、LLaDA等传统扩散模型和TiDAR等统一架构,延迟最多降低1.8倍。在8B设置下,论文报告平均72.38分对48.51分,对手是以0.9高置信阈值解码的LLaDA基线,而本方法使用的是低得多的0.7阈值。
难题从重组中获益最多
论文报告,步骤级重组在较难的问题上收益最大。这与机制一致:简单问题上单条轨迹往往已经正确,几乎没有可挽救的部分工作;难题上轨迹容易分叉,不同尝试之间更可能出现互补的正确步骤。
失败分析进一步说明了这一点。在50个MATH500错误预测中,补上一个缺失的中间步骤并重跑求解器,只有1例可归因于PRM漏判、7例可归因于该步骤从未被生成;50例中有40例无法靠补一个缺失步骤修复。作者据此认为,扩散探索不充分而非孤立的PRM错误,才是主要失败模式。另外,在拼接证据中至少含一个错误选中步骤的26个例子里,求解器仍有8例(30.8%)恢复了正确答案。
验证器质量决定拼接证据的上限
PRM不是中立的过滤器。在来自60个MATH500样例的2,016个候选步骤上,以三次盲评标注正确与否,Qwen-Math-PRM-7B的精确率、召回率和F1分别为88.97%、89.23%和89.10%,Skywork-1.5B则为82.81%、78.17%和80.42%。在各自单独选中的步骤中,Skywork独有的250个选择里有150个错误,而Qwen独有的331个选择里有79个错误。
论文记录的失败模式由此而来。拼接失败的情形包括:采样轨迹共享同一个早期错误,导致候选池中没有可靠证据;PRM给关键的正确步骤打分过低而将其过滤掉;或PRM对某个流畅但错误的后期步骤过度自信,使其主导拼接证据。作者也指出,整体表现仍取决于底层扩散骨干和奖励模型的质量。
延迟收益伴随显存开销
效率主张针对的是前向评估次数和实际延迟,而不是总资源消耗。论文把推理步数定义为回答一个问题所需的模型前向评估次数,计入扩散模型、PRM和自回归求解器。按这一口径,拼接在准确率与步数的前沿上优于纯扩散基线(高效但不够准确)和自回归基线(准确但需要大量串行解码步)。
代价在局限性中写得很明确:加速来自并行扩散采样,而同时运行的轨迹越多,显存占用和硬件要求就越高。论文把该方法定位为在具备并行推理能力时适用于延迟受限的推理场景,而不是降低总计算量的手段。
拼接适用的场景
证据给出的判断规则针对场景而非平均值。如果延迟重要、有并行设备可用,且任务足够难,使单条扩散轨迹会分叉并在不同位置失败,那么论文支持的配置是拼接加一次自回归求解:它在GSM8K和MATH500上都优于多数投票、全链条件和最佳链条件,并且在测试的每个扩散骨干上都有提升。
如果问题简单到一条轨迹通常就能成功,或者瓶颈是显存而非延迟,那么报告中的收益并不能确立优势。又因为分析的50个失败中有40个无法靠补一个缺失步骤修复,更有效的着力点是扩大探索范围或改进PRM,而不是只调拼接阈值。
免训练,但并非不依赖骨干
该框架不需要微调,论文将其与d1对比,后者是一种针对特定评测任务直接优化模型的强化学习微调方法。在256和512两种生成长度下,拼接在GSM8K(89.4和91.5对81.1和82.1)、MATH500(49.4和54.2对38.6和40.2)和Countdown(37.5和45.7对32.0和42.2)上都优于d1-LLaDA。
这一比较是通用推理时流程与任务特定微调专家的对比,并不意味着该流程没有依赖。它仍需要一个能产生多样轨迹的扩散生成器、一个能较好排序步骤的PRM,以及一个自回归求解器;论文自己的失败分析显示,剩余错误正集中在前两者。
优先扩大探索而非调阈值
这篇论文中最影响决策的结果是失败归因,而不是头条准确率数字。因为分析的50个失败中有40个无法靠补一个缺失步骤修复,只有1个可追溯到PRM漏判,所以这条流程的硬约束在于扩散采样器是否曾生成所需的子推导。这改变了投入方向:提高轨迹多样性和覆盖度,比微调拼接阈值或换一个略好的验证器更重要。
第二个重点是求解器。固定拼接证据后,自回归求解器在两项基准、两种轨迹数量下都优于扩散解码,因此论文把最终重算视为必要环节而非附带步骤。对考虑采用该方法的读者,论文证据支持把它作为面向难题、具备并行硬件时的低延迟配置,但需注意其准确率上限由探索广度和验证器质量决定,而不是由拼接机制本身决定。
本文引用的文献
Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching
一套免训练流程:用扩散模型采样大量低成本推理轨迹,用过程奖励模型给每个步骤打分,把高分步骤拼接成一份推理,再只重新计算最终答案;在六项数学与编程任务上平均准确率最高提升23.8%,延迟最多降低1.8倍,难题收益最大。
