[arXiv 2026] 拒绝、重采样、重复：揭秘大模型并行推理的数学真谛

TL;DR

在大模型“推理时计算”（Inference-time Compute）爆火的今天，我们习惯了用 Best-of-N 或多路采样来刷榜，但其背后的效率边界一直是个黑盒。微软研究团队的这篇论文首次利用 Sequential Monte Carlo (SMC) 理论，为这种“暴力计算”建立了严谨的非渐进误差界。文章不仅指出了现有的不完美过程奖励模型（PRM）如何限制推理边界，还提出了一种新的算法 SMC-RS，大幅提升了并行推理的效率。

痛点深挖：为什么你的 PRM 总是带歪模型？

在复杂的数学推理（如 AIME）中，我们通常给模型配一个 PRM 来给中间步骤打分。然而，现有的干预方法存在两个致命伤：

1. Ad-hoc 设计：缺乏理论支撑，不知道该堆多少粒子（采样数）才能对冲 PRM 的误差。
2. 误差放大：SMC 在长序列（High Horizon）推理时，如果粒子数不随步骤线性增加，微小的 PRM 偏差会被指数级放大，导致最终输出南辕北辙。

本文作者通过数学推导指出，问题的核心在于 Action-level Coverage（动作级覆盖度）——即你的候选项中是否包含了能够通向正确答案的路径。

方法论详解：SMC 与它的进化版 SMC-RS

作者将 LLM 推理建模为一个从目标分布 ${\pi }^{\star }$ 中采样的过程。这里的关键在于：我们无法直接接触正确答案的分布，只能通过 PRM 构建的 $\hat{\pi }$ 去逼近它。

核心结论：SMC 成功的两个准则

论文证明，SMC 的全变分（TV）误差由两个量控制：

• $C_{act}$：动作级覆盖参数，衡量 PRM 在单步内能捕捉到正确 token 的能力。
• ${\chi }^2$ 散度：衡量 $\hat{\pi }$ 与 ${\pi }^{\star }$ 之间的分布差异。

架构创新：SMC-RS (Sequential Monte Carlo with Rejection Sampling)

传统 SMC 在归一化权重时，粒子之间会产生竞态干扰（Interference）。作者提出的 SMC-RS (Algorithm 2) 引入了动作级的拒绝采样机制。

• 直觉：每个粒子的更新只取决于它自己的 PRM 分数和前一步的分数，不跟其他粒子抢名额。
• 优势：当 PRM 比较准时，SMC-RS 只需要极少的粒子（$N=O(1)$）就能达到 SOTA 效果，而传统 SMC 随着推理步数 $H$ 的增加，必须暴力增加粒子。

图1：SMC 在 Math500 上的表现，可以看到 N=32 时，SMC 基本全面压制传统的 Best-of-N。

实验与结果：理论真的预言了性能吗？

作者在 Math500 和 AIME 任务上进行了高强度实测。

1. 散度与误差的强相关性

实验验证了理论中提出的 ${\chi }^2$ 散度（实验中用 KL 散度作为 proxy）与采样误差之间存在显著的正相关。这意味着，我们可以通过离线衡量 PRM 的散度，预判它在推理阶段的翻车概率。

2. 数学推理的降维打击

在 AIME 竞赛题目中，SMC 展示了极强的搜索能力。相比于 Best-of-N 这种“乱枪打鸟”的方式，SMC 通过 PRM 的引导，更早地砍掉了错误的推理分支，将计算算力集中在更有潜力的推理路径上。

图2：散度（PRM 误差）与采样误差的线性关系，实证了理论准则的有效性。

深度洞察：迈向“Lookahead”推理

尽管本文为并行推理打下了地基，作者也抛出了一个扎心的结论（Theorem 3.9）：任何“近视型”（Myopic）的粒子滤波方法（即只看当前 PRM 分数、不看未来的算法），其算力需求都会随推理步数 $H$ 至少呈对数级增长。

这给了我们一个深刻的启示：未来的大模型推理，可能需要具备 Lookahead（长远预判） 能力的非近视采样方法，或者是能够自我修正的回溯策略。

总结 (Takeaway)

• 动作级覆盖是推理成败的关键。
• SMC-RS 是比纯 SMC 更高效的推理算法。
• 推理时计算的下一步是打破“近视采样”，引入具备前瞻性的全局搜索机制。

编者按：该研究填补了大模型推理时干预的理论空白，对于正在开发“类 O1 模型”的技术团队具有极高的参考价值。