块扩散推测解码如何在未来两年内加速大语言模型生成？

LLM生成速度到底能提升多快？

简短的回答是：在许多实际场景中，生成速度预计可提升2到6倍，若结合其他技巧，甚至可能接近8倍。最直接的证据来自DFlash，这是一个块扩散框架，在一系列模型和任务上实现了超过6倍的无损加速，比此前最先进的EAGLE-3最多快2.5倍[5]。其后续工作DFlare扩展了草稿模型，并报告称在Qwen3-4B上平均墙钟加速为5.52倍，在Qwen3-8B上为5.46倍，在20B模型上为3.91倍[2]。这些数字意味着，原本需要10秒的任务，在最佳情况下可能不到2秒就能完成。

更令人印象深刻的是，Spiffy证明了推测解码可以成倍放大其他加速技术的收益，在与KV缓存和多令牌去掩码结合时，总加速比最高可达7.9倍[4]。对于实时聊天或代码补全这类对延迟敏感的应用来说，这是一个巨大的实际优势。不过，这些是峰值数据；实际加速效果取决于工作负载，我们接下来会看到这一点。

是什么让块扩散草稿解码比旧方法快这么多？

传统的投机解码仍然逐字生成草稿令牌，这造成了瓶颈。块扩散草稿生成通过单次前向传播预测整块令牌，打破了这一限制，因此草稿生成阶段不再需要顺序执行[5][3]。这之所以可行，是因为扩散模型能够并行生成多个位置，并且草稿模型以目标模型的内部特征为条件，从而提升准确性[5][2]。

让这一机制高效运作的关键，在于草稿模型如何利用目标模型的知识。DFlash最初仅使用来自少数目标层的单一融合表示，而DFlare在此基础上进行了改进，让每个草稿层都能关注其自身对应的目标层组合，从而在4B模型上提速约11%，在8B模型上提速约8%[2]。另一种方法DART则采用并行logit预测，完全消除了自回归式展开，实现了2.03倍至3.44倍的加速，平均比EAGLE-3高出30%[3]。要点在于：草稿模型越能有效利用目标模型的隐藏状态，接受率就越高，生成速度也就越快。

块扩散推测解码在哪些情况下无法带来加速？

最大的注意事项是，收益并不均衡。AngelSpec发现，没有任何一种草稿生成结构能在所有工作负载下都表现最佳：块扩散在代码和数学任务上表现出色（这些任务具有可预测的长续写），而自回归多令牌预测则更适合高熵的开放式对话[1]。这意味着，针对代码生成优化的系统可能无法同样显著地加速创意写作。

另一个问题是随机采样。DBLast 指出，当目标模型采用非贪婪解码（这在创意类任务中很常见）时，接受草稿的长度会随着采样分布的熵增加而下降 [6]。通俗地说，输出越不可预测，草稿模型就越难准确猜测，从而降低加速效果。FlexDraft 也强调，在大批量处理时，由于奖励令牌和接受长度存在不确定性，并行起草与验证的性能可能受损，导致吞吐量提升失效 [7]。因此，尽管块扩散是一个强大的工具，但它并非万能方案——它最适合可预测的任务和适中的批量大小。

最后，草稿模型的质量也很关键。DFlare 表明，增加草稿模型的深度并将训练数据从 80 万样本扩展到 240 万样本，能带来持续的性能提升 [2]，但这需要额外的训练资源。对于较小的团队而言，除非工作负载非常契合，否则这种开销可能并不划算。

关于这些资料来源

该回答基于7项研究（均为预印本）——发表于2025年至2026年，其中7项来自2024年或之后——这些研究是从9项通过质量筛选的研究中选出的最相关者，而9项研究又源自从超过5亿篇论文的数据库中检索到的25篇文献。

本文引用的文献

相关研究问题