当输出速度飞快时，你真正该检查什么？
首先要验证的是，稀疏预填充方法能否在你特定的长上下文任务上保持准确性。这里的论文表明，好的方法能使准确性接近全注意力水平：VSPrefill在LongBench和RULER基准测试上保留了全注意力准确性的98.35%[2]，而SpecPrefill报告称在对抗性任务上没有可测量的性能下降[6]。但这些数字是平均值——你需要在自己的工作负载上进行测试，因为这些方法是为不同场景设计的（例如，RAG、ICL或通用长上下文）。
第二，检查稀疏度预算。FlashPrefill V2引入了均值修正项，即使在极端稀疏水平下也能将性能下降控制在可接受范围内[4]，而SPLA则将未选中的块压缩为循环状态，而非完全丢弃[5]。这意味着你应当监控上下文中被跳过的部分有多少，以及该方法是否为可能仍然重要的“长尾”token内置了安全网。
加速效果在实际服务条件下还能保持吗？
孤立的加速还不够——你需要在真实的服务条件下进行验证。FlashPrefill V2 原生支持分页 KV 缓存和连续批处理，并与 SGLang [4] 集成；UniPrefill 扩展了 vLLM 的调度器，以支持预填充-解码协同处理和张量并行 [7]。这些才是你实际能看到加速效果的条件：FlashPrefill V2 在 FP8 下、128K 上下文时，相比 FlashAttention-2 实现了高达 47 倍的加速 [4]，但那是在 H20 GPU 和特定配置下取得的。在 Apple Silicon 上，SpecPrefill 实现了 3.7-5.5 倍的 TTFT 降低 [6]，但草稿到目标的 FLOP 比率是加速效果的主要预测指标 [6]——因此，你的硬件和模型架构至关重要。
另外，需要注意的是，有些方法与连续批处理不兼容，这对生产环境下的服务部署来说是个致命问题。UniPrefill明确指出，现有的稀疏注意力方法在连续批处理下常常失效[7]，因此如果你在使用vLLM或类似框架，就需要选择支持该功能的方法。例如，LServe就是专为配合vLLM设计的，平均能实现2.9倍的预填充加速[8]。
何时可以信赖质量，何时又该保持警惕？
当方法在多样化的基准测试中得到验证并展现出稳定的准确性时，你就可以信赖其质量。例如，Block-attention在11个不同的基准测试中达到了与全注意力相当的性能[1]，而SPLA在RULER上超越了密集注意力[5]。这些都是强有力的信号，但它们来自特定的模型规模（如Qwen3-4B、LLaMA-3.1-8B）[2]——你应该在自己的模型规模和领域中进行测试。
当方法依赖于可能无法泛化的启发式规则时，需保持谨慎。例如，某些方法使用预定义模式或不准确的估计[3]，这可能导致精度下降。采用动态、上下文感知选择机制的论文（如VSPrefill的VSIndexer[2]或FlashPrefill的基于最大值的阈值方法[4]）往往更为稳健。此外，需警惕那些完全丢弃未选中块的方法——SPLA指出这可能导致上下文累积损失[5]，因此带有回退机制的方法（如SPLA的残差线性注意力）更为安全。
关于这些资料来源
此回答基于8项研究（2项经同行评审，6项为预印本），发表于2024年至2026年间，其中8项为2024年或之后发表。这些研究是从10项通过质量筛选的研究中选出的最相关者，而该10项研究又源自从超过5亿篇论文的数据库中检索到的37篇文献。
本文引用的文献
用于高效预填充的块注意力机制
Block-attention将文档划分为多个块，从而实现KV复用，并将32K输入的TTFT降低98.7%、FLOPs降低99.8%，同时在11项基准测试中保持了与全注意力相当的性能。
VSPrefill：面向长上下文预填充的垂直斜线稀疏注意力与轻量级索引
VSPrefill使用轻量级索引器预测重要注意力块，在Qwen3-4B和LLaMA-3.1-8B上、128K上下文长度下，保留了98.35%的全注意力精度，同时实现了4.95倍的平均加速。
通过稀疏模式共享加速长上下文大语言模型的预填充
稀疏模式共享利用头间的相似性，仅为少量头计算精确的注意力模式，从而在实现更优或相当加速效果的同时，保持最佳的整体准确率。
FlashPrefill V2：面向长上下文LLM服务的块稀疏预填充注意力
FlashPrefill V2引入了均值修正项以抑制近似误差，支持FP8和分页KV缓存，在H20 GPU上处理128K长度时，相比FlashAttention-2实现了最高47.26倍的加速。
SPLA：面向长上下文建模的块稀疏加线性注意力
SPLA采用二阶泰勒展开选择相关块，并将未选中的块压缩为循环状态，在RULER上超越密集注意力，同时保持通用知识。
SpecPrefill：面向Apple Silicon上高效长上下文LLM推理的投机性稀疏预填充
SpecPrefill利用小型草稿模型对词元重要性进行评分，在Qwen3.5-122B上将首词延迟（TTFT）降低了3.71至5.45倍，在Nemotron-H 120B上降低了2.10至2.19倍，且未观察到可测量的质量下降。
UniPrefill：通过分块动态稀疏化实现通用长上下文预填充加速
UniPrefill在令牌级别上加速任意模型架构的预填充过程，最高可实现2.1倍的TTFT（首令牌时间）加速，并与vLLM的连续批处理和张量并行无缝集成。
LServe：基于统一稀疏注意力机制的高效长序列大语言模型服务
LServe统一了静态与动态稀疏模式，将一半的注意力头转换为流式头，相较于vLLM，预填充速度最高提升2.9倍，解码速度提升1.3至2.1倍，同时保持了长上下文准确性。