峰值负载下，你究竟该监控什么？
首先要关注的是首字延迟（TTFT），因为这是块稀疏预填充旨在优化的面向用户的指标。在峰值负载下，如果稀疏内核无法随并发请求扩展，TTFT可能会急剧膨胀。最有力的证据来自FlashPrefill V2，它专为生产环境服务而设计，在H20 GPU上（采用FP8精度）处理128K上下文时，相比FlashAttention-2报告了高达47倍的加速，但这是最佳情况；同一篇论文显示在BF16下为27倍，而其他方法报告的典型增益为3–5倍。[3][1][2]
第二，监控精度下降。稀疏注意力会跳过注意力图的部分内容，如果跳过得过于激进，就会损失模型质量。例如，VSPrefill在LongBench和RULER上保留了全注意力精度的98.35%，同时在128K上下文下实现了4.95倍的加速——因此，你应该在关注延迟的同时，也跟踪质量指标（如基准测试精度），以便及时发现潜在的隐性退化。[2]
第三，关注内核效率与开销。SALE作为一种细粒度稀疏方法，将重要性估计的开销降至全注意力延迟的约11%，这意味着稀疏内核本身速度很快，但你仍需监控GPU利用率和内存带宽，以确保内核在高负载下不会成为瓶颈。[1]
为何最佳情况下的数字无法反映典型生产条件
标题中的加速倍数（如47倍）来自理想条件：特定硬件（H20）、FP8量化以及极端的稀疏度水平。实际应用中，你会看到更温和的提升，因为需要在速度与准确性之间取得平衡。例如，FlashPrefill V2引入了均值修正项，即使在极端稀疏度下也能保持准确性可控，但这是一个权衡——你不能简单地把稀疏度调到90%还指望质量不下降。[3]
其他研究表明，加速效果在很大程度上取决于模型和上下文长度。SpecPrefill通过使用草稿模型选择重要token，在Qwen3.5-122B上、8K–128K范围内实现了3.71–5.45倍的TTFT降低，但在混合Mamba-2/Attention模型上仅为2.10–2.19倍——因此架构至关重要。[5]
此外，许多稀疏注意力方法是为全注意力模型设计的，在混合架构（如线性/全注意力混合）上性能会下降。UniPrefill通过在token级别上工作解决了这一问题，并声称TTFT（首token延迟）最高可提升2.1倍，但这低于最佳情况下的数值，而且它是这里唯一明确支持vLLM中连续批处理的方案。[6]
如何在峰值负载下让块稀疏预填充达到生产就绪水平
关键在于与您现有的推理栈集成。FlashPrefill V2原生支持分页KV缓存和连续批处理，并可作为SGLang中的注意力后端使用——因此您可以像监控其他算子一样监控它。[3] UniPrefill扩展了vLLM的调度器，以支持预填充-解码协同处理和张量并行，这对于处理大量并发请求至关重要。[6]
你还应该监控稀疏模式本身。有些方法使用静态模式（如分块式），另一些则使用动态模式（如以查询为中心的页面选择）。LServe表明，静态与动态稀疏性的混合方案相比vLLM可将预填充阶段加速最高达2.9倍，同时保持精度，但这需要一种层级化的KV页面选择策略——因此你需要跟踪实际使用了多少KV页面。[7]
最后，别忘了准确性与效率之间的权衡。SPLA指出，完全丢弃未选中的块会导致上下文累积丢失，因此它将这些块压缩为循环状态——这增加了复杂度，但提升了质量。如果你在服务长上下文，不仅要监控TTFT，还要关注端到端的任务表现（如RULER分数），以确保你没有为了速度而牺牲质量。[4]
关于这些资料来源
该回答基于7项研究（1项同行评审，6项预印本），发表于2025年至2026年间，其中7项为2024年或之后发表。这些研究是从9项通过质量筛选的研究中选出的最相关者，而9项研究又源自从超过5亿篇论文的数据库中检索到的29篇文献。
本文引用的文献
SALE：面向长上下文大语言模型预填充阶段的高效稀疏注意力低位估计方法
SALE采用4比特量化的查询-键乘积实现细粒度稀疏注意力，在Llama-3.1-8B上对超过64K的序列实现了至少3.36倍的加速，且精度损失可忽略不计，并将开销降至全注意力延迟的约11%。
VSPrefill：面向长上下文预填充的垂直斜线稀疏注意力与轻量级索引
VSPrefill采用轻量级VSIndexer预测垂直斜杠稀疏模式，在LongBench和RULER的128K上下文场景下，保留了全注意力98.35%的准确率，同时实现了平均4.95倍的加速。
FlashPrefill V2：面向长上下文LLM服务的块稀疏预填充注意力
FlashPrefill V2是一款面向生产环境的稀疏注意力算子，支持FP8、分页KV缓存和连续批处理，在H20 GPU上处理128K上下文时，相比FlashAttention-2实现了最高47.26倍（FP8）和27.19倍（BF16）的加速。
SPLA：面向长上下文建模的块稀疏加线性注意力
SPLA将块稀疏注意力与残差线性注意力模块相结合，以压缩未选中的块，从而在RULER上缩小了与密集注意力的性能差距，并在持续预训练中超越了密集模型。
SpecPrefill：面向Apple Silicon上高效长上下文LLM推理的投机性稀疏预填充
SpecPrefill利用草稿模型选择前k%的令牌，在Qwen3.5-122B上实现了8K–128K令牌范围内3.71–5.45倍的TTFT降低，并在长上下文场景下展现出超线性扩展，但在混合Mamba-2/Attention模型上仅获得2.10–2.19倍的提升。
UniPrefill：通过分块动态稀疏化实现通用长上下文预填充加速
UniPrefill是一个在令牌级别运作的通用预填充加速框架，可实现高达2.1倍的TTFT加速，且加速效果随并发请求增加而提升，并已集成到支持连续批处理的vLLM中。
LServe：基于统一稀疏注意力机制的高效长序列大语言模型服务
LServe统一了静态与动态稀疏模式，将一半的注意力头转换为流式头，并采用分层KV页选择机制，相较于vLLM，预填充速度最高提升2.9倍，解码速度提升1.3至2.1倍，同时保持长上下文准确性。