稀疏采样改变的是响应组
论文的出发点是可验证奖励强化学习（RLVR）特有的成本问题。在作者剖析的工作负载中，随着 KV 体量增长，注意力占自回归解码内核时间的 72–76%，因为每个解码步都要读取越来越长上下文的 KV 缓存。稀疏注意力可以减少这些读取，但直接从稀疏策略采样会改变生成响应的行为策略。
这在组相对优化中比在普通监督解码中影响更大。组相对策略优化（GRPO）这类算法会为每个提示采样一组响应，并计算每条响应相对于同组其他成员奖励的优势。论文表明，即使做精确的逐响应重加权，一般也无法恢复期望的稠密策略更新，因为一条响应的优势取决于同组其他成员。因此直接做稀疏 rollout 的风险不只是生成快慢，而是改变模型学到什么。
S3R 稀疏起草、稠密验证
自稀疏推测 rollout（S3R）借用了推测解码的结构。较廉价的起草器提出候选 token，目标策略通过精确推测采样并行验证它们，从而保持目标分布。在 S3R 中，起草器就是策略本身：稀疏注意力提出 token，全注意力验证接受或拒绝它们。
由于起草和验证共享同一个策略参数，不存在需要训练、更新或与变化中的策略保持对齐的独立起草器。论文认为，这消除了固定辅助起草器在反复 RLVR 更新中会遇到的陈旧性问题。由此得到的响应组服从稠密策略分布，而这正是组相对优化所需要的性质。
稠密验证仍需完整 KV 缓存
稀疏起草减少了读取，但论文明确指出，稠密验证仍然需要完整的历史 KV 缓存。在 GPU 显存压力下，反复驱逐和恢复该缓存可能造成抖动；CPU 卸载避免了前缀重算，但仍要在 KV 传输上消耗延迟。
为限制这一点，作者加入了一个 KV 感知的加性增、乘性减（AIMD）调度器来调节请求准入。GPU KV 利用率衡量常驻压力，恢复积压记录被暂停请求的未满足需求。利用率低时并发上限加性上升；利用率高或积压过多时触发乘性回退。被暂停的请求保留其 token 和提议状态，并在同一冻结的 rollout 快照下完成，从而保持组身份。
激进稀疏下训练仍稳定
最具决策价值的比较是一项使用激进稀疏起草预算的匹配消融。在该预算下，S3R 保持训练稳定，而带训练侧校正的直接稀疏采样变得不稳定。论文前面的剖析图也显示，在没有训练侧失配校正时，温和与激进稀疏都会出现训练崩溃。
这一比较区分了读者容易混淆的两件事：减少 KV 读取与保持学习分布。S3R 的速度来自稀疏提议，稳定性来自针对稠密策略的精确验证。该消融是论文设定内的匹配比较，并不声称所有稀疏 rollout 方法都会失败。
吞吐提升且任务表现相当
在长上下文数学推理任务上，S3R 在 Qwen3-1.7B 和 Qwen3-8B 上的端到端训练吞吐分别达到自回归 rollout 的 1.39 倍和 1.35 倍，任务表现相当。这些是端到端训练吞吐数字，不是仅生成阶段的加速，且来自单节点八块 NVIDIA H100 GPU、四个 rollout 副本、张量并行度为 2 的配置。
训练配置使用 GRPO 的 DAPO 变体，每批 256 个提示、每个提示八条响应，每步共 2,048 条响应；Qwen3-1.7B 的最大响应长度为 16K token，Qwen3-8B 为 24K token。S3R 使用起草长度 k=6、稀疏预算比例 s=0.05。两个模型规模上，S3R 的奖励和响应长度轨迹都跟随自回归基线，包括两个模型之间相反的响应长度趋势。
越靠后的起草位置接受率越低
起草 token 的接受率强烈依赖位置。Qwen3-8B 在第 20 步时，接受率从第一个提议 token 的 95.8% 降到第六个的 67.9%。从第 20 步到第 100 步，第一位接受率下降 1.6 个百分点，第六位下降 6.6 个百分点，检查点整体接受率从 81.9% 降到 77.5%。Qwen3-1.7B 呈现相同顺序，第一位和第六位接受率分别从 95.0% 和 62.9% 变为 94.3% 和 59.4%。
作者将这一模式与 RL 探索下的熵动态联系起来，并提出在靠后位置接受率恶化时缩短起草视野的自适应方案，留待未来工作。实际含义是，固定为六的起草长度并非在每个位置都同样有效，靠后位置既接受率更低，训练中的下降也更大。
加速结论的适用边界
论文刻画了加速成立的条件，而不是断言普遍增益。其校准模型把加速表示为已接受前缀比例和有效起草 KV 读取比例的函数，并用剖析数据拟合一个常数校正项。该校正把留出集平均绝对百分比误差从 1.7B 的 84.61% 降到 0.80%，从 8B 的 63.03% 降到 0.68%，但作者指出这些残差误差只适用于所剖析的执行设定。
所有实测扫描点都超过 1 倍加速，因此盈亏平衡边界和低接受率区域仍属模型外推。论文还报告，仅扩大上下文覆盖未必提高吞吐：更大的稀疏预算提升接受率，但其附加成本最终会占主导。证据支持的优先方向是在相同 KV 读取预算下提高已接受进展，同时保持选择开销较小，而不是单纯扩大稀疏上下文覆盖。
采用 S3R 前要看的三项条件
对考虑采用 S3R 的团队，论文证据指向三个相互关联的条件，而不是单一吞吐数字。第一，增益取决于接受率：靠后的起草位置接受率更低，且接受率随训练推进下降，因此固定起草长度可能需要重新审视。第二，稠密验证仍需完整历史 KV 缓存，所以 KV 感知调度是方法的一部分，而非可选附加项；论文图中调度器的累计重算与迁移页数降到 0.144M，而重算为 5.362M、卸载为 2.024M。第三，报告的 1.39 倍和 1.35 倍来自 Qwen3-1.7B 和 Qwen3-8B 在长上下文数学推理、特定 DAPO/GRPO 配置下的结果，论文并未证明可迁移到其他模型家族、任务或硬件。
论文自己列出的未来工作——自适应稀疏预算与上下文选择，以及扩展到 MoE 和线性注意力模型——标出了当前证据覆盖的边界。最有用的结论是比较性的：S3R 相对直接稀疏采样的优势不在于读更少的 KV 缓存，而在于这样做时仍保持响应组分布为稠密；只有当接受率足够高、节省的读取足以压过验证与调度成本时，这一优势才值得付出相应代价。
本文引用的文献
S 3 R: Fast and Faithful RL Rollouts via Self-Sparse Speculative Decoding
S3R 用稀疏注意力起草 token，再用全注意力验证并做精确推测采样，从而保持稠密策略的响应组分布；在 Qwen3-1.7B 和 Qwen3-8B 上，其端到端训练吞吐分别达到自回归 rollout 的 1.39 倍和 1.35 倍，任务表现相当。