模型在已经知道答案后仍继续读取
大语言模型处理输入上下文中的每个token时给予相同的计算优先级，不管这个token是否与问题相关。当答案位于长文档的前几句话时，模型仍会处理后面的全部内容。论文把这种现象视为一种根本性的低效，并将其与“迷失在中间”问题联系起来：关键信息在长输入中被稀释。
作者将这一点与人类认知作对比：人会判断自己是否已有足够证据，一旦够了就停止收集。他们的问题是，模型能否在内部做出同样的判断，而不依赖外部强加的压缩目标。这一设问之所以重要，是因为它改变了由谁决定需要多少上下文——是模型自身的内部状态，而不是事先选定的固定比例。
充分性信号集中在少数注意力头
该方法建立在对模型内部结构的分析之上。作者探测了所有层中的注意力头，发现其中一部分（主要来自中间层）对上下文充分性的预测能力远高于其他注意力头。他们只按验证集F1选出排名前五的注意力头来训练集成分类器，并报告说加入更多注意力头带来的提升很小，甚至会让表现变差。
这种集中性是论文的核心机制主张：充分性信息并非均匀分布在整个网络中，而是存在于特定的架构组件里。被选中的层因模型架构而异；作者让探测结果而非预先设定的层列表来决定监测哪些注意力头。随后，一个轻量分类器读取这些激活值，判断何时可以停止处理。
动态截断不同于固定压缩目标
现有的上下文效率方法通常会预先设定一个目标。LLMLingua系列用小语言模型筛掉不重要的token，压缩到固定比例；检索增强生成则固定top-k文档的数量。论文把这两类都归为静态方法，因为每个输入都接受统一的削减——50%压缩意味着每个输入都被减半，无论其内容如何。
动态上下文截断则按输入自适应：不同输入根据模型自身的评估获得不同的压缩量。作者强调，他们的方法不需要预设压缩目标，也不需要重新训练模型。正是这一对比赋予了核心数字意义——1.33倍的削减并不是靠对所有输入套用同一比例实现的。
准确率上升，token处理量下降
评估覆盖六个问答数据集，上下文最长可达40K token，包括单跳任务（代码理解、SQuAD、Natural Questions）、合成的多跳键值检索，以及自然多跳推理（HotpotQA、MUSIQUE）。测试了三个模型家族——LLaMA、Qwen和Mistral——参数规模从1B到70B。
在这一设置下，该方法报告准确率提升3.4%，同时平均减少1.33倍token处理量。论文还指出，在相同的token削减比例下，该方法优于其他上下文效率方法。这两个数字都是在上述基准套件上的平均值，并不保证适用于任何单一数据集或模型规模。
阅读这些数字时，数据集设计值得注意。金标准信息的位置从均匀分布中采样，因此大约一半的上下文块被标记为不充分，一半被标记为充分。这种平衡使评估不会偏向提前停止或延后停止，但也意味着基准有意把答案放在上下文的各个位置，而不是开头。
大模型无需探针即可判断充分性
论文报告了一种涌现的规模现象。小模型需要探针——即在选定的注意力头上训练分类器——来检测充分性。大模型则通过提示展现出内在的自我评估能力，也就是说，可以直接问它们是否已有足够信息。
这按模型规模把实际图景分成两类。对小模型而言，该方法是一条探针流水线：找出信息量大的注意力头，训练分类器，用其输出作为停止信号。对大模型而言，同样的判断可以来自模型自身。作者把这一点作为观察到的规模规律而非设计特性来呈现，对于任何决定如何部署该方法的人来说，这是论文中最有影响的论断。
停止规则依赖通用截断点假设
作者自己的局限性讨论集中在为通用截断点所做的假设上，并把对这些局限的探索留待未来工作。充分性分类器也是在带标签的上下文块上训练的；当没有明确的答案位置时，论文测试了由GPT-4o生成的合成标签。这些分类器仍有竞争力，但落后于人工标注标签——总体F1在1B模型上为84.6对88.3，在8B模型上为87.0对89.8——因此标签来源会可测量地改变检测质量。
基准范围也限定了结论。结果来自金标准位置均匀采样的问答数据集、最长40K token的上下文和三个模型家族。论文并未证明同样的停止行为适用于没有局部答案片段的任务，而充分与不充分各半的平衡划分是评估设计的属性，不是自然工作负载的属性。
模型规模决定采用哪种充分性机制
论文最有用的区分不是平均加速比，而是探针与提示之间的分界。如果你使用受测家族中的较小模型，证据支持在少数中间层注意力头上构建探针——这里五个就够了，更多并无帮助。如果你使用较大模型，论文的规模观察提示，让模型自行评估充分性或许可以替代这条流水线。
在这两条路径之间，报告的权衡是一致的：在相同的token削减比例下，动态的、按输入停止的方法优于静态压缩，而且是在提高准确率而非牺牲准确率的情况下做到的。需要记住的数字是这一组合——在所述问答套件上减少1.33倍token处理量、准确率提高3.4%——同时要注意，停止决策依赖一个作者标记为尚未解决的截断点假设。
本文引用的文献
Knowing When to Stop: Efficient Context Processing via Latent Sufficiency Signals
动态上下文截断利用少数中间层注意力头上的轻量分类器检测模型何时已有足够信息，在六个问答数据集和三个模型家族上平均减少1.33倍token处理量，准确率提升3.4%；而更大的模型可以通过提示自行评估充分性。