KV 缓存页检索如何计入注意力输出误差？

仅用键的页摘要为何漏掉输出关键页

页稀疏注意力把连续的 KV 条目分成固定大小的页，为每页保留一份紧凑摘要，每个查询只检索其中一部分页，再对这些页内的 token 做精确注意力。论文的出发点是：这条流水线的效果取决于页摘要保留了什么信息，而现有检索方法主要通过键来回答这个问题——极值、低维键表示、几何统计量或谱式摘要。

论文认为这是一种错配。键决定注意力 logits，但传递到网络其余部分的是注意力输出，o(q) = 对 i 求和 alpha_i(q) 乘以 v_i，其中 alpha(q) = softmax(Kq / sqrt(d))。因此注意力分布上的误差有多大影响，取决于对应的值。当注意力在取值相近的 token 之间重新分配时，较大的 logit 误差可能几乎不改变输出；而当概率在取值差异很大的 token 之间转移时，弱键方向上的小误差也可能显著改变输出。仅基于键几何的准则无法区分这两种情况。

论文的图 1 展示了后果：在仅用键的摘要和键近似下，一个对输出很重要的页可能落到 top-2 检索截断线以下，只有当页表示由键和值共同构建时才会被找回。

两个目标的局部敏感度并不相同

论文区分了页摘要需要支撑的两件事。一个页要对输出有贡献，首先必须被检索到，这需要准确估计它的注意力质量。被检索到之后，它的贡献取决于由其 token 计算出的条件注意力输出。

论文报告这两个目标的局部敏感度不同：条件注意力输出误差在丢弃的 logit 方向上一般是一阶的，而页对数质量误差在局部是二阶的。这一不对称正是论文提出混合目标的动机，即把输出敏感度与传统的键协方差结合起来。

由此得到的基来自一个小的页内特征值问题。在一个端点上，它退化为普通的页内键 PCA；偏离该端点时，值信息按其注意力输出影响的大小被引入。论文把该方法命名为 OVAL，并描述为受中心化键值耦合支配的输出感知秩 r 页基，通过单个归一化参数 eta 与键保真度结合，给出闭式谱构造。

值只在构建阶段被使用一次

OVAL 在构建每个页基时同时使用键和值，但不存储任何值的统计量，检索时也不需要依赖值的计算。只有在构建一个完整页摘要时才访问值。在解码时，该摘要的维度与打分复杂度都与仅用键的谱式页摘要相同。

这一点关系到该如何比较该方法。论文的主张不是 OVAL 在解码时比仅用键的谱式检索更便宜，而是它在不增加存储大小、不增加解码期打分开销的前提下改变了基的目标。论文还指出该方法无需训练，推理时不需要额外的依赖值的统计量。

评测配置使用页大小 32、秩 r = 8，eta 取 {0, 0.25, 0.5, 0.75, 1}。由于中心化会去掉一个自由度，大小为 32 的页最多支持秩 31。摘要在 float32 下构建，再转回缓存的数据类型。

Eta 在键保真度与输出敏感度之间取舍

单个参数 eta 控制基偏离键 PCA 端点的程度。论文的表 4 报告了 eta 在长推理、LongBench v2 和 LongGenBench 上的影响，其规律并非单调：最佳 eta 因任务和模型而异。

在 Llama 8B 的长推理上，MATH500 在 eta = 0.25 时最高（69.75），AIME24 在 eta = 0.5 时最高（53.33），GPQA 在 eta = 0.75 时最高（44.00）。在 Qwen 7B 上，MATH500 在 eta = 0.25 时最高（73.75），而 AIME24 与 GPQA 都在 eta = 0.5 时最高（分别为 60.00 和 36.25）。在 Qwen 14B 上，MATH500 在 eta = 0.5 时最高（72.00），AIME24 在 eta = 0.25 时最高（71.25），GPQA 在 eta = 0.5 时最高（56.00）。

eta = 0 这一行就是仅用键的谱式端点。论文的核心主张是：输出感知成分在长推理任务上稳定优于该端点，并且在最佳评测 eta 下，OVAL 在所有长推理设置中取得压缩方法里最高的 avg@k，提升幅度为 +3.7 至 +3.9 分。

校准得到的 eta 在不同模型间迁移不均

由于最佳 eta 依赖任务，论文研究了实际选择方式：使用一个不相交的校准集，为每个模型选出一个 eta-hat 并在各任务间冻结，所有方法都在同一批留出样本上打分。表 3 报告了这一冻结选择与逐设置扫描最优值之间的差距。

对于 eta-hat = 0.50 的 Llama 8B，冻结后的平均值为 53.69，扫描最优为 55.75，差距 2.05。各任务差距为 MATH500 上 3.74、AIME24 上 0.00、GPQA 上 2.42。对于 eta-hat = 0.25 的 Qwen 7B，冻结后的平均值为 54.28，扫描最优为 57.78，差距 3.50，各任务差距为 1.75、6.67 和 2.08。

论文自己的解读是：eta 可以从留出校准数据中选出，这一做法在 Llama 8B 上迁移良好，而在 Qwen 7B 上仍有较大提升空间。AIME24 不含校准题，因此与表 1 的评测集完全相同，这也是它在 Llama 8B 上差距为零的原因。

长上下文理解与生成上的结果

在 LongBench v2 上，论文报告 OVAL 在三个模型中的两个上取得最佳 Overall 分数。对于 Llama 3.1 8B Instruct，OVAL 的 Overall 为 29.82，对比 FullKV 29.22、Quest 28.43、ArkVale 28.63、RaaS 28.23、InfiniGen 28.56 和 FreeKV 29.22。对于 Qwen 2.5 7B Instruct，OVAL 的 Overall 为 28.03，对比 FullKV 27.44 和 Quest 27.63。对于 Qwen 2.5 14B Instruct，OVAL 的 Overall 为 33.00，低于 FullKV 33.40、Razor 34.19、ArkVale 34.19 和 ShadowKV 34.79。

在 LongGenBench 上，OVAL 的 CR x Acc 在 Llama 8B 上为 28.50，在 Qwen 7B 上为 32.38，在 Qwen 14B 上为 28.64。对应的 FullKV 数值分别为 26.82、31.09 和 29.35。论文称 OVAL 在若干长上下文理解与生成设置上追平或超过领先基线，且解码开销不大，并与近期 KV 缓存压缩与检索方法相比具有竞争力。

这些是在匹配的有效 KV 预算 B = 2048 下的基准聚合分数，而不是逐 token 或逐层的测量值。论文指出，精度与性能测试框架通过可选区、sink 区和近期区的不同组合来表达这一预算，因此原始 CLI 字段的差异并不意味着有效预算不同。

InfiniteBench 上的精度与延迟权衡

论文增加了 InfiniteBench 评测，以测试比 64K 的 LongBench v2 设置更长的上下文情形。表 6 报告了 LongQA 结果，对 En.MC、En.QA、Zh.QA、En.Sum 和 En.Dia 取平均，每个任务 50 个样本。

OVAL 的 LongQA 精度达到 37.4，对比 FreeKV 的 36.0、ArkVale 的 35.9 和 RaaS 的 35.5，恢复到 FullKV 精度的 87.2%，而 FreeKV 为 83.9%。这一提升的代价是每 token 1.7 ms，相对 FreeKV 有 7.4% 的解码开销。OVAL 也比 RaaS（27.4 ms）和 ArkVale（76.9 ms）更快，在受评测的检索方法中处于精度—延迟帕累托前沿。

在这一预算下与 FullKV 仍有 5.5 分的差距，论文将其解读为超过 100K token 的上下文对所有压缩方法仍然困难。这是关于该评测预算与基准的陈述，并不表示 OVAL 在一般意义上弥合了长上下文差距。

输出感知基最值得关注之处

论文的核心优先级是改变目标，而不是改变格式：保留紧凑的谱式页摘要及其解码期打分开销，但按方向对值加权注意力输出的影响来选择基方向，而不是只看键能量。支撑这一优先级的证据是：在长推理上稳定优于 eta = 0 的键 PCA 端点，以及在 B = 2048 的匹配预算下于 LongBench v2 和 LongGenBench 上取得有竞争力或领先的聚合分数。

最具决策价值的比较是 eta 扫描。由于最佳 eta 随任务和模型变化，且单个校准 eta 相对逐设置扫描最优在 Llama 8B 上留下 2.05 分的平均差距、在 Qwen 7B 上留下 3.50 分的平均差距，评估 OVAL 的读者应把 eta 选择当作一等重要的选择，而不是固定默认值。InfiniteBench 的结果给出第二个阈值：在每 token 1.7 ms 的解码开销下，OVAL 相对 FreeKV 换来 1.4 分的 LongQA 精度提升，同时仍快于 RaaS 和 ArkVale，但仍比 FullKV 低 5.5 分。

本文引用的文献