完整 KV 缓存阻碍本地部署
GUI 智能体要反复把高分辨率截图输入视觉语言模型,并逐步生成动作。键值(KV)缓存保存已经算出的键和值状态,避免模型重复计算,但当历史记录里堆满图像时,缓存会变得很大。论文报告,UI-TARS-1.5-7B 在输入五张截图、最多 50 步的单次推理中可占用超过 80GB GPU 显存,这很容易让大多数消费级 GPU 触发显存不足。作者因此把压缩视为在本地机器和边缘设备上运行这类智能体的前提,而不只是一项可选的加速。
论文还给出一个具体的延迟参照:用 bfloat16 和 flash attention 2 通过 Hugging Face 推理运行 UI-TARS-1.5-7B,处理 OSWorld-Verified 中一个五截图样例,在 H200 上平均每步可能超过 15 秒。这个数字对应一个模型、一套硬件和一个步骤,不能当作所有 GUI 智能体的通用延迟。
GUI 注意力稀疏度在各层保持平坦
论文的第一项贡献是分析注意力稀疏度,也就是低于相对阈值、可视为可忽略的注意力分数所占比例。作者用 1% 的相对阈值,在 ScreenSpotV2 的 GUI 轨迹上测量各 transformer 层的稀疏度,覆盖网页、移动端和桌面环境。他们发现,所有层的稀疏度平均高于 0.99,最低值约为 0.98。
真正有意义的比较对象是自然图像。论文引用自然图像平均稀疏度 0.92、最低约 0.88,并且越深的层稀疏度越低。GUI 截图则相反,随层深变化几乎是一条平线。由于层与层之间的差异极小,把稀疏度归一化成逐层预算的方法会把微小的数值差异放大成很大的预算差距。作者认为,这正是为自然图像设计的逐层变化方案在 GUI 任务上错误分配缓存的原因。
均匀预算优于逐层变化的方案
为检验这一假设,论文在 ScreenSpotV2 上比较三种分配策略:所有层平均分配预算、PyramidKV 给较浅层更多预算的启发式做法,以及 VL-Cache 依据归一化注意力稀疏度计算预算的做法。在各种压缩比例下,均匀策略都明显优于另外两种。压缩越强,差距越大,尤其是在只保留原始缓存 5% 到 20% 时;作者把这解释为缓存资源越少,错误分配的预算危害越大。
这是同一压缩设置下不同分配策略的比较,并不等于说均匀分配对所有多模态负载都最优。论文自己的表述是:此前为自然图像和文本开发的分配策略不能直接迁移到 GUI 智能体,而平坦的稀疏度曲线使均匀分配成为这里的合适默认选择。
空间显著性保留语义重要的视觉 token
GUI-KV 是一种即插即用、无需重新训练的压缩方法。它的第一个组件是空间显著性引导,把隐藏状态的 L2 范数加入注意力分数。这样做的目的是保留那些语义重要、但原始注意力分数并非最高的视觉 token。论文用此前关于某些 token 充当信息汇的观察作为动机,并报告这种残差流信号有助于找出重要的视觉 token。
第二个组件是时间冗余评分,针对的是连续截图共享静态背景和常驻 UI 元素这一事实。每一步,方法对当前帧的键矩阵做低秩 QR 分解,定义一个子空间,再把之前各帧的键投影到这个子空间上。信息已经落在当前帧张成空间里的 token 残差分数很小,会被优先剪掉;而捕捉局部 UI 变化的 token 残差较大,会被保留。文本 token 和当前帧的视觉 token 完全绕过这个时间过滤器,因此明确的指令和眼前的画面不会因帧间冗余检查而被误伤。
10–20% 预算下接近全缓存准确率
评估覆盖六个基准,涉及视觉定位、离线动作预测和在线评测,使用 UI-TARS-1.5-7B 和 OpenCUA-7B 两个模型。在这些设置中,GUI-KV 优于有竞争力的 KV 压缩基线,并在适度预算下接近全缓存准确率。在 UI-TARS-1.5-7B 上,保留 10–20% 的缓存通常能补上视觉定位的大部分性能差距,动作预测任务上也能保持有竞争力的步级准确率。论文还指出,在中等预算下,该方法偶尔会超过全缓存准确率。
最核心的效率结果很具体:在 AgentNetBench 的五截图设置中,GUI-KV 相比全缓存基线把解码 FLOPs 降低 38.9%,同时把步级准确率提高 4.1%。这两个数字来自同一组比较,应当一起理解。FLOP 降幅衡量的是每个生成 token 的解码计算量,准确率变化衡量的是步级任务表现,两者不能互相替代。论文报告预填充开销的增加低于 0.29%,并指出截图越多,节省越大。
空间与时间收益取决于截图数量
消融实验把两个机制分开考察。截图数量少时,空间显著性更有效;截图数量增多时,时间冗余带来的收益越来越大。两者结合在所有设置下表现最好。这一规律与各自的作用相符:帧数少时几乎没有历史可去重,保留当前帧的显著 token 更重要;帧数多时,连续截图之间的重叠增加,剪掉冗余历史的回报随之上升。
这一分工是论文对“该把力气花在哪里”最实用的指导。它也划定了结果的边界:报告的收益是在这些 GUI 智能体基准和这两个模型骨干上测得的,论文并未声称其他多模态任务或其他智能体架构也有同样的平衡。
压缩收益受限于所测设置
证据支持的是一项具体主张:利用 GUI 特有的空间和时间冗余,一种无需训练的 KV 缓存方法可以在所测基准上只保留 10–20% 的缓存,同时保持接近全缓存的准确率。论文自己的讨论把实际价值归于更小的显存占用和带宽需求,并称这使智能体可以部署在标准消费级硬件上。这是关于部署条件的推断,而不是实验测得的硬件结果。
适用范围同样具体。平坦稀疏度的分析来自 UI-TARS-1.5-7B 在 ScreenSpotV2 轨迹上的测量,效率数字来自 AgentNetBench 的五截图设置。该方法假设 GUI 截图包含大片均匀区域、帧与帧之间高度重叠;当这些假设减弱时表现如何,论文没有给出结论。因此,比较不同压缩方法的读者应先核对预算、截图数量和基准,再判断 38.9% 的 FLOP 降幅能否迁移。
先采用均匀预算,再加入时间剪枝
论文最具决策价值的发现是一个优先级顺序。由于 GUI 注意力稀疏度在各层都均匀地高,第一步是停止按层调整预算,改为均匀分配;ScreenSpotV2 的比较显示,均匀分配优于 PyramidKV 和 VL-Cache,且在保留 5–20% 时差距更大。第二步是在上下文中出现多张截图后加入时间冗余评分,因为它的收益随截图数量增长,而帧数少时更多依靠空间显著性。
证据支持的正是这个顺序,而不是某个单一的压缩比例。读者在决定是否采用 GUI-KV 时,应先看自己的智能体在上下文中保留多少张截图、能承受多大的预算,因为这两个变量决定了哪个组件更重要,以及结果可能有多接近全缓存准确率。
本文引用的文献
GUI-KV: Efficient GUI Agents via KV Cache with Spatio-Temporal Awareness
GUI-KV 利用 GUI 截图中均匀且跨层平坦的高注意力稀疏度,为均匀 KV 缓存预算提供依据,再加入空间显著性和时间冗余评分,在只保留 10–20% 缓存时仍接近全缓存准确率;在 AgentNetBench 的五截图设置中,相比全缓存基线把解码 FLOPs 降低 38.9%,步级准确率提高 4.1%。
