紧凑视频编码器能否建立在冻结图像表征之上？

视频编码器通常耦合的三项操作

论文的出发点是：视频编码器同时决定两件事——帧从何时开始交互，以及哪些帧级视觉证据仍能被语言模型访问。原生视频路径（如这里考察的Conv3D）通过时空卷积或注意力让相邻帧在任何问题感知选择之前就贡献到共享特征。图像路径则保持每帧表征独立计算，但转发全部这些token会带来高得多的视觉token开销。

作者认为这两者并非同一操作。让表征紧凑与让决定性证据保持可访问，可能指向不同方向。因此他们的设计把常被捆绑在一起的过程拆分为逐帧表征、跨帧token分配和时序交互，并追问第三项能否推迟到第二项之后。

早期时序混合为何会掩盖决定性证据

动机示例是一段视频：同一场景反复出现，但问题取决于小区域内一个短暂变化，例如起跳瞬间或落地接触瞬间。重复的背景画面无法替代那个瞬间，而把预算花在重复证据上的表征会丢失区分这些状态的那次观测。

在Conv3D路径中，相邻帧在问题感知选择之前就贡献到共享特征，因此选择器作用的是时序耦合的token，而非每帧可独立寻址的图像token。论文对论断很谨慎：问题不在于Conv3D必然抹除运动，而在于帧级证据不再可独立选择。独立图像编码暴露了这些候选，但全部转发又让相关性与冗余未被解决，因为重复背景和持续存在的物体与问题所需的观测一起占据token槽位。

选择决定预算，精修补充上下文

冻结的图像编码器首先生成帧级候选。随后一个感知问题的选择器依据相关性、多样性和跨帧对应关系，在各帧间分配固定token预算。多样性项是由归一化视觉特征和问题相关性构建的行列式点过程核，而相邻帧配对奖励鼓励联合保留对应关系的两端。帧配额继承自冻结的上游分配器而非重新预测，因此选择器改变的是哪些源token占据槽位，而非帧级预算分布。

选择之后，一个轻量学习式精修器从未改动的稠密池中读取相邻帧上下文，并只对保留的锚点写入残差更新。它引入约18M可训练参数，使用瓶颈式跨帧注意力块和门控前馈网络，在8块A100 GPU上训练两个epoch、约96 GPU小时，而视觉编码器、语言模型和选择器全程冻结。由于更新是残差的且只写入保留锚点，源位置得以保留，视觉输出保持在固定预算。

先选择后交互的代价

论文用一个诊断性线性模型形式化这一权衡，而非声称原生骨干是线性的。比较两种操作顺序——先交互后选择与先选择后交互——差异在于跨越选择边界的交互，而非输出长度。两种顺序对所有输入一致，当且仅当跨块交互项为零。

从未选池中读取上下文可恢复部分交互，而剩余未观测索引的精确最坏情况残差随被省略交互块的范数缩放。作者声明这不是自适应神经编码器的精度界。其设计后果很具体：方法必须同时避免把输出槽位花在重复观测上，以及因切断相关上下文而使被选观测不可用。

以28%-35%的token达到全图像精度

在Qwen3-VL-8B上，该路径以1,535个视觉token达到13基准宏平均62.75，而全Image路径以4,424个token达到62.58，原生Conv3D以2,212个token达到59.49。在Qwen3-VL-32B上，它达到66.28，Image为66.09，同时提供2.16倍端到端加速。在三个骨干上，该路径以约28%-35%的视觉token达到全图像聚合性能。

延迟收益出现在自回归解码之前。在Qwen3-VL-32B-Instruct上，首token时间从Image的849.1ms降至365.8ms，而首token之后的生成仅从62.1ms变为56.0ms；选择开销计入TTFT，并被更短的视觉预填充抵消。相对Image，端到端延迟从911.2ms降至421.8ms。

协同与对应关系贡献了大部分增益

在Qwen3-VL-8B上的消融分离了各组件。去掉动态分配和跨帧协同得到13基准平均60.12；仅加入动态分配升至61.74；再加入跨帧协同达到62.64。学习式精修器贡献较小的补充：仅答案监督达到62.67，仅知识蒸馏达到62.71，两者结合得到62.75。聚合增益不大，其中Video-MME、LVBench和Perception Test受益更强，而VideoAds略有下降。

在Qwen2-VL-7B上的系统级消融显示正确的跨帧对应关系很重要：忽略它使平均从59.43降至58.50，随机打乱对应关系进一步降至57.53，说明错误的配对结构可能有害，而不只是无信息。更广的候选覆盖在所评估范围内单调有帮助，从16帧的57.97到24帧的58.85，再到32帧的59.43。

token预算在何处不再划算

输出预算控制精度与压缩的权衡。在Qwen2-VL-7B上，把预算从1,536降至768个token使13基准平均下降2.80分，而升至3,072个token增加1.68分。在三个骨干上，从768升至约1.5K token使平均分别提升2.80、2.60和2.13分，但再翻倍至约3K仅带来1.68、1.50和1.57分的较小增益，同时增加延迟。

相对先前压缩基线的优势在4倍输出预算范围内持续存在：在768 token时，该方法在同一预算下超过最强先前基线2.83、3.35和3.65分；在1.5K时分别超过2.55、2.89和2.42分；在3K时仍为2.66、2.75和2.75分。1.5K工作点还以更低的端到端延迟超过所有在3K预算下评估的先前方法。作者把约1.5K token视为实用工作点，因为它匹配先前压缩基线，同时相对全Image路径保持大幅缩减。

长程主体绑定仍是失败模式

定性示例意在说明紧凑预算下哪些证据重要，而非估计某种行为出现的频率。成功案例涉及细粒度局部变化、必须联合解读的关系性证据、晚期或重复结果证据，以及避免对重复视角重复计数。

所报告的失败案例强调长程主体绑定而非局部外观识别：问题问的是较远的那只鹦鹉在片尾附近展开翅膀之后做了什么，只有全Image路径预测出正确选项，而紧凑路径都收敛到同一干扰项。作者将此解读为紧凑视觉选择在答案依赖跨长时间跨度维持实例身份时的局限，并指出身份感知检索和更长程时序状态跟踪是互补方向。训练子集还使用精确n-gram匹配和语义相似度过滤，针对全部13个基准的评估提示和元数据进行了过滤，这限制了所报告优势中可能来自训练-测试重叠的部分。

先保留证据，再压缩它

论文对其设计原则的总结是：紧凑视频编码不需要早期时序混合——帧级证据可以先被保留，再被联合分配，并在选择之后被赋予时序上下文。因此对选择方法的读者而言，最具决策相关性的比较不是原始token数量，而是固定输出预算与协同、对应关系感知选择的配对。

在所测试范围内，实用阈值是1.5K token工作点：它达到全图像聚合精度，在同一预算乃至3K预算下超过先前压缩基线，并处在增加token的收益开始趋平的区间。最重要的情景划分正是失败案例所揭示的：当答案依赖在视觉相似物体中跨长跨度跟踪某个特定实例时，基于冻结图像表征的紧凑选择正是全Image路径仍保留紧凑路径所丢失证据的设定。

本文引用的文献