流式视觉语言模型能感知高动态真实视频流吗？

轨迹与人工筛掉弱问题

构建流程从高帧率片段出发，生成候选问答对。如果一个问题在 2 FPS 子采样下就能回答，该候选会被丢弃；这一步让基准聚焦于高动态感知，而不是普通视频理解。保留下来的答案再用 SAM3 分割掩码和 CoTracker3 跟踪得到的物体轨迹核对，无法验证或修正的问答对被剔除。随后进行三轮人工检查，每个发布的样本都由人类专家最终决定接受或拒绝。

这影响如何解读分数：在 FastBench 上答错，意在表示模型确实漏掉了经过验证的快速事件，而不是问题含糊或标注不佳。论文还披露，Gemini-3.1-Pro 被用于提出关键词、起草候选问答对并执行轨迹核对；Gemini-3.5-Flash 在定位候选片段时读取带时间戳的评论和弹幕。作者表示，他们对照源视频和轨迹证据审查了模型生成的标注。

帧率越高，历史窗口越短

流式视觉语言模型在有限的上下文预算下持续处理到达的视频。论文把统一的最大预算定为 248,832,000 像素，相当于 1080p 分辨率下的 120 帧。在这个上限内，模型要在三项相互竞争的需求之间分配容量：能回看多久、保留多少空间细节、在时间上采样多细。把更多预算花在帧率上，必然缩短历史窗口或降低分辨率。

这正是论文核心实证规律背后的机制。密集采样并非没有代价：它换来精细的时间细节，却牺牲了模型回答回溯性问题所需的历史记忆。作者固定上下文预算、改变 Qwen3-VL-8B 的输入帧率，直接检验了这一点。

密集采样在 24 FPS 达到峰值

对 Qwen3-VL-8B 而言，总体准确率从 2 FPS 的 32.9% 单调上升到 24 FPS 的 44.6%，提升 11.7 个百分点。原生 30 FPS 则回落到 42.1%。作者把这一下降归因于上述权衡：最高帧率严重压缩历史感受野，并带来大量帧间冗余，因此 24 FPS 在上下文深度和高频细节之间取得了更好的平衡。

按能力和时间范围拆分的结果显示收益与损失落在哪里。运动与时空跟踪提升 13.7 个百分点，预测与因果推理提升 14.5 个百分点，两者都在 24 FPS 达到峰值。30 FPS 的下降在回溯性问题上最明显，从 24 FPS 的 46.2% 降到 37.5%，这与它们依赖历史证据相符。即时性问题主要依赖当前帧分辨率，在 30 FPS 下仍保持 46.3% 的较高水平。这些结果来自一个开源模型、一个固定预算，并非普遍最优值。

判断何时看得更细才是瓶颈

论文还提出 ProactiveFrame，一个无需训练的基线，让模型自行控制采样。模型输出文本标记：Focus_Start 请求下一段视频块使用更高帧率，Focus_End 恢复正常采样，Silent 表示保持当前模式且暂不回答。双层滑动窗口保留近期高帧率观测，同时把较早观测降采样为稀疏历史。聚焦窗口设为 1080p 下的 90 帧，为至少 30 帧低帧率稀疏历史留出容量。

ProactiveFrame 优于基础模型，把 Qwen3-VL-8B 从 32.9% 提升到 38.3%，把 Gemini-3.5-Flash 从 50.7% 提升到 52.2%。它也比稀疏均匀采样分别高出 5.4 和 1.5 个百分点。但它仍低于直接获得人工标注聚焦区间的 oracle：Qwen3-VL-8B 为 40.7%，Gemini-3.5-Flash 为 57.5%。这一差距定位了失败所在：只要给出正确时刻，模型就能利用更高帧率，但它们难以仅凭视频流判断何时需要更精细的时间感知。

Qwen3-VL-8B 全程 30 FPS 胜过 oracle

有一项比较让“采样越密越好”的简单解读变得复杂。对 Qwen3-VL-8B 而言，全程以原生 30 FPS 处理视频流达到 42.1%，高于 oracle 混合帧率设置的 40.7%；后者只在标注的聚焦区间提供 30 FPS，其余部分为 2 FPS。作者将此解读为当前开源视觉语言模型的瓶颈：即使高帧率片段被完美切分出来，它们的细粒度动态理解仍然有限，因此对背景帧降采样所损失的视觉上下文，超过了更长历史带来的收益。

这一规律因模型和时间范围而异。Gemini-3.5-Flash 在全程 30 FPS 下达到峰值 55.3%，高于其 ProactiveFrame 的 52.2%，但低于 oracle 的 57.5%。对前向问题，两个模型在全程 30 FPS 下都超过混合帧率（Gemini-3.5-Flash 为 56.3% 对 55.4%，Qwen3-VL-8B 为 42.0% 对 39.4%）。回溯性问题在两个模型上都在 oracle 下达到峰值（55.4% 和 40.6%），这与“检索过去证据最依赖 oracle 所取得的内存与分辨率平衡”这一判断相符。

50.7% 上限说明了什么

这个核心数字是在论文统一上下文预算下、按 LLM-as-a-Judge 对开放式答案评分时，正确回答 FastBench 问题的百分比；评分还采用放宽的迟答边界，把有效时间窗延长到事件结束后 4 秒。它并不代表所有流式视频理解能力，而且该基准刻意排除了在 2 FPS 下可回答的问题，因此衡量的是高动态片段，而非平均表现。帧率消融覆盖 Qwen3-VL-8B；上下文形式比较覆盖 Qwen3-VL-8B 和 Gemini-3.5-Flash。

因此，论文确立的实际优先级并不是单纯提高 FPS。在固定预算下，24 FPS 是那个被逐帧率扫描的模型的最佳点；而 oracle 差距表明，更大的剩余收益在于主动时间控制：判断一个场景何时值得密集观察。作者把 FastBench 及其标注的聚焦时间戳定位为研究这一问题的试验平台，而最关键的比较是 ProactiveFrame 与 oracle 的对比，而不是与 2 FPS 的对比。

本文引用的文献