查询自适应记忆精炼如何提升多智能体长视频理解？

两种记忆范式朝相反方向失效

回答关于长达一小时视频的问题，既要保留全局语境，又要在恰当的语义粒度上定位决定性证据。论文把现有方法归纳为两种范式，它们的弱点正好互补。自顶向下、由查询驱动的探索从问题出发检查相关时间段，在搜索过程中构建或更新分层记忆；它能随问题调整观察范围，但定位不准会把搜索引向偏离关键片段的方向。自底向上、与查询无关的记忆构建先建好记忆，再在推理时检索或重访；它覆盖面广，却可能遗漏某个具体问题所需的细节。

论文自己的图示把这种分野讲得很具体。在一个猫和老鼠追逐的例子中，自顶向下路径因定位错误回答“此前未存储”，而自底向上路径回答“在一个木箱上”，而正确答案是“在他的老鼠洞旁”。VideoTapestry的前提是这两种范式互补：与查询无关的记忆提供覆盖，查询驱动的探索提供问题专属证据，前提是二者能在不丢失全局语境的情况下合并。

三层记忆对应三个专职智能体

VideoTapestry按照MemDreamer的记忆构建流程实例化一个固定的、与查询无关的层级结构，再在查询时对它进行精炼。该层级有三个语义层：SuperEvent概括粗略的时间阶段，MacroEvent描述局部连贯的事件，每个MacroEvent还带有一个由Entity、Event和OCRText节点通过类型化关系连接的局部子图。论文给这三层分配了不同角色：全局叙事语境、事件级时间结构、细粒度事实证据。

每一层配一个专属智能体，使检索和精炼都停留在特定尺度的语境中。Overview智能体精炼Super层骨架并选出相关阶段；Skim智能体检查这些阶段的MacroEvent并缩小候选区域；Focus智能体检查对应子图做细粒度验证。被选中的父节点标识决定下一层暴露哪些子节点，因此这些智能体构成一条由粗到细的链条，而不是三个彼此独立的检索器。

关键在于，精炼只修改临时的文本表示。节点标识、父子关系、语义层级和时间范围都保持不变，底层静态层级结构得以保留。正因如此，精炼后的各层之后才能重新装配到原来的父节点之下。

每个智能体先规划、观察、更新，再决策

所有智能体都遵循同一套“规划、观察、更新、决策”协议。规划确定证据需求，观察检查选定的时间段，更新把新证据整合进临时记忆，决策则选择下一个范围或终止。在所有基准上，每个被访问的层执行一批精炼，随后做一次层级的决策。

观察通过工具完成。每一层都能调用视觉观察工具，把一组时间段和一条检查指令映射为视觉观察结果。Overview智能体还额外拥有一个转写/ASR工具，从选定窗口内带时间戳的文本中提取语音证据；在被评估的Video-MME配置中，它使用Whisper转写，并在每次成功的Overview流程中于视觉观察之后运行，而Skim和Focus智能体只使用视觉观察。

Overview智能体的更新是不对称的。与证据关联的SuperEvent及其紧邻的时间邻居构成一个受保护集合，保留原始描述并接收任何相关的视觉、转写和逐字证据；其余所有SuperEvent被压缩成简短摘要。受保护集合由程序强制执行，因此没有观察结果的受保护邻居就保留原文。正是这一机制在保留全片覆盖的同时，把细节集中在查询指向之处。

装配保留骨架，只丰富相关分支

遍历结束后，装配步骤保留精炼后的Super层骨架，并把选中的精炼MacroEvent和子图记忆放到它们原来的父节点之下。结果是一份复合的查询自适应记忆，既保留全片结构，又丰富与查询相关的分支。论文把这描述为以紧凑形式保留全局语境，同时沿查询真正需要的分支保留细粒度证据。

随后，这份记忆与问题、选项以及一份简短的交接轨迹一起被序列化，轨迹记录每个智能体及其交接指令或停止标记。轨迹可以概括中间发现和尚未解决的证据需求，但不包含完整的观察和更新日志。一个独立的Answer智能体基于这份序列化语境做预测，不再进行检索或观察，从而把精炼阶段与最终推理阶段分开。

终止由经过验证的停止标记控制。在被评估的Video-MME配置中，全局性问题可以在中间层终止，而非全局性问题在存在有效子节点时必须继续下探，Focus智能体则总是终止探索。

相比直接GPT-5.5提升7.0到17.2个点

最核心的对比对象是直接调用GPT-5.5推理。VideoTapestry报告在LVBench上取得17.2个百分点的绝对准确率提升，LongVideoBench（Long）上14.9，Video-MME（Long）上9.8，EgoSchema上7.0，论文称在这四个长视频理解基准上取得了所有对比方法中的最优结果。这些是百分比形式的准确率数值，报告的数字是相对直接基线的百分点差，而不是相对提升幅度。

这一对比是刻意控制的。直接基线接收均匀采样的单帧图像，不做网格打包；论文指出网格打包是VideoTapestry粗粒度观察机制的一部分，而非通用预处理，因此把它用于直接基线会引入超出标准帧提示之外的时间压缩策略。在所用API网关的最大图像上传限制下，GPT系列模型每个视频接收50帧，Qwen3.7-Plus接收196帧，Qwen3.6-27B接收396帧。GPT系列模型以高推理强度运行，Qwen系列模型在直接推理时使用思考模式，全程温度为0.1。

论文还报告VideoTapestry在同骨干直接基线以及代表性智能体方法上都有一致提升。同骨干端到端评估使用冻结的GPT-5.5，部分基线数值来自各模型的技术报告或此前发表的基准结果，而非作者自己的运行。

两条轨迹显示精炼如何纠正粗粒度错误

第一个定性案例是细粒度时间验证。面对“男子在00:27到00:33之间做了什么”的问题，Overview智能体检查后台楼梯间和门的片段，找到一个看似合理的开门事件，但没有直接匹配爬楼方向的证据，并指出ASR无法确定移动方向。Skim智能体缩小到一个宏事件，确认是向下移动且门是关着的。Focus智能体随后逐状态验证：27.5秒在上层楼梯，29.5秒在下行，30.5秒到达平台，32.5秒是一扇关着的门，结论是没有开门或开窗发生。最终判定为C，走下楼梯。

第二个案例是跨分支证据聚合。面对“视频中能看到多少名选手在弹钢琴”的问题，Overview智能体在相隔约25分钟的两个遥远时间段各找到一个可能的钢琴事件，但无法确定这些出现是否重复。Skim智能体检查两个分支，发现不同钢琴前是视觉上不同的选手。Focus智能体验证每个分支中局部弹奏证据，确认它们是不同选手而非重复镜头，得出总数为二，答案为D。

这些轨迹展示了论文所主张的机制：粗粒度定位提出候选区域，更细的层级要么确认、要么纠正它们。它们是定性示例而非独立的定量评估，因此支持的是所描述的行为，而不是新增准确率数字。

免训练设计把成本转移到推理时工具

VideoTapestry无需训练，但并非不需要基础设施。每次视觉观察工具调用最多上传50张图像，以遵守GPT API网关限制；Overview智能体最多采样120帧，打包成至多20个六帧网格，而Skim和Focus各自从选定时间段使用至多50张单帧。ASR工具只对智能体选定的音频窗口应用Whisper，而不是转写整段视频，最多访问三个窗口，每个窗口在视频范围内归一化到600至1200秒。对于提供字幕的基准，同样的时间选择流程改为检索字幕文本，而不调用Whisper。

论文还把查询时方法与离线记忆构建隔离开来：所有实验都使用按MemDreamer流程构建的分层视频记忆，MemDreamer基线的检索流程则单独复现。这意味着所报告的提升衡量的是在固定预构建层级之上的查询自适应精炼，而不是层级结构本身。对GPT系列模型，只有Answer智能体使用高推理强度；对基于Qwen的实验，只有规划、决策和最终作答启用思考。

由于证据包包含的是摘要、引言、方法、结果和讨论，而非完整附录，正文中提到的详细停止规则、决策验证以及完整的各基准表格在此无法获得。准确率提升和机制有据可查，但其背后更细的配置选择只能部分看到。

当查询需要特定证据时精炼才划算

论文自身的框架给出了判断阈值。如果一个问题能靠宽泛的、与查询无关的覆盖回答，自底向上的记忆已经足够，额外的精炼轮次帮助不大。精炼机制是为那些决定性证据狭窄且局部化的问题设计的：此时自顶向下探索有定位错误的风险，静态检索有遗漏所需细节的风险。受保护集合更新正是这一优先级的体现：它压缩与证据关联的SuperEvent及其紧邻邻居之外的一切，只把细节花在查询指向之处。

基准上的模式与这一解读一致。最大的提升17.2点出现在LVBench，最小的7.0点出现在EgoSchema，二者都是相对同一个直接GPT-5.5基线测得的，因此这一差距反映的是各基准的问题从查询自适应精炼中获益多少，而不是方法本身的差异。两个定性案例展示了同样的逻辑：一个需要逐状态验证的六秒区间，以及相隔约25分钟、需要跨遥远区域聚合证据的两个钢琴分支。

因此实际结论是有条件的，而非普适的。VideoTapestry的价值来自把保留的全局骨架与选择性丰富的查询相关分支结合起来，所报告的提升适用于在冻结GPT-5.5骨干和MemDreamer构建的记忆下、在这四个基准上评估的长视频问答。同样的精炼是否有助于更短的视频、不同的记忆构建流程，或那些均匀采样已经能很好服务的问题，这份证据包并未确立。

本文引用的文献