OneSearch-VL 如何统一图像与视频的多模态深度研究?

OneSearch-VL 用共享证据图训练单一智能体,统一图像、多图与视频深度研究,两项新基准分别提升 20.2 和 17.6 个百分点。

直接答案

OneSearch-VL 是一个 8B 规模的单一智能体,用同一套结构完成单图、多图集合和视频的深度研究:这套结构叫视觉锚定证据图(VGEG),把定位到的视觉锚点与实体、有来源支撑的事实,以及把事实组合成答案的操作连接起来。在可调用工具的条件下,它在论文新建的多图与视频基准上分别比 Qwen3-VL-8B 高出 20.2 和 17.6 个百分点,并在 7 个图像基准和 VideoDR 上也有提升。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

三类视觉输入共享同一套流程

论文的出发点是一个观察,而不是一个新基准分数:单图、多图和视频深度研究需要不同的视觉操作,但遵循同一套流程。智能体先定位视觉线索,再检索外部知识,然后把检索到的事实组合成答案。视频额外需要时间定位和选帧;多图额外需要把分散在不同图像中的实体关联起来。

这套共享流程正是统一训练的依据。作者没有为每种输入类型分别构建策略,而是用覆盖三类输入的数据训练一个智能体,让定位、检索和事实组合作为同一组技能被学习,而不是三套互不相干的技能。因此论文检验的命题很窄、也可核查:一个策略能否同时学会图像和视频上的深度研究。

证据图保留从像素到答案的来源链

核心对象是视觉锚定证据图(VGEG),一种任务级参考结构。它把一个定位到的视觉锚点——一个区域、一张图像或一帧视频——连接到现实世界中的实体,记录多跳关系路径以及支撑这些路径的网页事实,并规定把事实组合成答案需要哪些操作。

关键在于依赖关系,而不是存储。此前的感知—知识链、事实评分表和证据图各自捕捉了一部分信息,但论文认为它们没有共同保留从定位视觉锚点,经实体关系和来源支撑事实,到答案组合的完整链条。视频流程尤其倾向于只把抽取的实体或关键帧裁剪当作检索或问题生成的种子,不保留端到端的来源。VGEG 的设计目标是让同一份标注同时服务四项工作:构建问题、监督过程、奖励轨迹和评估操作。

数据引擎构建并验证每道任务

VGEG 由一条分阶段流水线产出。以视频为例,源池从 250 万条候选记录开始,依次经过上传日期过滤(2023 年 1 月 1 日及以后)、元数据打分、类别均衡与排除、LLM 片段过滤和时长均衡,最终保留 70,781 条记录。帧按 2 FPS 采样,分成十帧一段的片段,生成描述,按图像和文本嵌入相似度去重,再聚合成事件,形成视频、事件、关键帧和定位对象的层级。

随后,定位对象被路由到反向图像搜索或 OCR 加文本搜索,与检索到的网页核对,并扩展成网页实体图;图中每条事实都带有头实体、关系、尾实体或属性值、支撑 URL 和引文。问题从这张图生成,再接受检查:QA 验证器只用收集到的证据重新回答每个问题,并要求与候选答案语义一致;仅凭问题的探测则剔除模型不看视觉输入也能解出的题目。显式实体名会被改写成描述,使问题从可见目标出发。

同一套机制也产出训练集:约 11 万条样本用于监督微调,另有 1 万条强化学习集;后者只保留 Qwen3-VL-8B 八次采样中正确次数介于零到八之间的任务。

奖励分别衡量证据可追溯性与视觉定位

证据感知视觉锚定评分奖励(EVGR)把 VGEG 标注转成包含两个维度的过程奖励。证据可追溯性考察工具观察是否真正建立了答案核心实体和所需事实跳转,以及后续推理是否遵循这些观察、没有无依据的替换。视觉定位考察是否正确识别并使用了可见实体、区域或帧,以驱动后续检索。

评判模型按 0.00 到 1.00 的锚定等级给每个维度打分:1.00 表示所有必需事实跳转都有直接支撑,且所有必需视觉锚点都被正确定位并使用;0.00 表示没有建立支撑证据或没有建立定位。评分表明确不奖励冗长、流畅但无支撑的推理、无效工具调用,或仅靠最终答案匹配。在组合奖励中,答案正确性、查询质量和 EVGR 的权重分别为 0.6、0.2 和 0.2,并由格式有效性把关。

有一处不对称会影响对定位分的理解:对单图和多图输入,源图像对策略已经可见,不需要额外的视觉工具调用,标准检查的是是否使用了正确的图像和对象;对视频,选出的帧要与参考时刻比对,并且必须提供后续检索所依赖的视觉身份。

提升集中在操作级基准上

最主要的比较对象是带工具访问的 Qwen3-VL-8B。OneSearch-VL-8B 在 OneSearch-MI-Bench 上提升 20.2 个百分点,在 OneSearch-Video-Bench 上提升 17.6 个百分点;这两个基准由作者按 VGEG 中编码的研究操作组织问题而构建。论文还报告在 7 个图像基准和 VideoDR 上有大幅提升。

这些数字不应被理解为一次均匀的提升。两个新基准由产出训练数据的同一流水线构建,并按操作组织,因此衡量的是 VGEG 监督所针对的具体技能;7 个图像基准和 VideoDR 是另外报告的评估,在现有证据中只以提升形式给出,没有单一汇总数字。比较基线是带工具访问的 Qwen3-VL-8B,而不是无工具模型,因此差距反映的是训练方案,而不只是工具可用性。

跨输入监督与 EVGR 各有贡献

论文报告的消融实验说明两点:跨视觉输入类型的监督是互补的,EVGR 在结果奖励和查询奖励之外还有额外收益。对统一性问题而言,互补性这一结论更关键,因为它意味着在多图和视频任务上训练不只是增加覆盖面,还帮助了共享流程。

现有证据只给出这些消融结论,没有给出各条件的数字,因此无法据此比较每项贡献的大小。可以说的是方向性的:作者把统一智能体的部分表现归因于跨类型数据,另一部分归因于过程奖励,并把两者视为两个独立的设计选择,而不是打包在一起的一套方案。

工具依赖限制精确复现

该智能体依赖 TextSearch 和 ImageSearch 等外部搜索工具,也依赖不断变化的网页;作者指出这会影响证据可得性和精确复现。自动化的 VGEG 构建和基于模型的奖励也可能引入标注错误或评判偏差,多轮交互还会增加推理和工具成本。

这些限制限定的是基准数字,而不是概念主张。20.2 或 17.6 个百分点的差距是在特定工具环境中相对特定基线测得的;复现它需要相同的检索条件,而奖励依赖评判模型,意味着过程信号会继承该评判模型的偏差。作者提出保留检索快照、测试对工具故障的鲁棒性,以及使用人工校准或开放的多模态过程评判模型作为未来工作。

统一本身才是值得检验的主张

这篇论文的独特之处不是新的视觉编码器或更大的模型,而是一套共享参考结构,让同一个训练信号同时服务问题构建、轨迹过滤、过程奖励和操作级评估。读者若想判断统一的多模态深度研究是否成立,相关的比较是跨输入类型训练的单一策略与按类型分别训练的策略之间的比较,相关的证据是跨类型消融和按操作组织的基准。

实际优先级由此而来:OneSearch-MI-Bench 和 OneSearch-Video-Bench 上 20.2 和 17.6 个百分点的提升最值得先审视,因为这些任务正是用智能体被训练执行的同一套 VGEG 操作构建的。7 个图像基准和 VideoDR 说明提升不限于新基准,但它们以总体提升的形式报告,而不是作为迁移的受控检验。

本文引用的文献

1

OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video

OneSearch-VL-8B 使用 VGEG 衍生数据和证据感知过程奖励训练,在 OneSearch-MI-Bench 和 OneSearch-Video-Bench 上分别比带工具访问的 Qwen3-VL-8B 提升 20.2 和 17.6 个百分点,并在 7 个图像基准和 VideoDR 上进一步提升。