当文档发生变化时，视觉检索器真的比基于文本的检索器表现更好吗？
是的，差距相当显著。MMDocIR基准测试包含1,685个专家标注的问题和超过17.3万个自举标签，结果显示，在页面级和布局级检索任务中，视觉检索器的表现明显优于文本检索器[1]。这意味着，当文档中的文本发生变化时——例如表格更新或图片替换——能够捕捉整个页面布局的视觉检索器更不容易丢失相关内容的踪迹。该基准测试还表明，使用视觉语言模型（VLM）生成文本的文本检索器，其表现远优于依赖OCR文本的检索器，这暗示OCR在文档演变过程中是一个薄弱环节[1]。
文档截图嵌入（DSE）方法进一步推进了这一方向，完全省去了内容提取的预处理步骤。DSE将文档截图作为统一输入，完整保留其中的文本、图像及版面信息。在包含130万维基百科页面的语料库测试中，DSE的首位检索准确率比BM25高出17个百分点——这意味着它首次尝试就能更频繁地找到正确页面[2]。在多模态幻灯片检索任务中，DSE在标准排名指标nDCG@10上比基于OCR的文本检索高出15个百分点以上[2]。这些结果在不同文档类型中保持一致，表明视觉方法对语料库变化更具鲁棒性，因为它不依赖脆弱的文本提取流程。
将文档拆分为片段是否会在集合增长时影响可靠性？
是的，将文档分割成独立段落进行检索会导致信息丢失，尤其是在文档集合发生变化时。统一多模态交错文档表示方法通过使用视觉语言模型将整个文档（包括文本、图像和表格）嵌入到单一表示中，直接解决了这一问题[5]。这种整体方法在多种检索场景（包括文本查询和多模态查询）中均优于相关基线模型[5]。其关键洞察在于：当文档更新时（例如新增段落或替换图像），基于段落级别的检索器可能遗漏新内容或检索到过时片段，而统一表示则能捕捉完整的文档上下文。
这与RAG Beyond Text研究的结果一致，该研究表明，将图像的位置信息与文本一同保留——而非将其作为独立片段处理——能够提升对OCR兼容及不兼容图像的检索准确率[3]。该系统在研究论文、操作手册和指南等复杂查询中达到了最先进水平，尤其在检索与周围文本存在视觉或语义偏差的图像时，显著优于GPT-4 Vision[3]。这表明统一表征不仅对文本变化更可靠，对视觉内容变化也同样如此。
不同文档类型下，这些结果的可信度有多高？
证据充分但并非绝对。MMDocIR基准测试在此领域最为全面，涵盖页面级和布局级检索，数据集规模庞大，且其结论在不同任务中保持一致[1]。DSE研究在文本密集的维基百科页面和混合模态幻灯片上均进行了测试，显示出广泛适用性[2]。统一多模态方法在包括多模态查询在内的多种信息检索场景中接受了检验[5]。然而，RAG Beyond Text研究专门聚焦于RAG系统中的图像检索，虽取得了最先进成果，但其范围相对狭窄[3]。关于多模态RAG的综述[4]证实，跨模态对齐与推理仍是待解决的挑战，这意味着对于每种新型文档或查询格式，可靠性无法得到保证。简言之，当前最佳证据指向以视觉优先的统一方法最为可靠，但持续在新基准上进行评估仍至关重要。
关于这些来源
该回答基于5篇经同行评审的研究——发表于2024年至2025年间，且全部来自2024年或之后——这些研究是从5项通过质量筛选的研究中选出的最具相关性的成果，而后者又源自从超过5亿篇论文的数据库中检索到的43篇文献。
本文引用的文献
MMDocIR：面向长文档的多模态检索基准测试
MMDocIR基准测试（包含1,685个专家标注的问题和173,843个自举生成的标签）表明，在页面级和布局级检索任务中，视觉检索器的表现显著优于文本检索器；而使用视觉语言模型生成文本的文本检索器，其性能又优于使用OCR文本的检索器。
通过文档截图嵌入统一多模态检索
文档截图嵌入（DSE）将文档截图作为统一输入，在130万维基百科语料库中，其top-1检索准确率比BM25高出17个百分点；在幻灯片检索中，其nDCG@10指标比OCR文本检索高出15个百分点以上。
超越文本的RAG：增强RAG系统中的图像检索能力
一种新颖的RAG图像检索方法，在保留图像位置信息的同时结合文本，在复杂查询上实现了最先进的性能，并在OCR不兼容的图像上超越了GPT-4 Vision。
任意模态提问：多模态检索增强生成综合综述
一项关于多模态RAG的全面综述指出，跨模态对齐与推理是核心挑战，并系统梳理了训练策略、鲁棒性增强方法以及基于智能体的技术路径，以实现可靠的多模态检索。
面向检索的统一多模态交错文档表示
一种统一的交错多模态文档表示方法，通过视觉语言模型嵌入完整文档（文本、图像、表格），在包括文本查询和多模态查询在内的多种检索场景中均优于相关基线方法。