[2026 技术前瞻] OfficeQA Pro：大模型能否通过近百年的“企业级财务大考”？

TL;DR

前沿 LLM 在奥数或编程竞赛中已臻化境，但在处理真实的、长达百年的企业财务档案时，表现却出人意料地糟糕。Databricks AI Research 推出的 OfficeQA Pro 基准测试显示，即使是 GPT-5.4 或 Claude Opus 4.6 等顶级 Agent，在面对 2600 万个数值、8.9 万页文档的复杂推理任务时，平均准确率竟不足 35%。本文深入拆解了这项研究，揭示了文档解析（Parsing）和动态修正（Temporal Revisions）如何成为阻碍 AI 进入办公核心区的“最后一公里”。

背景定位：从“学术刷榜”回归“经济价值”

目前的 AI 评测界充斥着各种逻辑谜题，但 Databricks 认为，AI 的真实价值应体现在解决“经济上重要”的任务上。OfficeQA Pro 不考脑筋急转弯，它考的是：

1. 多文档检索 (Multi-document Retrieval)：从跨越几十年的报表中搜寻数据。
2. 端到端推理 (Grounded Reasoning)：在找到数据后，进行回归分析或复杂的金融核算。
3. 真实数据处理：应对模糊的扫描件、嵌套的层次化表格以及随时间不断修正的财务指标。

核心痛点：为什么 LLM 在企业文档面前“哑火”？

在实验中，作者发现如果不提供外部文档（Prompt Only），所有模型的表现均低于 5%。即使开启了 Web Search，模型也经常表现出“幻觉”，比如引用了错误的年份修订版本。

核心挑战在于：

• 布局复杂性：1930 年代的财政部公告是手写或打字机扫描件，与 2020 年代的数字 PDF 结构完全不同。
• 修订陷阱：财务数据经常在发布数月后进行“Preliminary”到“Revised”的修正，Agent 往往只抓取第一个搜到的数字，而忽略了最新的修正版本。

方法论详解：解析（Parsing）即正义

Databricks 的核心观点是：Agent 的性能上限，很大程度上取决于文档是如何被读入的。

1. 模型架构与 Agent 设置

作者对比了各家厂商的官方 SDK，包括 OpenAI Codex CLI, Claude Agent SDK 和 Gemini CLI。每个 Agent 都配备了：

• Python REPL：用于执行精确的数值计算。
• File Search：类似于 grep 和 ls 的文件系统检索能力。

2. 构建结构化表示

作者对比了多种解析方案，最终发现 Databricks 自研的 ai_parse_document 表现最强。

• 视觉证据 1：模型架构与流程 (图注：主流 Agent 框架在 OfficeQA Pro 上的表现，均未超过 50%，显示出巨大的提升空间)

3. 表格表示的艺术 (HTML vs. Markdown)

实验发现，使用 HTML 格式来序列化表格，在处理复杂的嵌套表头时优于层次化 Markdown。这种微小的格式差异，在顶级模型（如 GPT-5.4）身上能带来数个百分点的提升。

实验与结果：震撼的性能鸿沟

实验结果（如 Table 1 所示）清晰地揭示了三个维度的影响：

1. 解析方式：使用 Databricks Parsing 比原始 PDF 推理快 4-9 倍，且准确率提升 16.1%。
2. 检索瓶颈：如果直接提供正确的页面（Oracle Pages），Agent 表现会有 13-21% 的大幅飞跃。
3. 模型差异：Claude Opus 4.6 在准确率和速度的帕累托前沿（Pareto-optimal）上表现最为亮眼。

• 视觉证据 2：解析质量对性能的直接影响 (图注：从单纯的 PDF 推理切换到 Databricks 解析后的文档，所有模型的准确率曲线均有显著上移)

深度洞察：未被征服的“死角”

论文客观地指出，目前的 Agent 依然存在四大硬伤：

1. 时序修订验证失灵：Agent 容易在递归式的搜索中迷失，分不清哪一个是“最终定稿”。
2. 解析忠实度：表格拓扑结构的微小偏移（Shifted Rows）会导致整个计算链条崩溃。
3. 视觉理解瓶颈：面对财务密集型的趋势图（Line Plots），多模态能力依然欠缺局部解析精度。
4. 长程推理疲劳：随着 Tool Calls 增加，上下文窗口逐渐饱和，模型会遗忘之前已经验证过的中间结论。

总结：企业 AI 的下一站

OfficeQA Pro 的出现不仅是一个榜单，更是一个信号：通向 AGI 的路径不仅仅是刷高推理模型的逻辑分数，更在于如何让 AI 能够稳定、低成本地“啃”下海量的陈年档案。

对于从业者来说，这篇论文带来的启示是：与其盲目追求更大的参数规模，不如思考如何通过 Contextual Retrieval（上下文检索） 和 High-fidelity Parsing（高保真解析） 来优化 Agent 的底层“感官”。

本文基于 Databricks AI Research 2026 年最新论文重构。