轻量开源视觉语言模型能从遗产文档中抽取结构化 JSON 吗？

任务既要识别文字，也要按 schema 输出 JSON

论文研究的是 OCR-to-structure：给定一张档案文档图像，模型要读出文字，并把它作为 JSON 对象返回，且字段结构必须符合该收藏自己的 schema。后半部分同样关键。模型可以把字符转录得很准，却仍可能失败——只要它把值放到错误的键下、合并字段、漏掉字段或凭空多出字段。

作者用三个指标把这一区别具体化。字符错误率（CER）衡量抽取文本与参考文本的差距，越低越好。近似归一化 Levenshtein 相似度（ANLS*）衡量字符串相似度，越高越好。平均精度均值 F1（mAP-F1）衡量值是否落在结构化输出的正确字段中。论文指出，当字段归属出错时，模型可能 CER 很低、ANLS* 很高，mAP-F1 却仍然很低，因此这三个指标回答的是不同问题，不能互相替代。

八个模型各自按支持的接口接受测试

比较覆盖八个开源视觉语言模型，参数量从 200M 到 7B，涵盖编码器-解码器、统一视觉语言、OCR 专用和指令微调等架构。数据来自三个大学遗产收藏：Erlangen-Prehistoric（308 份文档，手写，8 个字段）、Pforzheim Jewelry（590 份文档，多为印刷体，17 个字段）和 Regensburg Scalalogy（164 份文档，混合文本，含布尔值的嵌套 schema）。三者均按 70% 训练、15% 验证、15% 测试划分，共 1,062 份文档。

一项核心方法选择是约束感知协议。Donut-Base、Donut-CORD、Florence-2-Large 和 PaddleOCR-VL 只接受固定的 OCR 式提示或任务专用 token，因此无法接收自然语言指令或少样本示例。Nanonets-OCR-s、Gemma-3-4B、Phi-3.5-Vision 和 Qwen2.5-VL-7B 接受自定义提示，因而可以做 schema 引导的抽取。于是每个模型都通过它实际支持的接口接受评估，原始生成结果在解析 JSON 前只做最小后处理。这一设计让比较对每个模型的真实部署选项保持公平，但也意味着固定提示模型并没有像提示灵活的模型那样被要求输出结构化结果。

零样本下，能读文字不等于能写结构

在没有任何示例的情况下，固定提示模型在结构化任务上大多失败。Donut-Base 和 Donut-CORD 在三个数据集上的 ANLS* 和 mAP-F1 都是 0.0，Florence-2-Large 和 PaddleOCR-VL 的 mAP-F1 也全程为 0.0。它们的 CER 并非一律很差，这正体现了指标之间的分化：文字可读，并不等于能产出可解析、符合 schema 的 JSON。

在提示灵活的模型中，Qwen2.5-VL-7B 在 Erlangen-Prehistoric 上取得最好的零样本 CER（21.4%）和最高的 mAP-F1（56.2%）；在 Pforzheim Jewelry 上，Gemma-3-4B 和 Qwen2.5-VL-7B 的 ANLS* 都很高（分别为 92.1% 和 96.0%），mAP-F1 均超过 87%。Regensburg Scalalogy 是嵌套且结构复杂的收藏，对所有模型都更难：最好的零样本 mAP-F1 是 Qwen2.5-VL-7B 的 33.3%。作者把这一模式解读为：可靠抽取不仅依赖识别文字，还依赖遵循指令、把值绑定到字段，以及稳定地解码出 schema。

微调是最可靠的单项改进

微调显著改变了局面。Qwen2.5-VL-7B 在 Erlangen-Prehistoric 上达到 5.8% CER、91.0% ANLS* 和 90.0% mAP-F1，在 Pforzheim Jewelry 上达到 0.5% CER 和 99.4% mAP-F1，在 Regensburg Scalalogy 上达到 7.6% CER 和 62.8% mAP-F1。Phi-3.5-Vision 在 Pforzheim Jewelry 上达到 99.5% mAP-F1，在 Regensburg Scalalogy 上达到 72.0%；Gemma-3-4B 在这两个收藏上分别为 99.4% 和 46.9%。作者把这三个模型选为前三名，因为它们在多个数据集上同时具备低 CER、高 ANLS* 和高 mAP-F1，且各设置下 JSON 有效率接近饱和，约为 95% 至 100%。

微调的配置本身也是实用主张的一部分。参数量低于 1B 的模型做全参数微调；更大的模型使用 QLoRA，结合 4 位量化和加在注意力层与 MLP 层上的 LoRA 适配器，基础权重保持冻结，运行在一块 32GB 显存的 NVIDIA V100 上。最佳检查点按验证集 CER 最低来选取。这对机构很重要：论文支持本地部署的论据，建立在只需一块消费级 GPU 的适配之上，而不是对大模型做完整重训。

微调并没有挽救所有架构。Donut 系列模型微调后 CER 可以更低、ANLS* 可以更高，mAP-F1 却仍是 0.0，因为它们的输出常常无法通过严格的 JSON 字典解析。文字准确率和 schema 合规性仍是两个独立的结果。

少样本示例对印刷记录更有用，对手写帮助有限

少样本提示只在四个提示灵活的模型上测试，Pforzheim Jewelry 使用一个示例，另外两个收藏使用两个示例。结果并不一致。在 Pforzheim Jewelry 上，Qwen2.5-VL-7B 达到 0.9% CER、98.9% ANLS* 和 99.4% mAP-F1，Gemma-3-4B 达到 2.0% CER 和 92.1% mAP-F1，说明示例在较干净的印刷记录上效果良好。

在手写和结构复杂的收藏上，情况反转或变得模糊。Nanonets-OCR-s 在 Erlangen-Prehistoric 上的 mAP-F1 从零样本的 28.5% 提升到少样本的 44.7%，但 Phi-3.5-Vision 在 Regensburg Scalalogy 上的 CER 升至 52.7%，mAP-F1 降到 23.1%。作者把这种不一致归因于更长的提示在更难文档上增加了指令复杂度。因此在这项基准中，少样本提示并不是微调的可靠替代。

预处理与多阶段训练不能当作默认选项

论文在前三名模型上分别隔离测试了三种额外策略。超参数优化用 Optuna 运行 20 次试验，带来的小幅提升最为一致，在 Regensburg Scalalogy 上改善最大：Gemma-3-4B 的 mAP-F1 从 46.9% 升到 77.9%，CER 从 14.6% 降到 3.4%；Qwen2.5-VL-7B 的 CER 从 7.6% 降到 3.1%。即便在这里效果也不均匀：在 Erlangen-Prehistoric 上，Gemma-3-4B 的 mAP-F1 从 83.1% 降到 65.4%，尽管其他指标有所改善。

经典图像预处理把光照平坦化、去噪、CLAHE 和 letterbox 缩放组合在一起，效果混杂且常常有害。它把 Phi-3.5-Vision 在 Regensburg Scalalogy 上的 CER 从 6.3% 降到 5.5%，却把该数据集上的 mAP-F1 从 72.0% 砍到 61.1%；它还把 Qwen2.5-VL-7B 在 Regensburg 上的 CER 从 7.6% 升到 12.0%。多阶段课程训练在三个数据集上都稳定帮助了 Gemma-3-4B，把 Regensburg 的 mAP-F1 从 46.9% 提到 63.8%，却让 Qwen2.5-VL-7B 在 Pforzheim Jewelry 和 Regensburg Scalalogy 上变差。作者把这两者都视为需要按模型和数据集实测的经验性增强，而不是默认的收益。

共享检查点帮了 Gemma，却伤了 Qwen

论文最后讨论的部署问题是：机构应当为每个收藏各保留一个检查点，还是在全部训练数据的并集上训练一个检查点。答案取决于模型。Gemma-3-4B 在联合训练下于三个收藏上都有改善，Regensburg Scalalogy 的 mAP-F1 从 46.9% 升到 68.0%，CER 从 14.6% 降到 9.1%，作者将其解读为更好的跨 schema 稳健性。

Qwen2.5-VL-7B 走向相反。它在 Regensburg Scalalogy 上的 CER 从 7.6% 升到 24.9%，ANLS* 从 87.0% 降到 65.2%，mAP-F1 从 62.8% 降到 41.4%；Pforzheim Jewelry 也略有变差。Phi-3.5-Vision 在三个数据集上都变差，但幅度较小，Erlangen-Prehistoric 的 mAP-F1 从 82.2% 降到 45.4%。因此论文没有找到多数据集训练的通用规则：它可能提升跨收藏稳健性，也可能带来负迁移，取决于模型。

由此得出的实际优先级是：在合并之前先做模型特定的验证。机构在权衡一个共享检查点与按收藏分开的检查点时，应当在自己的 schema 上把两者都测一遍，因为同一套联合训练配方帮助了 Gemma-3-4B，却让 Qwen2.5-VL-7B 在嵌套的 Regensburg 收藏上受损最重。作者还指出两点范围限制：三种改进策略是各自独立评估的，并未组合测试；轻量视觉语言模型的格局变化很快，因此这些发现是针对所评估模型家族的指导，而不是对所有新兴文档模型的结论。

本文引用的文献