“无检索知识内化”中的“主观质量”意味着什么？
当你把一份文档内化到模型的参数中时，不能仅仅检查模型能否复述文本。主观质量关乎模型能否以自然、有用的方式运用这些知识——准确回答问题、保持连贯性，并且不丧失其通用能力。这里的论文从两个维度来定义质量：特定领域的问答（QA）准确率，以及在IFEval、MMLU和MSBench等标准基准上的整体表现[3]。一个在领域问题上表现出色，却忘记了如何遵循指令或进行一般推理的模型，算不上高质量。
对于对话模型而言，主观质量往往取决于回复的信息量和自然度。一项研究将知识文档转化为模拟的多轮对话，并发现基于这些对话训练的模型优于其他无检索方法，且与检索增强系统表现相当[4]。这表明，一个有效的主观测试是让人类或自动评判者评估对话中回复的信息量和连贯性，而不仅仅是看是否提到了正确的事实。
实际上，你如何衡量主观质量？
最直接的方法是在不向模型提供源文档的情况下，对文档集进行问答测试。2026年的IAR研究正是采用了这种方法：他们测量了领域问答准确率以及标准基准测试上的整体性能[3]。他们发现，其分阶段方法——注入、对齐、恢复——相比标准微调，平均将领域问答准确率提升了3.6个百分点，同时整体性能也提升了12.1分。这意味着你可以在不牺牲通用智能的前提下获得更好的领域知识，而这正是主观质量的关键组成部分。
另一种方法是模拟真实使用场景。该对话研究从文档中生成了模拟的多轮对话，并用这些对话来训练对话模型。随后，他们将模型的回答与检索增强系统的回答进行了对比，发现两者表现相当[4]。这表明，可以通过让模型围绕文档展开对话，并根据回答的信息量和连贯性来评估主观质量——无论是通过人工评判还是自动化指标。
评估中的权衡与注意事项是什么？
领域知识与通用能力之间存在一种张力。IAR研究明确针对这一问题，通过增加一个“恢复”阶段，将领域适配模型与基础指令模型进行融合。他们发现，虽然某些方法（如LoRA）能在单项通用指标上胜出，但只有IAR在实现领先的领域内化的同时，保持了强大的通用表现[3]。因此，在评估主观质量时，你需要同时考察两个维度——一个只在领域琐事上表现出色、却在通用推理上失分的模型，并不能算作高质量。
另一个注意事项是，评估方法可能会受到训练数据的影响而产生偏差。对话研究指出，检索增强方法依赖于精细标注的训练数据，这成本高昂。他们的免检索方法避免了这一问题，但模拟对话可能无法捕捉真实用户查询的所有细微差别[4]。此外，IAR研究使用了诸如续写和改写之类的持续预训练目标，这些目标可能与用户提问的方式不完全吻合。因此，主观质量评估应包含多种问题类型和对话情境，以确保其稳健性。
关于这些来源
这个回答基于4项研究（3项经同行评审，1项为预印本），发表于2023年至2026年间，其中2项为2024年或之后发表，1项发表于Q1–Q2期刊。这些研究是从4项通过质量筛选的研究中选出的最相关成果，而这些研究又源自从一个超过5亿篇论文的数据库中检索到的31篇文献。
本文引用的文献
SAGE：一种面向RAG的精确检索框架
SAGE是一个RAG框架，其问答质量比基线提升了61.25%，同时将令牌成本降低了49.41%，但该框架侧重于检索，而非无检索的内部化。
面向科学文献机器加工质量评估及其对信息检索影响的模型构建
一项基于可获取性、内容和可复现性的科学文献质量模型研究发现，在120篇文献中仅有21%属于高质量，这表明文献结构会影响检索成功率。
注入、对齐、恢复：面向无检索文档知识内化的分阶段后训练
IAR分阶段后训练框架在多个模型家族上将领域问答准确率提升了3.6个百分点，通用性能相比普通SFT提升了12.1分，表明内化可以在不损失通用能力的情况下实现。
面向对话模型的多文档遍历式无检索知识注入
KiDG是一种免检索方法，将文档转换为模拟对话，在对话模型中表现优于其他免检索方法，并与检索增强方法的性能相当，同时在领域迁移方面成本更低。