AI文献综述的数据提取质量控制清单

AI可以帮助研究人员更快地检查论文，但数据提取仍然需要质量控制。在文献综述中，一个错误的方法细节、样本量、结果或局限性都可能改变综合结论的意义。

问题不在于是否应该使用AI。有用的问题是：如何检查AI辅助提取，使最终综述仍然与论文紧密相连。

本指南为AI文献综述提供了一个实用的数据提取质量控制清单。它重点关注需要验证的内容、错误发生的位置，以及如何保持提取的证据可用。

数据提取质量控制是检查提取的信息是否准确、相关且可追溯到源论文的过程。无论提取是由人、AI还是两者共同完成，都适用。

在文献综述中，提取质量控制会问：

• 提取的字段是否回答了综述问题？
• 该字段能否追溯到某一页、表格、图或章节？
• 信息是复制、总结还是推断的？
• 不确定性是否明确标注？
• 另一位评审者是否会以类似方式解读同一字段？

AI可以生成流畅的提取笔记，但流畅并不是证据。质量控制将这些笔记转化为可核查的研究材料。

AI提取错误很重要，因为它们往往看起来合理。当错误值用自信的学术语言书写时，可能更难被注意到。

常见错误类型包括：

• 混淆样本量和分析样本。
• 报告了被讨论但未被测量的结果。
• 将作者推测当作发现。
• 遗漏了亚组或排除规则。
• 将多个局限性压缩成一个模糊的句子。
• 从背景部分而非结果部分提取信息。
• 未能区分研究设计和分析方法。

这些错误不一定会导致整个综述失败，但可能削弱综合论断。解决办法是建立可重复的检查流程。

每个高价值提取字段都应包含答案、来源位置和置信状态。没有这三部分，字段就难以审计。

使用以下结构：

• 提取答案：你计划使用的值或摘要。
• 来源位置：页码、章节、表格、图或引用的短语。
• 证据类型：明确陈述、计算值、解释或不清楚。
• 评审状态：未检查、已检查、有争议或已排除。
• 备注：需要再次查看的内容。

这种结构使综述工作在开始时较慢，但后续更快。开始写作时，你会知道哪些论断已准备好，哪些论断需要来源核查。

有关基本字段设置，请参阅研究论文的数据提取表模板。

检查来源位置的方法是：询问读者是否能在不猜测的情况下找到提取的细节。“结果部分”通常过于宽泛。“表2”或“方法，参与者小节”更好。

对于每个关键字段，验证：

• 该字段出现在所引用的位置。
• 该位置指的是正确的研究人群。
• 提取的值不是来自论文中引用的另一项研究。
• 除非你需要背景信息，否则该字段不应取自引言。
• 该位置支持你措辞中的确定性程度。

这对于结果、局限性和方法最为重要。这些字段往往驱动最终的综述。

一旦来源位置明确，就将明确陈述与解释分开。

明确事实是论文陈述的。推断是你从论文中得出的结论。两者都可能有用，但不应作为同一类型的证据存储。

例如：

• 明确：“该研究包括214名参与者。”
• 明确：“作者使用了半结构化访谈。”
• 推断：“样本可能不代表农村人口。”
• 推断：“该方法更接近探索性工作而非验证性测试。”

如果AI工具将这些混合在一个段落中，请将它们分开。将事实放入提取字段，将解释放入评审者备注。

这使你的文献综述保持诚实。当读者能区分论文所述和你的结论时，你可以写出更有力的综合。

当来源被用作引用时，同样的区别也很重要。有关声明级别的检查，请参阅AI生成参考文献的引用幻觉检查器。

风险最高的字段是需要精确性或方法学判断的字段。这些字段应接受最多的人工检查。

高风险字段包括：

• 纳入和排除标准。
• 样本量和亚组计数。
• 研究设计。
• 干预或暴露细节。
• 对照或控制条件。
• 结果定义。
• 统计结果。
• 定性主题。
• 局限性。
• 资金或利益冲突说明。
• 撤稿、更正或发表状态。

低风险字段，如标题和年份，仍需要检查，但它们不太可能扭曲综合。将审查时间花在错误代价高的地方。

有关引用状态检查，请参阅如何检查论文是否已被更正或撤稿。

根据作者报告数字的表格、图或结果文本来验证数字和结果。不要只依赖摘要。

使用以下数字检查步骤：

1. 确定你需要的确切结果。
2. 找到它在论文中的报告位置。
3. 确认单位、时间点和人群。
4. 检查数字是原始值、调整值、均值、中位数、率、比值比还是效应估计。
5. 记录是否需要置信区间、p值或不确定性度量。
6. 在将数字用于综合之前标记任何歧义。

对于定性研究，同样的逻辑适用。验证一个主题是参与者发现、作者解释、理论类别还是讨论点。

缺失信息应标记为缺失，而不是靠猜测填补。如果论文没有明确说明某个字段，请记录该状态。

使用一致的标签：

• 未报告：论文未提供该信息。
• 不适用：该字段不适用于本研究。
• 不清楚：信息可能存在但需要审查。
• 推断：评审者做出了谨慎的解释。
• 冲突：不同部分暗示了不同的值。

这些标签保护综述免受无声假设的影响。它们还使解释为什么某些研究无法支持某些比较变得更容易。

如果缺失字段过多，可能需要缩小问题范围或采用不同的提取设计。

审查局限性时，将作者陈述的局限性与评审者识别的局限性分开。作者陈述的局限性很有用，但它们并不是唯一重要的问题。

提取：

• 作者陈述的局限性。
• 设计所暗示的局限性。
• 缺失的对照组。
• 随访期短。
• 数据集或样本狭窄。
• 测量问题。
• 普遍性问题。
• 与你的综述问题相关的任何局限性。

然后决定该局限性是否影响纳入、权重或综合措辞。有些局限性并不会使论文失去资格；它们只是影响你使用该论文的强度。

这就是提取与写作相连接的地方。一个好的局限性字段有助于避免过度声称。

将建议转化为可重复的工作流程，需要明确你需要做出的决策、该决策所需的证据，以及证明决策如何做出的记录。在质量和方法审查中，问题很少是缺少某个工具。问题通常是搜索、阅读、检查和写作发生在不同的地方，没有共享的规则。

使用简短的操作流程：

• 命名综述问题或子问题。
• 定义你正在使用的来源集。
• 决定什么算作下一步的足够证据。
• 对该步骤中的每篇论文应用相同的标准。
• 标记不确定的情况，而不是强迫给出干净的答案。
• 为可能进入最终综述的论断保留来源位置。
• 在每次主要搜索、筛选或写作会话后审查工作流程。

这个流程使工作持续推进，而不会让综述变得粗心。它还让导师、合作者和未来的你能够理解来源集为何发生变化。

记录那些以后难以重建的部分。你不需要记录每一次点击的日记，但需要足够的细节来解释从问题到来源再到论断的路径。

对于这个主题，最有用的记录通常包括研究设计、方法细节、证据质量、局限性和评审者判断。添加日期、使用的工具或来源、评审状态和下一步行动。如果AI协助了该步骤，写下它帮助了什么以及人工检查了什么。

记录应区分发现和证据。工具可能帮助找到一篇论文，但论文本身必须支持论断。摘要可能帮助筛选来源，但原始来源应支持文献综述中出现的任何陈述。

在写作前，检查工作流程是否产生了可用的证据，还是仅仅是有用的笔记。笔记帮助你思考。证据支持一个句子。

问：

• 这个来源将支持哪个论断？
• 该论断是否比证据更窄？
• 方法、样本、结果或概念细节是否已检查？
• 局限性是否可见？
• 冲突的论文是否得到处理而不是被忽略？
• 引用是否真实、最新且相关？
• 另一位读者能否理解这个来源是如何进入综述的？

如果答案不清楚，请将该观点保留在笔记中，而不是移入草稿。这是防止AI辅助研究变成表面光鲜但内容薄弱的写作的小停顿。

WisPaper可以帮助研究人员在数据提取之前和期间准备更干净的来源集。Deep Search、Scholar Agent和Inspiration Discovery帮助用户从自然语言问题中找到学术论文，而论文卡片提供标题、作者、发表详情、来源标签、摘要和预览图像以供筛选。

在相关论文被保存或上传后，My Library为研究人员提供了一个存放工作论文集的场所。Library QA可以基于用户自己的文库回答问题，这在检查选定论文是否涉及相同的结果、方法或概念时很有用。

WisPaper仍应与来源验证一起使用。AI辅助检查可以帮助研究人员定位可能的证据并比较论文，但最终的提取字段应在支持文献综述论断之前与原始论文核对。

试用WisPaper