人工筛选 vs. AI 优先级排序：如何分工？

根据各自实际可被问责的环节来分工。判断、资格决策和最终记录属于审阅者；速度、首轮排序和召回支持是 AI 优先级排序发挥价值的地方。实际答案不是“人工或 AI”，而是分阶段的工作流：定义标准，让 AI 帮助排序和呈现记录，然后由人工做出并记录每一个纳入决策。本文在同一个任务——为手稿、综述或基金证据总结筛选文献集——上比较两种方法，以判断力、速度、校准、召回风险和审计轨迹为标准，然后给出决策表和组合工作流。

为了公平比较，固定任务。举一个具体例子：一个研究团队正在准备系统综述，必须根据预先指定的资格标准筛选去重后的记录集，然后记录如何得到最终集合。Cochrane 关于检索和选择研究的指南建议根据资格标准规划检索，使用多个来源，结合自由文本词和主题词，记录过程，去重记录，分阶段筛选，链接同一研究的多份报告，并在发表前重新运行检索。PRISMA 2020 提供了报告清单、扩展解释、摘要清单以及原始和更新系统综述的流程图模板，包括对检索、选择和综合方法的透明报告。

这个共享任务有两个非常不同的子任务。一个是排序和呈现——决定人类应该先看哪些记录。另一个是决策和记录——判断一条记录是否符合标准，并将该决策写入可审计的轨迹。人工筛选和 AI 优先级排序在每个子任务上表现不同，大多数糟糕的工作流都是因为让一种方法做了另一种方法的工作。

资格判断是人工审阅最强、AI 优先级排序作为决策者最弱的地方。资格标准是解释性的：一条记录可能跨多份报告报告一项研究，或者一项研究可能处于人群定义的边缘。Cochrane 明确建议链接同一研究的多份报告，这是关于身份的判断，而不是关键词匹配。PRISMA 的选择报告假设流程图背后有一个记录在案的决策过程。

AI 优先级排序更适合被定位为排序辅助：它帮助决定先读什么，而不是纳入什么。当你撰写方法时，你需要能够辩护的句子是“审阅者根据标准评估了每条记录”，而不是“工具决定了”。将决策留给审阅者，让工具改变队列的顺序。

人工筛选以可预测的方式缓慢：每条记录都消耗阅读时间，成本随去重集合的大小而扩展。AI 优先级排序改变了这种成本的形态。审阅者不是以同等深度阅读所有内容，而是先阅读最高优先级的记录，并且可以更快地在明确的排除项上达到饱和。

速度提升是真实的，但有条件。它取决于你的标准质量以及排序是否与之一致。如果你的资格标准模糊，更快的队列只会让你更快地走向不一致的决策。Cochrane 关于根据资格标准规划检索的建议同样适用于优先级排序：标准是使任何排序有意义的输入。

校准是你的筛选决策在不同审阅者和不同时间之间与所述标准匹配的程度。人工筛选通过明确的标准、试点轮次和对分歧的讨论来校准。这是一个人类过程，也是你应该保护的部分。

AI 优先级排序的校准方式不同：它反映所给信号，因此其排序仅取决于背后的标准和示例。实际做法是先校准人类决策规则——运行一个小型试点，解决分歧，写下规则——然后才将优先级排序应用于整个集合。这样，排序服务于稳定的规则，而不是替代规则。

召回风险是相关记录从未进入审阅者视野的机会。这是两种方法分歧最尖锐的标准，也是工作流设计最重要的地方。

人工筛选有不同的召回问题：它对每条记录很彻底，但容易受到审阅者疲劳和长队列后期应用不一致的影响。AI 优先级排序则呈现相反的特征：它可以快速呈现相关材料，但任何排名较低的内容可能会被晚读或根本不读。两种方法都不能单独消除召回风险。

缓解是结构性的。Cochrane 建议分阶段筛选并在发表前重新运行检索；这两种做法都创建了检查点，使遗漏的记录可以重新进入过程。将优先级排序与记录在案的低优先级轮次配对，以便低排名记录仍被审阅，并在方法中记录该轮次。PRISMA 对选择方法的透明报告为你提供了描述它的地方。

审计轨迹让读者重建你如何从检索到最终集合。Cochrane 的记录和去重步骤以及 PRISMA 的流程图模板都假设轨迹存在。NIH 的严谨性和可重复性指南将仔细评估先验知识、优势、劣势、知识空白、透明方法、验证和可重复性视为严谨研究实践的核心部分——这是你的筛选记录应达到的标准。

如果你在过程中写下决策：标准、日期、审阅者、决策、原因，人工筛选自然产生审计轨迹。AI 优先级排序在轨迹中增加了一步——你必须记录使用了优先级排序、基于什么、以及如何处理低排名记录。如果缺少这一步，轨迹就有缺口，审阅者或基金评审小组可以合理地询问。先建立轨迹，然后在其中添加优先级排序。

当集合很大且标准不明确时，人工筛选会失败：审阅者漂移，队列后期的记录得到浅层处理，决策日志变得不一致。当文档被视为事后想法时，它也会失败，留下无法重建的流程图。

当 AI 优先级排序被要求做出资格决策、标准模糊、低排名记录从未被审阅时，它会失败。如果优先级排序步骤未被记录，它作为审计轨迹也会失败。在这两种情况下，失败是工作流失败，而不是工具失败：修复方法是将每个子任务分配给可以对其负责的一方。

以下工作流保持可审计的方法轨迹完整，并仅在真正有帮助的地方使用 AI。

1. 撰写资格标准和检索计划。 遵循 Cochrane 的建议，根据资格标准规划检索，使用多个来源，并结合自由文本词和主题词。在检索前记录计划。
2. 运行并记录检索。 使用学术搜索界面查找候选论文，并将查询、来源和日期保存在方法文件中。WisPaper 的学术搜索界面是运行该检索的一个地方；公开的 Scholar Search 入口为不熟悉该工具的读者解释了相同的能力。
3. 去重和分阶段。 Cochrane 建议去重记录并分阶段筛选。将去重后的集合保存为工作语料库。
4. 优先排序，然后审阅。 使用 AI 排序队列，然后让审阅者根据标准评估每条记录。分别记录排序依据和审阅者的决策。
5. 运行记录在案的低优先级轮次。 审阅低排名记录，以便召回风险在记录中得到解决，而不仅仅是意图。
6. 链接同一研究的多份报告。 在综合之前应用 Cochrane 的链接步骤，以便最终计数反映研究而非报告。
7. 在发表前重新运行检索。 Cochrane 建议在发表前重新运行检索；记录重新运行和任何新记录。
8. 使用 PRISMA 报告。 使用 PRISMA 2020 的清单和流程图模板透明地报告检索、选择和综合方法。

WisPaper 是一个 AI 研究助手，用于查找、筛选、组织和使用学术论文，如其英文主页所述。在上述工作流中，把它用于具体步骤，并将由此得到的每项纳入决定写入决策记录。

• 组织工作语料库。 保存或上传论文并在我的图书馆中组织它们，以便去重集合和纳入集合保持区分。
• 对纳入集合提问。 一旦论文进入我的图书馆或从搜索结果添加，图书馆问答让你基于这些论文提问——在起草综合部分时有用，答案会对照源论文检查。
• 更长的文献综述任务。 对于扩展的综述工作，Scholar Agent涵盖文献综述、灵感和复现用例。
• 引文筛选。 在提交前，TrueCite对照真实学术数据库检查 BibTeX，以标记幻觉参考文献——这是参考文献列表的具体审计步骤。

这些中的每一个都支持轨迹中的一个步骤；它们都不会为你撰写资格决策。