2026年10月26日

两位评审员对纳入哪些研究意见不一:在截止日期前修复筛选决策

你有一篇周五截止的课程论文,一份奖励可辩护方法部分的评分标准,以及两位评审员对同一批摘要给出了相反结论。一位说某项研究应纳入综述;另一位说不应纳入。分歧不是性格冲突。它是一个信号,表明你的纳入标准规定得不够具体,而且除非你现在就修复流程,否则它会在写作中再次浮现。 本文介绍一种具体的修复方法:重新审视标准、用示例进行校准、记录原因、解决模糊案例,并保留审计轨迹。文章最后给出一个你可以向导师辩护的提交决策。

作者WisPaper 团队AI 科研工作流团队
两位评审员对纳入哪些研究意见不一:在截止日期前修复筛选决策的研究工作流插图

你有一篇周五截止的课程论文,一份奖励可辩护方法部分的评分标准,以及两位评审员对同一批摘要给出了相反结论。一位说某项研究应纳入综述;另一位说不应纳入。分歧不是性格冲突。它是一个信号,表明你的纳入标准规定得不够具体,而且除非你现在就修复流程,否则它会在写作中再次浮现。

本文介绍一种具体的修复方法:重新审视标准、用示例进行校准、记录原因、解决模糊案例,并保留审计轨迹。文章最后给出一个你可以向导师辩护的提交决策。

为什么单个分歧就能拖住整篇论文

Cochrane 指南将纳入标准视为检索本身的基础:检索应基于标准来规划,选择过程应被记录。当两位评审员应用相同的书面标准却得出不同结论时,标准所做的工作就少于方法部分所声称的。这个差距正是评分者或导师会探究的地方。

分歧还会威胁你的时间线。如果你说不出某条记录为何被排除,你就无法写出清晰的筛选段落,也无法在提交前自信地重新运行检索,确信同样的记录会以同样的方式处理。

从证据问题开始,而不是从结论开始

在仲裁之前,先准确命名问题。在典型的学生综述中,起始证据问题看起来是这样的:

  • 标准说“干预的实证研究”,却没有定义什么算实证,或哪些干预变体符合条件。
  • 记录只经过一轮筛选,因此标题层面和全文层面的判断混在一起。
  • 同一研究的多份报告被当作独立研究处理。
  • 排除原因留在评审员脑子里,而不是记录在日志中。

Cochrane 建议分阶段筛选,并将同一研究的多份报告关联起来。如果你的流程跳过了任一步骤,分歧很可能是流程的症状,而不是真正的科学争议。

重新审视纳入标准,直到它们能裁决案例

将每条标准改写为第二位评审员无需问你问题就能应用的测试。一个有用的模式是陈述人群、干预或暴露、比较、结局和研究设计,然后添加一个纳入记录的示例和一个排除记录的示例。

两项实用检查有帮助:

  1. 设计边界。 如果标准说“实证”,说明定性研究、建模和二次分析是否符合条件。
  2. 报告边界。 如果一项研究有会议摘要和全文论文,提前决定它们是一项研究,而不是两项。

Cochrane 强调关联同一研究的多份报告,这一点应写入标准本身,而不仅出现在结果叙述中。

用相同示例校准两位评审员

校准意味着两位评审员将修订后的标准应用于一组共享记录,并在筛选其余记录之前比较结论。选择一个小型校准集,至少包含一条明确的纳入、一条明确的排除和一条真正模糊的记录。讨论模糊的那条,直到你能指出决定它的具体标准。

如果校准集仍然产生分歧,说明标准仍然太宽松。收紧它并重新校准。这个循环比逐条仲裁数百条记录更快。

当你需要根据修订后的标准重建候选池时,使用学术搜索界面重新运行检索词,而不是依赖旧列表。WisPaper 的学术搜索是通过其搜索界面查找学术论文的地方;Scholar Search 入口页面说明了查找论文的公共入口。将检索式和日期保留在日志中,以便重新运行可复现。

为每次排除记录原因

在截止日期压力下,一份为每条记录记录原因代码的筛选日志是你所能产出的最有用的工件。至少记录:

  • 记录标识符;
  • 评审员;
  • 结论;
  • 决定它的标准;
  • 日期。

Cochrane 建议记录选择过程,而带原因代码的日志是最直接的方式。它还将分歧转化为一个具体问题:每位评审员应用了哪条标准?

用书面规则解决模糊案例

边界处的模糊是正常的。修复方法是写一条规则来解决这一类案例,而不仅仅是单条记录。例如:“如果一条记录只报告方案而无结果,则在全文阶段排除,并将原因记录为‘未报告结果’。”一旦规则存在,就将其应用于所有类似记录,并在日志中注明规则标识符。

如果模糊之处在于两份报告是否描述同一研究,通过关联它们并只计数一次来解决。Cochrane 关于关联多份报告的指南直接支持这一点。

保留可向导师展示的审计轨迹

审计轨迹是“我们筛选了记录”和“以下是我们如何筛选它们”之间的区别。用四个部分构建它:

  1. 标准文档,带版本号和日期。
  2. 校准笔记,显示讨论了哪些示例以及每条由哪条标准决定。
  3. 筛选日志,带原因代码和评审员姓名。
  4. 检索记录,包括检索式、来源以及任何重新运行的日期。

Cochrane 建议使用多个来源,将自由文本词与主题词结合,去重记录,并在发表前重新运行检索。这些步骤中的每一步都应在审计轨迹中留下痕迹。

如果你正在整理保留的论文,将它们保存或上传到文库,使纳入集与筛除集分开。WisPaper 的我的文库是你保存或上传论文并组织它们的地方。将纳入集放在一个地方使最终计数可审计。

使用数据库功能使重新运行可复现

数据库界面暴露检索的机制,这些机制应写入你的日志。PubMed 支持字段标签、短语检索、过滤器、高级搜索、保存的检索以及显示检索词如何被转换和组合的检索详情。Google Scholar 记录了按作者和标题检索、日期限制和引文导出。记录你使用了其中哪些,可将模糊的方法段落变为可复现的段落。

当你需要检查参考文献列表是否匹配真实记录时,引文筛选步骤有帮助。WisPaper 的TrueCite对照真实学术数据库检查 BibTeX,以标记幻觉参考文献。这是一个参考文献完整性步骤,区别于纳入筛选,应在纳入集确定之后进行。

实例:五步完成截止日期修复

考虑一位学生为课程论文综述某项教学干预的研究。评分标准奖励清晰的方法部分。两位评审员对四条记录意见不一。

第 1 步——命名问题。 标准说“实证研究”,但没有定义设计边界,且多份报告被分开计数。

第 2 步——重写标准。 添加设计边界,以及同一研究的多份报告只计数一次的规则。

第 3 步——校准。 两位评审员将修订后的标准应用于一组共享的十条记录,包括一条模糊记录。他们就九条达成一致,并为第十条写了一条规则。

第 4 步——记录原因。 每条被排除的记录获得一个与标准关联的原因代码。四条有争议的记录根据书面规则重新裁决。

第 5 步——重新运行并记录。 检索在提交前重新运行、去重,并记录日期。纳入集保存在一个文库位置。

最后,学生可以写出一个方法段落,说明标准、校准步骤、原因代码和重新运行日期。这个段落正是评分标准所要求的。

修正后的交付物与提交决策

修正后的交付物不仅仅是一份更短的研究列表。它是一份标准文档、一份校准笔记、一份带原因代码的筛选日志和一份检索记录,彼此一致。纳入集是该过程的输出,而不是单独的判断。

有了这四个工件,提交决策变得具体:提交论文,附上修复后的方法部分,如果评分标准允许,将筛选日志作为附录附上。如果导师问某条记录为何被排除,你可以指出标准和规则。如果导师问检索是否最新,你可以指出重新运行日期。

对于更长的后续工作,例如扩展综述的论文章节,WisPaper 的Scholar Agent支持文献综述、灵感或复现等较长研究任务。先通过筛选修复得到稳定、有记录的研究集合,再进入这一步。

可迁移到下次综述的经验

  • 将标准写成测试,而不是主题。
  • 在筛选前校准,而不是在分歧后。
  • 每次都为每次排除记录原因。
  • 用覆盖该类案例的书面规则解决模糊。
  • 在提交前重新运行检索并记录日期。

这些经验可迁移到任何有多位评审员的综述,也可迁移到单人综述,其中第二位评审员是后来的你自己。

常见问题

回到标准,确定每位评审员应用了哪条标准。如果标准无法裁决该案例,为这类案例写一条规则并记录在日志中。Cochrane 关于记录选择过程的指南支持将该规则与筛选记录放在一起。