如何在不丢失独特研究的情况下删除重复参考文献

综述中的去重不是单击一下“删除重复项”。它是一系列决策，将三种不同的事物区分开来：同一记录从不同来源到达两次、一项研究的多次报告（一篇主要论文加上后续或二次分析），以及恰好共享作者、队列或标题的真正不同的研究。无论哪个方向出错，代价都很高——你要么在综合中重复计算了一项研究，要么悄悄丢弃了一份包含所需结局数据的报告。

本文为处理聚焦证据问题的临床医生和研究人员提供了一个实用、检查点驱动的流程。贯穿始终的示例是对单一人群和结局的综述：患有社区获得性肺炎的成人，询问某种特定辅助治疗是否降低30天死亡率。同样的步骤适用于任何聚焦问题。

Cochrane指南明确指出，检索应基于纳入标准进行规划，使用多个来源，并将自由文本词与主题词相结合。这个规划阶段也是你为综述定义什么算作“一项研究”的地方。在处理重复项之前，请写下：

• 分析单元。 是研究、试验注册还是报告？对于综合，你通常希望一项研究及其所有关联报告。
• 什么使两条记录相同。 相同的试验注册号、相同的DOI，或相同的人群/干预/对照者且入组时间重叠。
• 什么使两条记录不同。 不同的注册号、不重叠的入组时间，或明显不同的设计。

这个定义是你后来的决胜规则。没有它，每一对模糊记录都会成为在时间压力下做出的判断。

Cochrane建议使用多个来源并记录过程。实际上，这意味着你的原始导出应为每条记录携带来源标签——数据库名称、检索日期和导出批次。当你后来发现两条几乎相同的记录时，来源标签告诉你看到的是跨数据库重叠还是一项试验的两份报告。

如果你仍在组装候选集，使用学术搜索界面来运行和捕获检索，然后保持导出文件完整。WisPaper的学术搜索界面是运行学术论文检索的一个地方；关键纪律是分别保存每次检索的输出，而不是将所有内容合并到一个无差别的文件中。

检查点1： 每条记录都有来源、检索日期和稳定的标识符字段（DOI、PMID或注册号，如果存在）。如果很大一部分记录缺少标识符，在去重之前修复导出。

从机械层开始。匹配精确DOI、精确PMID或精确试验注册号。这些匹配可以安全合并，因为它们指向同一个底层对象。

然后对规范化书目字段进行第二轮：作者姓氏集合、年份、小写并去除标点后的标题、期刊和卷/页。标记——而不是自动合并——任何标题匹配但标识符不同，或作者和年份匹配但标题不同的记录。

一个可复用的分类表可以保持诚实：

检查点2： 自动合并仅限于精确标识符匹配。其他所有内容都标记为待审查。

对于每一对标记的记录，按固定顺序进行比较，以免仅锚定在标题上：

1. 注册号。 共享注册号是一项研究的有力证据。
2. DOI和PMID。 相同标题的不同标识符通常意味着版本，而不是重复。
3. 入组时间和样本量。 重叠的时间和相同的N表明同一队列；不同的时间表明不同研究。
4. 作者列表和单位。 有用但弱于标识符——大型试验会产生来自同一组的许多论文。
5. 期刊、卷、页、年份。 捕捉预印本到发表的配对和勘误。

当一对记录经过比较后仍为“同一研究，不同报告”时，不要删除任何一条记录。相反，创建一个研究级父项并将两份报告都附加到它上面。这保留了综合所需的关系。

当你合并真正的重复项时，保留一条规范记录，其中包含：

• 最完整的标识符集（DOI、PMID、注册号）。
• 每个合并副本的来源标签，以便检索文档保持准确。
• 附加到被丢弃副本的任何笔记、筛选决定或标签。

参考文献管理器支持这一点。Zotero的重复条目集合就是为审查和合并而构建的，其集合允许一个条目位于多个项目分组中而不被重复——当同一研究同时属于你的肺炎综述和更广泛的抗感染项目时很有用。标签可以携带主题、方法、状态或工作流标签，保存的搜索会随着文库变化自动更新。

如果你在工作文库中组织保留集，WisPaper的我的文库是你保存或上传论文并组织它们的地方。先做合并决策；再归档清理后的集合。

检查点3： 合并后，独特研究数加上链接报告数应与原始记录数减去确认的重复项数相吻合。如果不吻合，你就有一个无法解释的缺口。

这是最常被跳过的步骤。Cochrane指南要求链接一项研究的多次报告，PRISMA 2020提供了流程图模板和报告结构，使从检索到选择的路径透明。带有链接报告的研究级结构同时服务于两者。

对于肺炎示例，一项试验可能产生：

• 主要结果论文（30天死亡率）。
• 亚组死亡率的二次分析。
• 长期随访报告。
• 方案或注册条目。

所有四份都属于一项研究。你的综合从实际包含30天死亡率结局的报告中提取该结局，而研究级记录防止该试验被计算四次。

假设你的检索返回：

• 记录A： 社区获得性肺炎辅助治疗的试验，报告30天死亡率，注册号NCT-XXXX，有DOI。
• 记录B： 相同试验名称，相同注册号，不同期刊，报告亚组分析。
• 记录C： 相似标题，不同注册号，入组时间晚两年，样本量不同。

处理顺序：

1. A和B共享注册号 → 同一研究，两份报告。将它们链接在一个研究记录下；保留两者。
2. C在注册号、入组时间和样本量上不同 → 不同研究。保持分开。
3. 如果第四条记录D在标题上与A匹配，但DOI不同且年份更早，将其视为可能的预印本或早期版本，并检查它是否报告相同的入组。

结果：两项研究，三份报告。基于标题的简单去重会将A、B以及可能的D合并为一条记录并丢失亚组数据；仅基于标识符的简单处理会将A和B留作两项“研究”并重复计算该试验。

一旦研究集干净，评估问题是不同的，应针对每项研究分别记录：

• 证据级别 — 设计及其能支持什么（例如，随机试验与观察性队列）。
• 适用性 — 人群、环境和对照者是否与你的综述问题匹配。
• 间接性 — 研究偏离你的问题的地方（不同的对照剂量、不同的护理环境、替代结局）。
• 研究局限性 — 研究本身的偏倚风险问题。

将这些保留在单独的字段中可以防止一个常见错误：当真正的问题是研究对你的问题具有间接性时，却将其标记为“低质量”。在不同环境中进行良好的试验不是有缺陷的试验；它是间接的。按研究记录每个维度，而不是按报告，然后注明哪份报告提供哪个结局。

PRISMA 2020提供了清单、扩展解释以及原始和更新综述的流程图模板。将图表用作算术检查：识别记录、删除重复项、筛选记录、链接到研究的报告、纳入研究。Cochrane建议记录检索和选择过程并在发表前重新运行检索，这意味着你的去重日志应注明日期且可重现。

每次合并的最小日志条目包含：合并的记录、证明合并合理的匹配字段、审查者和日期。对于链接报告，记录研究父项和链接原因。

• 纳入标准和“一项研究”的定义已写下。
• 每条原始记录都带有来源和检索日期。
• 精确标识符重复项已合并；所有其他匹配已标记。
• 每个标记的记录对都根据注册号、DOI/PMID、入组、作者和书目字段进行了比较。
• 一项研究的多次报告已链接，而不是删除。
• 合并的记录保留来源标签和先前笔记。
• 研究级评估区分证据级别、适用性、间接性和局限性。
• 去重日志与PRISMA流程计数吻合。
• 检索计划在发表前重新运行。

在以下情况下停止并升级给第二审查者：

• 两条记录共享标题但注册号不同且入组时间重叠。
• 一条记录没有标识符且无法在任何书目字段上匹配。
• 合并会丢弃包含你主要结局的唯一报告。
• 检查点3的核对不平衡，且缺口无法追溯到已记录的合并。
• 一项研究的适用性和间接性判断在审查者之间冲突。

不要通过删除模糊记录来解决这些问题。将其标记为“未解决”，在流程中保持可见，并在综合前解决。

对于较长的任务——构建研究级结构、起草选择叙述或检查参考文献列表——代理工作流可以承担重复部分，而你保留合并决策。WisPaper的Scholar Agent区域涵盖文献综述和相关较长的研究任务。如果你担心参考文献列表包含不对应真实论文的条目，TrueCite会根据学术数据库检查BibTeX以标记幻觉参考文献。去重后运行这项检查，再用前文的标识符比较解决每条被标记的记录。

一旦清理后的集合进入你的文库，你可以通过文库问答提出基于这些论文的问题，该功能适用于上传到我的文库或从搜索结果添加的论文。这在你确定研究报告结构后最有用，这样答案映射到研究而不是重复记录。