如何在不抹平差异的情况下比较不同研究中的效应量

比较效应量不是一项排序练习。两项研究可能报告相同的标准化数值，但测量的是不同的构念，指向不同的方向，追踪参与者的时间长度不同，并且基于非常不同的不确定性水平。抹平这些差异会得到一个整洁的表格和一个误导性的结论。

实用的答案是：在比较任何内容之前，为每个结果捕获五个属性：测量类型、方向、不确定性、随访时间和量表。然后只比较在这些属性上保持足够兼容的结果，并记录每个被排除的结果被搁置的原因。本文提供了一个完整的流程，包含诊断检查点、一个工作示例、一个可重复使用的清单，以及当比较不应进行时的停止规则。

效应量是嵌入在设计中的一个主张。仅凭数字本身并不能告诉你测量了什么，更高的值表示更好还是更差，估计有多精确，何时测量，或者仪器能表达什么范围。当你没有这些属性就汇总或排名结果时，你比较的是标签而不是发现。

这在稿件写作、同行评审和资助的证据总结中最为重要，因为像“效应在研究间一致为正”这样的单句话可能远远超出其背后的证据。纪律是让属性从筛选一直附着到每个结果，直到你写下的句子。

从明确的资格标准开始，并据此规划搜索。Cochrane关于搜索和选择研究的指南建议根据资格标准规划搜索，使用多个来源，将自由文本词与主题词结合，记录过程，去重记录，分阶段筛选，链接一项研究的多个报告，并在发表前重新运行搜索。

对于效应量比较，资格标准应已指明结果构念、人群、比较对象以及你将接受的时间窗口。如果你让时间窗口开放，后来你将被迫将六周的结果与两年的结果进行比较，就好像它们是相同的发现一样。

检查点： 你能用一句话说明你将接受哪个结果和哪个随访窗口吗？如果不能，比较尚未定义。

可重复的搜索是方法轨迹的一部分，而不是事后考虑。PubMed支持字段标签、短语搜索、过滤器、高级搜索、保存的搜索、相似文章、引文查找以及可用时链接到全文，其搜索详情揭示了术语是如何被翻译和组合的。当你需要向合著者或审稿人展示查询是如何构建时，这种翻译视图很有用。

Google Scholar记录了按作者和标题搜索、日期排序和日期限制、被引用和相关文章、引文导出、图书馆访问链接、电子邮件提醒以及定位作品替代版本的方法。这些功能帮助你扩展种子集并找到版本，但查询本身仍然需要记录。

当你需要通过学术搜索界面查找学术论文时，WisPaper搜索是运行该步骤的地方。保留每个查询的日期日志、来源、应用的过滤器以及返回的记录数。

检查点： 同事能否根据你的日志重新运行你的搜索并得到相同的记录集？如果不能，在筛选之前修复日志。

多个报告可以描述一项研究。Cochrane的指南明确包括链接一项研究的多个报告，以及分阶段筛选。在提取之前这样做，因为同一试验的两份报告不是两个独立的效应量。

构建一个研究级别的标识符，并将每份报告附加到它上面。注意哪份报告提供效应量，哪份提供随访时间，哪份提供量表描述。

检查点： 每个提取的效应量是否都精确追溯到一个研究标识符和一份报告？如果一个数字出现在两份报告中，决定哪份是主要的并记录该决定。

这是方法的核心。对于每个结果，在查看任何跨研究比较之前记录以下内容。

记录效应量表达的内容：标准化均值差、相关性、风险或优势比、比例或其他指标。还要记录测量的构念和使用的仪器。不同仪器上的两个标准化均值差不会自动互换。

记录更高的值表示获益、伤害还是两者都不是，以及哪个组是对照组。方向错误是结论反转的最常见来源，而且一旦结果被简化为数字列，它们就不可见了。

记录点估计旁边的置信区间或等效区间，以及其背后的样本量。没有区间的点估计会招致过度自信的排名。

记录结果测量的时间点和总观察期。注意时间点是预先指定的还是事后选择的。

记录仪器的范围、单位和有意义的锚点，包括更高的分数是否更好。量表信息让读者能够解释幅度，而不仅仅是排序结果。

检查点： 每个结果的所有五个属性是否都已填充？任何空白单元格都是返回来源的理由，而不是猜测。

提前写下什么算作足够兼容。一套可辩护的规则集涉及构念、方向约定、指标家族、随访窗口和量表解释。未通过规则的结果不会被删除；它们被移到一个单独的表格中，并记录原因。

这是大多数抹平发生的地方：审稿人或合著者要求一个汇总表，而不兼容的结果被合并以满足格式。保留两个表格——一个用于可比较的结果，一个用于被排除在比较之外的结果并附上原因。

检查点： 你能说出排除每个结果的具体规则吗？如果原因是“它看起来不同”，规则集尚未明确。

在兼容组内，比较点估计及其不确定性和随访。用重叠和范围来描述模式，而不是单一汇总数字，除非你的方法和数据证明汇总合理。如果组内方向冲突，报告冲突而不是将其平均掉。

当你需要基于上传到我的图书馆或从搜索结果添加的论文提问时，图书馆问答支持该步骤，这对于在最终确定属性之前检查特定论文如何描述其仪器或时间点很有用。

检查点： 你草稿中的每个比较句子是否都指向一个兼容组以及定义它的属性？

假设你的团队正在修订一篇关于行为干预的稿件，审稿人要求你“比较纳入研究中的效应量”。你的提取表有来自七项研究的九个结果。

你应用五个属性。四个结果共享一个构念、一个方向约定、一个指标家族、一个六个月的随访窗口以及具有相同锚点的量表。三个结果使用相同的指标但在十二周时测量，超出了你声明的窗口。一个结果使用具有不同范围的不同仪器。一个结果报告的方向与其他结果相反，因为对照组被颠倒了。

你的修订做了三件事。首先，它比较四个兼容的结果，报告每个点估计及其区间，并注明共享的随访。其次，它单独呈现三个短随访结果并说明窗口。第三，它纠正了反转的结果并在脚注中解释对照组。回复信陈述了兼容性规则并指向两个表格。

为了将论文和提取轨迹保持在一起，我的图书馆允许你保存或上传论文并在WisPaper图书馆中组织它们，以便研究级别的分组保持附着在来源上。

使用相同的表格进行提取和比较阶段，以便在转移过程中不丢失任何属性。

当以下任何情况发生时，停止比较并升级到团队。

• 方向未解决。 如果你无法确定一个结果的符号约定或对照组，不要将其放入比较表。
• 构念不同。 如果两个结果测量不同的构念，无论指标相似性如何，它们都属于不同的组。
• 随访窗口不重叠。 如果你声明的窗口排除了一个结果，单独报告它，而不是在看到数据后拉伸窗口。
• 不确定性缺失。 如果无法恢复区间或样本量，按报告描述结果，并将其排除在排名陈述之外。
• 分析中途更改了规则。 如果兼容性规则在提取后发生变化，记录变化、原因以及哪些结果被重新分类。

当一个结果处于边界时——例如，随访超出窗口一周，或仪器范围相似但不完全相同——升级到合著者或方法学家。边界决策应一次性做出、记录并一致应用。

可审计的轨迹有四个部分：日期搜索日志、研究级别链接记录、包含所有五个属性的提取表，以及带有排除原因的兼容性规则集。每个部分都应版本化并与稿件材料一起存储。

对于适合WisPaper Scholar Agent区域及其文献综述、灵感或复现用例的较长研究任务，Scholar Agent是相关的工作空间。如果你的比较服务于更大的稿件工作，研究项目是WisPaper研究项目区域所在的地方，也是可以创建新项目的地方。

在提交之前，按照Cochrane指南的建议重新运行搜索，并检查是否有任何新报告改变了研究级别的分组或提取的属性。如果有，更新表格并在回复或方法部分注明变化。