要确认研究数据,您必须批判性地评估研究的方法论 (methodology),交叉核对原始的补充文件,检索重复研究 (replication studies),并验证所使用的统计分析。
依赖有缺陷或伪造的数据可能会让您自己的研究项目偏离正轨。无论您是在进行文献综述 (literature review) 还是准备在先前研究的基础上开展工作,采取系统的方法进行数据验证都能确保您的基础来源可靠。
以下是验证研究结果的最有效步骤。
仔细审查方法论
任何数据集的可靠性都源于其收集方式。仔细阅读方法部分,确保实验设计科学合理。注意检查是否有充足的样本量、适当的对照组以及清晰的变量定义。如果方法论含糊不清或省略了关键步骤,这将是数据完整性 (integrity) 方面的一个重大危险信号。
检查原始数据和补充文件
如今,许多知名期刊要求作者践行开放科学 (open science),将他们的原始数据集上传到 OSF、Dryad 或 GitHub 等开源存储库。只要有可能,请下载这些补充材料。将原始数据与已发表的图表和表格进行抽查比对,是确认数据未被歪曲或选择性报告的最佳方法之一。
检查可重复性与重复研究
确认研究数据的黄金标准是可重复性 (reproducibility)。检索学术数据库,查看是否有其他独立的研究团队成功复现了该研究的结果。如果您需要在自己的实验室中复现结果以进行验证,WisPaper 的 PaperClaw 可以通过分析上传的 PDF 并生成完整的实验复现计划来为您提供帮助,确保您不会遗漏任何细微的方法论细节。
验证统计显著性
数据有时可能会通过“p值操纵” (p-hacking) 等做法被篡改,即研究人员进行多次测试,直到得出具有统计显著性的结果。不要只看 p 值;还应检查置信区间 (confidence intervals)、效应量 (effect sizes),以及所选的统计模型是否真正适用于所收集的数据类型。
查阅发表后的同行评审
同行评审 (peer review) 并不会在论文发表后就终止。要确认学术界对某个数据集的更广泛共识,请查看 PubPeer 或撤稿观察 (Retraction Watch) 数据库等发表后的讨论平台。在这些平台上,科学界经常会指出原始审稿人可能遗漏的数据异常、图像重复或方法论缺陷。
