在宣称你的研究具有可重复性之前,请先验证另一位研究者仅凭你提供的信息能否独立复现你的结果——这意味着你需要检查文档记录、数据可用性、代码功能以及方法透明度。
文档完整性
审查你的方法部分是否包含足够详细的复现信息。这意味着要明确指定所使用的软件、库和工具的确切版本,而不仅仅是名称。记录所有参数设置、随机种子和预处理步骤。如果在分析过程中做出了任何主观判断,请解释推理过程,以便他人能做出一致的决策。
数据与材料可获取性
确认所有数据、代码和材料确实以你声称的格式可用。测试你的数据仓库链接,确保它们有效。如果使用受限访问的数据,请提供清晰的说明,指导他人如何获取相同的数据集。对于计算工作,请包含示例数据集,以便在无需完整数据访问的情况下演示你的流程。
代码验证
在一个全新的环境中运行你的分析代码——最好是在不同的机器或干净的容器中。这能捕捉到未记录的依赖项和仅在你的系统上有效的硬编码路径。检查你的代码在重新运行时是否产生相同的输出(在可接受的数值容差范围内)。如果你在处理实验方案,考虑请一位同事仅根据你的书面说明尝试执行该流程。
环境规格
完整记录你的计算环境:操作系统、硬件规格(尤其是对于依赖GPU的工作),以及任何系统级配置。对于湿实验工作,请指定设备型号、试剂批号以及相关的环境条件,如温度和湿度。
统计可重复性
区分计算可重复性(相同代码+数据=相同输出)和统计可重复性(相同方法+不同样本=一致结论)。报告置信区间和效应量,而不仅仅是p值。如果你的结果依赖于随机抽样,请展示多次运行中的稳定性。
对于复杂的实验设置,PaperClaw 可以通过解析已发表的方法部分并生成结构化的复现计划来提供帮助——这对于在提交前验证你自己的文档是否符合可重复性标准非常有用。
