审稿人应通过判断研究设计是否严谨、统计功效是否足以检测出有意义的效果来评估零结果稿件,而非因缺乏统计显著性而予以否定。零结果并非失败的研究——当方法严谨、分析透明、结论恰当审慎时,它是一项有效的科学贡献。
1. 首先评估研究设计与统计功效
在查看p值之前,请问:如果效应存在,这项研究能否检测到它?
- 检查样本量、效应量假设和统计功效。功效不足的研究得出的零结果不具有信息量,不能算作贡献。
- 评估实验对照、随机化和测量工具是否可靠。方法薄弱会使零结果失去意义。
- 如果研究具有足够的统计功效(例如,检测临床或理论相关效应的功效达到80%以上),那么零发现是可信的,值得发表。
2. 关注精确度,而非仅关注显著性
审稿人常将“零”等同于“无效应”,但宽置信区间与窄置信区间截然不同。
- 零结果若伴随围绕零点的窄置信区间,表明效应确实可忽略不计。
- 零结果若伴随宽置信区间,则说明研究尚无定论——应将其标记为局限性,而非确定性的阴性发现。
- 要求作者报告效应量和置信区间,而不仅仅是p值,以便读者判断实际重要性。
3. 评估预注册与透明度
零结果容易受到p值操纵、HARKing(结果已知后提出假设)和选择性报告的影响。
- 检查假设、分析计划和停止规则是否已预注册。若未预注册,请作者明确说明哪些是探索性分析、哪些是验证性分析。
- 寻找多重检验校正、敏感性分析和稳健性检验(如不同统计模型、异常值处理)的证据。
- 如果作者在写作时使用了WisPaper的Scholar QA,他们的每项主张都会有可追溯的证据链——审稿人应期望稿件方法部分具有同等水平的透明度。
4. 考虑理论与实际价值
如果零结果挑战了广泛持有的假设、缩小了参数范围或重复了先前的零发现,则可能具有高度信息量。
- 请问:这一结果是否完善了理论、指导了未来研究或具有政策意义?
- 在高风险领域(如药物疗效、气候干预)中执行良好的零结果研究,比设计草率的阳性结果更有价值。
5. 撰写建设性的审稿决定
如果方法严谨且零结果得到清晰解读,建议“小修”或“接受”——不要仅仅因为结果为阴性而拒稿。建议作者:
- 明确说明研究能得出和不能得出的结论。
- 讨论零结果的可能原因(如测量误差、依从性低、效应确实不存在)。
- 提供简短的“未来方向”部分,将零结果定位为前进的阶梯。
核心要点: 审稿人应将零结果视为证据,而非失败。奖励严谨、透明和诚实的解读——这些品质才能使零结果稿件具有可发表性和领域价值。
