为什么小型试验会让效果显得更大
当一项试验招募的人数太少,无法可靠地检测出它要找的效果时,这项试验就是“样本量不足”。这听起来只是数据不够,但有一个更隐蔽的后果:在小型样本中,结果波动更大,而那些碰巧得出较大正面效果的试验,最有可能被发表和关注。于是,你读到的结果的平均值可能向上偏移,偏离真实效果。
运动与认知领域的文献恰恰表现出这种脆弱性。在关于运动与认知益处的争论中,一篇回复文章把样本量不足的设计与“切香肠式发表”(把一项研究拆成多篇发表)、均值回归、类安慰剂效应、选择性报告和发表偏倚并列为严重问题,认为它们削弱了人们对益处的自信断言[2]。这些都不是无关紧要的记账问题;每一个都可能把报告的效果推向同样乐观的方向。
试验本身也承认规模太小
该领域有几项试验公开承认自己样本量不足,这说明问题有多普遍。一项针对有认知障碍的老年人的随机试验,考察包括运动在内的生活方式改变,指出该试验可能样本量不足,无法检测出运动组与对照组之间的差异[4]。一项针对痴呆症患者的体感游戏(运动结合电子游戏)试验报告称,尽管样本量不足,它仍在次要的认知和社交结果上发现了正面效果[5]。
最后一个例子很有启发性。一项报告正面效果的小型试验并不能证明存在夸大,但这恰恰是让人难以排除夸大的模式:不大的样本产生了令人鼓舞的结果,而关于统计功效低的告诫也随之而来。一项针对轻度认知障碍老年人的运动训练荟萃分析同样指出,它所汇总的试验统计功效低[1];而一项关于运动剂量与老年人认知功能的研究也自称样本量不足,无法检测出它所考察的效果[3]。
运动对认知到底有没有帮助,我们有多大把握?
不确定性比样本量问题更深。同一篇批评性回复指出,在世界卫生组织指南所依据的科学报告中,关于身体活动与认知功能的大多数证据被评为低或极低确定性,这意味着真实效果可能与估计效果相差很大[2]。对于成年人,有六项系统综述被评为低或极低确定性,其中一项中等确定性的综述在考虑主动对照组后发现没有显著效果[2]。
这对最初的问题很重要,因为它改变了“高估”到底意味着什么。如果潜在的益处本身很小或不确定,那么小型试验得出的夸大估计就不是一个边缘性的担忧,而是解释为什么文献看起来比确定性评级所暗示的更令人鼓舞的核心原因。不过,这些论文都没有做过样本量不足与样本量充足的试验之间的直接比较,所以任何夸大的幅度在这里仍未得到测量[1][2]。
怎样才能真正回答这个问题
要了解样本量不足的试验是否会高估益处,你需要按统计功效对试验分组,比较各组的效应量,最好同时考虑发表偏倚和选择性报告。这里的论文为这种分析奠定了基础,即普遍存在的样本量不足和一组夸大效果的偏倚,但它们并没有实际进行这种分析[1][2]。
对于试图权衡运动与认知相关说法的读者来说,实用的结论是:对小型正面试验保持有分寸的怀疑,并查看该结果是否在更大规模的试验中、或在检查过这些偏倚的综述中站得住脚。对样本量不足试验的担忧是有充分依据的;但高估的具体幅度仍是一个悬而未决的问题。
本文引用的文献
运动训练对轻度认知障碍老年人认知功能的影响:随机对照试验的荟萃分析
这项针对轻度认知障碍老年人运动训练的荟萃分析指出,纳入的试验统计功效低,但并未检验样本量不足的试验是否会高估益处。
回复:不要低估运动的认知益处
这篇回复认为,运动与认知领域的文献存在样本量不足的设计、切香肠式发表、均值回归、类安慰剂效应、选择性报告和发表偏倚等问题,并指出大多数相关证据被评为低或极低确定性。
运动与老年人认知功能之间是否存在剂量反应关系?
这项关于运动剂量与老年人认知功能的研究报告称,其样本量不足以检测出所考察的效果。
有认知障碍老年人的生活方式与神经认知:一项随机试验
这项针对有认知障碍老年人生活方式改变的随机试验承认,它可能样本量不足,无法检测出运动组与对照组之间的差异。
体感游戏对痴呆症患者认知和社交功能的影响:一项随机对照试验
这项针对痴呆症患者的体感游戏随机试验报告称,尽管样本量不足,它仍在次要的认知和社交结果上发现了正面效果。
