大多数读者在讨论部分遇到研究局限性,作者在那里叙述出了什么问题。那段文字有用,但它不是局限性评估。作者选择、框定,有时还软化他们报告的内容。你可以在指南会议或学术批评中辩护的局限性,必须从研究的设计和方法中构建,然后与它威胁到的具体推断联系起来。
本文提供了一个可重复的流程:将作者报告的局限性与基于设计的关切分开,将每个关切与它影响的论断联系起来,并决定何时停止或升级。运行示例是一个聚焦的例子:对特定成人人群的非药物干预进行系统评价,有一个患者重要的结局,如12周时的症状改善。同样的步骤适用于任何设计。
为什么讨论部分不是正确的起点
作者报告的局限性是关于研究的一个声明,而不是你评估的发现。它们告诉你作者认为值得披露的内容。它们不告诉你哪些设计特征实际上限制了哪些推断。如果你复制它们,你就继承了作者的框架,并错过了他们没有提出的关切。
NIH关于科学严谨性和可重复性的指南将仔细评估先验知识、优势、弱点、知识空白、透明方法、验证和可重复性视为严谨研究实践的核心部分。这个框架是一个有用的纠正:局限性是对方法和推断的评估,而不是一个修辞段落。
所以反转工作流程。从设计和论断开始,自己生成关切,然后阅读讨论,看看作者添加或省略了什么。讨论成为交叉检查,而不是来源。
步骤1:在寻找局限性之前固定推断
局限性只有相对于一个论断才有意义。在阅读讨论之前,写一句话陈述你正在评估的推断。要具体说明人群、暴露或干预、比较者、结局和时间范围。
对于工作示例:在患有目标疾病的成人中,与常规护理相比,干预是否在12周时改善主要症状评分?
然后写下研究实际做出的论断。这些通常不同。一项试验可能声称有效性,而其数据仅支持替代或自我报告测量的短期改善。命名研究的论断与你目标推断之间的差距是第一个诊断检查点。
步骤2:构建基于设计的关切列表
遍历可能扭曲你在步骤1中固定的推断的设计元素。从方法中生成关切,而不是从讨论中。一个实用的提示集:
- 选择: 参与者是如何招募的,谁被排除了?分析的人群是否与你的推断中的人群匹配?
- 分配和混杂: 对于随机设计,分配是如何隐藏的?对于观察性设计,哪些混杂因素被测量了,哪些合理的混杂因素没有被测量?
- 测量: 结局是否使用经过验证的工具测量,由知道分组分配的评估者,在预先指定的时间点?
- 缺失数据: 丢失的比例是多少,缺失结局是如何处理的?
- 分析: 分析是否预先指定,报告的分析是否与注册或发表的方案匹配?
- 报告: 方法描述是否足够透明以判断上述内容?
这就是透明方法和可重复性(如NIH严谨性指南所强调)变得可操作的地方:如果你无法判断某件事是如何做的,这本身就是关于报告的一个基于设计的关切。
步骤3:根据每个关切威胁的内容进行分类
并非每个关切在相同意义上都是“研究局限性”。保持四个类别区分,因为它们导致不同的结论。
| 类别 | 它回答的问题 | 运行研究中的例子 |
|---|---|---|
| 研究局限性 | 这个设计或实施是否使结果产生偏倚? | 结局评估者未设盲 |
| 间接性 | 研究的人群、干预或结局是否与我的推断匹配? | 试验招募的人群比我的目标群体更广泛 |
| 适用性 | 结果在我的环境中是否成立? | 实施需要目标环境中不可用的资源 |
| 证据级别 | 这个设计对于这个问题有多强? | 单个小试验 对比 一系列一致的试验 |
一个关切可以属于多个类别,但命名主要类别。这防止了将每个不匹配都标记为“局限性”的常见错误,这种错误扁平化了对于指南和学术工作重要的区分。
步骤4:将每个关切与受影响的推断联系起来
对于每个关切,写一个两部分陈述:设计事实,然后它限制的推断。保持第二部分狭窄。
- 设计事实: 评估者对分组分配未设盲。 受影响的推断: 对自我报告症状评分的估计效应可能被夸大;试验结论的方向不如客观结局那么可靠。
- 设计事实: 22%的随机参与者缺失12周结局。 受影响的推断: 12周效应估计不确定,持续获益的声称支持较弱。
- 设计事实: 试验排除了目标人群中常见的合并症参与者。 受影响的推断: 结果对该亚组是间接的;它不能在那里建立获益。
这是核心纪律:没有命名推断就没有局限性,没有推断比设计事实支持的更广泛。
步骤5:最后阅读讨论,作为交叉检查
现在阅读作者的局限性段落。对于每个作者报告的局限性,问:它是基于设计的吗,它是否映射到你已经生成的关切?然后问反向:你的哪些关切作者没有提到?
记录三列:作者报告、基于设计、未处理。未处理列通常是这个练习最有价值的输出,因为这是你的评估添加了论文没有的东西的地方。
工作示例:从段落到评估
假设讨论指出:“我们的研究有局限性。它是在单中心进行的,需要更长的随访。”
复制粘贴评估会重复这两点。基于设计的评估反而产生:
- 单中心(作者报告)。 设计事实:从一个地点招募。受影响的推断:对其他环境的适用性不确定;内部估计不一定有偏倚。
- 短随访(作者报告)。 设计事实:仅在12周测量结局。受影响的推断:关于12周后持久性的声称没有支持。
- 未设盲的结局评估(基于设计,未处理)。 受影响的推断:自我报告的症状效应可能被夸大。
- 差异性缺失(基于设计,未处理)。 设计事实:失访因组而异。受影响的推断:12周比较有偏倚风险。
- 对目标人群的间接性(基于设计)。 设计事实:排除常见合并症。受影响的推断:结果不转移到该亚组。
注意作者报告的项目是真实的但不完整,两个最关键的关切根本不在段落中。
可重复使用的检查表
对你评估的每项研究使用这个:
- 在阅读讨论之前写下推断
- 研究的实际论断与目标推断比较
- 从方法而非讨论生成基于设计的关切
- 每个关切分类:局限性、间接性、适用性或证据级别
- 每个关切与它限制的具体推断配对
- 作者报告的局限性与基于设计的关切映射
- 未处理的关切单独记录
- 没有推断比设计事实支持的更广泛
文献工具在工作流程中的位置
局限性评估依赖于拥有正确的报告和描述它们的方法部分。Cochrane关于检索的指南建议从合格标准规划检索,使用多个来源,将自由文本词与主题词结合,记录过程,去重记录,分阶段筛选,链接一项研究的多份报告,并在发表前重新运行检索。这些实践在这里很重要,因为你在一个报告中看到的局限性可能被方案、伴随论文或注册记录澄清。
当你需要定位一项研究的主要报告和任何链接报告时,使用WisPaper 学术搜索通过学术搜索界面查找学术论文。当你为一项研究组装报告集时,将它们保存在我的文库中,以便方法部分和伴随文件在你评估时保持在一起。对于较长的评估或综述任务,Scholar Agent区域支持文献综述和相关研究任务。当你想要基于已收集的论文提问时,文库问答让你查询上传到我的文库或从搜索结果添加的论文。
PRISMA 2020为原始和更新的系统评价提供了报告检查表、扩展解释、摘要检查表和流程图模板,包括检索、选择和合成方法的透明报告。如果你的评估为综述提供信息,将你的局限性报告与这些结构对齐,而不是与任何单篇论文的讨论对齐。
停止和升级规则
使用明确的规则,使评估可预测地结束:
- 停止当每个基于设计的关切都有一个命名推断,并且你已经交叉检查了讨论。进一步阅读增加很少。
- 升级到方法学专家当一个关切依赖于你无法从报告中验证的技术细节,例如统计模型对缺失数据的充分性。
- 升级到检索链接文档当方法描述太薄而无法判断一个关切;方案或伴随报告可能解决它。
- 升级到更广泛的证据评估当你的问题是关于一组证据而不是一项研究;单个研究的局限性不能解决证据级别的判断。
- 不要升级一个关切为关于有效性的结论。局限性限制一个推断;它本身不建立相反的结果。




