AI能帮助进行研究质量评估吗？

AI可以帮助研究人员为研究质量评估做准备，但不应默默做出最终评估判断。质量评估取决于研究设计、领域标准、报告细节和评审者专业知识。

当AI帮助定位方法、总结局限性、识别缺失细节并组织评估笔记时，它是有用的。当它将这些笔记转化为未经核实质量分数时，就变得有风险。

本指南解释了AI在研究质量评估中能提供帮助的地方，以及人类判断仍然必不可少的地方。

研究质量评估是评估评审者对研究方法和证据有多大信心的过程。它询问研究的设计、实施和报告方式是否支持其主张。

评估可能考虑：

• 研究设计。
• 抽样。
• 测量。
• 数据收集。
• 分析。
• 偏倚风险。
• 缺失数据。
• 混杂因素。
• 透明度。
• 局限性。

确切标准取决于研究类型和综述方法。

相关性询问一篇论文是否符合综述问题。质量询问证据对主张的可信度如何。

一篇论文可以是：

• 相关且高质量。
• 相关但有限。
• 高质量但超出范围。
• 有趣但不能作为证据使用。

筛选决定一篇论文是否属于。评估帮助决定它应占多大权重。

关于筛选决策，请参阅文献综述全文筛选清单。

AI可以帮助完成使评估更容易的准备工作。它可以检查一篇论文，并引导评审者关注重要部分。

AI可以帮助：

• 定位方法部分。
• 总结抽样细节。
• 识别结果测量。
• 列出所述局限性。
• 突出缺失细节。
• 比较不同论文的方法。
• 起草评估笔记。
• 组织证据供评审者检查。

这些任务节省时间，因为评审者可以更快地找到相关信息。

对于最终质量判断、偏倚风险评级或研究权重，不应单独信任AI。这些决策需要标准和专业知识。

对以下方面要谨慎：

• 最终评估分数。
• 偏倚风险评级。
• 因果主张。
• 统计解释。
• 局限性是否改变结论。
• 是否应排除某个来源。
• 一项研究是否比另一项更重要。

AI可以建议检查什么。评审者应决定证据意味着什么。

关于负责任的边界，请参阅研究团队负责任AI自动化清单。

评审者应从研究设计以及它是否适合研究问题开始。不了解研究试图做什么，就无法评估其质量。

检查：

• 研究提出了什么问题？
• 使用了什么设计？
• 设计是否合适？
• 研究了什么人群、数据集或材料？
• 使用了什么比较？
• 测量了什么结果或概念？
• 作者陈述了哪些局限性？

一旦设计明确，评估的其余部分就有了背景。

AI可以通过指向部分、表格、图表和陈述来帮助定位评审者需要的证据。这是AI在评估中较安全的用途之一。

要求AI查找：

• 纳入标准。
• 样本描述。
• 数据来源。
• 测量程序。
• 分析方法。
• 缺失数据处理。
• 局限性。
• 资金或利益冲突说明。

然后自己检查所引用的部分。只有当来源确实包含所声称的信息时，定位支持才有用。

关于提取检查，请参阅AI文献综述数据提取质量控制。

泛泛的评论会削弱评估。诸如“样本量小”或“推广性有限”之类的短语，除非与综述问题联系起来，否则是不够的。

撰写评估笔记时要解释：

• 局限性是什么。
• 它出现在论文的哪里。
• 为什么它对您的综述重要。
• 它是否影响纳入、解释或权重。
• 其他研究是否具有相同的局限性。

好的评估笔记是具体的。它们展示了质量如何影响综合。

评估应塑造证据在综述中的使用方式。它不应放在一个从不影响写作的单独文件中。

使用评估来决定：

• 哪些发现应获得更多权重。
• 哪些主张需要谨慎措辞。
• 哪些研究应单独分组。
• 哪些冲突可能来自方法质量。
• 哪些局限性解释了证据差距。

例如，如果几项研究使用了薄弱的测量方法，综合应说明证据受到测量质量的限制。

关于冲突分析，请参阅如何在文献综述中发现冲突证据。

当AI协助影响评估笔记或决策时，应记录AI协助。记录应将AI帮助与评审者判断分开。

记录：

• 使用的工具。
• 论文或来源集。
• 执行的任务。
• 审查的输出。
• 检查的来源位置。
• 评审者决策。
• 不确定性或冲突。
• 最终评估笔记。

这有助于团队解释AI做了什么以及评审者确认了什么。

通过定义您需要做出的决策、该决策所需的证据以及证明决策如何做出的记录，将建议转化为可重复的工作流程。在质量和方法审查中，问题很少是缺少一个工具。问题通常是搜索、阅读、检查和写作发生在没有共享规则的单独地方。

使用简短的操作程序：

• 命名综述问题或子问题。
• 定义您正在使用的来源集。
• 决定什么算作下一步的足够证据。
• 对该步骤中的每篇论文应用相同的标准。
• 标记不确定的情况，而不是强迫一个干净的答案。
• 保留可能进入最终综述的主张的来源位置。
• 在每次主要搜索、筛选或写作会话后审查工作流程。

这个程序保持工作进展，而不会使综述变得粗心。它还让监督者、合作者和未来的您能够理解为什么来源集发生了变化。

记录那些以后难以重建的部分。您不需要记录每一次点击的日记，但您需要足够的细节来解释从问题到来源再到主张的路径。

对于这个主题，最有用的记录通常包括研究设计、方法细节、证据质量、局限性和评审者判断。添加日期、使用的工具或来源、评审者状态和下一步行动。如果AI协助了该步骤，写下它帮助了什么以及人类检查了什么。

记录应区分发现和证据。工具可能帮助找到一篇论文，但论文本身必须支持主张。摘要可能帮助对来源进行分类，但原始来源应支持文献综述中出现的任何陈述。

在写作之前，检查工作流程是否产生了可用的证据或仅是有用的笔记。笔记帮助您思考。证据支持一个句子。

询问：

• 这个来源将支持哪个主张？
• 主张是否比证据更窄？
• 方法、样本、结果或概念细节是否已检查？
• 局限性是否可见？
• 冲突论文是否得到处理而不是被忽略？
• 引用是否真实、最新且相关？
• 另一个读者能否理解这个来源是如何进入综述的？

如果答案不清楚，将要点保留在笔记中，而不是将其移入草稿。这是防止AI辅助研究变成精致但薄弱的写作的小停顿。

WisPaper可以通过帮助研究人员在正式质量评估之前查找、保存和检查论文来支持评估准备。Deep Search、Scholar Agent和Inspiration Discovery支持自然语言学术搜索，而论文卡片显示来源标签、摘要、作者、出版详情和预览图像。

保存或上传的论文可以保存在My Library中。Library QA可以根据用户自己的库回答问题，这可能帮助评审者在正式评估之前定位方法细节或比较所选论文的局限性。

WisPaper应作为发现和来源检查的支持。最终质量评估应遵循所选的评估框架并由研究人员检查。

试用WisPaper