审计提取日志时,先抽样字段并逐一与来源页面对照,再记录每个字段是可追溯且正确、可追溯但有误,还是需要重新提取。审计日志据此报告通过率,并对无法追溯的字段执行升级规则。
1. 定义字段与追溯目标
列出每个已提取字段(例如样本量、结局定义或偏倚风险判断),以及该字段值应出现的具体页面、表格或章节。未标明来源位置的字段无法核查,因此在这一阶段应标记为无法追溯。
2. 抽样并与来源对照
- 跨研究和字段类型抽取已提取字段的样本,并打开每个字段所引用的来源页面。
- 为每个字段记录一种状态:可追溯且正确、可追溯但不正确,或因无法在引用位置找到该值而无法追溯。
- 记录你核查的来源位置,以便第二位审核者重复对照。
3. 计算通过率
通过率报告为既可追溯又正确的抽样字段所占比例。不正确字段和无法追溯字段应分别计数,因为二者需要不同的处理:不正确的值需要更正,而无法追溯的值需要从来源重新提取。
4. 执行升级规则
在审计前设定规则。一个可行的示例:任何无法追溯的字段都升级给第二位审核者,由其从来源页面重新提取;如果重新提取的值与日志不同,则更正该字段并记录变更。升级还应覆盖引用位置不含所报告值的字段。
5. 记录决策
对每个升级字段,记录审核者、所核查的来源位置、重新提取的值和最终状态。这样形成审计轨迹,显示每个决策是如何得出的。
结构化评价在何处有帮助
Cochrane 的 RoB 2 方法通过信号问题和书面理由,在多个偏倚域上评估特定的随机试验结果,得出低风险、有一定担忧或高风险的判断。这种结构是提取审计的有用模型:每个判断都附带与来源关联的书面理由。PRISMA 2020 提供清单和流程图,用于透明报告综述的目的、所用方法以及发现和纳入的研究,可为审计的报告方式提供框架。
参考文献核查
TrueCite 将 BibTeX 与真实学术数据库对照,标记需要核实的参考文献。可用它识别需要对照引用来源进行人工核实的文献记录。
