通过分步日志披露人工智能辅助的证据合成,记录每项任务、所用工具及版本、执行的人工核验以及抽样检查的错误率,然后将其汇总为简短的披露声明。日志让读者能够判断合成在多大程度上依赖工具,以及有多少内容经过了检查。
建立监督日志
- 分别列出每个人工智能辅助步骤:筛选、数据提取和合成。对每个步骤,记录工具名称和版本、日期、接收的输入以及产生的输出。预期结果:读者无需询问即可跟随的分步记录。
- 记录每个步骤执行的人工核验。说明人员对照源记录检查了什么,例如纳入的研究是否符合纳入标准,或提取的值是否与原始论文一致。预期结果:每个人工智能输出都与一项具名检查关联。
- 对输出进行抽样并报告错误率。说明每个步骤抽样的项目数、发现的错误数以及由此得出的错误率。预期结果:读者可以看到辅助步骤在您的样本中产生错误结果的频率。
- 最终确定披露声明。用简短段落总结步骤、工具及版本、核验和错误率,并指引读者查看完整日志。预期结果:声明和日志在每个步骤上保持一致。
每条记录应包含的内容
对于筛选,注明工具处理的记录以及人员为确认纳入决定所应用的标准。对于提取,注明提取的字段以及人员将哪些值与原始来源进行了比较。对于合成,注明工具帮助起草的主张以及人员将其中哪些追溯到了引用的研究。
参考文献检查应归入同一日志。ICMJE 建议建议作者对照原始来源核实参考文献,尽可能引用直接来源,并识别撤稿。记录人员检查了哪些参考文献以及检查发现了什么。
使披露符合综述的报告标准
PRISMA 2020 为原创和更新的系统综述提供了报告清单、扩展清单、摘要清单和流程图。使用其清单将披露放在综述报告结构期望的方法和过程细节处。《Cochrane 手册》描述了系统综述的规划检索、选择来源、制定检索策略、检索参考文献列表和其他来源、记录检索以及管理记录;其文档指南展示了读者对检索和选择所期望的过程细节水平。
保持声明可读
用平实的句子撰写披露:哪些步骤使用了人工智能、哪个工具及版本、人员核验了什么以及抽样的错误率。将完整日志作为表格或附录附上,使声明保持简短,同时细节仍然可用。
