使用AI时,我们如何确保其帮助的研究是可重复的?
为了确保AI辅助研究的可重复性,研究人员必须在实验过程中实施强有力的文档实践和透明的工作流程。可验证的结果复制需要对使用人工智能工具时的方法细节给予细致关注。
可重复性依赖于几个关键因素:全面记录所有训练数据源、预处理步骤和数据处理程序;提供确切的软件版本、库和硬件规格;永久存档原始数据和处理后数据;共享完全可重现的代码,包括详细的配置文件和脚本;指定与生成性AI模型一起使用的确切提示、参数和种子;以及透明披露固有的AI模型局限性、随机性和潜在偏见。开源框架、容器化技术和已建立的计算笔记本通过使可执行代码共享与详细的来源记录相结合,促进了这一过程。
实施可重复性涉及整合版本控制系统,如Git用于代码,并利用如Zenodo或Figshare等仓库存放数据集、源代码、训练模型权重及详细记录程序的README文件。使用实验跟踪和环境复制工具,如DVC或像Docker这样的容器平台,进一步标准化工作流程。研究人员还应详细说明提示工程迭代,并对所有数字文物进行校验和验证。至关重要的是,同行评审的传播应包括足够的补充材料,以独立验证AI过程和输出。