AI辅助的同行评审能否降低在评审辅助中使用先进AI的门槛?

是的——AI辅助的同行评审通过自动化审稿人筛选和反馈等任务降低了门槛,但人工监督仍然必不可少,以避免偏见和安全风险。

直接答案

是的,AI辅助的同行评审可以降低在审稿辅助中使用先进AI的门槛,但它最适合作为支持工具,而非人类判断的替代品。例如,一项研究发现,AI辅助的审稿人筛选将筛选时间缩短了73%,同时仍有42%的情况下与编辑的选择一致[1]。另一个系统利用语言模型以86%的准确率预测论文是否被接受[3]。然而,诸如隐藏的提示注入(操纵AI审稿人)和算法偏见等风险意味着,人工监督不可或缺[2][5]

8篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

AI真的降低了在同行评审中使用高级AI的门槛吗?

是的——人工智能可以通过自动化那些原本需要专业技能的耗时任务,让高级辅助功能变得更加普及。最有力的证据来自一项对20位期刊编辑的混合方法研究:一个AI辅助审稿人遴选系统将遴选时间缩短了73%,同时仍有42%的情况下与编辑的选择一致,而编辑认为AI推荐的审稿人中另有37%是合适的[1]。这意味着编辑可以更快地找到合适的审稿人,从而降低了审稿人疲劳和工作量这一实际障碍。

支持性证据来自一个基于18,000多篇研究论文构建的系统,该系统使用DistilBERT(一种语言模型)预测论文被接受的概率,准确率达86%,而使用谷歌的PaLM 2时准确率为84% [3]。虽然准确率并非完美,但这表明人工智能能够处理初步筛选工作,从而将人力解放出来,专注于更深入的评估。另一项研究发现,由人工智能驱动的代码审查提高了学生的参与度,并在更短时间内发现了更多代码问题 [8],这表明降低门槛的效应同样适用于教育场景。

有哪些隐患?偏见、安全,以及人工监督的必要性

最大的问题在于,人工智能系统可能存在偏见,且容易受到操纵,这意味着它们无法被信任来做出最终决策。一项2026年的范围综述对189项研究进行了分析,发现当前的人工智能系统缺乏自主评估所需的领域推理能力和伦理判断力,并指出了诸如算法偏见偏向精英机构或男性作者等风险[5]。同样,一项2024年关于审稿人选择的研究也提到了对算法偏见和隐私问题的担忧,并得出结论认为,需要人工监督来弥补其在理解细微学科背景方面的局限性[1]

更令人担忧的是,一项2026年的研究表明,嵌入稿件中的隐藏指令能够操纵AI审稿人——在ChatGPT上成功率达78%,在Gemini上达86%——从而左右审稿意见和录用建议[2]。这表明,AI辅助审稿引入了新的安全漏洞,可能损害其可靠性。然而,同一研究也指出,组织者可以防御性地利用类似机制,例如为AI生成的审稿意见添加水印[2],这说明在适当保障措施下,可以在不牺牲诚信的前提下降低门槛。

我们如何负责任地降低门槛?

证据表明,人工智能应作为人类审稿人的导师和反馈工具,而非自主裁判。2026年的一份立场文件主张,大语言模型应辅助并教育审稿人,提出构建导师系统以培养审稿人的长期能力,并通过反馈机制提升评审质量[4]。这种以人为本的方法在弥补审稿人缺口的同时,也保障了评审质量。

来自多方面的实用建议包括:确保AI工具的透明度和可审计性[5],制定伦理准则并开展培训[6],以及在所有AI辅助流程中保持人工监督[1][7]。例如,2025年发表于《医学科学》的一篇综述强调,AI应辅助而非取代人类专业判断,并呼吁制定准则以维护诚信[7]。通过将AI的效率与人类判断相结合,我们既能降低使用先进AI的门槛,又能有效规避风险。

关于这些来源

本回答基于8项同行评审研究——发表于2023年至2026年,其中7项为2024年或之后发表,3项发表于Q1期刊,合计被引用85次——这些研究是从12项通过质量筛选的研究中选出的最相关者,而这12项研究又源自从超过5亿篇论文数据库中检索到的64篇文献。

本文引用的文献

1

提升同行评审效率:跨学科学术领域中人工智能辅助审稿人遴选方法的混合分析

对20名期刊编辑的混合方法研究发现,AI辅助审稿人筛选将筛选时间缩短了73%,与编辑选择的一致性为42%,识别出合适审稿人的比例为37%,且在STEM领域准确率更高(Cohen's d=0.68)。

2

如何让你的论文被AI审稿人接受:同行评审中的间接提示注入

大规模研究(5600次实验)发现,手稿中隐藏的提示注入影响了AI审稿人,在78%的ChatGPT案例和86%的Gemini案例中,这种注入操纵了评审倾向和录用建议。

3

利用机器学习、大语言模型和自然语言处理实现自动化研究综述支持

基于18,000多篇论文构建了一个系统,利用DistilBERT预测论文录用准确率达86%,使用PaLM 2时准确率为84%,同时还能推荐审稿人。

4

关于大语言模型辅助同行评审的立场:通过指导与反馈弥合审稿人缺口

本立场文件提出,借助大语言模型辅助的导师指导与反馈系统,可培养审稿人能力并提升审稿质量,同时主张不应采用全自动审稿方式。

5

学术同行评议中的人工智能:应用、风险与治理挑战的范围综述。

对189项研究的范围综述发现,人工智能被用于分诊和辅助工作,但现有系统缺乏领域推理和伦理判断能力;其风险包括保密性泄露、算法偏见以及学术声音的同质化。

6

人工智能作为分析化学领域的科学副驾驶:变革我们写作、评审与发表的方式

关于人工智能在分析化学中的应用,一篇观点文章强调了人工智能辅助同行评审的机遇与局限,倡导负责任地采用并制定伦理准则。

7

同行评审中的人工智能:在提升效率的同时维护公正性

这篇综述评估了人工智能在同行评审中的应用,指出其具有提升效率等优势,但也存在过度依赖、偏见及伦理方面的风险;建议在人类监督下将人工智能作为辅助工具使用。

8

AI驱动的同行评审流程

一项针对80名计算机科学学生的研究发现,由生成式人工智能驱动的代码审查提高了参与度,并在更短时间内识别出更多代码问题,从而促成更多修复。