为什么AI智能体在基准测试中表现亮眼,却在现实世界中频频失灵?
AI智能体在精心设计的基准测试中往往能取得很高的成功率,但这些数字可能掩盖了它们在任务变得更难或更不可预测时的脆弱性。例如,GENIUS框架能够自动化量子模拟协议,在295个多样化基准测试中完成了约80%,但在最具挑战性的案例中,其成功率呈指数级下降,跌至7%的基线水平[1]。这意味着,尽管该智能体在常规任务上表现出色,但在需要更深理解或新颖问题解决能力的边缘案例上却力不从心。
同样地,A-Lab作为一个无机合成自主实验室,在17天内成功合成了58种目标化合物中的41种(成功率71%),但其失败案例为改进合成设计提供了直接建议[7]。这些失败并非单纯的统计噪声——它们揭示了AI智能体往往缺乏预判实验陷阱的能力,例如不稳定的中间体或意外的反应路径,而这些是人类专家可能预见到的。
当数据稀缺或实验中途任务发生变化时,会发生什么?
一个主要的失败点是数据稀缺:基于有限数据集训练的AI智能体往往无法适应新情况,也无法做出有信息量的实时决策。2025年一项关于电子材料自主实验的研究指出,即使是先进的AI系统,在面对有限数据集时也缺乏做出有信息量决策所需的适应性,因此他们开发了一个用于实时监控和人机协作的AI顾问[2]。这凸显出,如果没有足够的数据,智能体可能会做出糟糕的选择,或者无法意识到自己已经偏离正轨。
数据质量和标准化也是反复出现的问题。2025年一篇关于人工智能在电池制造中应用的综述指出,生产各阶段的数据碎片化、高质量数据集不足以及缺乏标准化数据协议,是阻碍人工智能采用的关键障碍[6]。同样,2025年一篇关于人工智能用于材料发现的综述强调,数据质量不一致和模型可解释性有限是长期存在的挑战[5]。这些问题意味着,即使智能体能够运行,其输出也可能不可靠或难以令人信服。
AI代理真的能理解材料,还是只能预测材料?
大多数人工智能智能体擅长预测,但在推理、解释和提出假设方面表现欠佳——而这些能力对于真正的科学发现至关重要。一篇2026年的观点文章指出,现代人工智能在性质预测方面表现出色,但在实现理解和适应性推理等根本性科学目标上受到限制[4]。这是一个关键局限,因为材料发现往往需要形成新假设,并根据意外结果修正既有认知。
一些方法试图通过融合物理学与机器学习来解决这一问题。例如,ProtAgents利用多个具备不同能力(包括基于物理的模拟)的AI智能体协同设计蛋白质,从而实现更灵活、多目标的问题求解[3]。然而,该系统仍依赖于预定义的智能体角色,可能无法泛化到全新类型的问题。多篇综述的共识是,将物理知识与数据驱动模型相结合的混合方法,对于提升推理能力和泛化性至关重要[5][8]。
为何人类监督仍然不可或缺?
尽管自主性有所提升,人类与人工智能的协作对于成功的材料发现仍至关重要。A-Lab的高成功率是在主动学习和人类监督下实现的,其失败案例也为改进提供了可操作的建议[7]。同样,面向电子材料的AI决策界面强调了交互式人机协作,以适应不同实验阶段的需求[2]。这些例子表明,AI智能体尚未准备好取代科学家;它们是增强人类专业知识的工具。
一篇关于人工智能在材料科学中应用的2025年综述文章呼吁建立伦理框架,以确保人类与人工智能负责任地协作,并解决偏见、透明度和问责制方面的担忧[5]。另一篇综述则强调可解释人工智能的重要性,以提升模型可信度和科学洞察力[8]。若无人类监督,人工智能代理可能产生技术上正确但科学上无意义或具有误导性的结果。
关于这些来源
本回答基于8项同行评审研究——发表于2023年至2026年,其中7项为2024年或之后发表,7项发表于Q1期刊,合计被引789次——这些研究是从15项通过质量筛选的研究中选出的最相关成果,而后者又源自从超过5亿篇论文数据库中检索到的59篇文献。
本文引用的文献
GENIUS:一种用于自主设计和执行模拟协议的智能体AI框架
GENIUS是一种用于量子模拟的AI智能体工作流,在295项基准测试中完成了约80%,但在更困难的案例中成功率衰减至7%的基线水平,显示出其表现随任务不同而具有脆弱性。
自适应AI决策界面,用于自主电子材料发现
用于电子材料的AI决策界面采用了AI顾问进行实时监测和人机协作,在64次试验中实现了广泛的性能范围,并克服了数据稀缺的问题。
ProtAgents:通过结合物理学与机器学习的大语言模型多智能体协作实现蛋白质发现
ProtAgents利用多个基于LLM的智能体,各自具备不同的能力(例如物理模拟),协同设计蛋白质,从而实现多目标问题的求解。
超越预测的认知AI:迈向推理与发现
一篇评论文章认为,人工智能在材料发现领域正朝着科学推理的方向发展,但当前的人工智能擅长预测,而非理解或适应性推理。
用于材料发现、开发与优化的人工智能
一篇综述强调了人工智能对材料发现的变革性影响,但也指出了诸如数据质量不一致、模型可解释性有限以及缺乏标准化数据共享框架等挑战。
加速电池革命:从材料发现到智能制造的AI驱动多尺度创新
一篇关于人工智能在锂离子电池领域应用的综述指出,数据碎片化、高质量数据集不足以及缺乏标准化数据协议,是阻碍人工智能采用的关键障碍。
用于加速无机材料合成的自主实验室
A-Lab是一个自主实验室,在17天内从58个目标中合成了41种新型化合物,而失败案例则为改进合成设计提供了可操作的建议。
通过人工智能推动材料发现
一篇综述文章强调了人工智能在材料发现中的作用,包括自主实验室和可解释人工智能,但也指出了模型泛化能力、标准化数据格式以及实验验证方面的挑战。
