哪些证据缺口阻碍了AI编程代理的发展？

为什么编码智能体在真实的科学和软件任务中会失败？

最大的差距在于，智能体无法处理流程不明确的任务——即指令不完整或路径未清晰说明的任务。在2026年名为AutoMat的基准测试中，研究人员测试了AI智能体复现计算材料科学论文中结论的能力。表现最佳的智能体成功率仅为54.1%[2]。当智能体仅凭论文文本（而非逐步指令）重建工作流程时，其失败率急剧上升，主要原因在于流程不完整、方法偏差以及执行脆弱性[2]。这意味着当前的智能体非常脆弱：它们在清晰、定义明确的编码基准测试中表现良好，但一旦面对人类开发者日常处理的那种模糊、真实的现实任务时，就会崩溃。

一项2025年针对15451次AI智能体代码重构（涉及12256个拉取请求）的独立研究发现了一个相关模式：智能体 overwhelmingly 执行的是低层级、以一致性为导向的修改，例如更改变量类型（占重构操作的11.8%）或重命名参数（占10.4%），而非人类优先考虑的高层级设计变更[1]。智能体的重构确实带来了微小但统计上显著的改进——类的中位数大小减少了15行——但这种狭窄的修改范围表明，智能体缺乏应对复杂架构变更所需的战略理解能力[1]。综合来看，这些研究表明，智能体在局部、定义明确的调整中表现有效，但在需要重构上下文或做出设计层面决策的任务上则遭遇瓶颈。

糟糕的编译器反馈如何拖累智能体？

一个关键但常被忽视的环节，是智能体与编译器之间的接口。2026年的一项研究发现，传统编译器接口生成的优化提示是为人类直觉而非机器逻辑设计的——它们结构松散、信息有损，且常常模棱两可[4]。当智能体获得精确、结构化的反馈时，其成功率相比模糊提示提升了三倍（3.3倍改进）。更糟糕的是，模糊反馈反而造成了损害：它引发了语义破坏性幻觉，导致智能体做出改变程序含义的修改[4]。研究人员得出结论，瓶颈在于接口本身，而非智能体——小型模型在获得清晰、结构化的编译器反馈时同样表现出色[4]。这表明，改进编译器与AI智能体的沟通方式，无需更大模型即可释放显著性能提升。

这一发现与重构研究[1]中的整体趋势一致：智能体擅长执行定义明确的局部修改，但在面对模糊或不完整的反馈时则表现不佳。编译器研究[4]表明，即使是一个小型模型，只要反馈足够精确，也能成功完成任务。这意味着当前许多失败案例的根源在于工具之间的沟通不畅，而非智能体本身缺乏智能。

当前编程代理测试中缺失了什么？

当前的基准测试并未针对真实开发中的完整端到端工作流来评估智能体。AutoMat基准测试[2]正是为填补这一空白而设计的，它要求智能体恢复计算流程、操作专业工具链，并判断结果是否支持科学主张。其较低的成功率（54.1%）表明，现有的软件工程基准测试高估了智能体的能力，因为它们并未测试这些复杂且领域特定的步骤[2]。同样，重构研究[1]发现，智能体之所以专注于低层级修改，部分原因在于基准测试并未奖励高层级的设计改进——目前尚无标准方法衡量智能体是否提升了架构质量。

2021年一项关于Cody（半自动化定性研究编码系统）的研究揭示了另一个问题：用户希望获得AI建议的解释，但当解释真正提供时却很少使用[5]。这表明，即使智能体能够解释其推理过程，界面或时机也未必恰当。该研究还发现，AI建议提升了编码质量（编码者间信度从0.085提升至0.33），但并未提高速度，说明当前智能体以效率换取准确性[5]。综合来看，这些研究指向一个需求：需要设计能够测试智能体在真实、未明确指定任务中表现的基准，并衡量超越简单通过/失败的结果指标。

关于这些来源

该回答基于5项研究（2篇经同行评审，3篇为预印本）——发表于2021年至2026年间，其中4篇为2024年或之后发表，累计被引用88次——这些研究是从通过质量筛选的5项研究中选出的最相关成果，而后者又源自从超过5亿篇论文的数据库中检索到的57篇文献。

本文引用的文献

相关研究问题