衡量AI生成的PR，哪些指标真正重要？
最直接的生产力指标是周期时间——即一个拉取请求从提交到审核并合并所需的时间。一项针对300名工程师、为期一年的企业研究发现，使用内部AI工具后，PR审核周期时间缩短了31.8%，这意味着AI生成的PR在流程中的流转速度提升了近三分之一[1]。另一项对GitHub上18,256个真实PR的研究也证实，AI辅助的PR所需的审核时间更少，且合并成功率更高[2]。这两项研究采用了截然不同的方法（受控企业队列 vs. 开源观测数据），却得出了相同的结论：AI能缩短审核时间并提高合并率。
仅追求速度可能产生误导，若质量受损则得不偿失。企业研究还追踪了交付至生产环境的代码量，发现整体增长28%，其中头部采用者向生产环境推送的代码量增加了61%[1]。这表明节省的时间转化为了实际产出，而不仅仅是更快的驳回。一项针对16名移动开发者的较小规模案例研究引入了“审查者评分”指标，用于衡量AI生成代码与现有代码库的整合程度，结果显示AI有助于技术入职和框架切换[5]。启示：应综合运用周期时间、合并率、代码量和整合质量等多维度指标，而非依赖单一数据。
关键问题：开发者并非全盘接受AI输出——他们会进行编辑
一个常见误区是将AI生成的PR视为成品。GitHub研究发现，使用Copilot编写PR的开发者经常用人工输入来补充自动生成的描述——他们不会盲目信任AI[2]。同样，移动开发者研究也表明，虽然AI代码生成节省了时间，但人工审查者仍需评估代码的正确性和技术集成[5]。这意味着你应该衡量AI生成内容与实际合并内容之间的编辑距离。如果开发者正在重写大部分AI输出，那么实际的生产力提升会比表面看起来小得多。
即使是像 Dependabot 这类自动生成安全更新 PR 的机器人，其接受率也达到了 65.42%——虽然很高，但并非普遍接受。未被合并的 34.58% 主要源于并发的依赖项变更，而非机器人本身的故障 [4]。这说明，AI 生成的 PR 仍需人类根据上下文和时机做出判断。另一项关于开源项目中机器人交互的研究发现，机器人可能导致信息过载和干扰，因此催生了诸如为机器人消息设置独立界面、以及引入中介机器人来总结操作等设计策略 [6]。关键在于：不仅要衡量 PR 是否被合并，还要评估人类在编辑、审查和决定接受过程中投入了多少精力。
如何在团队中设置衡量指标
在引入AI工具之前，先设定一个基线。该企业研究采用了队列设计，将使用AI的工程师与未使用的工程师进行对比，追踪时间长达一整年[1]。他们记录了采用模式——参与度从第一个月的4%增长到第六个月83%的峰值，随后稳定在60%[1]——这表明衡量必须考虑学习曲线。如果没有基线和对照组，就无法将AI的影响与其他改进区分开来。
在训练或评估用于完整功能PR生成的AI模型时，可将PR4Code数据集作为基准。该数据集包含4,508个Java和8,831个Python的精选PR，附带元数据和提交历史，旨在评估AI处理真实、多步骤开发任务的能力，而非孤立的代码片段[3]。如需持续衡量，建议跟踪以下指标：(1) 每个PR的周期时间，(2) 合并率，(3) 交付的代码量，(4) 开发者对AI输出的编辑量，以及(5) 评审者满意度（企业研究报告显示代码审查功能的满意度为85%[1]）。移动开发者研究还表明，AI工具有助于新团队成员入职以及Android与iOS之间的切换，因此可考虑衡量新员工达到生产力所需的时间[5]。
关于这些来源
该答案基于6项研究（4篇经同行评审，2篇为预印本）构建而成——这些研究发表于2021年至2025年间，其中3篇为2024年及以后发表，累计被引用79次——从通过质量筛选的6项研究中选出最具相关性的内容，这些研究则源自从超过5亿篇论文的数据库中检索到的43篇文献。
本文引用的文献
从直觉到证据：衡量AI对开发者生产力的真实影响
在一项为期一年、涵盖300名工程师的企业队列研究中，AI辅助的拉取请求（PR）使审查周期缩短了31.8%，代码交付量提升了28%，而采用率最高的工程师向生产环境推送的代码量增加了61%；在6个月内，AI辅助PR的采用率从4%攀升至峰值83%。
生成式AI在拉取请求描述中的应用：采纳情况、影响与开发者干预
在一项对GitHub上18,256个真实拉取请求的分析中，AI辅助的拉取请求所需的审查时间更短，且合并的可能性更高，但开发者经常手动编辑AI生成的描述。
PR4Code：面向AI代码生成的拉取请求数据集
PR4Code数据集包含4,508个Java和8,831个Python精选拉取请求（PR），附带元数据和提交历史，旨在针对完整功能开发任务（而非孤立代码片段）对AI模型进行基准测试。
关于Dependabot安全拉取请求的使用
在一项针对使用Dependabot的2904个JavaScript开源项目的研究中，65.42%的安全相关拉取请求被接受（通常在一日内完成），仅3.2%导致构建失败；未合并的拉取请求大多是由于并发的依赖项变更所致。
案例研究：在移动端团队中使用AI辅助代码生成
在一项针对16名移动开发者的案例研究中，AI辅助代码生成缩短了入职和切换技术栈任务的完成时间，同时提出了一种新的“评审者评分”（ReviewerScore）指标，用于衡量代码集成质量。
拉取请求机器人
在一项涉及32名从业者的参与式设计研究中，PR中的机器人被认为能节省时间，但也会导致信息过载；研究共提炼出22项设计策略，包括为机器人消息设置独立界面，以及引入一个中介机器人来总结操作。