核心权衡：速度与监督
面向AI开发者代理的开放平台，能够以人类团队无法企及的速度生成代码、命令和网络操作。核心的质量控制难题在于，你无法手动审查每一个输出，但也不能让代理肆意妄为。OpenHands作为一个广泛使用的开放平台，通过让代理编写代码、与命令行交互以及浏览网页——所有这些都在沙盒环境中安全执行——充分展示了这一点[1]。这种沙盒机制是第一道防线：它限制了不良操作的影响范围，确保一次失误不会破坏你的真实系统。
权衡之处在于，沙箱本身并不能保证质量——它只能防止灾难性损害。你仍然需要一种方法来决定哪些输出足够好，可以发布。关于人机协作的研究明确指出了这一点：共同监督，即每个智能体监控另一个智能体，对于确保目标达成和责任共担是必要的[2]。在实践中，这意味着你不需要审查所有内容，而是审查高风险输出、涉及生产代码的部分，或未通过自动化检查的内容。这是一种从“审查一切”到“审查关键”的转变。
分层策略：沙箱执行、自动检查、人工复核
证据指向一个三层质量控制体系。首先，沙盒执行——正如OpenHands所做的那样——让智能体在不危及真实环境的前提下行动[1]。其次，自动化检查（如测试、代码检查工具和静态分析）能在规模化层面捕捉明显错误。第三，人工审查聚焦于那些通过自动化检查但仍存在风险的输出——例如架构决策或对安全敏感代码的改动。这种分层方法得到了AI/ML质量研究的支持：对十家开发AI赋能系统的奥地利中小企业的访谈发现了12个不同的质量问题，关键洞见在于质量问题出现在不同阶段，需要不同的检测方法[5]。
人工审查层是[2]中共同监督原则得以具体落实的环节。你并非只是走过场式地盖章，而是在主动监控智能体的行为，这正是你与结果共同承担责任的原因所在。这一点尤为重要，因为AI智能体可能生成看似合理实则错误的代码。[5]中的领域专家指出，质量问题往往直到集成或维护阶段才被发现，因此在集成前设置人工检查点至关重要。要点在于：不必试图审查所有内容，但务必审查最关键的输出，并利用自动化手段过滤掉无关信息。
数据完整性：任何质量检查的基础
质量控制的效果取决于其所依赖的数据。一项关于制造业质量管理体系的研究发现，供应链中数据不准确、不完整或不可访问的情况十分普遍，这削弱了质量保证的有效性[3]。同样的逻辑也适用于AI开发者代理：如果你的测试结果、日志或代码历史不可靠，那么你的自动化检查和人工审查就建立在流沙之上。该研究提出整合区块链、工业物联网和大数据，以确保数据的真实性和可访问性，这是一种重量级解决方案，但其原则具有普遍性：在信任数据源之前，先对其进行验证。
这是各篇论文从不同角度汇聚于一点之处。[3]聚焦于制造数据，而[5]则关注AI/ML软件质量，但两者都认同：数据质量差会导致质量控制差。对于开放平台而言，这意味着你需要为每一项输出提供清晰的溯源——生成了什么代码、运行了哪些测试、结果如何——以便人工审查者能够信任其上下文。没有这一点，你就是在盲目飞行，而AI代理的速度只会放大这种风险。
关于这些资料来源
本回答基于5项同行评审研究——发表于2022年至2024年间，其中1项为2024年或之后发表，2项发表于Q1期刊，合计被引用493次——这些研究是从5项通过质量筛选的研究中选出的最相关成果，而这些研究又源自从超过5亿篇论文数据库中检索到的52篇文献。
本文引用的文献
OpenHands：一个面向AI软件开发者作为通用智能体的开放平台
OpenHands是一个面向AI开发者代理的开放平台，支持沙盒代码执行、多智能体协作，并在包括SWE-BENCH和WEBARENA在内的15项具有挑战性的任务上进行了评估，表明此类平台能够处理多样化的复杂工作，但需要安全的环境。
人工智能与伦理：当人类与AI智能体协作时
在人机协作中，共同监督——即每个智能体相互监控——对于实现目标和分担责任至关重要，这一原则同样适用于软件开发中的AI智能体。
区块链-IIoT-大数据辅助的过程控制与质量分析
一项关于制造业质量管理体系的研究发现，数据的真实性和可访问性常常受到损害，并提出了整合区块链、工业物联网和大数据，以确保过程控制和质量分析所需的数据质量。
2023年可用的软件智能体平台概览
2023年的一项关于软件智能体平台的综述发现，许多平台已被弃用，但仍有一些活跃平台适用于通用和特定领域，这凸显了在选择平台时需优先考虑仍在积极开发中的项目，以确保可靠使用。
对AI工程师而言，什么是软件质量？
对十家开发人工智能赋能系统的奥地利中小企业进行的访谈，识别出AI/ML组件中的12个质量问题，并发现质量问题出现在不同阶段，需要采用不同的检测方法，这凸显了定制化质量保证的必要性。