人类究竟应该在哪里保持“人在回路”?
证据指向一个清晰的模式:人类在流程的开端(设定方向)和末端(评判质量)贡献最大价值,而非在每一个自动化步骤的中间环节。在2025年一项针对Atlassian部署的人机协同LLM智能体框架的研究中,工程师发现,当AI生成编码计划和源代码时,人类能够进行细化与引导,这能最大程度地减少整体开发时间和精力——尤其是在处理简单任务时。关键在于,人类可以在规划阶段介入,并审查最终代码,而不是盯着模型生成的每一个词元。
同样地,在急诊分诊领域,2026年设计了一个用于医院分诊的多智能体系统,该系统先仅根据症状给出初步的病情严重程度评分,待生命体征数据到达后再给出最终建议。该系统在基准测试中达到了87%的精确匹配准确率,但作者明确指出,其临床实用性和安全性仍需通过与真实临床医生合作的前瞻性验证来确认。换言之,即使是一个高度准确的智能体,在关乎生命的关键场景中,最终决策仍需由人类做出。
所以务实的答案是:在错误代价高昂或任务模糊的决策节点设置人工检查点——比如批准计划、接受诊断或签署代码——而让智能体处理其间重复且定义明确的步骤。
问题在于:人类反应慢,而这可能拖垮整个系统
一个重大挑战在于,人机协同系统必须考虑人类的反应时间和延迟。2024年一项关于人机协同多智能体控制系统的研究,明确建模了人类操作员的时间延迟,并表明若不进行主动补偿,这些延迟会阻碍智能体达成共识(即就协调行动达成一致)。研究人员设计了一种方法,使自主智能体主动调整自身行为以减轻人类延迟的影响,并证明只有当控制增益在设计时考虑到这些延迟,共识才能实现。
这是一个具体的警告:如果你构建的多智能体应用在每一步都等待人工输入,那么人就会成为瓶颈。解决办法是设计能够提前推进、预判人类决策的智能体,只在确实必要时才暂停——或者采用异步检查点,让人审查整批工作,而不是逐一操作。
同样的原则也适用于软件开发:Atlassian的研究发现,尽管人工反馈减少了工作量,但在某些情况下代码质量仍令人担忧。这表明,即使有人工监督,你仍需要自动化质量检查,并明确何时应升级给人工处理的标准,而不是依赖人工来捕捉所有问题。
即使智能体提供了帮助,人类也未必信任它们
2022年一项关于人机协同游戏设计系统的研究发现了一个显著悖论:眼动追踪数据显示,游戏设计师明显更偏好计算代理所建议的关卡,但尤其是专家级设计师却拒绝承认这些代理具有帮助性。研究人员得出结论,若要此类系统得到采用,就必须解决人们对计算工具“无用”这一认知问题。
这意味着,让人参与其中不仅仅是让人类审批输出结果——更关乎建立信任。如果你的人类协作者不相信智能体在创造价值,他们要么无视它,要么推翻它,最终让一切努力白费。要解决这个问题,你需要让智能体的推理过程透明可见,展示其建议如何改善结果,并赋予人类查看和编辑智能体工作的能力,正如Atlassian框架所做的那样。
相比之下,分诊研究显示,一个校准良好的多智能体系统能够实现极低的风险错误率(重大过度分诊为0%,重大分诊不足为0.46%),这有助于建立信任——但前提是临床医生参与验证和使用该系统。信任是通过实际展示的安全性和实用性赢得的,而不仅仅是靠准确率数字。
关于这些来源
本回答基于5项同行评审研究——发表于2022年至2026年,其中3项为2024年或之后发表,4项发表于Q1期刊——这些研究是从5项通过质量筛选的研究中选出的最相关成果,而后者又源自从超过5亿篇论文数据库中检索到的43篇文献。
本文引用的文献
ED-triage-agent:一种用于人在回路紧急分诊的多智能体框架
一项2026年针对多智能体急诊分诊系统的研究发现,两阶段架构在基准测试中达到了87%的精确匹配准确率,其中严重过度分诊率为0%,严重分诊不足率为0.46%,但作者强调,临床实用性和安全性仍需通过真实临床医生的前瞻性验证来确认。
针对一类含有人类时间延迟的人机协同多智能体系统,提出主动式协同一致性控制方法。
2024年一项控制理论研究显示,人在回路多智能体系统中的人类时间延迟可能破坏共识,该研究提出了一种主动控制方法,使自主智能体调整其增益以补偿人类延迟。
基于行为学习的人机协同多智能体系统分布式跟踪控制
2023年一项关于人在环多智能体系统中分布式跟踪的研究表明,跟随者能够在线学习人类操作员的未知反馈增益矩阵,并且并发学习技术消除了对持续激励条件的需求。
多智能体“人在回路”游戏设计系统的评估
2022年的一项专家评估针对人机协同游戏设计系统发现,眼动追踪显示设计师更偏好智能体建议的关卡,但专家设计师否认智能体具有实用性,这凸显了信任障碍。
人在环路软件开发智能体
一项2025年针对Atlassian部署的人机协同LLM智能体框架的研究发现,工程师认为该框架减少了开发时间和精力,尤其是在处理简单任务时,但在某些情况下,代码质量仍令人担忧。
