在没有监督的情况下，智能体记忆系统究竟能做什么？
智能体记忆系统能够自主规划并执行跨领域（如IT运维、网络安全和医疗健康）的复杂多步骤任务。2025年的一篇综述[1]指出，这类系统通过规划、共享记忆、工具调用以及多智能体协作，在极少人工干预下完成目标。2026年的一项研究[3]测试了一种名为“智能体认知压缩器”（ACC）的记忆控制器，在长序列、多轮次的工作流程中，该控制器相比传统的转录回放或基于检索的记忆方法，能保持稳定行为，并显著减少幻觉和漂移现象。这意味着，在应对网络安全事件或管理医疗工作流程等任务时，系统能够全程自主处理，无需人类在每个环节介入。
减少人类监督的风险有哪些？
主要风险包括级联错误、目标错位以及人类态势感知能力的丧失。2025年的综述[1]明确指出，自主型AI系统会引发“级联错误”和“目标错位”——这意味着任务初期的一个小错误可能像滚雪球般扩大，或者系统可能以人类未预期的方式去追求某个目标。2023年的一项海事研究[2]发现，当人类从亲自执行避碰操作转变为监督AI执行该任务时，会面临“脱离循环性能问题”——即丧失对智能体正在做什么以及为何这样做的认知。该研究指出，监督者需要了解智能体的内部推理过程以验证其行为，但这一信息并非总能获得。2022年的一项模拟研究[4]还表明，智能体容易受到被篡改信息（污染消息）的影响，并且必须在核查中央数据库（成本高昂）与信任过往交互之间取得平衡，若信任被误用则可能导致错误。
在什么条件下，你可以信任他们无需监督地工作？
可靠的无人值守运行依赖于三个条件：有限的内存、透明的推理以及适当的任务范围。2026年ACC研究[3]表明，一个将内部状态控制在有限范围内（不会无限增长）并将工件召回与状态提交分离的内存控制器，能够产生更稳定的行为并减少幻觉。这表明，具有受控内存的系统在无人值守时更安全。2023年海事研究[2]指出，对于安全关键任务，系统必须提供对其推理过程的洞察（透明度），以便人类在需要时能够快速验证决策。2025年综述[1]指出，虽然自主AI实现了“端到端流程自动化”，但它也需要“保持透明度、问责制和人类监督”——这意味着完全自主尚未成为常态。在实践中，无人值守工作对于稳定环境中常规、定义明确的任务最为可靠，而对于新颖、高风险或快速变化的情况则可靠性较低。
关于这些来源
该回答基于4项研究（2篇经同行评审，2篇为预印本）——发表于2022年至2026年间，其中2篇来自2024年及以后，1篇发表于Q1期刊——这些研究是从通过质量筛选的4项研究中选出的最具相关性的成果，而它们又源自从超过5亿篇论文的数据库中检索出的38篇文献。
本文引用的文献
自主型AI系统：它是什么，不是什么
这份2025年的综述将自主型AI系统定义为能够在极少监督下规划并执行复杂目标的系统，但警告称它们会引发级联错误、目标偏差和监管空白，因此需要透明度和人类监督。
通过智能体透明度支持自主避碰中的人类监督
这项2023年的海事研究通过对九名航海员进行目标导向任务分析发现，监督自主避碰系统需要了解其推理过程，以防止态势感知能力下降，同时监督者的角色转向加强对系统性能的认知验证。
AI智能体需要内存控制以处理更多上下文信息
这项2026年的研究提出了智能体认知压缩器（ACC），这是一种受生物启发的记忆控制器，用有限的内状态取代了无限制的对话记录回放。在信息技术、网络安全和医疗健康工作流中，与基于对话记录回放和检索的智能体相比，它保持了稳定的行为，并显著减少了幻觉和漂移现象。
自主智能体的人类启发式方法
这项2022年的模拟研究探讨了自主智能体处理可能被污染的信息的过程，结果表明智能体必须在代价高昂的数据库核查与信任过往交互之间取得平衡，并且信任记录会逐渐被遗忘，最终迫使所有智能体都去与数据库进行核对。