LLM研究型智能体有多容易被不良信息误导？
根据该系列中规模最大的一项研究，研究人员对21种不同的大语言模型进行了测试，使用了500个医学案例，要求每个模型在真实的临床指南与经过一次对抗性修改的虚假版本之间做出选择——例如删除警告、遗漏过敏信息或给出错误剂量[1]。在10500次决策中，模型有40.6%的概率选择了危险的虚假指南。对于最关乎安全性的修改——比如删除过敏信息或引入剂量错误——失败率攀升至54.2%至61.7%[1]。这意味着在超过半数的情况下，大语言模型选择了可能直接伤害患者的指南。
研究还揭示了一个简单却影响巨大的弱点：呈现顺序偏差。模型在72.7%的情况下会倾向于选择提示中首先出现的选项[1]。当虚假信息排在首位时，准确率降至36.7%；而当真实指南排在首位时，准确率跃升至82.3%[1]。这意味着信息呈现的顺序——恶意行为者可以轻易操控的因素——足以让模型的判断从安全转向危险。作者警告，在AI代理可能充当初级健康守门人的资源匮乏环境中，这一风险尤为严峻[1]。
除了投毒，这些智能体还存在哪些风险？
即使在没有受到刻意攻击的情况下，大语言模型研究代理也存在一些容易被忽视的严重局限性。一项针对医学领域深度研究代理的综述发现，尽管它们能快速收集并整理信息，但其引用的准确性并不稳定——细微的误解和不可靠的参考文献屡见不鲜[2]。它们的检索和证据排序过程不透明，导致难以发现隐藏的偏见或复现结果[2]。作者还警告称，过度依赖人工智能生成的综合信息可能会削弱临床医生的批判性评估能力，并引发自动化偏差——即用户仅仅因为输出看起来全面就盲目信任其结果[2]。
一项针对大语言模型（LLM）智能体安全与隐私的专项调查，梳理了更广泛的威胁类别：这些智能体处理海量数据，并与人类及其他系统交互，从而为数据泄露、操纵和对抗性控制创造了新的攻击面[3]。该调查指出，这些漏洞目前才刚刚开始被系统性地研究[3]。综合来看，这些发现共同传递出一个明确的信息：风险并非假设性的——它们已被记录、可量化，且涵盖从蓄意投毒到日常中细微的准确性与透明度失效等各类问题。
人类干预能否解决这些问题？
可以，但前提是它必须融入流程之中，而非事后添加。一项针对Agent Laboratory（一个自主进行文献综述、实验和报告撰写的LLM框架）的研究发现，在每个阶段引入人工反馈能显著提升最终研究成果的质量[4]。作者强调，该系统最适合作为辅助工具来加速信息收集，而非取代人类的判断力[4]。这与医学综述中的建议一致：这些智能体应被视为研究助手，而非伪专家；其使用需要透明的检索架构、稳健的基准测试以及明确的教育整合，以维护人类的评估性推理能力[2]。
证据明确表明，若无人类监督，错误与操纵的风险极高。但通过精心设计——包括独立验证、排名保护机制以及人机协同反馈——这些工具仍可发挥效用。关键在于不低估风险，而是从一开始就设计出能够识别并降低风险的系统。
关于这些来源
该回答基于5篇经同行评审的研究构建而成——发表于2023年至2026年间，其中4篇为2024年及之后发表，2篇发表于Q1期刊，累计被引用161次——这些研究是从5篇通过质量筛选的文献中选出的最具相关性的成果，而该5篇文献又源自从超过5亿篇论文数据库中检索到的53篇论文。
本文引用的文献
当自主式大语言模型信任被投毒的工具：临床大语言模型对抗性指南的脆弱性。
在一项针对21个大语言模型的研究中，研究人员基于500个医疗场景模拟了10500次智能体决策，结果显示模型在40.6%的情况下会选择包含一处对抗性修改的虚假指南，其中涉及安全关键编辑的失败率超过60%；而呈现偏差（72.7%的情况下倾向于选择第一个选项）是主导因素。
深度研究智能体：医学AI的重大突破还是渐进式进展？（预印本）
一篇关于医学领域深度研究智能体的综述指出，这类技术仅代表渐进式进步，而非范式转变，并列举了引用准确性不一致、检索过程不透明、存在自动化偏差风险以及缺乏真实世界部署证据等问题。
大语言模型代理的安全与隐私问题浮现：基于案例研究的综述
一项关于大语言模型智能体安全与隐私的全面调查，将威胁分类为数据泄露、操纵及对抗性控制等类型，并指出这些漏洞目前才刚刚开始得到系统性研究。
Agent Laboratory：使用LLM智能体作为研究助手
Agent Laboratory作为一个自主的大语言模型研究框架，将研究成本较先前方法降低了84%，但每个阶段的人类反馈显著提升了输出质量，这支持了其辅助而非替代的角色定位。
动态大语言模型智能体网络：一种具备智能体团队优化功能的大语言模型智能体协作框架
动态LLM智能体协作框架（DyLAN）通过选择最优智能体团队，在MMLU科目上实现了高达25%的准确率提升，表明智能体的组成与结构对任务性能具有重要影响。