多模态智能体面对现实世界的复杂性时，准确率会下降多少？
最大的风险在于，多模态AI智能体在现实、连续的任务中表现远不如静态基准测试。在模拟临床决策（包含患者互动与工具使用）的AgentClinic研究中，同一批MedQA问题的诊断准确率骤降至原始分数的十分之一以下[1]。这意味着，一个在选择题测试中得分90%的智能体，在需要逐步收集信息、使用工具并做出决策时，成功率可能不足9%——这一差距极少向用户或监管机构披露。
即便在工业场景中，系统表现也参差不齐。某建筑安全框架实现了完美的安全帽检测（F1值=1.0），但对眼镜的检测仅达0.75，对低风险事件的灵敏度更是低至0.03——这意味着它几乎从未识别出轻微隐患[5]。同一研究指出，该系统存在对严重风险的偏向性，这可能导致人们对日常危险产生虚假的安全感。纵观多篇论文，规律始终一致：多模态智能体在狭窄且定义明确的任务中表现卓越，但在环境杂乱、信息不全或需要持续推理时，便会严重失误。
这些智能体存在哪些安全盲点和偏见？
多模态AI智能体会继承并放大其训练数据中的偏见，多项研究发现这些偏见并未得到充分测试。AgentClinic研究通过明确向智能体注入偏见，发现临床模拟容易受到这些偏见的影响[1]。一场关于可信多模态AI的演讲指出，领域特定的安全评估——尤其是在多语言和分布偏移场景下——能够揭示通用红队测试所遗漏的风险[6]。这表明，标准安全测试不足以应对这些智能体所部署的复杂现实世界环境。
施工安全框架明显偏向于严重风险，对低风险的敏感度仅为0.03[5]。在医疗领域，一项产后抑郁风险预测系统在结构化数据上取得了0.68的F1分数，但不同数据模态下的表现存在差异，且该系统仅基于单一医院的数据进行测试[8]。这些盲点并非仅停留在学术层面：在石化安全领域，尽管多模态AI模型展现出潜力，但研究本身指出，传统方法仅在危险发生后才能做出反应，这意味着若未经严格验证，AI系统可能引入新的故障模式[4]。
现行法规能否跟上风险步伐？
证据表明，监管框架已落后于多模态AI智能体的能力。一篇论文直接审视了欧盟《人工智能法案》，并指出其风险分类方法虽具进步意义，但可能无法充分应对大型语言模型与多模态模型带来的独特挑战[7]。该法案的风险类别（不可接受、高风险、有限风险、最低风险）是在智能体系统与多模态系统普及前设计的，论文暗示这些系统可能因此落入监管盲区。
与此同时，技术论文显示，多模态智能体正被部署于石油天然气检测[3]、假货识别[2]以及临床决策支持[1][8][9]等高风险领域，并常宣称能提升安全性与效率。然而，这些论文同样揭示其性能高度不稳定且依赖具体场景。例如，某机器人检测系统每年可节省超1000小时的人工巡检时间[3]，但该系统的异常检测功能却依赖云端AI模型，而这些模型可能缺乏透明度与可审计性。若缺乏针对持续监控、可解释性及跨真实场景偏差测试的监管要求，此类系统的风险很可能仍被低估。
关于这些来源
该答案基于9篇经同行评审的研究——发表于2023年至2026年间，其中8篇为2024年及之后发表，2篇来自Q1期刊——这些研究是从12篇通过质量筛选的文献中选出的最相关成果，而后者又源自从超过5亿篇论文的数据库中检索到的65篇文献。
本文引用的文献
AgentClinic：面向工具型临床AI智能体的多模态基准测试
在模拟临床环境中，当智能体需要使用工具并做出连续决策时，同一批MedQA问题的诊断准确率骤降至原始得分的十分之一以下，这揭示了基准测试与实际表现之间的巨大差距。
AuthentiCheck：一种用于伪造检测的多模态人工智能框架
一种融合计算机视觉、自然语言处理与元数据的多模态伪造检测框架，其性能显著优于单一通道方案，但该研究未测试对抗性攻击或真实场景中的分布偏移。
通过多模态人工智能驱动的机器人检测提升运营完整性
一种基于多模态人工智能的油气设施机器人巡检系统，每年可节省超过1000小时的人工巡检时间，并能检测热异常、声学异常和腐蚀缺陷，但其依赖的云端AI模型可能存在透明度不足的问题。
使用多模态AI视觉分析仪革新石化安全
对Gemini 1.5 Pro、GPT-4和Copilot在石化安全风险检测中的评估显示，这些模型具备潜力，但传统方法仅在风险发生后才能做出反应，这意味着AI系统可能引入新的故障模式。
面向施工安全的多模态AI框架：合规检测与风险预测
一个施工安全框架实现了完美的安全帽检测（F1=1.0），但对低风险事件的灵敏度仅为0.03，显示出对严重风险的强烈偏向，且标记日常隐患的能力有限。
迈向可信赖的多模态人工智能系统。
一场关于可信多模态人工智能的演讲指出，在多语言和分布偏移场景下进行领域特定的安全评估，能够发现通用红队测试所遗漏的风险，同时现有的可解释性技术并不可靠。
……以及其使用所带来的影响——在大型语言模型和多模态技术快速发展的背景下，欧盟《人工智能法案》尤其从风险分类的角度推动了这些方面的关注。
对欧盟《人工智能法案》的分析表明，其风险分类方法可能无法充分应对大型语言模型及多模态人工智能系统所带来的独特挑战，这暗示着监管存在空白。
ClinPreAI：一种基于多模态电子健康记录数据、用于早期产后抑郁风险预测的智能体AI系统。
一种用于产后抑郁风险预测的智能体AI系统在结构化数据上取得了F1=0.68的成绩，优于AutoML，但该系统仅在单一医院的数据上进行了测试，且不同模态下的表现存在差异。
多模态放射学人工智能
一篇关于多模态放射学人工智能的综述指出，将影像与电子病历及遗传数据相结合可提升疾病风险预测能力，但同时也强调，数据异质性和非直观模态带来了重大挑战。