多模态AI已在哪些领域表现出色？
多模态AI——即结合医学影像、化验结果和基因数据等不同数据类型的模型——其表现始终优于单模态AI。一项涵盖432篇论文的大规模范围综述发现，与仅使用单一数据类型相比，多模态深度学习模型在AUC（曲线下面积，一项关键性能指标）上的诊断准确率平均提升了6.2个百分点[3]。这意味着，对于典型的诊断测试而言，当模型拥有多种信息来源时，它能更准确地区分健康患者与患病患者。
在特定临床任务中，多模态系统已能与人类专家持平甚至超越其表现。一项研究发现，结合心电图与超声心动图的模型在诊断左心室肥厚（心肌增厚）方面优于人类医生[1]。另一项使用生成式AI模型GPT-4V的研究显示，当同时提供医学影像和文本（如病史）时，其诊断准确率达80.6%，而仅凭文本或影像的准确率分别为66.7%和45.2%[4]。这些结果表明，整合多种数据类型能显著提升性能。
为何在真实医院中性能常会下降？
最大的障碍在于受控研究环境与混乱的临床现实之间的差距。一项关于心血管疾病多模态人工智能的系统综述发现，大多数模型都是在固定数据集上开发和测试的，极少有模型在实际临床工作流程中得到验证[1]。当某胸部X光人工智能系统在越南一家医院部署时，其F1分数（精确率与召回率的综合指标）降至0.653，这意味着它仅在大约65%的情况下能正确识别异常，灵敏度为68.6%，特异度为83.9%[2]。作者指出，这与其实验室内的表现相比显著下降，凸显了现实世界数据更嘈杂、标准化程度更低且往往不完整的问题。
数据挑战是导致这一下降的主要原因。多模态系统需要整合来自医院不同部门（放射科、病理科、基因组学）的数据，而这些数据往往格式不兼容，且受到隐私限制[3][5]。一篇关于多模态联邦人工智能的综述指出，数据孤岛和隐私法规使得在多样化、具有代表性的人群上训练模型变得困难，从而限制了模型的泛化能力[5]。除非这些互操作性和数据共享问题得到解决，否则即便是实验室测试中表现最佳的模型，在实际应用中也可能会遇到障碍。
安全临床部署还缺什么？
几个关键空白依然存在。首先，前瞻性临床验证极为罕见。心血管疾病综述指出，大多数多模态模型尚未在真实世界环境中接受测试，且没有任何模型完成过完整的部署研究[1]。其次，可信度——包括公平性、可解释性和稳健性——尚未被纳入大多数系统。2026年关于多模态联邦人工智能的综述认为，可信度必须被视为系统级属性，而不仅仅是准确性，当前模型缺乏透明度和问责机制[5]。
第三，实际基础设施不足。《自然·医学》2022年的一篇综述指出，多模态人工智能需要电子健康档案、影像数据库和可穿戴设备数据的无缝整合，而大多数医院尚无法支持这一要求[6]。最后，监管与报销路径尚不明确。上述心血管领域综述明确呼吁制定政策框架，以指导可扩展且可信赖的人工智能部署[1]。在这些非技术性障碍得到解决之前，多模态人工智能仍将只是一个有前景的研究工具，而非可靠的临床伙伴。
关于这些来源
该回答基于6篇经同行评审的研究——发表于2022年至2026年间，其中3篇为2024年及以后发表，4篇发表于Q1期刊，累计被引用1003次——这些研究是从7篇通过质量筛选的文献中选出的最具相关性的成果，而7篇文献又源自一个包含超过5亿篇论文的数据库中所检索到的57篇论文。
本文引用的文献
绘制心血管疾病中多模态与多组学AI/ML的研究图景：一个可视化的创新框架
一项关于多模态人工智能在心血管疾病中的系统综述发现，大多数模型尚未在真实临床环境中得到验证，仅有少数处于验证阶段的研究（例如，心电图联合超声心动图在左心室肥厚诊断中表现优于人类专家）。
在临床环境中部署并验证用于检测胸部X光片异常的人工智能系统
在越南某医院部署的胸部X光AI系统，其F1得分为0.653，准确率79.6%，灵敏度68.6%，特异度83.9%，与实验室环境下的表现相比出现显著下降。
多模态人工智能在医学领域的应用探索：技术挑战与临床应用的范围综述
一项涵盖432篇多模态AI论文（2018–2024年）的范围综述发现，多模态模型在AUC指标上平均比单模态模型高出6.2个百分点，但仍面临跨部门协作及数据集不完整等挑战。
评估生成式人工智能在复杂临床诊断中的多模态能力
GPT-4V在93例《新英格兰医学杂志》图像挑战病例中，使用多模态输入（文本+图像）的诊断准确率达到80.6%，而仅使用文本时为66.7%，仅使用图像时为45.2%。
多模态联邦人工智能：实现可信赖与个性化医疗
一篇关于多模态联邦人工智能的综述指出，可信性（隐私、公平、可解释性、鲁棒性）必须成为系统级属性，而当前模型缺乏前瞻性的临床验证和治理框架。
多模态生物医学人工智能
《自然·医学》2022年的一篇综述概述了多模态生物医学AI的关键应用（个性化医疗、数字化试验、远程监测），同时指出在数据整合、建模和隐私方面仍需克服重大挑战。