“比基准分数更好”到底意味着什么？
基准测试分数就像考试成绩——它们衡量的是在固定题目集上的表现，但无法反映系统在条件变化时的行为。多模态AI智能体可能取得高分，却在真实场景中失败，因为它们依赖捷径或遗漏关键信息。例如，在一项医学考试评分研究中，仅使用视觉输入的多模态AI能高精度检测动作是否发生，但在评估质量时却表现不佳，卡帕系数仅为0.20——仅略高于随机水平[1]。然而，标准基准测试可能仍会给出及格分数。同一项研究表明，当AI使用同步音频和视频时，其表现甚至优于人类评分员（卡帕系数0.83对比0.73）[1]。这意味着，超越基准测试的可靠性需要在真实的多模态条件下进行测试，而不仅仅依赖精心策划的数据集。
另一项关于牙冠评估的研究发现，在测试的六个人工智能模型中，只有Claude-3.7-Sonnet-Reasoning达到了人类专家的可靠性水平（组内相关系数为0.89），而其他模型如GPT-4o仅得0.06，基本相当于随机猜测[2]。这些模型在通用视觉任务的基准测试中可能得分很高，但在这一特定且高风险的任务中却表现不佳。因此结论很明确：基准测试分数只是起点，并不能保证实际可靠性。
多模态AI如何实现比人类更高的可靠性？
多模态AI系统通过整合视频、音频和文本等多种数据类型进行决策，能够减少影响人类判断的差异性和偏见。在一项医学考试研究中，AI利用三台摄像机的同步视频及音频数据，其可靠性评分达到0.83，而经过培训的人类评估者仅为0.73[1]。这一提升意义显著：0.83的卡帕系数属于“几乎完全一致”，而0.73仅为“高度一致”。AI之所以更稳定，是因为它不会像人类评分那样受到疲劳、注意力分散或评分者间差异的干扰。
同样，在牙冠研究中，最佳AI模型（Claude-3.7-Sonnet-Reasoning）与人类专家之间的组内相关系数达到0.89，这意味着它能够可靠地复现专家的判断[2]。该模型采用了结构化提示词和多张照片，表明输入与推理过程的精心设计至关重要。研究还发现，AI在检测特定类型错误（如邻面预备不足）方面表现尤为出色，这类错误最为常见（占所有错误的39.2%）[2]。这表明AI能够提供人类可能遗漏或应用不一致的详细、客观反馈。
尽管基准测试分数很高，多模态AI何时仍会失败？
多模态AI在失去关键模态信息或任务需要理解基准测试未覆盖的内容时，可能严重失效。一项医学考试研究揭示了“视觉悖论”：AI能检测到动作发生（检测准确率很高），但无法在没有音频线索的情况下判断动作完成质量，仅凭视觉输入时kappa值仅为0.20[1]。这意味着，在动作识别基准测试中表现良好的模型，在现实世界的质量评估中可能毫无用处。
另一种失败模式是AI模型并非为特定任务而设计。在牙科研究中，六款AI模型中有四款完全无法完成任务（DeepSeek模型的任务完成率为0%），而GPT-4o等其他模型的一致性也较弱（ICC为0.06）[2]。这些模型可能在通用基准测试中表现优异，但缺乏该领域所需的专业推理能力。此外，一项关于多模态数据联邦学习的研究指出，真实世界的数据往往存在模态缺失、标签缺失或标签错误等问题——这些情况是标准基准测试无法检验的[3]。因此，一个在干净基准数据上表现出色的AI，在部署到混乱的真实环境时可能会彻底失效。
关于这些来源
该回答基于5篇经同行评审的研究——发表于2023年至2026年间，其中4篇为2024年及以后发表，共被引用71次——这些研究是从69篇论文中筛选出的5篇通过质量审查的文献中选出的最相关成果，而该69篇论文则源自一个涵盖超过5亿条记录的数据库。
本文引用的文献
使用多模态AI自动评估OSCE体格检查
在一项对300场录像医疗考试的研究中，采用同步三摄像头视频与音频的多模态AI实现了比人类评估者更高的可靠性（kappa值0.83对比0.73），但纯视觉模型却表现不佳（kappa值0.20），尽管其检测准确率很高。这揭示了一种“视觉悖论”：模型虽能识别动作，但若无音频辅助，便无法评估质量。
多模态人工智能评估临床前不锈钢冠预备体可靠性的比较研究：与人类专家的对比分析
在针对133个牙冠制备体进行的六种AI模型测试中，仅Claude-3.7-Sonnet-Reasoning达到了人类专家的可靠性水平（ICC 0.89），而GPT-4o的一致性较弱（ICC 0.06），DeepSeek模型的任务完成率为0%，这表明基准测试表现并不能保证特定领域的可靠性。
FedMultimodal：多模态联邦学习基准
FedMultimodal基准测试覆盖了十个数据集中的八种模态，揭示了多模态AI系统容易受到现实世界数据损坏的影响，例如模态缺失、标签缺失和标签错误——这些情况在标准基准测试中并未涉及，却可能导致系统可靠性急剧下降。
ClinPreAI：一种基于多模态电子健康记录数据、用于早期产后抑郁风险预测的智能体AI系统。
在一项涉及4,161名孕妇的研究中，基于多模态电子健康档案数据的自主AI系统（ClinPreAI）在结构化数据上取得了0.68的F1分数（优于AutoML的0.64），在多模态数据上达到0.65，与定制化LLM-XGBoost模型持平，这表明经过合理设计的自主AI能够达到甚至超越传统方法的表现。
Magma：面向多模态AI智能体的基础模型
Magma基础模型在图像、视频和机器人数据上训练，通过使用标记集（Set-of-Mark）和轨迹标记（Trace-of-Mark）标注来桥接语言理解与时空动作，在UI导航和机器人操作任务上取得了最先进的结果，表明针对可操作数据的专门训练能够提升现实世界的可靠性。