GPT-5 在真实世界多模态医学诊断中有哪些局限？

161例开放式诊断测试集

这项研究要回答的问题是：增加推理深度、联网检索和多步智能体控制，能否让通用模型成为更可靠的诊断辅助工具。为此，作者从MedXpertQA构建基准，只保留涉及诊断、检查或治疗决策的推理型问题，再由医学专家筛出395例答案对应具体、可执行临床决策的病例。研究进一步只保留诊断病例，并要求每个身体系统至少占最终基准的10%，最终得到161例：心血管40例、消化34例、呼吸34例、肌肉骨骼31例、神经22例。

每例包含一个开放式诊断问题、一段患者叙述、至少一张医学图像（CT、MRI、X射线、PET、病理、EEG/ECG或临床图表），以及经临床验证的标准答案。十种GPT-5配置各自独立回答全部161例，共产生1610条回答；所有测试均在2025年8月9日至20日通过ChatGPT网页界面完成，使用相同的零样本提示。

这里的准确率不是与原始标签做字符串匹配。三名医生独立评估每条回答，依据语义等价性、与临床证据的一致性、诊断特异性、解剖正确性和与临床问题的相关性打分，并允许模型答案比基准标签更符合证据时判为正确。评分者间信度中等（Gwet's AC1 0.56–0.64，均值0.60），观察一致率较高（0.76–0.80，均值0.79），最终以多数票形成共识标签。因此下文百分比是医生裁定后的准确率，而非精确匹配得分。

推理深度比工具更能提升准确率

论文区分了三种新增复杂度：模型复杂度（推理强度）、工具复杂度（加入联网搜索）和结构复杂度（从标准对话升级为智能体或深度研究流程）。只有第一种带来清晰且单调的提升。准确率从Thinking Mini的32.9%升至Auto的38.5%、Thinking的41.6%和Pro的46.0%。

工具复杂度的效果参差。联网搜索使Auto模式的准确率从38.5%大幅降至26.7%，而对Thinking Mini、Thinking和Pro只带来小幅提升。结构复杂度也没有明显优势：ChatGPT Agent为36.6%，Deep Research为29.8%，都低于未联网的Auto。

不同身体系统的表现也有差异。神经系统病例在各配置中准确率始终最高，而消化、呼吸和心血管系统通常更难。在多数身体系统中，推理能力越强准确率越高；对按身体系统分层的20%样本做重复运行稳健性分析，结果显示各模型和身体系统的表现模式大体一致。

联网搜索多在强化模型的初始猜测

检索的问题不在于模型找到的来源差。多数引用来自专业医学和教育网站，能力更强的模型尤其倾向于引用专业医学领域或学术资源。Auto是例外：它引用的来源中超过一半是非专业网站，例如维基百科。

问题在于检索到的材料如何被使用。在各配置中，多数病例在搜索后要么仍然错误，要么仍然正确。被搜索纠正的比例很小，从Auto的6.2%到Thinking的11.2%；而一些原本正确的病例反而变差，Auto尤其明显，达18.0%。作者将这一现象描述为确认偏误：检索通常强化模型的初始猜测，而不是促使它反思或纠错。对Thinking模型而言，检索内容大体沿原有推理轨迹展开，同时强化正确和错误的预测；Auto则常检索到低相关或干扰性材料。

能力更强的模型还倾向于优先关注视觉上相似的图像，而非病灶特异性线索，因此即使检索到领域相关内容，也难以转化为纠正后的诊断。这也是论文把检索视为需要为反思和纠错重新设计的机制、而非可靠提升准确率的杠杆的原因。

智能体模式表现更差且隐藏推理过程

Agent和Deep Research的设计目标是把推理与行动规划、工具调用和迭代优化交织起来。尽管设计如此，两者在该基准上的表现都低于标准模型。透明度的代价与准确率的代价同样显著：Agent模式只返回最终诊断，不展示中间推理，临床医生难以审查。

Deep Research输出的细节更多，但可追溯性仍然有限。在161例中有29例完全没有提供引用；在其余病例中，它对专业来源的依赖较少，更多依赖社区或病例分享网站，作者将这一模式与其较低的准确率联系起来。

作为参照而非替代生态内比较，作者还分析了工作流轨迹可直接测量的开放医学智能体框架。这些框架的工作流复杂度明显更高，包括更长的推理链、更多检索操作和更多智能体交互，却没有带来一致的准确率提升；在若干设置中，复杂度增加伴随推理稳定性下降和证据整合更分散。

错误集中在证据使用而非医学知识

错误分析指向证据整合是主要瓶颈。医生验证了从51个抽样病例中提取的928条错误类型标注，确认其中827条（89.1%），支持模型生成错误标签的精确性。该验证只评估精确性，不评估召回率或完整性，因此报告的模式描述的是该框架识别出的错误，而非所有推理错误的完整清单。

在几乎所有配置中，最大的错误类别是证据错误，即未能正确解读或使用病例特定证据，约占错误的27–48%。在该类别内，误读是最常见的子类型，在多数配置中出现在约45–65%的病例里；作者将其解读为频繁误读临床证据，尤其是视觉发现。与知识型错误相比，证据相关错误与身体系统和输入证据质量的关联更强。

模型并非没有长处。它们能稳定提取关键病史以引导连贯推理，即使最终诊断错误也能给出结构化的鉴别诊断，并且越来越多地把病史与影像联系起来，给出更具体的标签和更清晰的解释。失败模式在于模型所见与其结论之间的脱节，而非缺乏临床事实。

输入质量构成准确率的硬上限

37例因问题不充分或含糊、图像分辨率低、患者运动、电噪声、设备伪影或其他干扰遮蔽了相关临床信号而被归为低质量输入；其余125例为高质量输入。所有配置在低质量组的表现都明显更差，准确率普遍下降约10–30个百分点。

差距在最强配置上最大。Pro从高质量病例的52.4%降至低质量病例的24.3%，Thinking从47.6%降至21.6%，Auto从44.4%降至18.9%。ChatGPT Agent从43.5%降至13.5%。从统计上看，Thinking Mini是例外，从34.7%降至27.0%，差异不显著；Thinking Mini加联网搜索同样没有显著差距（37.9%降至24.3%）。

这对理解总体数字很重要：Pro的46.0%是包含退化输入在内的病例组合的平均值，论文自身的建议是建立图像分辨率、噪声和问题清晰度的实用标准，而不是假设模型会自动补偿。

这些结论适用到哪里为止

若干边界限定了这一比较。被评估的模型是专有模型，缺乏架构透明度；所有测试都通过在线界面进行，后台模型更新可能引入波动。基准是从MedXpertQA中抽取的161例纯诊断病例，并按推理型问题和身体系统平衡做了筛选，因此不能代表治疗规划、分诊或临床工作的完整分布。

作者也明确指出，智能体的发现并不是反对广义的智能体医学AI。他们的主张更窄：在被评估的通用GPT-5生态内，检索和智能体工作流复杂度未能可靠提升开放式多模态诊断表现，且常使推理更难审查。按他们的框架，未来的智能体系统需要基于证据的检索、透明的工作流控制和临床可审查的中间推理，新增复杂度才可能带来帮助。

优先可审查推理而非叠加工具层

论文的实践排序直接来自其比较结果。推理强度是唯一让准确率单调提升的维度，从Thinking Mini的32.9%升至Pro的46.0%，而联网搜索和智能体结构都未能超过未联网的Auto。对想判断医学AI系统该看什么的读者来说，这意味着应首先检查系统是否展示可审查的分步推理，而不是先看检索广度或智能体能调用多少工具。

第二优先级是视觉 grounding。在多数配置中，误读出现在约45–65%的病例里，最强的模型有时仍偏好视觉上相似的图像而非病灶特异性线索。按这一证据，无法把文本结论与具体影像发现对应起来的系统，不是增加复杂度的合适对象。

第三是输入规范。由于在37例低质量病例上准确率下降约10–30个百分点，且最佳配置总体也只达到46.0%，近期现实角色是在图像采集良好的病例上提供决策支持、由临床医生审查推理轨迹，而不是在不完美的真实数据上自主诊断。

本文引用的文献