小型语言模型在现实世界中究竟哪些领域表现良好？
当任务范围狭窄、数据经过精心整理且输出受到约束时，小型语言模型表现尤为出色。在围手术期医学领域，一款名为PEACH的聊天机器人——通过将35项机构协议嵌入安全的小型模型环境构建而成——在实际临床查询中达到了97.5%的准确率，临床医生报告称其在95%的案例中加快了决策速度[7]。这并非实验室测试，而是历经三轮迭代、涉及240次真实临床交互的结果。同样，在放射肿瘤学领域，一个700亿参数的医学大语言模型（Llama3-OpenBioLLM-70B）在回答真实临床问题时，其质量评分与资深专家在统计学上无显著差异（5分制下平均分3.38 vs. 3.63），且仅16%的回答被认为可能有害——与专家的13%相当[6]。
在医学领域之外，小型模型在专业技术任务上可以超越规模大得多的模型。SLaDe（一款小型语言模型反编译器）在将优化后的汇编代码还原为可读程序时，其准确率比行业标准反编译器Ghidra高出6倍，比ChatGPT高出4倍[10]。关键在于这些任务定义明确：遵循协议、翻译汇编代码、提取结构化信息。当目标清晰且训练数据质量高时，小型模型不仅能够竞争——它们往往能胜出。
小型模型在哪些方面表现不佳——这为何重要？
那些证明小模型也能取得成功的同一批研究，也揭示了其明显的局限性。在复杂的临床推理任务中——例如根据病理报告对癌症进行分期——一个40亿参数的模型（Gemma 4B）表现出“不稳定的性能”，有时甚至因推理提示而性能下降；而同一模型的120亿参数版本则表现好得多（肿瘤缓解的F1分数为81.5%，T分期为74.3%）[2]。40亿与120亿参数之间的差距是一个警示：小模型需要足够的容量才能处理多步推理。在一项涵盖68项研究的系统性综述中，经过微调的小模型在领域任务上达到了85–90%的准确率，但在复杂推理基准测试中却骤降至57.58%，而GPT-4则为92.13%[1]。
问题不仅在于准确性——更在于可靠性。在一项使用真实病例的神经学研究中，ChatGPT（大型模型）的诊断准确率仅为54%，而神经科医生达到75%，Gemini则只有46%[5]。另一项研究发现，即便是大型语言模型也会编造引用并生成不可靠的参考文献，而人类撰写的报告则不存在此类问题[3]。此外，在牙髓病学考试中，表现最佳的LLM（ChatGPT-4o）在标准选择题上得分81.5%，但在需要识别所有正确陈述的组合型题目上得分显著下降[4]。这一规律始终一致：随着任务复杂度的提升或需要整合多重证据时，小型模型——甚至许多大型模型——都难以达到人类专家的水平。
整体证据如何说明现实世界的准备情况？
证据明确但有条件：小型语言模型已可在特定、协议驱动的场景中部署，这些场景下错误风险低或易被发现，但它们尚未准备好独立进行临床决策。最强有力的证据来自PEACH研究（在240次真实交互中准确率达97.5%）[7]和放射肿瘤学研究（回答与专家难以区分）[6]。这两项研究均使用了针对特定领域数据微调的模型，并在受控环境中部署。名为MedHELM的综合评估框架测试了9个前沿大语言模型，涵盖37项模拟真实临床任务的评估，发现高级推理模型（DeepSeek R1、o3-mini）取得了最高胜率（66%），但较小模型（Claude 3.5 Sonnet）以低15%的成本达到了同等水平[8]——这表明模型规模本身并不能决定实际性能。
然而，同一框架也表明，即便是最优秀的模型仍存在显著差距。HELM基准测试对30个语言模型在16个核心场景和7项指标上进行了评估，结果发现，在标准化评估之前，这些模型仅在17.9%的相同场景下接受过测试——这意味着大多数关于模型实际表现的论断都基于精心挑选的测试[9]。结论是：小型模型确实有现实世界的应用证据，但这些证据集中在狭窄且定义明确的任务上。对于开放式推理、诊断或任何失误可能造成危害的任务，现有证据表明，它们尚不足以在无人监督的情况下可靠使用。
关于这些来源
该回答基于10篇经同行评审的研究——发表于2023年至2026年间，其中9篇为2024年及以后发表，2篇发表于Q1期刊，累计被引用424次——这些研究是从通过质量筛选的10项研究中选出的最具相关性的成果，而后者又源自从超过5亿篇论文的数据库中检索到的69篇文献。
本文引用的文献
小型语言模型：计算权衡、隐私优势与智能系统部署的系统性综述
一项涵盖68项研究的系统综述发现，经过微调的小语言模型（SLM）在领域任务上能达到85%–90%的准确率，而计算成本仅为大语言模型（LLM）的10%–25%，但在复杂推理方面仍存在差距（GPT-4：92.13% vs. CodeT5-Large：57.58%）。
使用大型语言模型对真实世界肿瘤学报告进行临床推理。
在一项涉及3650份放射学报告和588份病理学报告的研究中，一个拥有120亿参数的大语言模型在结构化提示下的临床推理任务中取得了81.5%至90.8%的F1分数，而一个40亿参数的模型则表现不稳定。
评估大型语言模型与人类研究者在真实世界复杂医学查询中的表现。
在20个真实临床困境中比较LLM（GPT-4o、Gemini 2.0、Claude 3.5）与人类研究者的表现，人类报告更常达到医生预期，且未出现任何虚构引用，而LLM报告则同时包含虚构和不准确的引用。
使用国家牙髓病专科考试题目评估大型语言模型：它们准备好应对现实世界的牙科诊疗了吗？
在151道牙髓病学考试题目中，ChatGPT-4o在标准选择题上的准确率达到81.5%，但在组合型题目上表现明显较差；没有任何模型被视为完全可靠的独立信息来源。
大型语言模型在神经科实践中的应用：真实世界研究。
在一项针对28个真实神经内科病例的研究中，神经科医生的诊断准确率为75%，而ChatGPT为54%，Gemini为46%；两种大语言模型在17%至25%的病例中过度开具了诊断检查。
医学大语言模型在回答真实世界放射肿瘤学问题中的比较评估：多中心观察性研究。
在一项针对50个真实放射肿瘤学问题的多中心研究中，一个医学大语言模型（Llama3-OpenBioLLM-70B）给出的答案在质量评分（3.38 vs. 3.63）和有害率（16% vs. 13%）上与资深专家相比无统计学差异。
PEri-operative AI CHatbot（PEACH）在真实世界中的部署与评估：一款面向围手术期医学的大型语言模型聊天机器人。
在围手术期聊天机器人（PEACH）的240次真实临床迭代静默部署中，初始准确率为97.5%，更新后达到97.9%，临床医生报告称95%的病例中决策速度得以加快。
使用MedHELM对大型语言模型在医疗任务中的整体评估
MedHELM在模拟真实临床实践的37项任务中评估了9个前沿大语言模型，发现高级推理模型（DeepSeek R1、o3-mini）达到了66%的胜率，但Claude 3.5 Sonnet以低15%的计算成本实现了与之相当的表现。
语言模型的整体评估
HELM基准测试对30个语言模型在16个核心场景和7项指标上进行了评估，结果发现，在标准化评估之前，这些模型仅在同一场景的17.9%上接受过测试，这表明此前的诸多声明普遍存在“摘樱桃”式的选择性报告。
SLaDe：面向优化汇编的可移植小型语言模型反编译器
SLaDe，一款小型语言模型反编译器，在将两个指令集架构的真实程序优化汇编代码反编译时，其准确率比Ghidra高出6倍，比ChatGPT高出4倍。