如何让开源权重模型的评估具备可重复性？
一个主要障碍在于评估流程本身十分脆弱。一项研究发现，仅用文字描述评估流程不足以实现准确复现——三个未被察觉的实现错误导致报告数据偏差数十个百分点[2]。这意味着对于开放权重模型（任何人都可在本地运行），评估者不仅要公布结果，还必须公开所使用的精确代码、提示词和评判模型。同一项研究表明，一个仅30个词、要求生成中立对比表格的用户提示，就能将十个开源模型的赞助推荐比例从46.9%降至1.0%[2]，这证明评估设置中的微小改动可能彻底改变结果。
另一个关键问题是顺序敏感性。当相同的多模态输入以不同顺序呈现时，所测试的18个模型均无法保持顺序不变性，不同方面的翻转率在24%至50%之间[5]。即使表现最好的模型，仍有13.4%的测试案例出现翻转[5]。这表明评估报告必须将“跨顺序翻转率”作为标准指标，而不仅仅是单一的准确率分数。
开源权重模型是否需要专门的微调才能发挥作用？
是的，而且证据充分。一项针对医学基准的研究发现，经过医学微调的开源权重模型显著优于其通用型模型[6]。在一项针对小语言模型（参数规模从1.35亿到30亿）的受控评估中，参数高效微调在保留测试集上的准确率提升了高达26.85个百分点[3]。同样，使用生物科学语料库对两个开源权重模型（Llama 3.2-3B和Qwen2.5-3B）进行微调后，它们对生物学解决方案的偏好显著增强，且未降低通用能力（经Holm-Bonferroni校正后p<0.001和p<0.01）[4]。
然而，专业化并不总能缩小与前沿模型之间的差距。在巴西国家医学考试中，一个领域专用系统（Charcot）以96.97%的准确率排名第一，但在统计上与顶尖前沿模型集群并无显著差异[1]。与此同时，该研究中表现最佳的开源权重模型（GPT-OSS 120B）落后顶尖前沿模型集群12至15个百分点[1]。因此，尽管微调有所帮助，但在高风险任务中，它可能无法完全弥合性能差距。
评估应如何考量开源模型的安全性与偏见？
安全评估不能仅局限于对明确指令的遵循。一项研究框架对16个模型进行了测试，测试场景中用户请求被故意设定为信息不完整，要求智能体推断出隐含的约束条件（例如隐私、可访问性）。即便表现最好的模型，其通过率也仅为48.3%[7]，这表明开源权重模型在人类习以为常的上下文推理方面仍存在困难。
偏见是另一个值得关注的问题。一项衡量“生物对齐”的研究发现，大多数模型（无论是前沿模型还是开放权重模型）都表现出对合成（非生物）解决方案的系统性偏好，而非生物解决方案[4]。令人鼓舞的是，通过针对特定语料库进行微调，这种偏好发生了转变，表明偏见可以在部署后得到缓解。对于开放权重模型而言，这意味着评估者应纳入针对偏见的基准测试，并在发布模型权重的同时提供微调方案。
关于这些来源
该回答基于7篇经同行评审的研究——发表于2026年，其中7篇来自2024年及以后——这些研究是从9篇通过质量筛选的研究中选出的最具相关性的内容，而9篇研究又源自从超过5亿篇论文的数据库中检索到的44篇文献。
本文引用的文献
大型语言模型在巴西国家医学教育考试中的表现：一项比较基准研究。
在巴西国家医学考试中，一个领域专用系统（Charcot）取得了96.97%的准确率，与顶尖前沿模型在统计上无显著差异，而最佳开源权重模型（GPT-OSS 120B）则落后顶尖集群12至15个百分点。
只需一张桌子：一个三十词的用户提示在十二个大语言模型中击败了赞助推荐
一个包含30个词元的用户提示，要求生成中立对比表格，使十个开源模型中的赞助推荐比例从46.9%降至1.0%，但评估流程本身存在脆弱性——三次无声的实现故障使比例波动了数十个百分点。
用小语言模型实现AI民主化：面向本地部署的结构化基准测试与参数高效微调
在一项针对小型开源模型（参数规模从1.35亿到30亿）的受控评估中，参数高效微调在保留测试集上将准确率最高提升了26.85个百分点，其中Qwen Coder 3B模型以75.67%的严格准确率领先。
生物对齐：衡量并提升大语言模型对生物系统的倾向性，以促进人工智能安全
使用生物学语料库对两个开放权重模型（Llama 3.2-3B和Qwen2.5-3B）进行微调，显著提升了其对生物学解决方案的偏好（p<0.001和p<0.01），且未降低通用能力。
相同证据，不同答案：多模态大语言模型中的审计顺序敏感性
在测试的18个多模态模型中，没有一个模型对输入顺序保持不变；在不同输入顺序维度上，翻转率介于24%至50%之间，即便是表现最佳的模型，在13.4%的试验中也出现了翻转。
Medmarks：面向医疗任务的全面开源大语言模型基准测试套件
在一套全面的医学基准测试中，经过医学微调的开源权重模型表现优于通用模型，但前沿推理模型（Gemini 3 Pro Preview、GPT-5.1、GPT-5.2）取得了最高的整体性能。
隐性智能——评估智能体对用户未言明之事的理解能力
在205个未明确说明的场景中，即使表现最好的模型也仅达到48.3%的通过率，这表明开源权重模型在隐含语境推理方面存在困难。