Llama 3 系列模型具备哪些能力，评测结果如何？

以 405B 为旗舰的稠密 Transformer 家族

论文把 Llama 3 描述为一组原生支持多语言、编程、推理和工具使用的语言模型。最大模型是稠密 Transformer，有 405B 参数，上下文窗口最高 128K tokens。论文的架构表还列出 8B 和 70B 两个成员，层数分别为 32、80 和 126，三者都使用 8 个键值头，共享 128,000 个 token 的词表。

作者表示，模型架构与 Llama 和 Llama 2 相比没有显著偏离。他们把性能提升主要归因于数据质量和多样性的改进以及训练规模的扩大，而不是新架构。这一点影响读者如何理解评测：这些核心数字描述的是一个结构常规的模型，其优势被归因于数据和算力。

405B 的规模由缩放定律确定

405B 这个规模是通过缩放定律实验选出的，而不是事先定好的。团队在 6 × 10^18 到 10^22 FLOPs 的算力预算下，预训练了 40M 到 16B 参数的模型，测量验证损失，并把每条 IsoFLOPs 曲线的最低点认定为该预算下的算力最优模型。对这些最低点拟合幂律后，算力与最优训练 token 数关系的指数为 0.53，系数为 0.29。

把这一拟合外推到旗舰模型 3.8 × 10^25 FLOPs 的预算，得到的建议是在 16.55T tokens 上训练一个 402B 参数的模型。作者还观察到，随着算力增加，IsoFLOPs 曲线在最低点附近变得更平坦，因此性能对模型规模与 token 数之间的小幅取舍相对稳健。于是他们训练了 405B 模型，接近预测的 402B。这是用来确定设计选择的模型推算，不是已发布模型的实测结果。

数据配比与分词器贡献了大部分提升

最终的预训练数据配比大致包含 50% 通用知识 token、25% 数学与推理 token、17% 代码 token 和 8% 多语言 token。为选出这一配比，作者先在小模型上做缩放定律实验，用它们预测大模型在各候选配比上的表现，再决定是否投入完整训练。他们还构建了一个分类器来归类网页数据，并对艺术与娱乐等过度代表的类别进行降采样。

分词器由 tiktoken 分词器的 100K 个 token 加上 28K 个面向非英语语言的额外 token 组成。在一份英文数据样本上，与 Llama 2 分词器相比，新分词器把压缩率从每 token 3.17 个字符提高到 3.94 个字符，因此同样的训练算力可以覆盖更多文本。作者报告，新增的非英语 token 改善了压缩率和下游性能，且没有影响英文分词。

退火带来的增益随模型增大而缩小

退火指在预训练末尾用少量高质量的代码和数学数据收尾。作者报告，退火使预训练的 Llama 3 8B 模型在 GSM8k 验证集上提升 24.0%，在 MATH 验证集上提升 6.4%。对 405B 模型而言，这些提升可以忽略不计。

作者把这一差距解读为旗舰模型已具备较强的上下文学习和推理能力，不需要领域内的训练样本也能表现良好。这一比较针对的是同一退火流程下两个模型规模的验证集增益，因此它说明的是该技术在何处见效，而不是关于数据质量的普遍结论。团队还用退火来评估小型领域数据集的价值：在 40B tokens 上把学习率线性衰减到零，同时给新数据集 30% 的权重、给默认配比 70% 的权重。

长上下文与工具使用需要专门训练数据

如果沿用现有的监督微调方案、只用短上下文数据，预训练获得的长上下文能力会出现明显退化。由于人工标注长样本不现实，团队用早期版本的 Llama 3 生成合成数据，覆盖三类任务：把文档切成 8K token 的块后做问答、分层摘要，以及在移除关键文件的代码仓库上做推理。把 0.1% 的合成长上下文数据混入原有短上下文数据，可以在短上下文和长上下文基准上都取得最优表现。

直接偏好优化是用偏好数据塑造回答的后训练步骤。作者发现，只要微调后的模型本身长上下文能力足够强，仅用短上下文数据做这一步并不会损害长上下文表现。他们推测原因是这一步的优化器步数少于监督微调。在工具使用方面，Llama 3 被训练调用搜索引擎来回答超出其知识截止时间的问题，并调用 Python 解释器完成计算和基于文件的任务。

在大量任务上与 GPT-4 质量相当

论文的核心评测结论是：Llama 3 在大量任务上达到与 GPT-4 等领先语言模型相当的质量。摘要把这一点作为广泛实证评测的发现提出；它没有把比较归结为单一综合分数，而且这一结论仅限于作者所评测的任务。

有两项设计选择决定了这一比较能承载多少分量。预训练数据由一个独立团队采购和处理，该团队的激励是防止预训练数据被常用基准污染；人工评测只由一小批不参与模型开发的研究人员执行和访问。作者把这些组织安排视为结果可信的关键，这属于关于流程的论证，而不是对基准的独立审计。

安全工具已发布，多模态模型尚未发布

除 405B 的预训练和后训练语言模型外，此次发布还包括用于输入和输出安全的 Llama Guard 3。论文还报告了 Prompt Guard 在越狱和注入场景下的表现：越狱的真阳性率为 99.9%，注入为 99.5%，分布外越狱为 97.5%，多语言越狱为 91.5%，间接注入为 71.4%，假阳性率在 0.4% 到 5.3% 之间。多语言越狱和间接注入两行明显弱于分布内各行，说明该防护模型在不同攻击类型上的保护并不均衡。

图像、视频和语音实验通过组合式方法把这些能力集成进 Llama 3，作者观察到该方法在图像、视频和语音识别任务上的表现与最先进水平相当。这些模型明确尚未广泛发布，因为它们仍在开发中。局限性部分补充说，任何测试都无法做到穷尽，Llama 3 仍可能生成有害内容，尤其是在英语之外的语言中，以及在被熟练的对抗性提示引导时。

先看发布边界，再看基准结论

这篇论文中最影响决策的区分，是哪些内容已发布、哪些只是演示。405B 语言模型、它的后训练版本以及 Llama Guard 3 是公开的，“与 GPT-4 相当”的结论适用于这个已发布的语言模型在所评测任务上的表现。多模态结果是作者选择提前分享的初步实验，因此不应被视为可用的产品，也不应被视为已经确定的能力结论。

在已发布的系统中，证据指向一个具体优先级：数据质量、规模和简洁性推动了提升，而更复杂的架构和训练方案虽被探索过，却未能证明其增加的复杂度是值得的。因此，对考虑 Llama 3 的读者来说，有用的问题不是 405B 稠密模型能否在基准上竞争，而是论文报告的各项条件——所评测的任务集、污染控制措施，以及防护模型在不同攻击类型上不均衡的表现——是否与拟部署的场景相符。

本文引用的文献