社会推理与其他三个基准明显分开
这篇论文要回答的是：不同能力分别依赖预训练语料中的哪些区域。作者对 OLMo3-7B 在四个基准上计算基于梯度的训练数据归因，再把文档级影响汇总到 WebOrganizer 分类体系定义的 576 个主题–格式分箱中（24 个主题与 24 种格式交叉）。四个基准构成 2×2 设计：领域（社会与 STEM）与能力类型（推理与知识）交叉。SocialIQA 和 ARC-Challenge 是推理格，MMLU Social Sciences 和 MMLU STEM 是知识格。
核心结果是一种分离，而不是某个单一区域胜出。SocialIQA 的全网格归因图谱与三个对照基准的相关系数分别为 r = 0.06、0.21 和 0.09，而这三个基准彼此之间的相关系数为 r = 0.76–0.86。用一个离群统计量比较各基准与其他基准的平均相关性时，只有 SocialIQA 为正值，达到 +0.68，95% 分箱自助法区间为 [+0.34, +0.96]。在格式边际和主题边际上重复分析，排序结果不变，因此这一发现并不依赖分类体系的某一个切片。
这种对比在推理层面比在知识层面更明显。论文自己的表述是：社会推理与 STEM 推理依赖性质不同的语料区域，而知识对之间的分离没有那么干净。读者应把这两个论断分开看：强证据指向的是 SocialIQA 与其余基准的差异，而不是四个基准整体上存在一条清晰的社会与 STEM 分界线。
文档级影响太嘈杂，无法直接解读
训练数据归因估计的是每篇训练文档对模型在某个基准上预测的影响强度。问题出在粒度：单篇文档的分数很嘈杂，一份文档排名清单无法告诉你哪一类语料材料在支撑某项能力。论文的做法是把这些分数汇总到固定分类体系中，把嘈杂的逐文档估计变成读者可以比较或施加扰动的语料单元。
汇总的规模会影响数字的解读方式。归因在一个分层工作集上运行，该工作集包含 5,678,621 篇文档（10.5B token，每个分箱 10,000 篇），取自去重后的 Dolma3 混合语料，后者共有 1,263,587,168 篇唯一文档。WebOrganizer 为每篇文档分配一个主题和一个格式，归因单元就是由此形成的主题–格式分箱，例如 Social Life × Q&A Forum 或 Literature × Customer Support。
两项实现选择决定了分数的含义。文档梯度用 OLMo3-7B Base 计算，基准查询梯度用 OLMo3-7B Instruct 计算，并把监督指令微调的二阶贡献视为单位矩阵，使归因只与预训练数据挂钩。影响分数还在每个基准内部做了 z 标准化，因此论文比较的是各图谱的位置，而不是它们的量级。
SocialIQA 依赖对话密集与说明性区域
SocialIQA 的正向影响分散在许多主题–格式单元中，而不是集中在少数几个。它最强的格式是 Customer Support（+1.07），这一格式没有出现在任何其他基准的前三名中，其高影响分箱被描述为对话密集。论文将此解读为人际互动类格式承载了社会互动，与其余基准依赖的文档类格式形成对照。
对照基准呈现出不同的形状。Documentation 是 MMLU Social Sciences（z = +2.40）、MMLU STEM（+2.29）和 ARC-Challenge（+1.97）最强的正向格式，对 SocialIQA 也保持轻微正向（+0.44）。论文把文档类格式解读为承载更直接的事实内容。News Article 在四个基准上一致为负，范围从 −0.62 到 −1.02。
这些是归因分数中的关联，不是关于单篇文档的因果论断。论文明确指出，归因估计的是影响，并不证明因果必要性，因此它增加了一步干预实验，而不是止步于热力图。
遗忘实验只验证了 SocialIQA，而非全部四个基准
为了检验高归因区域是否在功能上必要，论文用定向机器遗忘删除高归因主题中的文档，并测量选择性：目标基准上的损伤相对于其他三个基准平均附带损伤的比值。选择性越高，说明干预对目标基准的伤害相对其他基准越大。
结果并不一致，论文也如实报告。SocialIQA 在两种遗忘集构造下都表现有利：分箱级试点为 1.43×，逐文档忠实试点为 2.17 ± 0.61×。MMLU STEM 只在逐文档忠实构造下有利（1.45 ± 0.10×），在分箱级试点下为负（0.62×）。MMLU Social Sciences 在两种构造下都为负（0.77× 和 0.15 ± 0.02×）。ARC-Challenge 在两种构造下都没有选择性优势（0.82× 和 0.87 ± 0.24×），而且由于它的目标损伤处于噪声底，论文将其视为无法解读的非结果，而不是失败。
另一组 2×2 配方比较分离了分箱定向遗忘的两个成分：按影响对文档排序，以及把遗忘集限制在单一主题内。在修正后的评估下，影响排序在 3 个可评分基准中有 1 个起作用，主题过滤在严格的盲选 top-1 主题上为 0 个。因此论文把稳健性检查描述为一次混合审计，而不是四个基准的一致胜利。
盲选首选主题对两个 MMLU 基准都是弱目标
混合的遗忘结果部分来自主题选择。对 MMLU Social Sciences 和 MMLU STEM 而言，盲选 top-1 归因主题都是 Industrial，论文指出这对两者都是较弱的遗忘目标。这就是为什么它们的主题效应低于 1.0，尽管它们的归因图谱与 SocialIQA 不同。
可部署选择与最优选择之间的差距很大。一个事后最优上界（在看到结果后再挑选最佳主题）在 SocialIQA 上达到 5.11 ± 2.61×，MMLU Social Sciences 为 1.88 ± 0.68×，MMLU STEM 为 1.45 ± 0.10×，ARC-Challenge 为 4.85 ± 0.63×。论文明确称其为上界，而不是可部署的选择规则。
这一区分是遗忘实验部分的实际核心。归因可以指向重要区域，但当前的 top-1 选择规则并不能可靠地把这一信号转化为对每个基准都具选择性的干预。SocialIQA 是整条流程端到端跑通的案例。
这张图谱描述的是工作集，而非整个语料
来源归属的论断锚定在去重后的 Dolma3 语料总体上，但实证分析运行在从其 WebOrganizer 分箱部分抽取的分层工作集上。结果刻画的是该工作集内与基准相关的结构，不应被理解为对完整语料中每篇文档的穷尽刻画。
加权方式也会改变问题本身。一项事后按 token 质量加权的检查保持了每个分箱影响的正负号，但改变了哪些分箱主导总体层面的总量，因为高体量分箱可能压过低体量的高 z 值分箱。SocialIQA 最强的平衡分箱仍是 Literature × Customer Support，而按 token 加权后最大的正向贡献来自体量更大的技术与教程类分箱。论文因此把主要结果报告为平衡的分类体系层面比较，并把按语料加权的汇总视为单独的总量范围诊断。
分箱本身是分类器定义的压缩，而不是精确的语义划分，而且研究只覆盖一个模型家族。论文指出，这些高层归因模式是否适用于其他在网页规模语料上训练的开源数据模型仍是开放问题，检验这一点是独立的后续研究，而不是增量实验。
把 SocialIQA 当作已验证案例，而非通用模板
论文最站得住脚的论断比“社会推理与 STEM 推理分别位于何处”的一般理论要窄。在 OLMo3-7B 与 Dolma3 的设定内，SocialIQA 的正向归因来自比对照任务更广、分布更均匀的一组主题–格式区域，互动性写作与说明性写作都有贡献，定向遗忘实验最清晰地验证了这一结果。
对比较基准或规划语料干预的读者来说，有用的区分在于四个目标之间的差异。SocialIQA 在两种遗忘集构造下都有利；MMLU STEM 只在逐文档忠实遗忘集下有利；MMLU Social Sciences 是一致为负；ARC-Challenge 是噪声底非结果。把四者视为同等程度地被验证，会夸大遗忘实验所展示的内容。
论文自己的下一步正是从这一区分出发：在同一家族更大的模型上以相同的遗忘协议重复整条流程，检验因果选择性与类别关联能否在规模变化后保持。在此之前，能力来源图谱最好被当作一份结构化摘要，说明与基准相关的影响集中在何处，而 SocialIQA 是图谱与干预结果相互吻合的那个案例。
本文引用的文献
Capability Provenance in Language Models: A Case Study in Social Reasoning
在 576 个 WebOrganizer 主题–格式分箱上的基于梯度的归因显示，SocialIQA 的语料图谱相对 ARC-Challenge 和两个 MMLU 基准是结构性离群点；定向遗忘实验对 SocialIQA 的验证最清晰（分箱级 1.43×，逐文档忠实 2.17 ± 0.61×），MMLU STEM 只在逐文档忠实遗忘集下有利，ARC-Challenge 则是噪声底非结果。