网络爬虫应如何在主机间分配 LLM 预训练数据的抓取预算？

约一半质量差异来自主机之间

论文要回答的是：在预算固定的情况下，如果目标是收集更多能通过预训练数据过滤的页面，爬虫应如何在网站（即主机）之间分配抓取次数，以及每个主机应抓多深。答案建立在一项测量上：质量在一定程度上是主机的属性，而不只是单个页面的属性。

作者从 CC-MAIN-2024-10 抓取的 224 个 WARC 文件中提取了 532,628 个主机上的 301 万份文档，用十个 fastText 分类器为每份文档打分，并计算组内相关系数 ICC1。该统计量表示逐文档得分方差中位于主机之间、而非主机内部的比例。在十个分类器上，ICC1 介于 0.43 至 0.62，因此得分变异约有一半发生在主机之间。

这一点之所以重要，是因为它说明一个主机的页面并非随机混合。如果爬虫了解了某个主机少数页面的情况，也就了解了其余页面的一部分情况。论文将此视为中等程度的一致性，而非完全一致：仍有相当一部分变异位于主机内部，这限制了任何主机级信号对主机排序的能力。

关于该指标有两点需要说明。这里的质量指分类器预测的预训练有用性，是代理指标，既不等同于文档的内在质量，也不等同于下游基准表现。文档数量描述的是 WARC 样本，而非 Common Crawl 从每个主机抓取的全部页面。

中心性排序几乎不比随机排序更好

Common Crawl 目前使用调和中心性这一网页图指标，来决定抓取哪些主机以及抓多深。论文检验了在固定预算下，这一选择是否能增加收集到的高质量页面数量。

在抓取产出模拟中，主机按某种策略定义的顺序被抓取，直到预算用完。在 10% 的抓取预算下，按调和中心性排序主机所收集的高质量页面数，在各分类器上是随机排序的 0.7 至 1.8 倍；而一个知道每个主机真实质量密度的“神谕”策略则达到 4.0 至 8.0 倍。PageRank 和 Common Crawl 当前分配也远低于神谕策略。对 DCLM 而言，按中心性排序的表现比随机更差。

论文为这一弱信号给出了机制解释：语言。主机的主要语言与其中心性相关，而用英文训练的英文分类器对英文主机和非英文主机的打分差异很大，但方向并不一致。DCLM 给非英文主机的分数远高于英文主机（中位数 0.29 对 0.0005），因此把两种语言合并后，其整体中心性相关性为负（ρ = −0.083），尽管在英文主机内部为正（ρ = +0.064）。Nemotron-Q 的方向相反，给英文主机打分更高（0.49 对 0.37）。

作者对这套解释的边界很谨慎。语言分析并不能证明考虑语言就能提高抓取产出，语言组内的正相关也未必能在有限预算下转化为有效的排序。此外，与随机排序相比，按中心性排序还使所覆盖的顶级域名数量大约减半，降低了多样性。

三页样本即可预测主机其余页面

如果质量在一定程度上是主机属性，那么小样本就应能预测其余页面。论文直接检验了这一点：将 k 页样本的质量密度与该主机其余页面的质量密度做相关。

相关性随 k 增大而上升，并在 k 约为 15 至 20 时趋于平稳，但大部分信号很早就已出现：k = 3 时 ρ = 0.53，k = 5 时 ρ = 0.57。因此，三页样本就承载了排序主机所需的大部分信息，而成本只是给每页打分的一小部分。

论文的策略建议正源于此。“先抽样再加深”先探测每个主机的三页，然后把剩余预算深度抓取样本质量密度最高的主机。由于爬虫在抓取之前无法区分主机内的高质量页面和低质量页面，该策略只能选择深度抓取哪些主机，而不能在主机内部挑选页面。

实际优势在于架构：分类器只对每个主机约三页的样本运行，而不是对每个候选页面运行，因此不必位于爬虫的关键路径上。这使这一主机级手段区别于页面级调度器——后者必须抓取、提取并给每个候选页面打分才能获得调度信号。

先抽样再加深比均匀深度多数倍

深度模拟给每种策略相同的预算，即固定的抓取页面数，并以产出评分：每抓取一页所收集的高质量页面数。质量得分超过 0.5 的页面计为高质量。

在小预算下，“先抽样再加深”每抓取一页获得的高质量页面数最高可达均匀广度策略的 7.8 倍，随预算增大收窄至 1.7 倍，并接近神谕策略。按调和中心性偏置深度（类似 Common Crawl 当前做法）与均匀广度几乎没有差别。

差距随预算增大而缩小，是因为更大的预算迫使策略向下延伸到排名较低的主机。因此，对爬虫设计者而言，关键比较取决于预算规模：抽样带来的优势在抓取次数稀缺时最大。

论文在 FineWeb-Edu 得分上报告了这一结果，并使用覆盖 CC-MAIN-2017-34 每个已抓取页面的 GneissWeb 标注，在全量抓取规模上复现了深度分析。全量抓取复现去掉了 WARC 子抽样步骤，但仍反映 Common Crawl 自身的页面选择，因此结果并不能证明三页对任意主机或观测抓取之外的页面都足够。

Common Crawl 的抓取深度不随质量变化

论文随后从模拟转向实际部署的抓取。将 Common Crawl 的主机索引（记录每个主机的已知 URL、已抓取 URL 和覆盖率）与 GneissWeb 质量标注连接，得到每个主机的质量密度：该主机已抓取页面中被强质量过滤器保留的比例。

在 CC-MAIN-2024-10 的 5,654,186 个主机上，主机被抓取的完整程度与其质量密度之间的相关性为 −0.08，质量分布也没有随覆盖率上升。如果说有差别，反而是抓取最少的主机质量最高。这一模式在 2021 至 2024 年的六次抓取中保持一致，相关性介于 −0.057 至 −0.151，且覆盖率与所有测试分类器都不相关（|ρ| ≤ 0.07）。

作者将此视为预期之内而非缺陷：Common Crawl 被构建为面向多种用途的广泛网络样本，而非面向 LLM 的爬虫。这一发现说明，其按主机分配的预算并没有优先加深那些对预训练数据而言值得加深的主机。

遗漏的高质量页面集中在少数主机

假设未抓取页面与同一主机的已抓取页面相似，论文估计仅在 CC-MAIN-2024-10 这一次抓取中，已知但未抓取的 URL 里就有 5800 万个高质量页面。这是规模估计而非精确计数，且针对的是已知 URL，而非全部 URL 总体。

遗漏的预算并非均匀分布。其中一半位于抓取率低于 20% 的主机，62% 落在 369,534 个“隐藏宝石”主机上——定义为覆盖率低于中位数但质量位于前十分之一——这些主机仅占全部主机的 6.5%。覆盖率与质量交叉后最密集的单个格子就占了遗漏高质量页面的 26%。这种偏斜指向全国性和地区性新闻出版商以及学术存储库；仅 .uk 顶级域名就占了遗漏页面的 23%，来自 6.1% 的主机，中位覆盖率为 34%。

换算成预训练 token，单次抓取的缺口约为数百亿个高质量 token，按每页约 1,000 个 token 假设约为 580 亿。外推到现有 100 多次 Common Crawl 抓取，约为 6 万亿 token，但作者将其标注为示意性外推，未考虑重复页面、重复内容或跨抓取的重叠。

分类器产出更高不等于语料更好

论文自身的局限界定了建议的适用范围。质量密度继承了产生它的分类器的偏差；作者通过展示覆盖率结果在独立模型下同样成立来缓解这一点，但没有任何模型是真实标准。遗漏预算估计还假设未抓取页面与已抓取页面相似，并忽略了抓取礼貌性和内容新鲜度。

更重要的是，把预算分配给分类器得分高的主机，可能降低那些分类器打分较低的语言、地区或内容类型的代表性。在抓取时，这会影响哪些页面被收集，包括初始样本得分低的主机上可能仍有用的页面。因此，基于分类器的更高产出并不必然意味着更具代表性或更多样化的语料。

论文还把质量与发现区分开来。深度模拟是在一组固定的已抓取页面上分配预算，并不衡量爬虫通过跟随链接会发现哪些新 URL 或主机。得分低的主机仍可能链接到别处的有用内容，因此作为质量排序信号表现弱，并不能排除中心性在发现环节的作用。论文提出将基于中心性的探索与样本引导的深度分配结合，但未对此进行评估。

稀缺抓取应投向抽样得分高的主机

论文的决策规则很具体：当抓取次数稀缺时，先探测每个主机的少量页面，把深度放在样本得分最高的主机上，而不是按图中心性排序主机或对所有主机均匀抓取。优势在小预算时最大，每抓取一页获得的高质量页面数可达均匀广度的 7.8 倍，并随预算增大收窄至 1.7 倍。

第二项优先级来自覆盖率分析。最值得重新访问的不是抓取充分的主机，而是观测质量密度高、抓取很少的主机：估计 5800 万个遗漏高质量页面中有 62% 位于 6.5% 的主机上。可操作的发现是这种集中分布，而非总量缺口。

论文没有解决的是，这一产出增益能否在它指出的权衡中保持。遵循分类器得分的爬虫可能收集到更多分类器喜欢的页面，同时收窄语言和地区覆盖，而论文没有提供经过评估的机制来预留探索预算。因此，“先抽样再加深”的理由在目标明确由分类器定义预训练质量时最强，在代表性是同等目标时最弱。

本文引用的文献