俄语法律文本继续预训练能提升 ModernBERT 编码器吗？

两个编码器，一个固定的判决片段集合

这项研究要回答的是：用俄语立法文本继续预训练，能否提升一个俄语 ModernBERT 编码器在法律文本上的表现。起点模型是 deepvk/RuModernBERT-base；适配后的模型 RuModernBERT-ruLaw 是在 RusLawOD 的 textIPS 字段上继续预训练得到的，该语料库据报告包含 304,382 份立法文件和 194,425,905 个语料词元。ModernBERT 标准的 8,192 词元最大输入长度被保留。

主比较被刻意收窄。原编码器和适配后编码器都在同一个固定的外部集合上评估，该集合包含 1,031 条法院判决片段，并且在五次掩码实现中，两个模型接收相同的隐藏位置。该集合在来源和文档类型上都不同于训练语料，但可能的内容重叠或改写重叠并未被专门排除，因此论文称这一评估为外部评估，而非独立评估。

读任何数字之前，有一个区分很重要。194,425,905 这个数字统计的是语料词元，不是模型实际处理的位置数。模型词元位置的数量取决于分词器、窗口划分和重叠，论文把它当作另一个量。文档被切分为最长 8,192 词元的窗口，重叠 512 词元，因此边界位置会同时出现在相邻窗口中。

512、2,048 和 8,192 词元处掩码词损失都下降

核心结果是：在三种最大输入长度与五次掩码实现的全部 15 种组合中，适配后模型的平均掩码词交叉熵都更低。在最大输入长度为 512、2,048 和 8,192 词元时，平均下降分别为 0.10942、0.07052 和 0.06604 自然对数单位。在 8,192 词元处，平均配对差值为 0.06604 纳特。

这个指标值得精确说明。掩码词交叉熵是模型赋予某个被隐藏词元正确原值的概率的负自然对数，并在掩码位置上取平均。正确词元的概率越高，损失越低。论文的示例使用 0.5 和 0.8 两个假设概率，得到约 0.693 和 0.223 纳特的损失；这些数字是教学示例，不是本次运行的测量结果。

报告的 95% 区间概括的是在这个固定集合上对掩码的敏感性。它们不量化跨文档集合的不确定性，因此不应被读作关于一般法律文本的置信陈述。

比较不同长度无法分离远距离上下文的作用

很容易把三个长度的结果读成一个关于长上下文的故事：适配后模型在 512 词元处收益最大，在 8,192 处收益最小，这似乎说明远距离上下文的作用低于预期。论文明确阻止了这种读法。比较不同长度无法分离远距离上下文的因果作用，因为前缀构成和被评估的词元也随长度变化。

架构本身解释了长度为什么昂贵。完整自注意力在序列长度上是二次代价。ModernBERT 交替使用局部注意力和全局注意力，前者把一个位置与邻近位置相连，后者连接所有位置对。在固定局部窗口宽度下，序列长度翻倍，局部位置对数量约翻倍，全局位置对数量约变为四倍，边界效应忽略不计。论文把这些作为渐近缩放估计，而非硬件测量。

研究没有提供实测的训练时长、吞吐量或峰值内存，因此注意力代价表描述的是增长率，而不是本次运行实测到的优势。FlashAttention 减少了中间存储，但并未消除全局层中的二次算术。

实体抽取无法区分两个编码器

第二项评估针对法律实体抽取，涉及五个数字标识为 2、4、9、13、17 的法律类别。字符区间被转换为 BIO 标签，微平均的精确率、召回率和 F1 使用词元边界与实体类别的精确匹配计算。文档以最长 8,192 词元、重叠 1,024 词元的窗口处理，每个窗口作为独立序列评分；来自重叠窗口的预测没有在原始文档层面显式合并。

原模型和适配后模型的实体级 F1 分别为 0.99852 和 0.99820。因此适配后模型略低，而不是更高。论文没有声称继续预训练带来 NER 优势，并指出每个模型只做了一次微调运行，这限制了对该差异稳定性的结论。

更重要的问题是这个测试能检测到什么。划分之前，行按归一化文本的 SHA-256 哈希分组；在 97,668 行中，删除了 15,783 个重复行，以及属于 32 篇标注冲突文本的 109 行，剩余 81,776 篇唯一文本被确定性地划分为 65,382 个训练、8,133 个验证和 8,261 个测试样本。完全相同的文本在划分之间不重叠。然而，99.95% 的测试片段跨度在训练划分中具有相同的归一化表面形式和类别，因此该评估对迁移到此前未见形式的证据有限。

掩码词损失与实体 F1 回答不同问题

两项评估是彼此独立的分支，结果不能互相替代。掩码语言模型评估测试的是固定集合上隐藏词元概率的变化。跨度实验评估的是微调之后的另一项任务，有自己的窗口划分、自己的重叠设置和自己的评分规则。

聚合顺序也不同。训练时损失在一个小批量内对所有掩码词元取平均。外部评估则先在片段内以批量大小为一对掩码词元聚合，再在片段和掩码实现之间等权聚合。实体评分使用词元边界与类别的精确匹配，因此把实体起点移动一个词元就会使预测判为错误。

这就是为什么更低的掩码词损失和略低的实体 F1 可以并存而不矛盾。它们在不同的数据上、用不同的分母，测量不同的东西。

这项比较没有确立什么

该比较支持在所研究的模型对和集合上，掩码词预测损失更低。它没有分离远距离上下文的作用，也没有确立实际的法律效用。研究评估的是模型损失和一项实体抽取测试；它没有评估法律专业能力或实际的人力节省。

实体结果还受到第二重限制。测试划分几乎被训练形式完全覆盖，意味着该任务主要包含熟悉的形式，因此对区分两个编码器的判别价值有限。论文还报告每个模型只做了一次微调运行，这限制了对迁移以及这一微小 F1 差异稳定性的结论。

论文自己的总结把三件事分开：在固定判决片段集合上报告的语言建模效果、实体测试提供的有限证据，以及尚未检验的问题——迁移到新形式、分离远距离上下文的贡献、实际法律效用。这些板块之间不隐含因果链条。

把损失差距读作有边界的稳定信号

对于想判断这篇论文改变了什么的读者，最站得住脚的结论是掩码词结果的一致性，而不是它的幅度。在固定判决片段集合上，适配后模型在三种最大输入长度与五次掩码实现的全部 15 种组合中损失都更低，8,192 词元处的平均配对差值为 0.06604 纳特。这一模式是论文最强的证据。

实体抽取分支应被读作对这一模型对而言的负面结果，或至少是无信息的结果。适配后模型 F1 为 0.99820，原模型为 0.99852，且 99.95% 的测试片段跨度在训练中已以相同的归一化表面形式和类别出现，因此该实验无法说明继续预训练是否有助于不熟悉的法律实体形式。

实际优先级就来自这一分野。如果问题是：用俄语立法文本继续预训练，能否在这个集合上提升这一编码器对的掩码词预测，答案是肯定的，且在每一种测试长度上都成立。如果问题是：它能否提升法律实体抽取或带来实际法律效用，这项研究没有回答，论文自己的框架也这么说。

本文引用的文献