反应可行性验证器在不同候选来源上是否与化学家一致？

FREA 标注的是可行性而非实验成功

FREA 是一个包含 751 个反应的基准，每个反应都由专家化学家依据一套书面标准标注，而不是依据数据库是否记录它、或模型能否还原它。一个反应若列出了全部实质性反应物，并存在合理条件能以可分离形式得到目标产物（单步或可信的一锅操作），就算作可行。

这一定义很重要，因为可行性在合成规划中被宽泛使用。一个反应可能因为被记录、因为正向模型能还原其产物、因为其反应中心有先例、或因为它在实验室中可行而被称作可行。这些含义在常规转化上一致，但在评估最关键的情形上出现分歧：一个无先例但合理的断键可能可执行，而一个套用在不相容底物上的有先例转化则不可行。FREA 衡量的是逆合成提案按其所述是否成立，而非实验可行性——后者还要求确定条件并达到可接受产率。

该标准是结构性的，而非化学计量的。标注者追问每个产物片段在结构上来自何处，而不是元素计数是否平衡，因为计数可能在缺少实质性反应伙伴时仍然平衡，也可能在什么都不缺时无法平衡。因此，正标签要求的不仅仅是一个可识别的转化，负标签表示提案按其所述存在缺陷，而非证明该转化在任何可想象条件下都不可能。

四个候选来源检验不同的失效模式

这 751 个反应来自四个来源：八个逆合成模型的提案、零产率实验记录、大语言模型对已记录反应的编辑，以及五种负候选生成方法产生的候选。标注者在不知道来源的情况下标注每个反应，因此标签独立于验证器的构建方式。

这些来源不可互换。已发表的反应数据偏向成功结果，而自动生成的负候选未必不可行，所以单靠已记录数据或生成数据都无法为评判验证器提供无偏依据。零产率记录作为候选进入，并与其他来源一样依据同一标准标注：一次报告失败记录了一次不成功的尝试，但并未确定其他合理条件是否可行。

由于四个来源以未加权平均合并，该基准的总数是跨来源平均值，而非按部署加权的估计。来源比例是为评估而选定的，并非从任何特定规划流程估计而来，因此四来源均值未必反映某个具体流程中的表现。

没有验证器在全部四个来源上都领先

在比较 LLM、正向模型和在生成负样本上训练的验证器后，论文报告没有任何验证器在全部来源上都领先。仅给出标准的 LLM 与专用验证器表现相当，Claude Opus 5 取得最高的平均平衡准确率。平衡准确率是可行反应接受率与不可行反应拒绝率的均值，因此它覆盖了 LLM 和 top-10 决策这类未提取连续分数的系统。

正向模型在逆合成提案上最强，但在所评估的操作点上，它们会拒绝大多数对已记录反应的可行编辑。这一分化是核心比较：在模型提案上看起来可靠的同一批系统，在 LLM 编辑的已记录反应上表现截然不同，因此单一的总分掩盖了验证器实际适合哪种筛选任务。

LLM 结果描述的是两个模型在同一个共享提示下、不使用 FREA 示例、也不更新参数的表现，因此可能随提示或推理设置而改变。连续分数阈值是在应用于 FREA 之前，在留出的生成配对上固定的，这意味着在这些阈值下的低接受率并不能证明模型无法达到不同的精确率—召回率权衡。

正向模型在替代断键上低于随机水平

深入生成来源内部，会发现比总分所暗示的更严重的失效。两个正向模型在把不可行的替代产物断键与同一批可行参考反应区分开时，表现低于随机水平，AUROC 分别为 26.2 和 32.5。AUROC 是这里的主要指标，低于 50 意味着在该比较上的排序比随机更差。

这是一个来源内部的结果，而非跨来源平均值，且涉及一种特定构造：不可行的替代断键与可行的生成候选配对。论文的表述是，模型提案的最强验证器可能把不可行候选排在可行候选之上，而这正是验证器把关进入合成规划的提案时最要紧的错误。

向正向训练中加入生成负样本改善了这一比较，并给出跨来源最高的平均 AUROC，但降低了在其他构造上的表现。这些选择性收益使负监督能否在特定构造之外改善验证仍悬而未决，尤其是在模型提案上。

负监督提高平均 AUROC 但未改善提案

为检验负监督能否解决这些弱点，作者使用了一个配套语料库，包含超过 1400 万条已记录反应和生成的负候选，且训练数据中不含任何基准反应。在匹配训练比较中，向正向训练加入生成负样本的混合提高了跨来源平均 AUROC，但这些收益并未延伸到逆合成提案。

改变生成方法还显示出进一步张力：在生成候选上收益最大，同时伴随提案筛选变差。在判别式验证器家族中，仅用单一负样本方法训练会产生按来源差异很大的 AUROC 分布，而混合设置并非在每个来源上都占优。例如在报告的 20,000 步预算下，仅用 RR 的模型在逆合成提案上达到 74.5 AUROC，而 7.10M 配对的混合模型为 67.8，尽管混合模型在零产率记录上得分更高。

论文将这些结果解读为：应设计能迁移到模型提案的负样本，而不是最大化生成候选上的平均表现。由于这些比较是单次运行的，且基准覆盖有限，作者把改进方向作为假设提出，而非已确立的方案。

阈值与来源构成共同决定结论

决策阈值在 10,000 个留出的生成配对上冻结，然后原样应用于 FREA。分数对正向模型是对数似然，对验证器模型是原始 logit，对浅层基线是概率。在生成配对上校准的阈值可能难以迁移到其他来源，因此在这些阈值下的低接受率是关于某一个操作点的陈述，而非关于模型上限的陈述。

来源构成也影响结论。四个来源都源自 ORDerly 的专利与文献记录，且筛选在标注前移除了解析失败和部分结构缺陷，因此该基准并不代表化学的全部范围或未经过滤的规划器输出。生成来源还使用了与负训练语料相同的生成方法，因此在该来源上的收益本身并不能证明迁移到了模型提案或实验记录。

逆合成排序分析覆盖八个模型在其被采样提案上、在所评估操作点下的表现，并对每个模型内的提案做自助法区间。它并未确立规划器或验证器的普遍排序。

专家标签在裁决前一致率为 77.9%

即使有书面标准，化学家也可能在条件是否合理、目标是否可分离、或某个被省略组分是否充当允许的辅助角色上存在分歧。标签依赖两位化学家，他们在裁决前的独立一致率为 77.9%，Cohen's kappa 为 0.55。联合评审产生共同参考，但并不能消除可能的标注错误，也不能确立与其他专家的一致，且最终二元标签不表达边界判断的不确定性。

若干比较还依赖较小的少数类，且训练比较是单次运行的。作者指出，关于标签可靠性和迁移的假设因此需要在不同随机种子、架构和语料上做检验。

该基准评估的是单个提案在所述标准下是否存在合理条件，而不指定这些条件，也不对反应做实验检验。因此可行标签并不确立实用流程、可接受产率，或完整合成路线的质量——后者还涉及步骤间相容性和纯化。

在验证器将要判断的来源上筛选它

论文的实践优先级来自来源分化，而非任何单一平均值。因为没有验证器在全部四个来源上都领先，且强总分可能掩盖在替代断键上低于随机的表现，所以验证器应在其实际要执行的筛选任务所代表的数据上被选择和校准。

因此 FREA 中最具决策相关性的比较不是跨来源均值，而是逆合成提案与 LLM 编辑已记录反应之间的差距：正向模型在前者上领先，却在所评估操作点上拒绝后者的大多数可行样本。对于任何为规划流程挑选把关者的人，这一差距，连同替代断键上 26.2 和 32.5 的低于随机 AUROC，是在信任总分之前应结合自身候选构成去核对的结果。

超过 1400 万条已记录反应和生成负样本的配套语料支持这一核对，但匹配训练结果表明它本身并不充分：加入生成负样本提高了跨来源平均 AUROC，却未改善模型提案上的表现，而在生成候选上收益最大时，提案筛选反而更差。模型提案上的表现正是论文置于负数据设计核心的检验。

本文引用的文献