自适应生成器-验证器循环应在何时停止并控制错误发现？

廉价验证器会累积错误接受

生成器-验证器循环在推理时系统中很常见：生成器提出候选，廉价验证器为其打分或过滤，当某个候选看起来可接受时搜索停止。验证器替代了更昂贵的真实标签检验器，这正是其意义所在，因为验证器查询成本低、速度快，可以反复调用。

论文的核心担忧是这种替代在统计上并非中性。一旦生成器适应了过去的验证器输出，它就能搜索利用代理弱点的候选。一个在孤立查询上看起来可靠的验证器，在反复使用中可能累积错误接受，于是提案通过了代理却在更昂贵的真实标签检验下失败。因此论文回答的问题不是如何给候选打分，而是何时停止循环，同时控制被接受集合的质量——以检验器而非代理来衡量。

FDR 统计的是检验器失败而非低代理分

论文的目标量是被接受集合的错误发现率：被检验器拒绝的已接受提案所占比例的期望，需保持在用户指定的水平 alpha 以下。这与验证器分数阈值或单次查询错误率是不同的量。一个验证器可以在边际上准确，但一旦生成器针对它进行适应，仍可能产生糟糕的被接受集合。

形式上，在第 t 轮，生成器提出 X_t，验证器返回分数 S_t 和反馈 V_t，而检验器标签 Y_t 属于 {0,1} 保持未观测。该过程在收集到 kappa >= 1 个已接受提案后停止，并返回 X_1 到 X_t 中基数小于 kappa 的已接受提案集合。对 X_t 如何依赖过去历史不作任何限制，因此生成器可以激进地适应先前的失败和验证器纠正。当 kappa = 1 时，该保证控制第一个非空返回集合的 FDR，在常见的单次返回设置中，这恰好是首次接受为假的概率。

三个要素把停止问题转为在线检验

该构造包含三部分。第一，论文通过指数投注归一化构建边际有效的局部 e 值，包裹非负、置换等变的评分规则，使有效性在从数据中学习评分后仍然成立。直接插入的似然比估计并不自动有效，因为它在原假设下的期望可能超过 1。

第二，论文引入了稳健核心保形风险控制，这是一种针对非单调损失的保形风险控制的有限样本校准方法。标准保形风险控制假设损失在校准参数上单调，否则其保证可能失效；而这里的每轮损失定义为截至 kappa 接受时间的最大错误发现比例，它在尺度参数 lambda 上是非单调的。

第三，局部 e 值通过加权在线 e-Benjamini-Hochberg 过程聚合，在任意轮内依赖下实现停止 FDR 控制。在线 e-BH 通过调度 gamma_t 在各轮之间分配错误预算，论文通过用 lambda 缩放该调度来校准它，选择历史损失仍能证明达到目标水平的最大尺度。

合成检验与蛋白质设计基准

该方法在合成场景和源自 MotifBench 的蛋白质设计基准上得到验证。在蛋白质场景中，RFdiffusion 或 Proteina 生成候选骨架，ProteinMPNN 设计氨基酸序列，ESMFold 提供廉价的结构代理，AlphaFold 3 则作为更昂贵的检验器，定义基准标签。

一个被选中的提案只有在以下条件全部满足时才计为成功：其 ProteinMPNN 序列的 AlphaFold 3 预测与规定基序的 RMSD 在 0.75 埃以内，在支架掩码上与所提骨架的 C-alpha RMSD 在 1.5 埃以内，pTM 至少为 0.80，且平均 pLDDT 至少为 85。论文指出这些标准是启发式选择的，该流程也可以用不同的真实标签指标重新实现。

廉价验证器将平均 pLDDT、pTM 和三个 RMSD 项组合成单一代理分数，其中对基序不一致的惩罚最大。论文指出该分数并未针对与特定真实标签正确性概念的相关性进行调优；其权重是启发式选择的，用以平衡各项的尺度和重要性。

反馈提升代理分并带来代理漂移风险

在 30 轮反馈循环中，两个生成器都在早期轮次快速提升，随后逐渐进入平台期。累计最佳分数曲线按构造是非递减的，因为每条轨迹都保留其得分最高的候选。基序 RMSD 在同一批轮次中总体下降，而平均 pLDDT 上升。Proteina 达到更低的基序 RMSD，而 RFdiffusion 获得更高的平均 pLDDT。

这些趋势是通过廉价验证衡量的，论文将其解读为反馈找到了基序保持更好、置信度更高的提案。同样的趋势也造成了论文所关注的风险：随着轮次推进，循环可能偏向廉价验证器评分高的提案，而非与真实标签正确性相关的属性。

停止 FDP 随 alpha 变化而 kappa 增加效用

在留出评估中，作者为 Proteina 和 RFdiffusion 各生成了 300 条带标签轨迹，其中一条轨迹是针对固定基序支架任务的 30 轮反馈运行。对于每条留出轨迹，同一生成器的其余 299 条轨迹被分为 199 条用于 e 值构建和 100 条用于保形校准。停止规则在 AlphaFold 3 标签被隐藏的情况下重放，之后对停止 FDP 和返回设计数进行评分。

稳健核心校准的在线 e-BH 规则在目标水平 alpha 属于 {0.05, 0.10, 0.15, 0.20} 和目标接受数 kappa 属于 {1, 5, 10} 上评估。停止 FDP 随 alpha 增大而上升，而不同 kappa 值的曲线保持接近，因此允许更多已接受设计并不会显著提高观测到的错误率。返回设计数随 alpha 和 kappa 同时增加，计数上限为 kappa。

在合成比较中，在线 e-BH 远低于对角线，因为它固定 lambda = 1。在 alpha = 0.10 时，稳健核心 CRC 和包络 CRC 的平均 FDP 相近，分别为 0.082 和 0.085。在较大的 alpha 水平上，稳健核心 CRC 更接近对角线，而在较小的 alpha 值上两者差异非常小。

该保证假设记录与部署运行可交换

当前的保证要求记录运行和部署运行可交换，甚至独立同分布。论文将此标记为一项限制，因为在许多现实场景中数据是顺序到达的，可能不可交换。加权形式的保形风险控制可以将结果扩展到不可交换的情形，但将加权保形预测与非单调构造结合仍是一个开放问题。

第二个扩展涉及结构：许多推理时系统将提案组织为树或有向无环图，而非单条轨迹。将框架扩展到自适应分支、剪枝和合并，将需要在这些操作下控制 FDR。

在论文自身的设置中，实际优先考虑的是 (alpha, kappa) 这一对参数。证据表明，提高 kappa 会返回更多设计而不会显著提高停止 FDP，而提高 alpha 会使停止 FDP 向目标移动。因此最关键的选择是花费多少错误预算，而不是允许多少已接受设计。

本文引用的文献