端到端智能体测试对基础模型太难
实际问题是哪个基础检查点值得投入一轮昂贵的智能体后训练。最直观的检验是把检查点放进智能体编码基准端到端运行并测 pass@K，但论文指出这在这里行不通：未经调优的基础模型无法可靠操作工具调用框架，pass@K 接近零。接近零的分数无法区分一个具备潜在编码能力的检查点和一个不具备的检查点。
另一个方向的捷径同样不够。单次或短程编码任务把多步交互压缩成一个固定提示和一个补丁，避开了工具调用失败，却不再检验真正重要的能力：在仓库不断变化时，跨多个使用工具的步骤维持连贯状态。论文用十组基础模型与后训练模型的配对量化了这种错配：与后训练 SWE-bench Verified pass@1 的 Spearman 相关系数从 RepoBench XFirst 上的 0.830 一路降到 HumanEval 上的 −0.394。也就是说，现有评测要么对基础检查点来说过于智能体化而跑不起来，要么不够智能体化而无法预测下游表现。
决定性步骤把轨迹变成探针
方法从一条成功轨迹出发：这条轨迹由前沿后训练模型在某个智能体编码任务上产生，使用 mini-swe-agent 之类的框架。作者重放这条轨迹，并在每个改动代码的步骤之后重新运行该任务的测试。决定性步骤 T* 是第一个使累积补丁把仓库从失败翻转为通过的步骤，因此该步骤记录的动作被验证器确认：在给定此前上下文的情况下，这个动作能解决任务。
这一构造为每个任务产出四样东西：截至 T* 的轨迹上下文、一个黄金动作、被同一验证器拒绝的干扰动作，以及一个可恢复的环境状态和可执行验证器。由于基础检查点拿到的是真实的框架上下文，而不是被要求从冷启动开始驱动框架，探针检验的是该检查点是否给一种后训练可能选中的行为分配了支持度。作者用覆盖原则来解释这一设计：有潜力的基础检查点应当在后训练可能强化的行为上保留概率质量，而不只是最大化平均正确率或迎合当前的智能体协议。
三种筛选回答三个不同问题
Decisive-Action BPB 测量基础检查点给黄金动作分配的、按字节归一化的负对数似然，因此 BPB 越低，说明该动作上的概率质量越大。按字节计算可以归一化序列长度，让分词器不同的检查点也能比较。Patch MCQ 是一道选择题：检查点必须在验证器确认的黄金动作和同一验证器拒绝的备选动作之间做出选择，衡量的是对近似错误选项的辨别力，而不是原始似然。前缀条件 pass@K 是生成式的：它从决定性步骤的前缀出发采样 K 条续写，只要任务自身的测试接受某条续写就计入成功，因此它衡量的是覆盖度，而不是某一个已记录动作的概率。
这三项指标不能互相替代。一个检查点可能给黄金动作分配了很高的概率质量，却采样不出其他可用的修改；也可能在选项中选对，却生成得很差。保持智能体上下文和成功判定标准不变、只改变所问的问题，正是三种筛选可以放在一起解读的原因。
三种筛选都跟随后训练 SWE-bench 排名
评测覆盖十个基础检查点，包括 Nemotron-3-Nano、Nemotron-3-Super、Nemotron-3-Ultra、Qwen-3.5-35B-A3B-Base、DeepSeek-V4-Flash-Base、Kimi-K2-Base、GLM-4.5-Air-Base、Hy3-Preview-Base、DeepSeek-V4-Pro-Base 和 Gemma-4-26B-A4B。每个探针的逐检查点得分都与该检查点后训练版本的下游 pass@1 做相关分析，有公开成绩时使用公开成绩，没有时自行运行评测。论文强调 Spearman 相关系数，因为检查点选择需要的正是把检查点排对顺序。
用 DeepSWE 轨迹构建探针时，相对后训练 SWE-bench Verified pass@1，Decisive-Action BPB 达到 Spearman ρ = 0.964（Pearson r = 0.965），Patch MCQ 为 ρ = 0.867（r = 0.915），K = 32 的前缀条件 pass@K 为 ρ = 0.951（r = 0.917）。改用 SWE-bench Verified 轨迹构建探针时，BPB 为 ρ = 0.915，Patch MCQ 为 0.903，前缀条件 pass@K 为 0.906。让来源基准与目标基准一致并没有换来更好的排名一致性：留出的 DeepSWE 来源在 BPB（0.964 对 0.915）和前缀条件 pass@K（0.951 对 0.906）上更接近，只有 Patch MCQ 从这种匹配中获益（0.903 对 0.867）。
有界代码基准丢失了排序信号
论文与传统代码基准的对比，是其方法最有力的论据。在同一批十个检查点上，合成类基准相对后训练 SWE-bench Verified 表现几乎没有排序信号：MBPP 为 ρ = 0.091，HumanEval 为 ρ = −0.394。最强的基线 RepoBench XFirst 为 ρ = 0.830，仍落后于三个 DeepSWE 衍生探针，后者的 ρ 在 0.867 到 0.964 之间。
这一对比之所以重要，是因为这些有界基准成本低、使用广。结果说明，检查点在孤立函数合成或补全式仓库任务上的得分，无法可靠地按后训练将要兑现的智能体能力给检查点排序。构建探针的成本更高，因为需要成功轨迹和可用的验证器，但它们恢复了更便宜的测试漏掉的排序。
排名一致性在多语言目标上依然成立
DeepSWE 衍生探针还被拿去对照后训练 SWE-bench Multilingual 的表现。排名一致性保持甚至提高：Decisive-Action BPB 为 ρ = 0.976，Patch MCQ 为 0.927，前缀条件 pass@K 为 0.945。BPB 这一数值是 SWE-bench Verified、SWE-bench Multilingual 和 Terminal-Bench 分析中报告的九组探针—目标配对里最高的，Patch MCQ 在这里（0.927）也比在 SWE-bench Verified 上（0.867）更一致。作者提出一个可能的解释：DeepSWE 来源语料本身就是多语言的。
在这个目标上 Pearson r 明显更低，为 0.823 到 0.854，论文把两个统计量之间的差距归因于单个检查点：Gemma 4 26B 在 SWE-bench Multilingual 上得 17.3%，而在 SWE-bench Verified 上得 52.0%。这个离群点压低了线性一致性，却基本没有改变检查点的排序，这也是为什么对选择而言排名统计量才是相关的。
这些筛选能在训练前决定什么
这套框架可迁移的主张，比“后训练结果的通用预测器”要窄。它给十个公开基础检查点组成的队列排序，结果与后训练 SWE-bench Verified pass@1 高度一致；作者把它定位为把当前和未来的智能体编码基准转成基础模型评测的方法，因为该方法只需要某个基准的成功轨迹和它的验证器。它并不给出后训练的绝对分数，而且报告的相关系数来自这十个检查点的队列，而不是更大或构成不同的队列。
实际优先级来自对比本身，而不只是相关系数。当要决定把后训练算力花在哪个基础检查点上时，HumanEval 或 MBPP 这类有界基准可能把检查点排反方向，而用留出的智能体轨迹构建的决定性步骤探针能保住排序。在报告的配对中，Decisive-Action BPB 是最强的单一筛选：在留出的 DeepSWE 轨迹上达到 ρ = 0.964，对 SWE-bench Multilingual 达到 0.976，而且它只需要一个经确认动作的似然，不需要采样，也不需要构造选择题。
本文引用的文献
Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models
在成功智能体轨迹中经验证器确认的决定性步骤上构建的三种探针，给十个基础检查点排序，结果与其后训练版本在 SWE-bench Verified 上的 pass@1 高度一致；其中 Decisive-Action BPB 在留出的 DeepSWE 轨迹上达到 Spearman ρ = 0.964。