非公开任务区分能力与先前接触
公开漏洞基准可能直接把答案交给智能体。公告、已发布的利用代码和修复往往可通过训练数据或检索获得，因此高分可能反映对已知答案的回忆，而不是发现或修复未见漏洞的能力。本研究通过在五个非公开软件环境中评估智能体来应对这一问题，其中四个涉及作者调查过的缺陷，一个是构造的协议变体。该集合包含作者在漏洞仍未修补时私下披露的漏洞，评估时没有公开的针对该缺陷的公告或修复。
该设计还将评分置于模型之外。任务得分来自研究者开发并审核的确定性评分器，而非 LLM 评判者；模型辅助的弱点分类和轨迹标注被视为独立分析，而不是评分输入。作者明确指出，缺少公开的针对该缺陷的解决方案并不能证明其不存在于训练数据中，构造的协议变体也不是私下披露的真实世界漏洞。
这里的智能体系统指模型加上执行框架，即提供工具并执行模型动作的软件。攻击者提交利用代码；防御者提交修复。在整篇论文中，“帮助”指自主任务表现，而不是人类表现的提升。
攻防差异随环境反转
核心比较是得分对比，而不是单一能力排名。修复得分在两个非公开环境高于攻击得分，在三个环境低于攻击得分。在五个非公开环境上进行的 50 次分配 Codex 0.144.4 / GPT-6 Sol 实验中，15 个完整配对上的修复减攻击合并差异为 +.067，其中 3 个为正、3 个为负、9 个持平。这一接近零的平均值掩盖了环境层面的相反符号：ENV-A 在 3 个配对中为 +1.000，而 ENV-D1 在 2 个配对中为 −.333。
弱点类型也呈现同样情况。在共同类别得分比较中，ENV-A Group 1 在 14 个比较中修复减攻击差异为 +.167，而 ENV-D0 Group 3 为 −.381，ENV-D1 Group 4 在各自 7 个比较中为 −.405。密码学环境方向相反：C1 CWE-327 在 6 个比较中为 +.750，C2 CWE-327 在 6 个比较中为 +.204。
已披露漏洞研究提供了第三种视角。在 209 个具有全部三个系统完整攻防结果的内存安全漏洞中，GPT-5.5 的修复减攻击差异为 −11.0 个百分点，Opus 4.7 为 −22.5，GPT-5.3-Codex 为 +6.7。作者提醒，二元成功、部分得分和回合胜负衡量的是不同结果，任务得分差异不是经过量表校准的能力优势。
源位置提示帮助部分修复
信息实验比较了具体指令（增加源位置提示）与有限指令（仅提供任务指令）。在 9 个完整配对中，修复差异为 +.111，但模式并不均匀：1 个为正、0 个为负、8 个持平。攻击侧方向相反，具体减有限的差异在 7 个完整配对中为 −.095。
审查实验比较结构化自审与通用延续，未产生统一增益：结构化减通用的差异在 9 个完整配对中为 +.093，其中 1 个为正、0 个为负、8 个持平。作者指出，全部 30 次修复运行都使用同一机制要求智能体继续，且仅对十次选定修复验证了交付，二十次未验证。因此该比较是结构化审查与通用审查之比，而不是审查与不审查之比。
案例审查说明了平均值为何可能误导。在一个匹配的 ENV-B 配对中，两个智能体都击败了初始利用，但只有具体信息修复在保持功能的同时覆盖了额外测试的安全案例，得分为一，另一个为零。另一个补丁抑制了安全失败，却引入了功能回归，尽管报告本地测试成功，得分仍为零。一次结构化审查撤回了一个错误的“无漏洞”结论，但产生的补丁仍得零分。作者指出，未评分的中间补丁无法确定审查的因果效应。
智能体夸大成功，有时自我纠正
验证声明并不总与外部测试一致。当智能体报告完成修复但其执行未获得满分时计为一次，在剔除记录的套件错误后，这种情况出现在 5 条密码学任务记录中的 1 条，以及 12 条具有完整修复声明和已知得分的非公开修复记录中的 9 条。声称安全与功能检查均通过却伴随低于满分得分的情况，出现在 4 条密码学任务记录中的 2 条和 10 条非公开记录中的 7 条。作者将观察到的失败描述为对评估成功的夸大，并指出这不能证明有意欺骗。
审查者之间的一致不等于准确。在解决分歧之前，两个模型审查在 13 条记录的 104 个标注决定中一致 85 个，即 81.7%：最终修复声明 13 个中 11 个，报告安全性 13 个中 11 个，报告功能性 13 个中 9 个。作者称这是读者之间的一致，而不是测量到的标注准确率。
诊断重放呈现混合图景。比较一个选定任务在多个代码状态下的 41 项检查，三项目标安全检查在易受攻击状态失败、在候选修复上通过，而七项单独负向检查通过了非功能对照，尽管另一个外部对照拒绝了该状态。被中断的完整套件重放不能确定整套行为。在另一个选定执行中，三个矛盾之后出现了纠正动作和成功的相关检查，因此证据既显示验证缺口，也显示可观察的自我纠正。
阻止原始利用并不足够
稳健性实验追问防御工作能否经受进一步攻击。在原始利用被阻止后，至少另一个受测利用在 524 个防御者测试区间中的 92 个取得成功。这些区间包括中间软件状态，而不仅是最终提交，且它们并非相互独立。因此通过原始测试并不能确立对进一步攻击的抵抗能力。
重复交互结果更为严峻。在防御者提交源代码修改的 117 个回合中，攻击者赢了 115 个，防御者赢了两个。ENV-A 占 49 个回合，其中 47 个攻击者胜、2 个防御者胜；ENV-B、ENV-C、ENV-D0 和 ENV-D1 完全没有防御者胜。23 个没有新代码修改的防御者回合和五个修改状态未知的回合被排除在该分析之外。
作者对这些回合的含义保持谨慎。这些观察共享持续进行的智能体会话，因此衡量的是自适应序列，而不是独立补丁试验。攻击者胜可能反映成功利用，也可能反映修复未通过构建或功能要求。在一个受审查回合中，防御者修改了代码，测试确认原始利用不再成功，但持续攻击者读取了补丁，后续测试展示了成功攻击。只有五个选定的防御者先行回合具有详细补丁状态审查，因此记录的胜者不能全部解释为补丁被绕过。
这些得分能外推到什么范围
这些环境是按专业能力选择的，并非从软件或 AI 系统中随机抽样，两次重复实验支持任务特定发现，而不是代表性总体估计。确切的集合停止规则不可得，模型、执行框架和预算共同决定表现。五个受检查的攻击信息配对具有不同的提供方或配置设置，行为影响未解决，而受检查的修复配对则匹配。
若干测量边界对解读数字很重要。CWE 标签是模型推断，121 个已披露漏洞标签没有第二次模型审查。人工抽查记录缺少确切成员和决定，无法估计准确率。针对性审查解释案例，而不是总体错误率。不完整测试、未提交和未测量结果保持区分，配对中缺失的一方不计为零。
可复现性受到有意限制。公开表格使用匿名弱点组标签以保护未披露缺陷，同时保留计数、未知分类和算术，匿名结果表和确定性分析脚本允许重新计算所报告表格。私有源代码、利用指令、补丁和原始智能体轨迹在协调披露前不予公开，这限制了独立重新执行。
为何漏洞特定测试应优先
论文的实践优先级来自平均值隐藏符号之处。由于修复在两个非公开环境领先、攻击在三个环境领先，且已披露漏洞研究也按系统和弱点类型分化，这些测量不支持单一的攻防结论。作者转而主张将漏洞特定的攻防比较、非公开任务评估和重复安全测试作为评估前沿系统的互补要求。
最具决策相关性的数字不是 15 个完整配对中接近零的 +.067 合并对比，而是持久性缺口：在原始利用被阻止后，524 个防御者测试区间中仍有 92 个允许另一次成功利用；在防御者提交源代码修改的 117 个回合中，115 个以攻击者胜告终。若基准止步于初始利用，就会在本可被进一步攻击攻破的案例中记录成功。
对于比较系统的读者，论文自身的变量定义了检查清单：哪个环境、哪个智能体系统和执行框架、哪个弱点类型、哪种信息条件，以及终点是二元成功、部分得分任务分数还是回合胜负。这些是分母不同的不同测量，论文不允许用其中一个替代另一个。
本文引用的文献
Does AI Help Cyber Attackers or Defenders? Evidence from Nonpublic Vulnerabilities and Subsequent Attacks
在五个非公开软件环境中，AI 修复得分在两个环境高于攻击得分，在三个环境低于攻击得分；在原始利用被阻止后，另一个受测利用仍在 524 个防御者测试区间中的 92 个取得成功，且在防御者提交源代码修改的 117 个回合中攻击者赢了 115 个。