网络防御博弈中，人类与 AI 防御者如何不同地适应？

四种防御设置面对同一个 DQN 攻击者

这篇论文要问的是：当人机网络防御交互被压缩成一个 40 轮平均值时，哪些信息丢失了。四种防御设置面对同一个深度 Q 网络（DQN）攻击者，使用同一张六节点攻击图。每轮中，防御者选择一个节点加以保护，攻击者选择一个节点作为目标；只有当攻击者选中某节点而防御者没有保护它时，该节点才会被攻陷。报告分数是加权数据保护比：受保护节点的数据量除以所有节点的数据总量。

四种设置包括两种人类可玩的博弈和两种自动化基线。在仅奖励的人类博弈中，参与者看到攻击图、收益表、轮次计数，以及每轮结束后攻击者的实际动作和奖励。在奖励加转移的人类博弈中，参与者看到同样的信息，另外还会看到以数值标注形式显示在攻击图边上的、考虑攻击者行为的转移概率。自动化 DQN 防御者和自动化 CHT-DQN 防御者在匹配的模拟中扮演同一角色，其中 CHT-DQN 版本会在价值更新中使用这些转移概率。

两种人类博弈是主要的人类被试比较：采用被试间设计，每种条件各 40 名完成实验的 Mechanical Turk 参与者，共 80 人。自动化设置是匹配的模拟基线，在 40 个随机种子上取平均。由于四种设置并不是同一个随机实验的四个分支，论文只对两种人类博弈之间的对比做推断统计，而将人类与自动化之间的比较视为描述性结果。

认知层级分配角色，而非给出收益配方

认知层级理论描述的是有限理性，而非均衡博弈：level-k 玩家针对“对手以更低层级推理”的信念做出最佳回应。在本研究中，防御者被视为更老练的一方，因为防御者是人、攻击者是机器人，这使防御者固定为 level 1、攻击者固定为 level 0。因此，level-1 防御者被定义为针对单个 level-0 攻击者做出最佳回应。

这里的 level-0 攻击者并不是原始意义上的随机化玩家。沿用先前工作，作者把均匀随机化替换为一个目标导向、且不维护对手模型的策略：在这里是一个从自身收益中学习、并按 softmax 行动的 DQN。随后，CHT-DQN 防御者把该攻击者策略通过攻击图边缘化，得到转移概率，并在自己的价值备份中使用这些概率。

关键在于，层级是模型关于“谁更老练”的假设，而不是“记录到的人类动作就是 level-1 博弈”的主张。作者明确表示，他们并不声称参与者计算了 level-1 最佳回应。两种人类博弈改变的是人类博弈复制了哪种模型结构：DQN 只给奖励反馈，CHT-DQN 则给奖励反馈加考虑攻击者行为的转移概率。转移概率展示只显示概率，不推荐动作。

额外转移信息没有提升总体保护

论文主要的人类被试对比显示，向人类防御者展示 CHT-DQN 转移结构，并没有带来统计上可靠的加权数据保护总体提升。奖励加转移博弈保留了 CHT-DQN 的信息结构，但没有产生本研究能够分辨出的保护改善。

该分数难以区分不同设置，有一个结构性原因：每轮最多只有一个节点被攻陷，因此保护比不会低于“1 减去最大节点数据量占总数据量的比例”。于是四种设置都落在接近量表顶端的一个狭窄区间内。作者指出，受保护资产价值是安全运营中心会报告的指标，但这个数字仍可能不足以区分四种设置。

这是一个关于单一对比的有界结果，并不能证明转移信息无用。论文自己的表述是：展示额外数量不等于打得更好；本研究的价值在于总体分数未能显示的东西，而不在于证明了保护提升。

人类成功后坚持，失败后回避

最清晰的行为差异是重选不对称。在两种人类博弈中，人类防御者在成功防御后比在失败后更可能重新选择同一节点。自动化的 DQN 和 CHT-DQN 防御者没有表现出这种模式。

作者将这种不对称解释为与前景理论和累积前景理论一致；这两种理论描述的是对损失和收益进行不对称权衡、而非以直接方式最大化期望值的决策。论文把这作为对观察到的重选模式的解释，而不是测量到的心理参数，也不是前景理论加权导致该行为的因果证明。

这对评估很重要，因为这种不对称是防御者随时间分配动作的一种属性，总体保护分数捕捉不到它。两个防御者可能通过不同的重选动态达到相近的平均保护水平，而本研究正是记录动作分配和重选，使这种差异可见。

最终阶段排序与总体均值相反

40 轮平均值混合了博弈的两个不同阶段。早期轮次中，DQN 攻击者大多随机行动；后期轮次中，它大多利用。由于攻击者行为发生变化，对全部 40 轮取平均可能掩盖防御者之间依赖阶段的排序。

在最终阶段，平均保护从高到低依次为：奖励加转移的人类博弈、仅奖励的人类博弈、自动化 CHT-DQN 防御者、自动化 DQN 防御者。总体均值掩盖了这一排序。作者将这一阶段比较作为描述性结果呈现，这符合他们的规则：人类与自动化之间的比较不是来自随机实验的推断性主张。

实际要点在于聚合方式，而不在于哪种防御者总体上最好。单一 40 轮分数混合了攻击者近乎随机的轮次和它进行利用的轮次，因此只依据该分数比较防御者的读者，可能错过按阶段拆分后出现的排序反转。

受控博弈，而非已部署的 SOC

研究使用一张合成的六节点攻击图，节点价值、利用可能性和成本都在模拟器内部生成，以便把同一张图交给人类防御者和自动化防御者。研究没有使用外部漏洞或高级持续性威胁数据集。人类实验持续 40 轮，参与者是具备软件或 IT 背景的 Mechanical Turk 工作者。

这些条件限定了结论的边界。作者明确不声称具备部署级安全运营中心的有效性，不声称达到均衡博弈，也不声称 CHT-DQN 是普遍更优的算法。他们还指出，40 轮实验无法说明更长时程基准中报告的那种规模的时间分布偏移。

自动化比较是在随机种子上取平均的匹配模拟，而不是额外的人类参与者，因此人类与自动化之间的排序应视为描述性结果。该设计支持的推断性对比是两种人类博弈之间的对比，而即便在这一对比中，总体保护差异也不具备统计可靠性。

报告阶段保护与重选，而不只是均值

论文的核心评估主张是：平均任务分数可能错过适应、动作分配和人类有限理性方面具有行为意义的差异。支持这一主张的证据很具体：两种人类博弈中都存在、而自动化防御者中缺失的重选不对称，以及被 40 轮均值掩盖的最终阶段保护排序。

因此，对于比较人机网络防御系统的读者，论文的优先建议是：在报告总体保护的同时，报告阶段表现和人类决策动态。相关变量正是本研究实际记录的：加权数据保护、动作分配、响应时间，以及成功或失败后的重选。

最具决策相关性的区别出现在最终阶段两种人类博弈之间：奖励加转移博弈排在仅奖励博弈之上，尽管 40 轮总体比较没有显示统计上可靠的提升。这一阶段拆分，而非总体均值，才是本研究定位 CHT-DQN 信息结构对人类防御者所产生差异的地方。

本文引用的文献