本文提出了 Security Cube，一个用于全面评估大语言模型（LLM）越狱（Jailbreak）攻击与防御的多维度框架。通过对 13 种代表性攻击和 5 种防御机制的系统性对比，揭示了最新推理对齐模型（如 o1-mini, Claude-3.7）在鲁棒性上的质变，并建立了攻击成功率以外的稳定性、转移性及资源开销等关键度量标准。
TL;DR
本文是对 LLM 越狱（Jailbreak）领域的集大成之作（SoK），首次提出了 Security Cube 多维度评估框架。它跳出了单一 ASR（攻击成功率）的桎梏，从稳定性、转移性、干扰深度及资源开销等维度对 13 种攻击和 5 种防御进行了“大点兵”。研究发现，虽然新一代模型（如 o1-mini）鲁棒性大幅提升，但面对基于“逻辑诱导”和“多轮对话”的攻击仍有显著短板。
痛点深挖：ASR 真的能代表安全吗？
在过去两年的 LLM 安全竞赛中，研究者们陷入了刷 ASR 的数字游戏。然而，一个 ASR 为 90% 的攻击如果每次运行结果都不稳定，或者在换一个模型后完全失效，其真实的威胁程度其实有限。
作者指出，现有的评估存在两个盲区：
- 维度的缺失：忽略了攻击的“隐蔽性”与“成本”。
- 防御的滞后：目前的防御研究数量远少于攻击，且缺乏对模型内部表征影响的定性分析。
核心机制：Security Cube 的多维映射
作者将安全评估抽象为三个轴，并引入了几个核心度量指标：
- CIPA (集中度指数)：借鉴经济学指数，衡量一个攻击是“偏科型”（只在特定模型有效）还是“全能型”。
- μ (干扰深度)：通过计算成功与失败样本在模型隐含层（Hidden States）中的余弦相似度，量化攻击对模型“思考过程”的破坏程度。
Figure 1: Security Cube 流程概览，展示了从攻击生成、防御屏障到 Judge 判定的全流程。
实验与结果：SOTA 模型的“阿喀琉斯之踵”
通过对 GPT-3.5 到 Claude-3.7 系列模型的横向测试，作者观察到了极其有趣的趋势：
- 新老分水岭：2025 年发布的模型（推理对齐类）在防御静态、单轮模板攻击（如 GPTFuzzer）方面近乎完美。
- 攻击的进化：ActorBreaker (多轮攻击) 和 ReNeLLM (策略攻击) 成为了目前的“刺客之王”。其 ASR 依然维持在高位，通过多轮对话形成的“上下文漂移”让所有静态对齐机制失效。
- 防御性能对比：
- Pre-filter (Hidden State Guard)：最有效且成本可控，在生成前就掐断苗头。
- Fine-tuning (CircuitBreaker)：直接改变模型内部响应模式，几乎无推理开销。
- Post-filter (Aligner)：被证明效率极低且可能干扰正常输出逻辑。
Table 5: 不同攻击在主流 LLM 上的 ASR 热图，颜色越深代表越危险。
深度洞察：表征层的“几何指纹”
论文最具洞察力的地方在于其对模型内部轨迹的分析（Figure 4 & 5）。作者发现，越狱攻击在模型隐含层中留下了明显的 “几何指纹”：
- 攻击样本在深层网络中会突然从良性聚类中“弹射”出去，进入一个特定的异常区域。
- 这种轨迹差异为未来的“实时防御”提供了可能——我们或许可以通过监控这些隐藏层的激活值，在模型吐出第一个有害字符前就进行硬拦截。
结论与启示
越狱攻防战正从“词汇博弈”转向“推理博弈”。随着 LLM 开始具备更强的逻辑推理能力（如 CoT），攻击者也在利用这些逻辑链条进行诱导。
未来的防线应当建立在：
- 审慎对齐 (Deliberative Alignment)：让模型学会“思考安全问题”。
- 表征治理 (Representational Governance)：在特征空间层面设置监控警报，而非仅仅在输出文本层围追堵截。
这项工作为业界建立了一个清晰的坐标轴，让安全研究者能够精准判断：在这场无限游戏中，我们到底走到了哪一步。