载荷理解被拆成四个可测量层级
论文指出，此前研究通常把载荷分析当作单层分类任务，无法显示模型对载荷的理解有多深。PayloadSemBench 改为把理解操作化为四个任务，从相对直接到更偏解释性依次为：L1 类型识别、L2 意图理解、L3 混淆评估、L4 严重度评估。
每个层级有自己的指标和分母，不能互相替代。L1 是六分类任务（SQLi、XSS、CMD、PT、SSRF 或 benign），在排除 C3 负样本池中的 8 条后以 n=232 计算准确率和 Macro-F1。L2 是自然语言解释，由评判模型按三维评分标准打分：意图准确性权重 0.5、推理完整性 0.3、上下文敏感性 0.2，满分 5 分。L3 要求判断载荷是否被混淆以及使用了哪种技术，混淆检测率和技巧识别率的分母是 92 条混淆攻击载荷，基础载荷误报率的分母是 100 条基础攻击载荷。L4 要求给出五级严重度评分，以平均绝对误差、完全匹配率和线性加权 Kappa 在全部 n=240 条载荷上衡量。
基准混合真实载荷、生成变体与良性请求
PayloadSemBench 在实验一中包含 240 条载荷：100 条基础攻击载荷取自公开的 PayloadsAllTheThings 和 SecLists 仓库，并人工筛选以适配测试环境；100 条混淆变体由两个大模型生成器施加混淆技术产生；另有 40 条人工构造的良性请求，覆盖 23 个业务场景，而非从生产流量中采集。整体划分为 140 条基础载荷和 100 条混淆载荷，分布为 40 条 SQLi、40 条 XSS、37 条 CMD、38 条 PT、37 条 SSRF 和 40 条良性请求。
每条载荷都经过 DVWA 和 WebGoat 测试环境验证，并获得五种标签之一：EFFECTIVE（151）、MECHANISM_VERIFIED（23）、INEFFECTIVE（9）、UNVERIFIABLE（17）或 BENIGN_OK（40）。论文明确说明并非所有载荷都完成了功能验证：它保留并披露了 UNVERIFIABLE 条目（在当前环境中无法确定其效果）以及验证失败的 INEFFECTIVE 条目。真值由三名安全领域标注者在两轮锚点校准后达成共识确定，再由第四位独立专家复核。
类型识别与意图理解可靠，严重度评分不可靠
在四个模型中，L1 准确率介于 0.931 至 0.948，Macro-F1 介于 0.929 至 0.947。DeepSeek V4 Pro 和 GLM 5.2 以 0.948 并列最高，Kimi K3 略低，为 0.931。L2 意图理解平均分介于 4.574 至 4.749（满分 5 分）。
严重度评估是主要短板。把 L1、L2、L4 归一化到 [0,1] 区间后，L1−L2 差距仅为 −0.005 至 0.035，而 L2−L4 差距为 0.388 至 0.573。四个模型的 L2−L4 配对差异均显著（p<0.001），配对自助法下置信区间不含 0。论文的结论 C1 因此是：四层能力画像并非单调下降，而是不均衡的——模型能准确解释载荷并描述意图，但严重度评分可靠性明显更低。
混淆损害细粒度解析，而非各层同等受损
混淆并未成为统一的瓶颈。L1 在混淆载荷上的准确率（0.967–0.978）反而高于基础载荷（0.907–0.929）。人工复核表明，混淆变体中引入的编码和嵌套结构使类别区分信号在该基准中更突出，因此混淆不是类型识别的瓶颈。
损害出现在更细的粒度上。L3 混淆检测率很高，但完整识别具体技术的比例低得多：在主数据集上，四个模型的检测率均为 0.989，而完整技巧识别率仅为 0.489 至 0.587。论文的结论 C2 是：混淆挑战的是细粒度语义解析，而不是同步拉低全部四层，其中意图解释和具体混淆技术还原最容易退化。
理解正确并不保证检测判断正确
实验二把语义理解映射到实际检测。它在 DVWA 和 WebGoat 测试环境上评估四个大模型和四个传统安全工具，共 249 个案例：174 个攻击案例，其中 117 个可利用案例 GT=positive、57 个形似攻击但不可利用的案例 GT=negative，另有 75 个良性案例。攻击检测率以 117 个正例为分母，误报率以 75 个良性案例为分母；57 个负向攻击样案例单独报告，不计入检测性能统计。
在 8 个去重后的漏检案例中，有 4 个对任何模型都未触发语义失败规则：重跑结果显示 L1 类型判断正确、L2 总分在 4.0–5.0，但模型在检测时仍把这些案例判为不可利用。可归因的失败主要来自混淆技术识别不足（规则 R1，4 个模型-案例实例）和意图理解不足（规则 R3，5 个模型-案例实例）。在四个模型中，只有 12.5% 至 50% 的漏检可归因于这些语义理解失败，支持结论 C3：语义理解与检测判断部分解耦。
独立 WAF 告警数据集复现了同一画像
为检验泛化性，作者构建了 180 条记录的外部验证集：100 条来自生产 WAF 告警的基础攻击载荷，50 条变体（18 条原生 WAF 日志记录和 32 条系统构造记录），以及 30 条来自 11 个真实项目爬虫流量的良性请求。验证集与主数据集之间没有出现相同的非空载荷字符串。类型分布为 47 条 SQLi、41 条 XSS、35 条 CMD、5 条 PT、22 条 SSRF，另有 30 条良性请求。
验证集复现了不均衡的四层结构。L1 准确率介于 0.939 至 0.967，L2 平均分介于 4.070 至 4.383，两者仍然较高；L2−L4 平均差距介于 0.127 至 0.418，对四个模型均为正，其中 DeepSeek、Kimi 和 Qwen 的配对差异显著。混淆的层级特异性模式也成立：L3 检测率达到 0.897–0.928，而完整技巧识别率仅为 0.423–0.485。论文指出，有一个 GLM rep1 评判结果无法解析，因此其 rep1 的 L2 均值和两项层级差距以 n=179 计算。
证据覆盖通用 Web 载荷，而非视觉服务端点
该研究用通用 Web 载荷和 DVWA/WebGoat 测试环境评估模型行为，而不是从计算机视觉服务端点专门采集的样本，尽管其动机是通过 Web 接口和 API 暴露的视觉服务安全。L2 依赖评判模型给出的分数；人工复核和与第二评判模型的交叉验证支持其可靠性，但评判宽松和评估者与被评估对象重叠仍可能影响绝对分数。验证集仅含 5 条 PT 记录，且仅含载荷的提示词省略了部分请求结构信息，这限制了对类型特异性差异和结构效应的解读。
该关注严重度评分与技巧还原，而非类型标签
这篇论文中最具决策意义的分野不在模型之间，而在层级之间。类型识别和意图解释在两个数据集上都持续较强，因此高 L1 或 L2 分数几乎不能说明模型在更难任务上是否可信。证据显示真正薄弱的两处是：L4 严重度评估，其 L2−L4 差距在两个数据集上对四个模型均为正；以及 L3 完整技巧识别，其比率在主数据集降至 0.489–0.587、在验证集降至 0.423–0.485，而混淆检测率仍接近 0.9。
第二个分野在理解与行动之间。由于只有 12.5% 至 50% 的漏检可归因于语义理解失败，且 8 个去重漏检案例中有 4 个显示类型判断正确、L2 分数为 4.0–5.0，却仍被判为不可利用，因此提升模型的载荷解释能力本身并不是改善检测判断的可靠途径。读者在考虑用这些模型做载荷分诊时，应把严重度校准和混淆技巧还原作为优先检查项，而不应假定强意图解释能转化为正确的可利用性判断。
本文引用的文献
An Evaluation of the Semantic Understanding Capabilities of Large Language Models for Web Attack Payloads
在 240 条载荷基准和独立的 180 条记录验证集上，四个大模型识别载荷类型和解释攻击意图较强，但严重度评分可靠性低得多；混淆损害的是细粒度技巧还原而非所有层级；只有 12.5% 至 50% 的漏检可归因于语义理解失败。