还原被隐藏的有害词,而不只是打标签
多数有害内容检测器只输出一个二分类标签:有害或无害。这篇论文要的输出不同。中文用户常把一个有害字换成同音字,论文举的例子是把“操”换成“草”,或把“垃圾”换成“辣鸡”。作者把这项任务称为揭开伪装的有害内容,目标是把伪装词还原成它原本的有害词,让审核者看到用户实际想表达什么,而不只是一个分数。
这一区别决定了论文结论该怎么读。报告中的提升都针对还原任务,也就是说,方法是否成功取决于它能否找回正确的原始有害表达,而不只是判断一条帖子是否有害。作者还指出,现有方法大多为英文设计,而中文伪装有害内容的还原问题此前尚未解决——这是论文自己的表述。
用同音字图匹配候选词
C2TU 构建一张图,节点是汉字,边连接读音相近的字。拼音由开源库 pypinyin 取得并忽略声调,因此拼音相同的字会被连边,每个字还带一个自环。图里还加入多音字关系:一个字只要有一种读音与另一个字相同,两者就连边;以及方言造成的混淆:翘舌音与非翘舌音、前鼻音与后鼻音、“n”与“l”。作者把这类关系归纳为五种额外连边:“n”↔“l”、“zh”↔“z”、“ch”↔“c”、“sh”↔“s”和“*ng”↔“*n”。
匹配阶段枚举输入文本的所有子串,逐一与有害词表比对。一个子串要成为候选词,必须与某个词表条目长度相同,且每一对对应汉字在图中都有边相连。词表经过刻意清理:作者只保留原本的有害词,删掉“辣鸡”这类伪装替代写法,因为它们在社交媒体上足够常见,本身已被当作有害知识。
这一阶段的设计目标是低漏报:只要图和词表足够全面,同音替换就应该被捕获。代价是高误报。论文自己的例子是“干净”被匹配到“杠精”,并指出单字有害词的问题尤其严重,因为该字的所有同音字都会被匹配上。
用上下文概率过滤误匹配
第二阶段判断哪些候选词是真正的伪装。对每个候选对 (w, l)——即匹配到的子串和它可能对应的有害原词——方法计算在前后文给定的条件下 w 和 l 各自出现的概率,记为 Pw 和 Pl。满足 Pw < Pl 的对被视为可替换对象;方法选出对数比 log(Pw/Pl) 最大的一对,把 w 替换成 l,从候选集中移除该对,然后重复。由于每次替换都会改变其余候选对的上下文,每轮都要重新计算概率。当候选集为空,或剩余所有对都满足 Pw ≥ Pl 时,循环停止。
两种变体负责计算这些概率。BERT 变体在掩码后的句子上使用掩码语言模型;LLM 变体使用句子级概率,作者称它通过利用整段文本的完整语义上下文,绕开了自回归模型在计算词出现概率上的限制。论文同时报告了两种变体,因此过滤步骤是一个有两种实现的设计选择,而不是单一固定组件。
相对最强对比方法的报告提升
摘要指出,C2TU 在两个中文有害内容数据集上取得更优表现,F1 最高比最强对比方法高 71%,准确率高 35%。这些数字以“最高”形式给出,标记的是观测到的最大差距,而不是跨数据集或跨设置的平均值。证据包没有提供这些最大值背后的分数据集明细,因此无法从中读出典型提升幅度。
结果部分另有一项人工评估,其排序在各变体间保持一致:C2TU-LLM 最好,其次是 C2TU-BERT,然后是 Simple-CSC。该评估的标注者一致性以 Fleiss' kappa 报告,C2TU-LLM 为 0.87,C2TU-BERT 为 0.88,Simple-CSC 为 0.94;观察一致率分别为 0.97、0.97 和 0.98。作者指出,扩大样本降低了方差,排序保持不变。这些一致性数字描述的是标注者判断输出时的吻合程度,不是检测准确率。
有意为之的误报取舍
作者明确说明,第一阶段的候选词虽然覆盖全面,但不可避免地包含大量误报,因为简单的同音匹配会把相当多的正常表达误判为有害。第二阶段的作用就是剔除这些正常表达。论文指出,过滤显著降低了误报率,但真阳性率也付出了一定代价,并把这一取舍解释为在维持检测效果的同时优先保护用户表达正当内容的权利。
这一说法是作者对一项实测取舍的解读,也决定了结果的实用读法:方法被调向避免过度标记日常表达,报告中的 F1 和准确率提升应当与作者声明的真阳性代价一起看。作者还主张,审核系统中人工复核仍不可或缺,方法负责找出绝大多数伪装有害内容,再交由人工核验。
还原能力的边界
限制部分明显收窄了结论。方法还原的是已知有害词的伪装变体,不能发现全新的有害表达或快速演变的俚语。它主要针对字符替换式伪装,其他类型——拆字、跨语言同音和表情符号替换——不在当前框架内,被列为未来工作。
因此,标题问题的答案是有条件的。同音字图加词表可以在不训练的情况下揭开中文伪装的有害内容,但仅限于词表已知、通过字符替换伪装的有害词。面对新俚语、拆字或表情符号替换的部署场景,超出了已报告实验的覆盖范围,论文也没有作此声称。
决定实用性的关键比较
这篇论文中最影响判断的比较,不是 C2TU 与二分类检测器的对比,而是 C2TU-LLM、C2TU-BERT 与 Simple-CSC 在还原任务上的对比:在报告的人工评估中,LLM 变体排第一,BERT 变体排第二。第二个决定性因素是词表:由于只保留原本的有害词,且匹配依赖图的覆盖范围,方法的触达范围受限于词表和图对实际所用伪装的覆盖程度。
对权衡这一方法的读者来说,论文自己的优先级很清楚:它选择更少的误报,而不是更高的真阳性率,并把人工复核当作最后一步。最高 71% 的 F1 和 35% 的准确率提升,适用于在两个已评估的中文数据集上、针对字符替换伪装还原已知有害词的场景——这是证据支持的场景,也是作者自己划出的边界。
本文引用的文献
Breaking the Cloak! Unveiling Chinese Cloaked Toxicity with Homophone Graph and Toxic Lexicon
C2TU 是一种无需训练、无需提示词的方法,结合中文同音字图、原始有害词表和基于 BERT 或 LLM 的过滤,在两个中文有害内容数据集上 F1 最高比最强对比方法高 71%、准确率高 35%,同时把伪装词还原为原本的有害形式。
