新闻标题被改写成五类不安全提示词
这项研究要回答的是：开放文生图模型有多容易被引导生成有害内容，以及平台依赖的审核与检测工具是否真能拦住。起点数据是VisualNews数据集，其中包含真实新闻事件的标题和照片。一个LLM把每条标题改写成五类不安全提示词之一：色情内容、暴力或血腥、有害刻板印象、自残和仇恨言论。
威胁模型刻意设定得很低。作者假设攻击者只有一块消费级显卡和一个会服从有害指令的开放权重指令微调模型，不需要越狱、对抗性提示工程或专门技能。生成时关闭了外部安全过滤器，因此评估针对的是各模型自身的能力和内置防护，而不是外部过滤层。
测试了五个开放模型：AbsoluteReality、FLUX.1-dev、Juggernaut-XL、SD3.5和SDXL。这组模型混合了带内置安全机制的标准模型和绕过内容限制的社区微调变体。原始标题也被用来生成图像作为对照条件，从而可以把有害输出与同一批模型的良性输出作比较。
血腥提示的成功率远高于自残提示
对1500张生成图像的人工评估提供了基准真值。评分者按五个危害维度和真实感逐张打分，色情内容（Fleiss' Kappa 0.8454）、暴力/血腥（0.8513）和自残（0.8014）的一致性几乎完美。仇恨言论（0.6059）和刻板印象（0.6241）的一致性较低但仍相当高，作者将其归因于文化背景和编码符号。真实感只有中等一致性（0.4557）。
对照条件的表现符合预期：所有类别中，由标题生成的图像超过96%是安全的。随后有害提示词产生的有害内容比例差异很大。血腥提示产生89.2%有问题的暴力内容，NSFW提示产生47.6%有问题的色情内容，仇恨言论提示产生46.0%有问题的仇恨言论，有害刻板印象提示产生43.6%有问题的刻板印象内容，自残提示产生34.5%有问题的自残内容。
严重程度也因类别而异。血腥类产生的极端违规最多，46.8%的图像被评为极端暴力，而色情和刻板印象类别的极端比例分别最高为6.0%和4.4%。自残提示很少直接生成自残图像；相反，这些图像中有71.9%包含有问题的暴力内容，说明模型倾向于用血腥暴力来表现自残。
有害类别之间会相互渗透
这五个类别在实践中并不能干净分开。血腥图像包含7.6%的色情内容违规，NSFW图像包含16.8%的暴力违规。有害刻板印象提示产生34.1%有问题的仇恨言论内容，作者将其与刻板印象和仇恨言论在语义上的接近联系起来。
这种重叠影响着头条数字该如何解读。一个提示词类别并不对应单一危害维度，因此针对某一类别调优的审核系统可能漏掉以另一标签出现的有害内容。自残结果是最清楚的例子：该类别自身的比例在五类中最低，为34.5%，但同一批图像的暴力比例达71.9%，所以即使标签对应的计数看起来不高，危害依然存在。
没有哪个模型在所有类别上都最安全
按模型拆分不安全生成结果可以看出，易感性因类别而异。在色情内容上，FLUX.1-dev最易受影响，NSFW提示下为66.0%，其次是AbsoluteReality的54.0%和Juggernaut-XL的50.0%，而SD3.5（36.0%）和SDXL（32.0%）较低。在刻板印象内容上，SD3.5产生比例最高，为66.0%，其次是AbsoluteReality的46.0%。
血腥提示下的暴力生成在所有模型中都持续偏高，SD3.5最高达98.0%，其次是Juggernaut-XL的96.0%和FLUX.1-dev的94.0%。在自残内容上，FLUX.1-dev最易受影响，为60.0%，其次是SD3.5的58.0%和Juggernaut-XL的28.0%，而AbsoluteReality（4.0%）和SDXL（22.0%）明显更低。在仇恨言论上，SD3.5最高，为70.0%，其次是FLUX.1-dev的62.0%和Juggernaut-XL的36.0%。
作者指出，在任何类别上，社区微调模型都没有相对标准模型的明显优势，尽管这些微调变体正是为绕过内容限制而构建的。微调变体唯一突出的地方是对色情提示的易感性。
有害图像仍足够真实，可以被使用
如果有害图像一眼就能看出是人工生成的，实际风险会小一些。研究发现，有害提示下生成质量大体得以保留，但下降幅度因模型而异。FLUX.1-dev的下降最明显，被评为明显真实的图像从安全提示下的63.3%降到有害提示下的30.9%，但它仍在受评模型中保留了最高比例的明显真实有害图像。
Juggernaut-XL出现类似但更小的变化，从20.8%降到11.1%明显真实。对SD3.5来说，只有1.7%的有害图像被评为明显真实，意味着其有害输出的真实感基本丧失。AbsoluteReality在安全与有害提示之间变化很小，但这反映的是两种情况下真实感都低：其安全图像和有害图像分别有76.7%和75.4%被评为不真实。
作者得出结论：有害提示下真实感能保留多少，强烈依赖具体模型，而非一致规律。FLUX.1-dev的30.9%明显真实有害图像这一数字，最直接支撑了论文对虚假信息和滥用的担忧，因为它描述的是有可能被当作真实照片的输出。
审核API只标记出一小部分不安全图像
研究随后测试了防御方，用高精度审核系统作为大规模有害内容生成的下界近似。OpenAI的审核端点报告的精确率为：色情内容98.2%、暴力93.7%、自残93.3%；Rekognition报告的精确率为：暴力93.7%、仇恨言论100%。
检测率远低于人工评定的危害率。在血腥提示上，OpenAI的暴力检测器标记了FLUX.1-dev图像的53.8%、Juggernaut-XL图像的76.8%、SD3.5图像的33.2%和SDXL图像的57.6%。Rekognition的暴力检测器标记了AbsoluteReality的60.9%、FLUX.1-dev的68.9%、Juggernaut-XL的75.5%、SD3.5的76.6%和SDXL的56.3%。
差距在作者描述为微妙的类别上最大。在有害刻板印象提示上，OpenAI的色情内容检测器按模型不同标记了0.4%到4.6%的图像，Rekognition的仇恨言论检测器标记了0.0%到0.3%。在仇恨言论提示上，Rekognition标记了FLUX.1-dev的18.7%和SD3.5的10.8%，但AbsoluteReality只有1.5%，SDXL只有1.8%。作者指出，这些发现暴露了显著的检测缺口，使不安全图像得以逃过过滤，刻板印象和仇恨言论尤其如此。
只用良性图像训练的检测器漏掉露骨内容
最后一项评估覆盖合成图像检测器，比较基础模型与用额外真实场景（ITW）数据训练的变体。规律一致：仅用COCO类数据集训练的模型在露骨内容上得分更低，而ITW训练的模型得分更高。SPAI从安全内容的87.6%检测率降到极端内容的79.9%，而SPAI-ITW从81.4%升到97.3%。NPR-ITW相对NPR有所提升，随内容严重程度上升从60.0%升到73.1%。
作者将其解释为语义分布差距。检测器本应不论图像内容如何都能识别合成图像，但训练数据分布明显影响性能，原始训练集中缺失的露骨内容似乎构成一种数据漂移。作者得出的实际含义是，合成图像检测基准应纳入露骨内容。
最薄弱环节是微妙危害，而非血腥暴力
把这些结果放在一起看，指向的是一个具体优先级，而不是泛泛的警告。血腥暴力是最可靠被生成的危害，血腥提示下达89.2%，但它也是审核系统最常抓到的危害，暴力检测器按模型和厂商不同标记了约33%到77%的血腥提示图像。审核漏得最多的类别是刻板印象和仇恨言论，标记率降到个位数或低两位数，尽管人工评分者判定43.6%的刻板印象提示图像和46.0%的仇恨言论提示图像不安全。
模型比较进一步说明，没有哪个模型是安全选择。SD3.5对刻板印象提示（66.0%）和血腥提示（98.0%）最易受影响，却是对色情提示最不易受影响的模型之一（36.0%）。FLUX.1-dev对色情提示（66.0%）和自残提示（60.0%）最易受影响，同时产生最高比例的明显真实有害图像（30.9%）。社区微调变体除色情提示外，相对标准模型没有一致劣势。
有两条边界限定这些结论。评估部分依赖人工标注，因此受评分者背景和解读影响，对有害刻板印象和仇恨言论这类文化依赖类别尤其如此，它们的一致性也更低。评估还仅限于英文提示词，因此有害内容生成和审核行为在不同语言间可能不同。研究识别了生成和审核失败何时发生，但没有解释其内部原因。
对权衡这些发现的读者来说，与决策相关的区分在于危害是血腥直白还是微妙隐蔽。论文证据支持把刻板印象和仇恨言论审核视为当前防御体系中最薄弱的一环，并把真实感保留程度而非原始生成率，视为决定有害图像能否真正被使用的变量。
本文引用的文献
Harmful Content Generation in Text-to-Image Models: Capabilities and Moderation Limitations
对五个开放文生图模型生成的1500张图像进行人工评估发现，不安全内容比例分别为：血腥提示89.2%、色情内容47.6%、仇恨言论46.0%、有害刻板印象43.6%、自残34.5%，而自动审核系统只标记出其中一小部分，仅用良性数据训练的合成图像检测器在露骨内容上表现更差。