工业异常合成有哪些主要范式与方法?

这篇综述把工业异常合成分为四大范式,并比较它们的真实感、可控性、成本与局限。

直接答案

工业异常合成(IAS)方法可分为四大范式:手工合成、基于分布假设的合成、基于生成模型的合成,以及基于视觉语言模型的合成。论文的核心论点是:这些范式的差别主要不在架构,而在异常被创造的位置——图像空间、特征空间,还是借助预训练的多模态知识;这一选择决定了真实感、可控性、成本,以及哪些评估指标才有意义。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

异常合成为何成为独立研究方向

以往的工业异常综述主要关注异常检测,把合成当作构建训练数据的辅助手段。这篇论文认为,合成值得单独讨论,因为它现在承担三项不同的任务:扩充稀缺的缺陷数据、训练下游检测器,以及支持用户指定缺陷类型和位置的可控检测。

这种重新定位会影响结果的解读方式。如果合成只是数据增强的一步,唯一的问题就是检测器是否变好;如果合成同时是可控检测工具,那么视觉真实感、空间位置和指定异常语义的能力本身就成为目标。论文始终把这些目标分开,因此它从三个不同维度评估方法,而不是只用一个维度。

四大范式按异常生成位置区分

手工合成用人工规则和图像操作生成缺陷。论文直接指出其局限:真实感和多样性有限,人工规则还可能引入合成伪影。

基于分布假设的合成围绕正常数据的分布引入受控偏离,从而构造异常样本或异常表示。它分为两个子类。依赖先验的方法假定正常性具有明确的几何结构——流形、超球面或类似的结构化先验——并相对于它构造或解释偏离。数据驱动的方法放弃这一假设,直接对学习到的特征做扰动、抖动、替换或采样;论文举的例子包括向适配后的正常特征加入高斯噪声、特征抖动、在二值化 Perlin 噪声掩码区域内加入高斯扰动,以及用按相似性约束采样的码本向量替换被掩码的量化特征。

基于生成模型的合成学习图像空间先验,输出包含异常的显式合成图像。由于它直接建模图像级外观,论文指出它通常比前两种范式有更高的视觉真实感和异常多样性上限,代价是更高的训练与推理开销,以及更需要保持合成异常与周围正常内容的一致性。

基于视觉语言模型的合成利用大规模预训练的视觉—语言、多模态或文本条件生成先验。论文明确指出,它与生成模型的边界不在架构:两者都可能使用扩散模型。分界线在于是否依赖大规模预训练、知识迁移与适配策略,以及是否使用多模态信息;更大的模型规模只是次要特征。

特征空间合成以图像换训练信号

基于分布假设的范式最容易被误读,因为它的输出往往根本不是图像,其异常主要停留在表示空间。论文给出实际后果:这一范式适合能把特征级扰动用作合成监督或正则化的检测与定位流程,但当部署需要显式的逼真异常图像、可目视检查的合成样本或可复用的图像空间异常数据集时,它就不太合适。

两个子类的失效方式不同。依赖先验的方法在假定的正常几何不稳定时会变得不可靠,因为高度异质的正常表示可能无法被紧凑的流形或超球面刻画。数据驱动的方法强烈依赖特征质量,产生的异常信号向真实图像空间缺陷的迁移可能较弱。成本方面,两者都需要不小的训练开销,因为它们建立在学习到的编码器、自编码器、特征提取器、评分模型或辅助潜变量组件之上;推理开销则相对较低,因为合成只是先提取特征,再做扰动、投影、替换、采样或恢复,而不是迭代式图像生成。

图像空间合成以控制风险换真实感

基于生成模型的合成提升了真实感上限,也让失效模式变成空间性的。论文把不同的图像空间失效模式归到各子类:全图合成可能出现模式崩溃和域过拟合,全图翻译往往空间可控性弱,局部异常合成可能引入边界伪影或强烈依赖掩码质量。

这给出的是具体的选择规则,而不是排名。当部署目标是完整图像的数据集扩充时,权衡不同于以源图为锚的翻译,也不同于局部空间控制。论文还把任务数据依赖和可能的目域过拟合列为该范式的普遍风险,并把高计算成本、实时适用性有限列为另一项约束。

预训练知识拓宽可控接口

基于视觉语言模型的合成之所以重要,不在于它生成的像素更好,而在于它改变了用户可以指定什么。借助文本提示、参考图像、空间条件和其他辅助线索,它能更明确地指定异常语义、外观和空间属性。这与掩码条件生成方法提供的图像空间控制是不同能力。

在这一范式内部,论文按整体流程的组织方式区分单阶段与多阶段:单阶段方法通过一个统一的主导合成过程产生最终异常输出,多阶段方法则显式引入多个阶段或协同子流程,例如掩码合成、异常部件合成或渐进细化。论文还把多模态异常合成列为以往综述较少涉及的领域,这也是它声明的贡献之一。

三类指标回答三个不同问题

论文最有用的提醒是:真实感、检测器提升和空间准确度并不是同一种合成质量,因此评估被组织为三个互补视角。

直接合成质量包括 FID,作为粗略的特征空间真实感指标;以及 LPIPS,必须按其计算协议解读:基于参考的 LPIPS 越低表示感知保真越好,而簇内 LPIPS(IC-LPIPS)越高表示异常多样性越大,其计算方式是按真实异常参考或聚类对生成异常分组后,取组内两两 LPIPS 的均值。对于局部编辑而非全图合成,PSNR 和 SSIM 反映被操作区域之外的背景保持和结构连续性,Alignment IoU 衡量异常是否落在目标掩码区域内。

下游检测效用包括图像级 AUROC,它无需阈值且被广泛使用,但论文指出在异常比例低、类别不平衡时可能不够,此时图像级 AP 更直接地刻画精确率—召回率权衡,F1 则报告选定工作点上的平衡性能。精确率和召回率进一步说明增益来自更好的异常覆盖、更少的误报,还是两者之间的折中。

空间定位准确度包括像素级 AUROC,作为无需阈值的起点,但论文认为仅靠像素级排序不能完整刻画工业场景中的定位质量。PRO 和 AU-PRO 在连通区域层面评估重叠,论文称它们通常更贴合实际定位;AU-PRO 常报告在某个 FPR 上限下,常见为 0.3;sPRO 和 AU-sPRO 服务于逻辑异常或像素定义较弱的异常场景,AU-sPRO 常用于 MVTec LOCO 风格评估,上限为 0.05。

基准决定数字是否可比

论文明确指出,只有把基准选择、监督设置和评估语境放在一起考虑,IAS 结果才可直接比较。其基准表覆盖真实、合成和混合数据源,这些数据源不仅在数据类型上不同,在规模、检测场景和标注特征上也不同。

在真实世界基准中,MVTec-AD 和 VisA 被描述为 2D 工业异常检测广泛采用的标准参考。BTAD、MPDD、KSDD 和 KSDD2 与更具体的检测场景相关,物体类别或采集条件更受限。MVTec LOCO-AD 在结构异常之外加入逻辑异常,扩展了这一设置;Real-IAD 引入从真实生产线采集的大规模、高分辨率、多视角数据。数据集在传感模态和构建策略上也各不相同。

实际含义是,指标选择不是中性的报告细节。有些研究只检验合成异常是否提升下游检测器;另一些还考察视觉真实感、结构保持、编辑忠实度或图像—掩码对齐。因此,同一项报告增益的含义取决于研究实际测量了其中哪些方面。

按所需输出形式选择范式

论文面向部署的比较把分类体系变成决策结构。如果下游任务能利用分布级或表示级的异常信号,基于分布假设的合成有吸引力且推理成本低,但当需求转向图像空间中视觉显式、逼真且可直接复用的合成异常时,其局限就会显现。如果需要带有学习到的异常外观的显式图像空间样本,基于生成模型的合成就是相关范式,其内部选择应取决于目标是完整图像数据集扩充、以源图为锚的翻译,还是局部空间控制。如果需求是通过提示、参考和空间线索指定异常语义、外观和空间属性,基于视觉语言模型的合成就是提供这一接口的范式。

论文对该领域三大核心挑战的界定——异常分布覆盖有限、合成逼真异常样本困难、多模态信息作用尚未充分探索——也对应同一划分。因此,对读者最有分量的判断不是哪个范式整体最强,而是部署实际需要哪种输出形式:特征级信号、逼真图像空间样本,还是可由提示和参考控制的合成。论文为每个范式列出的局限,从正常几何假设不稳定到掩码质量依赖和高计算成本,正是应重新审视这一选择的条件。

本文引用的文献

1

A Survey on Industrial Anomalies Synthesis

该综述把工业异常合成分为四大范式——手工、基于分布假设、基于生成模型和基于视觉语言模型——并从输入要求、输出形式、可控性、成本、下游任务和实际局限等方面比较它们,同时区分合成质量、检测效用和定位指标。