一种基于生成对抗网络的工业产品异常检测方法及系统与流程

本发明属于人工智能领域，涉及一种基于生成对抗网络的工业产品异常检测方法及系统。

背景技术：

1、面向工业场景下的产品图像异常检测任务中，为了更好的捕获全局上下文信息，一般情况是通过增加网络层的深度，通过以扩大感受野的方式，获取整个图像中的非相邻区域的关系，从而提升全局特征的提取能力，来解决因部分工业产品图像结构复杂而导致较难获取全局信息的难题。同时，随着生成对抗网络的提出，可以很好的因样本中包含无关背景而影响图像质量的问题。首先，在训练过程中不再需要带有标注的样本数据；其次，可以通过生成新的异常样本提升模型的泛化能力。但是，还存在有部分问题尚未被解决：

2、网络层数的加深会使参数量急剧提升。在传统的深度学习网络模型中，参数越多模型计算过程中所消耗的资源也会呈指数形式上升，同时，过于复杂的网络结构还会出现过拟合以及参数优化困难等情况；

3、传统深度学习模型难以获取长距离的依赖关系。通过不断扩大卷积的感受野，所提取的特征是局部空间的邻域信息，然而，相较于与当前位置距离较远的区域间的信息是不能通过卷积操作进行捕获的；

4、部分生成的工业产品图像形质量较差。一方面，由于生成对抗网络的训练是一个动态博弈的过程，生成器和判别器的能力会随训练的进度而改变，从而出现训练不稳定的情况；另一方面，生成器仅学习到图像中一部分数据分布模式，从而导致生成的样本缺乏多样性，影响最终的检测结果。

5、随着transformer模型的提出，早期该模型是用于实现自然语言处理中的机器翻译任务，现阶段已经被广泛应用于计算机视觉领域中。相较于传统的深度学习模型，transformer更擅长捕获全局上下文信息，但是，通过transformer进行处理图像数据依然会存在以下问题：

6、模型参数量过大。使用transformer模型对图像产品进行检测的过程中，当图像分辨率较高时，模型的计算成本会大幅度上升；

7、对局部特征信息的提取能力较差。transformer模型主要通过自注意力机制提取全局上下文信息，然而，对于图像类型的二维数据，像素的局部信息的重要性也是不容忽视的，而传统的transformer模型对局部信息的提取能力是相对较弱的。

技术实现思路

1、本发明的目的在于解决现有技术中面向工业场景下的产品图像异常检测任务中模型计算量过大及局部特征信息捕获能力较弱的问题，提供一种基于生成对抗网络的工业产品异常检测方法及系统。

2、为达到上述目的，本发明采用以下技术方案予以实现：

3、本发明提出的一种基于生成对抗网络的工业产品异常检测方法，包括如下步骤：

4、构建生成器和多尺度输入的判别器，基于生成器和多尺度输入的判别器构建生成对抗网络模型；

5、将随机噪声作为生成对抗网络模型的输入，随机噪声不断学习正常产品图像中数据的分布规律，获取对抗网络模型的预测结果；

6、通过将工业产品的对抗网络模型的预测结果与异常分数阈值比较，实现工业产品的异常检测。

7、优选地，生成器是由transformer block构建而成的；

8、将生成器分为多层的transformer block提取不同尺度空间下的特征，transformer block每层间使用一个上采样模块，在低分辨率层中，采用bicubic upsample方法进行上采样处理。

9、优选地，当图像的分辨率超过32×32，使用pixel shuffle模块对其进行上采样操作，将输入的低分辨率图像拉伸成多个不重叠的patch，然后重新排序为一个高分辨率图像；

10、对高分辨率图像进行处理的过程中采用基于窗口的marked self-attention机制对其他窗口进行掩码处理，对高分辨率图像使用piexl shuffle上采样方法。

11、优选地，多尺度输入的判别器是通过构建一个二分类器来完成对输入图像的判断；

12、将生成的图像在镜像结构搭建的多尺度判别器中进行训练，引入patchembedding层处理patch，在多尺度判别器的每个patch embedding层后加入了连接层。

13、优选地，生成对抗网络模型的目标函数如下：

14、

15、其中，z代表作为生成器g输入的随机噪声，pz(z)代表随机噪声z所遵循的概率分布，g(z)代表当前生成器g生成的输出，pdata代表真实产品图像所服从的概率分布，d(x)代表当前输入图像是真实图像的概率，d(x)∈[0,1]；中的代表真实产品图像的分布期望；中的代表噪声的分布期望；min前缀表示使g的代价函数最小，d的代价函数最大。

16、优选地，对生成对抗网络模型中编码器进行训练，生成产品所对应的潜在变量z；在整个训练过程中，生成器g和判别器d中的参数是固定的，将真实产品作为编码器的输入；然后将所查询到的潜在变量作为输入，进入到参数已经固定的生成器g中，并且将输入再重新映射回图像空间中，同时最小化生成产品图像与真实产品图像之间均方误差如下：

17、

18、其中，e(g(z))表示编码器将生成图像作为输入将其映射回潜在空间的映射过程，x表示作为输入的真实产品，n表示其中的像素数，||·||用于定义图像中灰度值的残差平方和。

19、优选地，将真实产品和生成产品分别输入到判别器中，将二者的特征分布值进行均方误差计算，将计算结果作为损失函数，损失函数表达式如下：

20、

21、其中，f代表判别器特征的中间层作为给定输入的计数器，nd表示该判别器中间特征的维数，k定义为权重因子。

22、本发明提出的一种基于生成对抗网络的工业产品异常检测系统，包括：

23、模型构建模块，所述模型构建模块用于构建生成器和多尺度输入的判别器，基于生成器和多尺度输入的判别器构建生成对抗网络模型；

24、预测结果获取模块，所述预测结果获取模块用于将随机噪声作为生成对抗网络模型的输入，随机噪声不断学习正常产品图像中数据的分布规律，获取对抗网络模型的预测结果；

25、结果比对模块，所述结果比对模块用于通过将工业产品的对抗网络模型的预测结果与异常分数阈值比较，实现工业产品的异常检测。

26、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现基于生成对抗网络的工业产品异常检测方法的步骤。

27、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于生成对抗网络的工业产品异常检测方法的步骤。

28、与现有技术相比，本发明具有以下有益效果：

29、本发明提出的一种基于生成对抗网络的工业产品异常检测方法，首先，设计生成器以及基于多尺度的判别器，判别器的目的就是为了尽可能的正确的辨别出真实产品和生成产品，而生成器的目的是尽可能生成贴近真实工业产品的图像。接着，设计基于transformer的生对抗网络结构，将随机噪声作为输入，噪声输入后进入mlp层，一方面可以通过对噪声进行一系列的线性和非线性变化增加多种变换形式，可以增强生成过程中对不同空间下数据分布规律的探索，从而在一定程度上提升产品生成图像的多样性；另一方面可以对生成产品的特征进行预调整，去除噪声中的冗余信息，保留更重要的特征信息，从而使得生成器可以更容易的在特征中学习真实产品的数据分布规律。最后，在数据集上实验，分析对比后验证该方法在面向工业场景下的异常检测任务中的有效性。基于生成对抗网络的工业产品异常检测方法采用transformer模型构建生成器和判别器，更擅长捕捉全局上下文信息，并优化了计算量和局部特征捕获能力，不需要对训练数据进行标注计算量小，非常适用于缺乏异常标注数据的工业场景中，在提高检测效果的同时缓解了实际应用中的硬件需求。

30、进一步地，transformer block每层间使用一个上采样模块提高分辨率。

31、进一步地，在输入的第一个阶段使用基于窗口的marked transformer模块，因为需要将二维图像转换成一维数据的形式，所以引入patch embedding层处理patch，同时为了匹配不同尺度空间下提取到的特征，在多尺度判别器的每个patch embedding层后加入了连接层。

32、进一步地，在对高分辨率图像进行处理的过程中采用基于窗口的marked self-attention机制对其他窗口进行掩码处理，可以大大减少计算过程对内存和算力的消耗，对高分辨率图像使用piexlshuffle上采样方法，提升分辨率的同时减少与其相应的通道数，进一步减少参与计算的参数量。

33、进一步地，在完成损失值计算后，还分别将真实产品和生成产品分别输入到判别器中，将二者的特征分布值进行均方误差计算，并将其作为新的损失函数，辅助均方误差减小可能出现的误差对整个方法精度的影响。

34、进一步地，目标函数min前缀表示使生成器的代价函数最小，即生成产品尽量贴近真实产品，判断器的代价函数最大，即判别器不能判断当前输入的图像是否是真正的产品图像。

35、本发明提出的一种基于生成对抗网络的工业产品异常检测系统，通过将系统划分为模型构建模块、预测结果获取模块和结果比对模块，实现工业产品的异常检测。采用模块化思想使各个模块之间相互独立，方便对各模块进行统一管理。