一种工业缺陷图像生成方法、装置、设备及存储介质与流程

本技术涉及图像生成，特别涉及一种工业缺陷图像生成方法、装置、设备及存储介质。

背景技术：

1、工业缺陷图像生成技术主要应用于提高计算机视觉系统在工业检测方面的性能，目前通常通过深度学习来模拟和生成工业缺陷图像。然而，由于生产线的良率较高，要采集到大量的缺陷图像是一件很困难的事，因此生成足够多样性和真实的缺陷样本以训练缺陷识别模型是一个重要的挑战。

2、目前，主流的工业缺陷图像生成方法有以下几种：①基于特征统计的方法：利用机器学习算法对缺陷进行建模，并通过对图像特征的统计描述来生成缺陷。例如，使用支持向量机（svm，support vector machine）对缺陷进行分类；②基于样本生成的方法：通过对已知缺陷进行建模，然后利用模型生成新的缺陷。例如，使用循环神经网络（rnn，recurrentneural network）对缺陷进行建模，然后通过反向传播算法（bp，back propagation）生成新的缺陷。③基于生成对抗网络的方法：使用生成对抗网络（gan，generative adversarialnetworks）来模拟缺陷的生成过程，其中，gan由两个神经网络组成，一个是生成器，另一个是判别器，生成器的任务是生成与真实数据相似的缺陷图像，而判别器的任务是区分真实图像和生成图像，通过不断调整生成器和判别器的参数，最终可以得到与真实缺陷相似的图像。上述三种工业缺陷图像生成方法中gan使用的最为广泛，由gan生成的工业缺陷图像的多样性更加丰富，能够有效缓解数据长尾分布的问题。

3、然而，上述生成对抗网络的工业缺陷图像生成方法存在图像生成耗时严重的问题，具体原因为：为提高生成图像的质量，生成器的结构非常复杂，如大量使用跳跃连接、分支结构和深度可分离卷积等，虽然这种结构能极大改善图像的质量，但对于cpu（centralprocessing unit，中央处理器）/gpu（graphics processing unit，图形处理器）等硬件设备并不友好，会导致负载过高、无法并行运算等问题，使得计算效率低下，无法在短时间内生成所需的工业缺陷图像。

技术实现思路

1、有鉴于此，本技术的目的在于提供一种工业缺陷图像生成方法、装置、设备及存储介质，能够生成高质量的工业缺陷图像，并提高图像生成的效率。其具体方案如下：

2、第一方面，本技术公开了一种工业缺陷图像生成方法，包括：

3、采集实际工业生产中产生的缺陷图像，得到实际缺陷图像；

4、将所述实际缺陷图像输入至预先创建的目标生成对抗网络中，以便利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像；其中，所述生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，所述特征提取层采用非对称卷积结构；所述判别器采用全尺度跳跃连接方式的densenet网络；所述特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径；

5、所述方法，还包括：采用2×2池化和4×4池化的下采样方式对所述判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对所述判别器中尺度一致且不同稠密块的特征图进行拼接。

6、可选的，所述工业缺陷图像生成方法，还包括：

7、将随机生成的噪点数据依次经过所述生成器中的所述上采样层、所述特征提取层和所述特征门控层中，以生成预设分辨率的图像；

8、将所述预设分辨率的图像输入至所述判别器中，以对所述预设分辨率的图像进行特征提取得到特征提取结果，并根据所述特征提取结果以及先验知识对所述预设分辨率的图像的真伪进行判别得到判别结果，再将所述判别结果返回至所述生成器，以通过反向传播更新所述生成器的权重参数。

9、可选的，所述利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像，包括：

10、利用所述实际缺陷图像对所述目标生成对抗网络中的判别器进行训练，得到训练后的判别器；

11、通过所述训练后的判别器指导所述目标生成对抗网络中的生成器生成与所述实际缺陷图像相似的伪造缺陷图像。

12、可选的，所述生成器和所述判别器的对抗目标为价值函数最小化最大值。

13、可选的，所述生成器中的各个所述上采样层均采用双线性插值法进行上采样。

14、第二方面，本技术公开了一种工业缺陷图像生成装置，包括：

15、缺陷图像采集模块，用于采集实际工业生产中产生的缺陷图像，得到实际缺陷图像；

16、缺陷图像生成模块，用于将所述实际缺陷图像输入至预先创建的目标生成对抗网络中，以便利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像；其中，所述生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，所述特征提取层采用非对称卷积结构；所述判别器采用全尺度跳跃连接方式的densenet网络；所述特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径；

17、所述装置法，还用于采用2×2池化和4×4池化的下采样方式对所述判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对所述判别器中尺度一致且不同稠密块的特征图进行拼接。

18、第三方面，本技术公开了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述的工业缺陷图像生成方法。

19、第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述的工业缺陷图像生成方法。

20、可见，本技术先采集实际工业生产中产生的缺陷图像得到实际缺陷图像，然后将所述实际缺陷图像输入至预先创建的目标生成对抗网络中，以便利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像；其中，所述生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，所述特征提取层采用非对称卷积结构；所述判别器采用全尺度跳跃连接方式的densenet网络；所述特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径；并采用2×2池化和4×4池化的下采样方式对所述判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对所述判别器中尺度一致且不同稠密块的特征图进行拼接。本技术通过预先创建的生成对抗网络生成与实际缺陷图像相似的伪造缺陷图像，该生成对抗网络中的生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，其中，特征提取层采用非对称卷积结构，特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径，并通过结构重参数化方式进行参数重表示，判别器采用全尺度跳跃连接方式的densenet网络，另外，模型还采用2×2池化和4×4池化的下采样方式对判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对判别器中尺度一致且不同稠密块的特征图进行拼接，能够生成高质量的工业缺陷图像，并提高图像生成的效率。