基于生成对抗网络的缺陷检测数据生成、检测方法及系统

本发明属于检测，具体涉及一种基于生成对抗网络的缺陷检测数据生成、检测方法及系统，尤其是该生成对抗网络是基于多高斯模型的生成对抗网络。

背景技术：

1、近年来，基于深度学习的识别算法越来越成熟，许多公司开始尝试把深度学习算法应用到工业场合中。当前基于深度学习的缺陷检测方法被广泛使用于布匹瑕疵检测、工件表面质量检测、航空航天领域等。相较于传统的算法只能对与规则缺陷以及场景比较简单的场合能够很好工作，深度学习方法可以对特征不明显的、形状多样、场景比较混乱的场合进行有效检测。

2、但现在主流的基于深度学习的缺陷检测算法都是基于数据来驱动的，想要模型训练得好、精度高，是需要大量的训练样本数据的。比如光伏电池板需要检测的缺陷种类很多，因此想要训练好一个基于深度学习的光伏电池板缺陷检测模型，不但需要大量的训练数据，而且要求各类缺陷数据要均衡，譬如样本数量及比例小的某一类缺陷数据会直接导致该类缺陷的检测精度低，甚至会影响其他缺陷的检测精度，从而影响了光伏电池板缺陷检查模型的整体检测精度。

3、现有的数据都是基于人工采集的成本高，数量少，样本不均衡；还有利用现在gans(generativeadversarial nets，生成式对抗网络)的强大生成能力来生成高保真的样本图片，但由于传统的gans是学习一个随机分布到真实数据之间的一个映射，然后从随机采样的潜码中生成逼真的图像，这样会导致生成的图片会保留原始训练数据之间的相关性，即样本还是不均衡，并且生成的数据的属性是不可控的。当前的一些控制生成网络如stylegan、cips[1]通过将采样的潜在代码z输入到一个多层感知机网络后再分别输入到网络各层的结构可以控制生成图片的一些风格样式，然而也无法对图像的纹理、深层特征属性进行有效控制，或者如dgg(deep clustering by gaussian mixturevariationalautoencoders with graph embedding)通过一个高斯混合模型对生成数据进行聚类，可以对minist等简单且各类数据之间严格不相关的数字图像数据进行控制生成，但是dgg在分辨率过高的数据上就无法收敛，而且该方法无法控制生成多种属性共存的数据；李波等人提出的一种基于高斯混合模型的潜在空间解耦方法，只考虑采样的潜在空间忽视了网络各层次学习的语义信息，且约束某个子空间采样样本的语义属性为1或0，然而，过强的约束使得生成的图片产生畸变而不像真实图像，对语义属性的控制效果不理想。

4、因此，基于深度学习的缺陷检测算法中合理、有效样本数据的生成仍然是一个有待进一步完善的技术点，其对于缺陷检测的精度更是尤为关键，本发明致力于提升缺陷检测算法的精度，解决基于人工数据采集和传统生成对抗网络生成的数据具有数据不均衡的问题，并将其应用于缺陷检测技术中，尤其是光伏电池板缺陷检测技术中。

技术实现思路

1、本发明的目的是解决现有基于人工数据采集和传统生成对抗网络生成的数据具有数据不均衡、属性不可控的技术问题，进而提供一种基于生成对抗网络的缺陷检测数据生成、检测方法及系统，其中，该生成对抗网络是基于多高斯模型的生成对抗网络，即通过使用多个高斯模型采样分层输入到生成对抗网络中，进而通过控制各组高斯模型的系数来控制生成图像数据的属性特征(缺陷属性)，因此，本发明使用可学习的模型参数化策略，将高斯模型组参数化，将标准正态分布中采样的随机向量和高斯模型组参数运算模拟从高斯模型组中采样，再利用生成图像的缺陷标签进行约束，对各个属性对应高斯模型的参数进行优化，使得各个高斯模型在控制生成时，可以和图像的特征属性达到有效的对齐，以达到控制如光伏电池板等复杂图像数据生成时的缺陷特征，生成大量具有用户所需缺陷属性的图像数据，解决传统对抗生成网络具有的生成数据不均衡、属性不可控的问题。

2、一方面，本发明提供的一种基于生成对抗网络的缺陷检测数据生成方法，其包括以下步骤：

3、步骤1：获取目标对象的训练数据集，所述训练数据集包括目标对象的图像及缺陷标签；

4、步骤2：利用所述训练数据集训练分类模型，所述分类模型的输入为目标对象的图像，输出为目标对象的图像的缺陷标签；

5、步骤3：构建基于高斯模型组的生成对抗网络模型，并对所述生成对抗网络模型中的生成器和判别器进行交替式训练；

6、其中，所述生成对抗网络模型的生成器采用基于全连接网络层的多层感知机结构，且第1个全连接层引入从标准正太分布中采样的随机向量，即所述随机向量与第一个全连接层的权重系数进行线性运算；第2至n+1个全连接层分别连接一组高斯模型，即将每一组高斯模型采样的缺陷向量和对应高斯模型系数的乘积，与对应全连接层的权重系数进行线性运算；每一类缺陷对应一组高斯模型，n为缺陷类别数；

7、所述生成器的输入为目标对象的图像的像素网格坐标，输出为生成图像；所述生成器的训练是指通过约束1和约束2优化生成器以及高斯模型组的参数，其中，所述约束1是利用所述判别器约束所述生成器的生成图像为逼真图像；所述约束2是将所述生成器的生成图像输入所述分类模型得到缺陷标签，再约束所述缺陷标签与所述高斯模型组的系数之间保持一致；

8、步骤4：将目标对象的图像的像素网格坐标输入训练好的所述生成对抗网络模型，通过控制高斯模型组的系数生成所述目标对象的各类缺陷图像。

9、进一步可选地，从一组高斯模型中采样的缺陷向量表示为：

10、其中，zi表示从第i组高斯模型p(z|ui,σi)中采样的缺陷向量，(ui,σi)为第i组高斯模型p(z|ui,σi)中待优化的高斯模型的参数，z'～p(z|0,i)表示从标准正态分布p(z|0,i)中采样的向量，z为从标准正太分布中采样的随机向量，其中，虽然都是从标准状态分布中进行采样，但是不是同一次采样得到的向量，i表示单位矩阵(对角元素为1，其余元素为0)。

11、进一步可选地，以约束1和约束2优化生成器以及高斯模型组参数的训练过程，对应的优化目标函数表示为：

12、

13、其中，loss为生成器的损失函数，g(z,αizi)表示生成器生成的生成图像，d(g(z,αizi)是将生成图像输入判别器得到的判别结果，即约束1对应的损失函数；z为从标准正太分布中采样的随机向量，zi表示从第i组高斯模型中采样的缺陷向量，αi表示第i组高斯模型的系数；f(g(z,αizi))表示将生成图像输入所述分类模型得到的分类标签，α表示由n组高斯模型的系数构成的高斯模型组的系数向量，|f(g(z,αizi))-α|是约束2对应的损失函数；g表示生成器，d表示判别器，(ui,σi)为第i组高斯模型的待优化参数。

14、进一步可选地，输入所述生成器的图像坐标网格的大小为：2×h×w，h×w为生成器生成的生成图像的分辨率；基于所述坐标网格，输入所述生成器的图像的像素网格坐标表示为：(x,y)，x,y的值是根据中h、w的大小从[-1,1]中均匀取值的。

15、其中，输入图像的像素网格坐标至所述生成器后，使用傅里叶嵌入扩充所述坐标网格的通道数量。

16、进一步可选地，所述目标对象为光伏电池板；

17、所述光伏电池板的缺陷类型包括：裂纹、竖状物、黑块、粗线、星状裂纹、缺角、碎片、刮伤，缺陷类别数n等于8；

18、其中，所述缺陷标签为8维向量。

19、第二方面，本发明提供一种基于所述缺陷检测数据生成方法的缺陷检测方法，其包括以下步骤：

20、s1：根据所述的步骤1-步骤3构建并训练所述生成对抗网络模型，再根据步骤4生成目标对象的图像，进而构建数据增广后的缺陷检测数据集；

21、s2：利用所述缺陷检测数据集训练缺陷检测网络得到缺陷检测模型；

22、s3：将待检测的目标对象的图像输入所述缺陷检测模型得到缺陷检测结果。

23、第三方面，本发明提供一种基于所述缺陷检测数据生成方法的系统，其包括：

24、训练数据集构建模块，用于获取目标对象的训练数据集，所述训练数据集包括目标对象的图像及缺陷标签；

25、分类模型生成模块，用于利用所述训练数据集训练分类模型，所述分类模型的输入为目标对象的图像，输出为目标对象的图像的缺陷标签；

26、生成对抗网络模型生成模块，用于构建基于高斯模型组的生成对抗网络模型，并对所述生成对抗网络模型中的生成器和判别器进行交替式训练；

27、数据生成模块，用于将目标对象的图像的像素网格坐标输入训练好的所述生成对抗网络模型，通过控制高斯模型组的系数生成所述目标对象的各类缺陷图像。

28、第四方面，本发明提供一种基于所述缺陷检测方法的系统，其包括：

29、缺陷检测数据集构建模块用于构建并训练所述生成对抗网络模型，再生成目标对象的图像，进而构建数据增广后的缺陷检测数据集；

30、缺陷检测模型生成模块用于利用所述缺陷检测数据集训练缺陷检测网络得到缺陷检测模型；

31、缺陷检测模块用于将待检测的目标对象的图像输入所述缺陷检测模型得到缺陷检测结果；

32、其中，缺陷检测数据集构建模块包括训练数据集构建模块、分类模型生成模块、生成对抗网络模型生成模块以及数据生成模块；

33、所述训练数据集构建模块用于获取目标对象的训练数据集，所述训练数据集包括目标对象的图像及缺陷标签；

34、所述分类模型生成模块用于利用所述训练数据集训练分类模型，所述分类模型的输入为目标对象的图像，输出为目标对象的图像的缺陷标签；

35、所述生成对抗网络模型生成模块用于构建基于高斯模型组的生成对抗网络模型，并对所述生成对抗网络模型中的生成器和判别器进行交替式训练；

36、所述数据生成模块用于将目标对象的图像的像素网格坐标输入训练好的所述生成对抗网络模型，通过控制高斯模型组的系数生成所述目标对象的各类缺陷图像。

37、第五方面，本发明提供一种计算机设备，至少包括：

38、一个或多个处理器；

39、存储了一个或多个计算机程序的存储器；

40、所述处理器调用所述计算机程序以实现：

41、所述缺陷检测数据生成方法的步骤或所述缺陷检测方法的步骤。

42、第六方面，本发明提供一种计算机可读存储介质，其存储了计算机程序，所述计算机程序被处理器调用以实现：

43、所述缺陷检测数据生成方法的步骤或所述缺陷检测方法的步骤。

44、有益效果

45、本发明技术方案提供的所述缺陷检测数据生成方法引入生成对抗网络生成缺陷数据，区别于传统的生成对抗网络，本发明技术方案使用全连接网络层的多层感知机结构，并引入多组高斯模型采样，采样结果分层输入到生成对抗网络中，即将标准正态分布中采样的随机向量以及高斯模型组采样的缺陷向量输入到生成对抗网络中，与对应全连接层的权重系数进行线性运算，通过控制各组高斯模型的系数得以控制生成器的生成图像的缺陷属性并生成大量用户所需的缺陷图像，解决了传统生成对抗网络的生成数据属性不可控、数据不均衡的问题；其中，本发明技术方案使用自适应可学习优化策略，将高斯模型组参数化，利用生成器的生成图像的缺陷标签约束高斯模型，使得各个高斯模型在控制生成时候可以和图像的缺陷属性达到有效的对齐，以达到控制如光伏电池板等复杂图像数据生成时的缺陷特征。

46、本发明技术方案所述缺陷检测方法应用在光伏电池板缺陷检测时，可以检测的缺陷类型包括裂纹、竖状物、黑块、粗线、星状裂纹、缺角、碎片、刮伤，检测范围大且检测结果可靠；且为了更适应光伏电池板图像的上的类似网格的电极、栅线特征，本发明技术方案更是优选采用cips的全连接网络部分作为生成网络主体，以坐标网格为输入，网格输入时加入傅里叶嵌入扩充输入坐标网格的通道数量，提高生成光伏电池板图像的质量，优于当前最先进的生成对抗网络之一的pggan。