一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法

本发明涉及计算机视觉，具体而言，尤其涉及一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法。

背景技术：

1、光伏发电作为一种清洁、可再生的发电方式，弥补了传统化石燃料不可再生的缺陷。在能源消耗量不断增长的当下，光伏发电已成为发展最快的可再生能源之一。光伏电池是光伏发电系统中的核心元件，其产品质量的优劣将直接影响光电转换效率与寿命。光伏电池部分缺陷隐藏在内部，一些问题在运行一段时间后才可在外部明显观测到，因此在工业产线上对光伏电池板进行缺陷检测是十分有必要的。

2、电致发光，英文名称electroluminescence，简称el，是一种光伏电池产线上常见的缺陷检测成像技术。对光伏电池板pn结正向通电时，板材表面会发出近红外光线，使用ccd相机可观测图像。由于破损区域会出现明显暗斑，故可对其使用视觉缺陷检测。在传统工业场景中，光伏电池缺陷检测仍然依靠人工。人工检测的精度很大程度上依赖于工人的经验、疲劳程度与产线速度，受人为因素影响较大。随着ai智能技术的逐渐成熟，基于深度学习算法实现缺陷检测的模式得到广泛应用，令缺陷检测效率与精度得以大幅提升。同时，由于el图像自身缺陷纹理与背景纹理的区分较为复杂，因此基于深度学习的检测方法更可取。

3、基于深度学习的缺陷检测方法尽管拥有诸多优点，但其仍然是数据密集型的检测方法。训练基于深度学习模型的检测方法时要求拥有足量的数据，否则会导致模型出现过拟合、泛化能力低等问题，在数据极端不足时，还会造成模型的不收敛。因此，保证训练数据充足是训练深度学习模型的一大基本要求。

4、在实际工业生产流程中光伏电池缺陷检测图像数据拥有着图片数量不足的问题。受限于生产环境以及工厂缺少数据收集意识，具有实际意义的带缺陷工件无法刻意制造出来，即使在正常生产流程中出现过的缺陷样本也没有有效保存。因此对光伏电池el缺陷数据集进行增广有着十足的必要性。

5、数据集增广的主要方式通常可分为两种：传统增广与基于生成对抗网络的增广方式。传统增广包括平移、翻转、旋转、扭曲等几何变换方式、按颜色通道调整亮度值等信息的色域变换、局部位置擦除与添加噪声。传统增广使用单张或少数几张图片即可产生新样本，在对原始数据集要求低的同时拥有着增广操作便捷易实现的优点，因而常见于缺陷检测领域的预处理环节。然而，传统增广方法中如扭曲擦除等步骤有概率损害原始图像的语义信息，导致深度学习模型在训练中发生混淆，因此在实际应用中需要人工额外验证增广图片的合理性。基于生成对抗网络的增广方式依靠训练深度学习模型，学习数据集的潜在分布，从而以训练数据集的特征分布生成新数据。与传统增广方式使用单张或少数几张图片的方法不同，基于生成对抗网络的增广方式将数据集整体的分布作为先验知识生成新的样本，从而获得差异化更大的增广数据。生成对抗网络分为生成器与判别器网络两部分：在训练中生成器不断优化调整自身权重以拟合真实数据集分布，判别器学习真实图片与生成器生成的虚假图片，并以二分类任务判定输入图片的真伪，网络输出为当前图片真伪的概率值。判别器与生成器双方训练的核心思想源于二人零和博弈，即判别器与生成器的总损失为零，网络一方能力强大必为另一方的损失，因此在训练中两网络将不断提高自己的能力以对抗另一方网络。现有技术仍然存在如下缺陷：

6、光伏电池缺陷检测数据集存在数据量不足的问题，用于训练深度学习模型时，模型检测能力不足。

7、现有传统图像增广方法对深度学习模型训练的帮助有限。

8、现有dcgan网络难以区分背景与光伏电池缺陷纹理，网络倾向于生成仅包含背景的增广图片，对数据集扩充没有帮助。

技术实现思路

1、根据上述提出的技术问题，提供一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法。

2、本发明采用的技术手段如下：

3、一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法，包括：

4、获取原始数据集，对原始数据集中的图片按照种类进行筛选，并按照种类对图片进行边缘检测，获得每一图像对应的二值掩膜；

5、构建改进型dcgan模型结构，将每一种类的掩膜、对应图像输入到改进型dcgan模型结构中训练，保存生成器网络权重；

6、使用生成器网络生成增广图片并标注，获得增广的光伏电池缺陷检测数据集。

7、进一步地，所述获取原始数据集，对原始数据集中的图片按照种类进行筛选，并按照种类对图片进行边缘检测，获得每一图像对应的二值掩膜，包括：

8、读取光伏电池缺陷检测数据集中一张图片与对应的json标注文件，按照标注文件给出的目标坐标位置，截取对应缺陷位置图片。

9、将所述缺陷位置图片进行亮度判断与调整；

10、使用高斯滤波器对经过亮度判断与调整后的图片的像素进行卷积运算，式中σ2为高斯分布标准差，卷积核大小为3×3；

11、计算经过卷积运算后得到的图像中的各点梯度的值与方向；

12、将得到的梯度矩阵进行非极大值抑制，若其中一个像素点为相同梯度方向上的最大值点则保留，反之则将像素值清零；

13、对经过非极大值抑制后得到的图像矩阵进行双阈值过滤；

14、将经过双阈值过滤后得到的图像进行二值化处理，若其中一像素点具有非零的像素值，则将其像素值改为“1”，此后图像中则仅包含像素值“0”与“1”，构成了缺陷图像的掩膜；

15、将得到的缺陷图像的掩膜施加膨胀处理，用于在补足缺陷中间部位掩膜信息的同时，改善边缘检测环节偶发的漏检问题。

16、进一步地，所述将所述缺陷位置图片进行亮度判断与调整，具体包括：

17、将图片颜色空间自rgb模式调整为hsv模式，提取亮度通道计算均值；

18、当图片亮度均值低于120时，对图片进行亮度调整，将图像中像素值缩放至0～255之间；

19、调整后每一像素点取值计算公式如下：

20、

21、其中，x为当前像素值，xmax、xmin为图片中像素点的最大值与最小值，xmax′与xmin′是像素缩放区间的最大、最小值，即255和0。

22、进一步地，所述计算经过卷积运算后得到的图像中的各点梯度的值与方向，具体包括：

23、使用x方向与y方向的sobel算子分别计算出x方向的梯度幅值gx与y方向的梯度幅值gy，计算公式如下：

24、

25、

26、其中，i指代图像形成的矩阵，为卷积操作；

27、计算该像素点的梯度g与梯度方向θ，计算公式如下：

28、

29、进一步地，所述对经过非极大值抑制后得到的图像矩阵进行双阈值过滤，具体包括：

30、设置双阈值区分边缘像素，若其中一点点像素高于上限阈值则记为强边缘；当像素值小于下限阈值则舍弃；当像素值处于下限上限阈值之间，若其与强边缘相接则保留，若不相接则舍弃。

31、进一步地，所述构建改进型dcgan模型结构，具体包括：

32、构建改进生成器网络结构：

33、为了提升生成器网络特征提取能力与训练稳定性，在此网络前三个转置卷积层后都额外增加一层卷积核为3×3、步长为1的卷积用于提取更多特征，每个卷积层的卷积核个数分别与其邻近前一层相同；为维持训练稳定，在网络第三个反卷积层后使用谱归一化层促进模型收敛；

34、构建改进判别器网络结构：

35、为了适配掩膜形状，判别器网络需要具有与输入图片大小一致的特征层；将判别器网络以中间输出头为中点镜像扩展，通过4个反卷积层将特征层还原至128×128大小，具体步骤如下：规定网络输入层大小为128×128，输入层后连续接3个卷积层，下采样特征图至16×16×512，记为m1；为防止网络过拟合与提高稳定性，在m1层后连接谱归一化层与dropout层，输出记为m2；在m2层后接卷积层下采样得到8×8×1024的特征图m3；m3拥有两条输出通道，其一通过全连接层输出1×1大小的值，后接sigmoid函数输出概率值dmid，区间为0～1；另一条通道串行连接3个反卷积层将特征图m3上采样得到64×64×128的特征图m4；与下采样环节相对应，在m4后接谱归一化层与dropout层输出特征图m5；最后，在m5后接反卷积层输出大小为128×128×3的特征图，经过sigmoid函数后作为网络末端输出概率图，记为dout；

36、设计改进后的损失函数：

37、为凸显缺陷部位与背景的差别，使用边缘检测获得图片中缺陷部位像素对应位置；生成对应掩膜后，将判别器输出概率图矩阵各元素按二分类任务处理；设计的损失函数以二值交叉熵损失函数为基底，根据输出层不同位置调整其标签，网络整体损失函数为：

38、

39、式中，s为样本个数，损失分为三部分：判别器真图损失dt、判别器伪图损失df、生成器真图损失gt；

40、判别器真图损失dt计算公式为：

41、

42、其中，λ1、λ2、λ3为权重系数，m与n分别为图像的宽与高，公式中出现的dmid(x)、dout(x)均与判别器网络结构对应，dmid(x)指代网络中部输出概率值，dout(x)指代网络最末端输出概率图；lmask(i,j)代表掩膜损失，具体公式为：ldtout(i,j)代表判别器真图整体像素损失，具体公式为：ldtout(i,j)＝logdout(x)，判别器真图整体像素损失ldtout(i,j)同样使用二值交叉熵损失函数分别对输出概率图dout(x)中每一元素进行计算，标签取“1”；

43、判别器伪图损失df计算公式为：

44、

45、判别器此时输入生成器所生成图片，将dmid(x)、dout(x)中x改写为生成器随机生成图片g(z)；对网络中部概率图dmid(g(z))与末端概率图dout(g(z))的每一元素都使用二值交叉熵损失函数计算其损失，最后取两者均值；判别器此时需将整张图片判定为伪，标签为“0”，因此不需要额外计算掩膜损失；判别器伪图损失df中ldfout(i,j)为判别器伪图整体像素损失：

46、ldfout(i,j)＝log(1-dout(g(z)))

47、生成器真图损失gt的计算公式为：

48、

49、在训练生成器参数时锁定判别器参数使其不更新，此时将生成器输出图片判定为真实图片以训练其产生真实图片的能力，同样对网络中部图dmid(g(z))与末端dout(g(z))的每一元素都使用二值交叉熵损失函数计算其损失，标签为“1”；生成器损失gt中lgtout(i,j)为生成器整体像素损失：

50、lgtout(i,j)＝logdout(g(z))。

51、进一步地，所述将每一种类的掩膜、对应图像输入到改进型dcgan模型结构中训练，保存生成器网络权重，具体包括：

52、设置网络训练配置参数：

53、规定生成器每训练5次后判别器训练1次来限制判别器训练进度；

54、模型在训练时保存每类缺陷100轮以上每一轮次的权重文件，在其中随机挑选多个权重生成图片；

55、在模型训练50轮后向标签添加随机数，使其在之后的训练轮次中，真标签取0.8～1.0的随机值，伪标签取0～0.2的随机值之间波动，而非固定的0或1；

56、训练改进型dcgan模型：

57、步骤1、读取数据集中的图片和对应的掩膜，将二者大小缩放至128×128；

58、步骤2、将缩放后的图片送入判别器网络，网络中部输出、末端输出与其对应的标签进行损失函数计算，更新判别器网络权重参数；

59、步骤3、生成维度为1×100的随机数，输入生成器网络，网络输出128×128×3的特征图；

60、步骤4、将所得的特征图输入判别器网络，得到网络中部输出、末端输出与其对应的标签进行损失函数计算；冻结判别器网络参数，仅更新生成器网络权重参数；

61、步骤5、重复进行五次步骤3和步骤4后，将当前轮次的生成器网络权重文件保存；

62、步骤6、重复进行步骤1至步骤5直至满足规定的训练轮次。

63、进一步地，所述使用生成器网络生成增广图片并标注，获得增广的光伏电池缺陷检测数据集，具体包括：

64、选取目标检测领域评价指标平均精度均值作为缺陷检测数据集增广算法的评价指标，其计算过程如下：

65、计算交并比：计算公式如下：

66、

67、其中，a与b分别代表预测框与真实框；

68、计算精确率(precision)与召回率(recall)：

69、目标检测模型预测出的所有目标中，分为四种情况，分别为：

70、真正例(true positive,tp)：正样本被预测为正样本的个数；

71、假正例(false positive,fp)：负样本被预测为正样本的个数；

72、假反例(false negative,fn)：正样本被预测为负样本的个数；

73、真反例(true negative,tn)：负样本被预测为负样本的个数；

74、精确率p表示模型预测出的所有正样本中，实际真正为正样本所占比例，计算公式如下：

75、

76、召回率r表示模型预测结果为正样本的个数与实际真正为正样本数量的比值，计算公式如下：

77、

78、正负样本通过设定交并比iou阈值来判定，召回率与精确率按照当前阈值可以按照数据集中目标类别绘出相应的p-r曲线，在这种情况下，ap定义为p-r曲线所包围区域：

79、

80、计算平均精度均值(mean average precision,map)，其代表所有目标种类的ap均值，计算公式为：

81、

82、其中，api表示第i个种类的ap值，c为种类总数。

83、较现有技术相比，本发明具有以下优点：

84、1、受限于光伏产业的实际生产环境，产线上的缺陷品自身存在出现样本产生时间随机、缺陷种类随机的特点，给光伏电池缺陷检测数据集的建立造成了困难。本发明对原始dcgan网络的判别器与生成器结构进行加深，特别对判别器网络添加上采样模块以提升其特征提取能力；现有的生成对抗网络基于图片整体特征学习，以生成新的样本。而在缺陷检测领域，多数缺陷纹理仅占整张图片的极小面积，现有的生成对抗网络通常过度关注图片背景纹理，而忽略缺陷纹理。本发明提出了掩膜损失函数与对应的判别器网络结构，引导网络关注缺陷部位的纹理，从而生成更多带有缺陷纹理，对缺陷检测数据集扩充更有帮助的图片；相对于传统数据集增广方式，本发明使用生成对抗网络对光伏电池缺陷检测数据集进行增广，避免了传统增广中，因增广方式搭配问题而造成的缺陷图案被切割、不合理扭曲、颜色变换等问题，从而保证了目标的语义信息的正确性，对检测模型起到正向作用。

85、2、本发明以缺陷检测数据集的扩充为着手点，提升基于深度学习的缺陷检测算法的准确性，是一种离线的图像增广操作。因此，相对于对检测算法的改进，本发明提出的改进型dcgan缺陷检测数据集增广方法仅在检测算法训练时作为预处理手段被使用，不需要在检测算法推理时占用时间，进而为后续检测算法自身的进一步提升给出余量。

86、3、本发明提出的改进型dcgan模型所生成的增广图片能够有效的提升目标检测算法的检测准确率，可应用于光伏电池缺陷检测数据集的增广任务。

87、基于上述理由本发明可在计算机视觉等领域广泛推广。