一种检测光伏电池组件缺陷的YOLO-PV模型及其构建方法

本发明涉及一种目标检测模型，具体地说是一种检测光伏电池组件缺陷的yolo-pv模型及其构建方法。

背景技术：

1、近年来，在碳达峰-碳中和的战略背景下，我国的光伏发电(photovoltaic,pv)技术发展迅猛。据统计，我国光伏装机量预计在2030年达到350gw。光伏电池组件是将太阳能转换为电能的核心器件，除了材料自身的缺陷外，在组件的制造、运输以及使用过程中会产生各种缺陷，自动化生产线上对电池片的多次加工也会加大电池片的损坏率，使得组件出现裂纹、断栅、黑芯、粗线、未对准等缺陷问题，这些缺陷会不同程度地降低组件的光电转换效率、使用寿命和可靠性，进而影响到成品质量及生产企业声誉。因此，为了获得最大收益，光伏电池的缺陷检测和维护是至关重要的，通常光伏电池组件的很多缺陷是肉眼无法发现的，需要借助相应的检测技术才能快速准确的检测出来。

2、目标检测(object detection)的任务是找出图像中所有感兴趣的目标物体，确定它们的类别和位置，是计算机视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。缺陷检测是目标检测领域中的一种具体应用，是工业领域的重要问题。早期由王宪保，李洁等人提出基于深度学习的太阳能电池片表面缺陷检测方法，深度学习因对输入样本数据具有强大的特征提取能力而受到广泛关注，通过构建多层神经网络提取图像特征，使用bp算法优化参数，用重构图像与缺陷图像之间的对比关系，实现测试样本的缺陷检测。

3、随着深度学习的发展，最早于由joseph redmon等人提出yolo(you only lookonce)系列，它的主要思想是将目标检测任务看作是一个回归问题，并且可以在一个神经网络中同时预测目标的位置和类别。yolo系列的单阶段检测算法基于区域回归的方式进行特征提取，相比于传统的两阶段检测算法具有较高的检测速度，因此更加适合做实时检测任务。

4、yolov1将检测视为回归问题，仅使用一个神经网络同时预测边界框的位置和类别，因此速度很快。由于不需提取区域提议，而是直接在整幅图像进行检测，因此yolov1可以联系上下文信息和特征，减少将背景检测为物体的错误，yolov1的网络结构(如图1)很简单，借鉴了googlenet设计，共包含24个卷积层，2个全连接层。对于输入的图片，由于网络的最后需要接入两个全连接层，全连接层需要固定尺寸的输入，所以需要将输入固定尺寸。网络结构中主要使用1×1卷积来做降维，然后紧跟3×3卷积，对于卷积层和全连接层，采用leaky relu激活函数，最后一层采用线性激活函数。

5、虽然yolov1的结构简单，基于全图像单次回归，使其比现有的物体检测器快得多，实时性能比较好。然而由于yolov1在网格单元中最多只能检测到两个相同类别的物体，限制了它预测附近物体的能力，在预测训练数据中出现未出现过的长宽比物体时很吃力，由于只包含下采样层的设计，yolov1只能从粗略的物体特征中学习，导致了yolov1的定位误差很大。

6、为此joseph redmon等人提出yolov2网络结构(如图2)，它包括了对原始yolov1的一些改进，使其保持相同的速度检测能力更强大，能够检测9000个类别，具体改进包括：在所有卷积层上添加批量归一化改善了收敛性；采用224×224图像进行分类模型预训练后，再次在分辨率为448×448的图片上对模型进行了10次微调，提高了网络在高分辨率输入下的性能；基于k-means聚类选取更好的先验锚框，这些锚框具有预定义的形状，用于匹配物体的原型形状；采用了直接预测位置的方法，网络为每个检测区域预测了五个边界框，每个边界框有五个值tx、ty、tw、th和to，其中，tx表示检测框中心点相较于图片左边的偏移坐标、ty表示检测框中心点相较于图片上边的偏移坐标、tw表示检测框与图片的宽度的比值、th表示检测框与图片的高度的比值以及to表示置信度；去掉了一个池化层，以捕获更加细粒度的特征。

7、虽然yolov2的检测精度有了提升，但是在后续工业应用中，精度仍然不够，为此joseph redmon等人提出了yolov3(如图3)，yolov3有更大的特征提取器darknet-53，由53个卷积层组成，带有res残余连接，提高网络的深度并且提高网络空间表征能力，与特征金字塔网络类似，yolov3在三个不同尺度上预测三个边界框，从yolov3开始检测器的结构被描述为三个部分：backbone、neck和head。

8、为了研究在yolov3首次提出的分为三个部分的目标检测器中使用其他的结构是否可以使得训练速度更快，准确率更高，alexey bochkovskiy等人提出yolov4，将backbone替换为cspdarknet-53(加入多条残差连接)；将neck替换为panet(先经过两次上采样，然后再经过两次下采样，途中进行特征融合)；采用了mosaic数据增强(将四张图片进行拼接到一张图上作为训练样本)。紧随其后的yolov5虽然没有科学论文但是可以理解为对yolov4网络的代码改进与实现。yolov5是第五代单阶段(one-stage)目标检测算法，按照参数量划分可以分如下5个版本：yolov5n(纳米级)、yolov5s(小型)、yolov5m(中型)、yolov5l(大型)和yolov5x(特大型)。

9、yolov5模型(如图4)主要由骨干网络(backbone)，颈部网络(neck)和头部网络(head)三部分构成，其中骨干网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第二卷积层、第三卷积层、第四卷积层和第五卷积层均包括一个二维卷积模块和一个c3模块，骨干网络用于对输入图像进行特征提取，颈部网络包括升采样模块和降采样模块，升采样模块依次包括卷积模块、第一上采样层、第一拼接层、第一c3模块、卷积模块、第二上采样层、第二拼接层和第二c3模块，降采样模块依次包括卷积模块、第三拼接层、第三c3模块、卷积模块、第四拼接层和第四c3模块，颈部网络用于接收主干网络提取的特征图，对特征图进行多尺度特征融合，并把这些特征传递给头部网络的预测头，预测头用于对不同尺寸大小的目标进行检测并判别检测结果。在模型的训练过程中，通过构建目标函数同时优化分类损失、目标损失和定位损失，最终使得预测框与真实标注框越来越接近。

10、yolov5是第五代单阶段(one-stage)目标检测算法，该算法的模型体积小同时性能优越，在诸多应用场景下实现了检测精度和速度的最佳平衡，现已被用于众多研究领域并且取得了较好的实验结果。

11、目前光伏电池的缺陷检测面临着被检测的数据集中包含的样本同时具有小、中、大三种类型的缺陷、以及现有模型不能完全达到对缺陷检测精度和缺陷检测效率的实际要求的难点。例如光伏电池的缺陷图像数据集中断栅、粗线等小目标占比约为60％，而yolov5的检测头选取的是最后三层的特征，特征图大小分别为80×80像素、40×40像素、20×20像素，使得其很难准确的提取小目标的特征。

12、此外，yolov5模型所采用的mosaic数据增强将四张图片进行拼接到一张图上经过随机缩放和裁剪作为训练样本以此丰富训练集，这将会导致本来较小的目标变得更小，使得模型对于小目标的检测能力变弱；由于普通的卷积神经网络的卷积核是静态的，当训练结束之后所有的卷积核参数也随之固定，对于任意的输入，所有的卷积核都进行同等处理，无法根据输入图像的特点进行自适应特征提取，导致模型的泛化能力受限；随着模型的复杂化，yolov5网络结构中的c3模块，虽然能够很好的帮助模型提取特征，但是也带来较大的参数量，导致检测速度较慢，应用受限，在某些真实的应用场景如移动或者嵌入式设备，如此大而复杂的模型难以被应用。

技术实现思路

1、本发明的目的之一就是提供一种检测光伏电池组件缺陷的yolo-pv模型，以解决模型对小目标的检测能力变弱、无法根据输入图像的特点进行自适应特征提取以及模型因参数量较大而导致检测速度较慢的问题。

2、本发明的目的之二就是提供一种检测光伏电池组件缺陷的yolo-pv模型的构建方法，以建立有效的光伏电池组件缺陷检测模型。

3、本发明的目的之一是这样实现的：

4、一种检测光伏电池组件缺陷的yolo-pv模型，包括：

5、骨干网络，包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第二卷积层至第五卷积层均包括有两个全维动态卷积模块，骨干网络中相邻两个全维动态卷积模块通过残差连接；所述骨干网络用于对输入图片进行特征提取；

6、颈部网络，包括升采样模块和降采样模块；所述升采样模块包括第一c3高斯模块、第二c3高斯模块和第三c3高斯模块，用于将所述骨干网络输出的特征图进行升采样和拼接；所述降采样模块包括第四c3高斯模块、第五c3高斯模块、第六c3高斯模块和第七c3高斯模块，用于将所述升采样模块输出的特征图进行降采样和拼接；以及

7、头部网络，与颈部网络相连，用于检测颈部网络输出的特征图；

8、所述头部网络包括：

9、第一预测头，用于对颈部网络的第四c3高斯模块输出的特征图进行检测；

10、第二预测头，用于对颈部网络的第六c3高斯模块输出的特征图进行检测；以及

11、第三预测头，用于对颈部网络的第七c3高斯模块输出的特征图进行检测。

12、进一步地，所述骨干网络包括五个卷积层，分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，所述第二卷积层、所述第三卷积层、所述第四卷积层和所述第五卷积层均包括两个全维动态卷积模块。

13、本发明通过残差网络和全维动态卷积结合，对卷积核施加注意力权重的方式，显著提升特征提取的效果与准确性。

14、进一步地，所述升采样模块还包括三个convmodule_2、第一上采样层、第二上采样层、第三上采样层、第一拼接层、第二拼接层和第三拼接层；

15、所述第一c3高斯模块用于对骨干网络的第五卷积层输出的特征图进行特征提取，所述第一拼接层用于对第四卷积层输出的特征图以及依次经过第一c3高斯模块、convmodule_2和第一上采样层的特征图进行拼接；

16、所述第二c3高斯模块用于对第一拼接层输出的特征图进行特征提取，所述第二拼接层用于对第三卷积层输出的特征图以及依次经过第二c3高斯模块、convmodule_2和第二上采样层的特征图进行拼接；

17、所述第三c3高斯模块用于对第二拼接层输出的特征图进行特征提取，所述第三拼接层用于对第二卷积层输出的特征图以及依次经过第二c3高斯模块、convmodule_2和第三上采样层的特征图进行拼接。

18、进一步地，所述降采样模块还包括三个convmodule_2、第四拼接层、第五拼接层和第六拼接层；

19、所述第四c3高斯模块用于对第三拼接层输出的特征图进行特征提取，所述第四拼接层用于对第三卷积层输出的特征图、依次经过第三c3高斯模块和convmodule_2的特征图以及依次经过第四c3高斯模块和convmodule_2的特征图进行拼接；

20、所述第五c3高斯模块用于对第四拼接层输出的特征图进行特征提取，所述第五拼接层用于对第四卷积层输出的特征图、依次经过第二c3高斯模块和convmodule_2的特征图以及依次经过第五c3高斯模块和convmodule_2的特征图进行拼接；

21、所述第六c3高斯模块用于对第五拼接层输出的特征图进行特征提取，所述第六拼接层用于对依次经过第一c3高斯模块和convmodule_2的特征图以及依次经过第六c3高斯模块和convmodule_2的特征图进行拼接，所述第七c3高斯模块用于对第六拼接层输出的特征图进行特征提取。

22、本发明从四层特征图中进行多尺度的双向特征融合，从而使得模型加强识别小目标的能力，提升在光伏电池缺陷数据集中的检测效果。

23、进一步地，每个c3高斯模块均包括：两个convmodule_2、第七拼接层和高斯颈部网络；每个c3高斯模块的输入特征图均流向两个分支，其中一个分支经过convmodule_2，另一个分支依次经过convmodule_2和高斯颈部网络，第七拼接层用于将两个分支输出的特征图进行拼接。

24、c3高斯模块在降低参数量的同时保留冗余信息中有用的特征图信息，以实现网络模型的轻量化，平衡速度和精度。

25、进一步地，所述高斯颈部网络包括：深度可分离卷积模块、高斯卷积模块和叠加层，所述高斯颈部网络的输入特征图均流向两个分支，其中一个分支为经过深度可分离卷积模块后再经过高斯卷积模块，另一个分支为经过高斯卷积模块后，再经过深度可分离卷积模块，最后经过高斯卷积模块，叠加层用于将两个分支输出的特征图进行叠加。

26、本发明的目的之二是这样实现的：

27、一种检测光伏电池组件缺陷的yolo-pv模型的构建方法，包括如下步骤：

28、s1.将yolov5模型中第二卷积层、第三卷积层、第四卷积层和第五卷积层的二维卷积模块和c3模块替换为全维动态卷积模块，对相邻两个全维动态卷积模块进行残差连接；

29、在yolov5模型升采样模块中第二c3模块的上方增加依次相连的一个二维卷积模块、第三上采样层以及第五拼接层，在yolov5模型中二维卷积模块和空间金字塔池化模块的连接处增加一个c3高斯模块，对第二卷积层和第五拼接层进行连接，去除第二c3模块和二维卷积模块的连接；

30、在yolov5模型的降采样模块中增加与第五拼接层相连的一个c3高斯模块、与c3高斯模块相连的一个二维卷积模块，与二维卷积模块相连的第六拼接层以及与第六拼接层相连的一个c3高斯模块，对第三卷积层和第六拼接层进行连接，对升采样模块增加的二维卷积模块和第六拼接层进行连接，对第四卷积层和第三拼接层进行连接；

31、将yolov5模型中颈部网络的c3模块替换为c3高斯模块；得到yolo-pv模型；

32、s2.获取有缺陷的光伏电池的图片样本，对有缺陷的光伏电池的图片样本进行预处理；

33、s3.将预处理后的图片样本输入至yolo-pv模型中进行训练，得到训练后的yolo-pv模型；

34、s4.对训练后的yolo-pv模型进行验证与评估。

35、本发明通过结合残差连接和全维动态卷积模块，构建了一个具有自适应提取特征能力的网络结构res-odcnet，以此作为模型的骨干网络，而全维动态卷积对于不同的输入，通过自适应地计算得到各自不同的卷积核参数，根据输入图片自适应提取特征，避免静态卷积核对于任意输入都进行同等处理，以解决模型的泛化能力受限的问题，并结合残差连接将浅层的输出和深层的输出求和作为下一阶段的输入，从而避免梯度消失与梯度爆炸，并将全维动态卷积和残差连接结合，通过对卷积核施加注意力权重的方式，由此提升了特征提取的效果。

36、本发明通过构建一个具有精准小目标检测能力的特征融合架构fb-fpn，并使用这个特征融合架构进行多尺度的双向特征融合，针对在小、中、大三种类型目标通过融合四层特征图的信息分别设计检测头，并在骨干网络和颈部网络对160×160像素的特征图进行特征提取和拼接，并从而在保持中、大目标上检测效果的同时，提升其在小目标上的检测能力，以解决模型对小目标的检测能力变弱的问题。

37、本发明通过高斯卷积模块结合残差连接以及深度可分离卷积模块进行结构设计，并与yolov5模型的c3模块进行融合，形成了一种用于保留冗余信息中的有用信息并且减少计算量的轻量级c3高斯模块，以降低参数量，从而降低参数量的同时保留冗余信息中有用的特征图信息以实现网络模型的轻量化，平衡速度和精度，最终提升其训练过程的鲁棒性及泛化能力。