一种基于改进DINO的红外光伏板缺陷检测方法

本发明涉及2d模板的缺陷检测领域，更具体的说，涉及一种基于改进dino的红外光伏板缺陷检测方法。

背景技术：

1、太阳能作为清洁能源极大缓解了能源危机和污染问题，光伏板作为获得太阳能的一种有效的工具，目前已大量应用。然而其繁杂的检修任务，不仅耗费大量人力成本而且效率低下。而近几年随着深度学习的发展，各大企业和学者开始使用如cnn、transforme等深度学习算法进行检测任务，极大的节省了劳动力和提高了检测效率。

2、早期基于卷积的目标检测器要么是两阶段模型，要么是单阶段模型，基于手工设计锚点或参考点。其中，两阶段模通常使用区域提议网络(regionproposalnetwork,rpn)提出潜在目标框，然后在第二阶段进行提炼。单阶段模型，如yolov5和yolov6直接输出相对于预定义锚的偏移量。最近，一些基于卷积的模型，如internimage-h和yolov6-l6在coco数据集上取得了最佳性能。然而，基于卷积的模型依赖生成锚点的方式。此外，它们还需要手工设计的组件(如nms)来删除重复框，因此无法执行端到端优化。而carion提出了一种基于transformer的端到端目标检测器detr(detectiontransformer)无需使用手工设计的组件，如锚框的设计和nms，且由于transformer中自注意力机制可以对全局特征信息进行提取弥补了卷积操作的一些局限，目前基于transformer的目标检测器已被大量学者、公司研究和应用。但由于其收敛速度慢的原因，后续学者做了大量改进，出现一些变体，如dab-detr,dn-detr,dino等，尤为dino检测模型基本解决此类模型收敛慢的问题。

3、针对无人机航拍特殊环境，基于dino的目标检测方法面临如下两个难题。第一，无人机高空俯拍目标属于小目标，其在整张图像中占像素比例小，检测难度大；第二，dino模型参数量大、计算复杂度高，导致推理速度慢且难以实现工业部署。因此，在保证原有精度或是略有提高的前提下，亟待一种能够改进dino主干网络架构，轻量化其网络模型，并提高其推理速度，应用到对无人机航拍图像的检测方法。

技术实现思路

1、针对现有技术存在的不足，dino模型对无人机航拍图像进行目标检测中存在的因检测目标聚集为小目标，导致检测难度大，且模型参数量大、计算复杂度高，检测实时性差的问题，本发明的目的在于提供一种基于改进dino的红外光伏板缺陷检测方法，该发明在提高原有dino精度的前提下，压缩dino主干网络架构，实现网络模型轻量化，对无人机航拍图像实现快速、准确的目标检测。

2、为实现上述目的，本发明提供了如下技术方案：

3、一种基于改进dino的红外光伏板缺陷检测方法，在提高dino网络模型的前提下，压缩dino网络模型的主干网络的架构，实现轻量化dino网络模型的目的，对航拍图像实现快速、准确的目标检测，具体包括以下步骤：

4、步骤1.使用红外相机航拍采集光伏电站的光伏板图像，采集的所有图像进行整理分析；随机选取80％图像数据作为训练集，其余20％图像数据作为验证集；

5、步骤2.将步骤1所获取的图像进行预处理后，在dino网络模型的主干网络部分利用知识蒸馏的方法压缩dino网络模型得到改进dino网络模型，将预处理后的图像输入到改进dino网络模型的主干网络获取不同尺度的特征图；

6、步骤3.剔除步骤2中7×7分辨率的特征图，将其他尺度的特征图输入到改进dino网络模型中的特征增强网络和编码层，特征增强网络对不同尺度的光伏板特征图进行通道扩展和特征增强后获得新的不同尺度的二维张量数据，新的二维特征张量数据经过flatten函数展平为一维张量输入改进的编码层，变形注意力机制进行全局特征的提取和增强，同时卷积分支进行具备特征增强后得到融合不同尺度的一维特征张量数据；

7、步骤4.步骤3获取的一维特征张量数据输入到改进的dino网络模型的解码层，在解码层中可变形注意力和自注意力对一维特征张量进行解码融合，融合后输入到预测层部分，最终计算得到光伏板中各种缺陷目标的检测框和缺陷种类的类别；

8、步骤5.步骤4获取的光伏板的检测框，将平均绝对误差l1 loss结合wiou损失函数作为目标回归框损失函数，利用平均精度、参数量、浮点计算数以及推理速度4个参数进行损失函数评价。

9、进一步，步骤1中，将光伏板图像数据集中的碎裂样本全部截取出来，使用mosaic数据增强方法对截取的碎裂样本数据进行增广，并将增广后的碎裂样本随机粘贴到光伏板图像中完成对数据的增广，以解决样本不平衡的问题，使用labelimg工具对图像进行分类和标注，得到带有类别标签的数据集。

10、进一步，步骤2中，利用步骤1得到的数据集训练学生神经网络，获取学生网络的中间网络层的特征知识；在学生神经网络训练的过程中，将数据同样输入到教师神经网络中，获取教师神经网络每个中间网络层输出的特征图，然后利用蒸馏损失函数mseloss进行中间层知识蒸馏；其中教师网络为resnet-101,学生网络为resnet-18.，中间层知识蒸馏的具体步骤为：

11、步骤2.1.利用adaptation模块将学生神经网络和教师网络输出的特征图转换到相同的维度，adaptation模块包括卷积层和参数规范化；

12、步骤2.2.使用mse loss损失函数衡量知识之间的相似性，进行中间层的知识蒸馏，最后计算学生神经网络的整体损失函数，利用反向传播算法优化学生神经网络。

13、进一步，参数规范化如下：

14、参数规范化将规范化应用于线性变换函数的权重w，将权重向量w分解为向量方向和标量g两部分，即：

15、

16、其中v是与w同维度的向量，‖v‖是欧氏范数，是单位向量，决定w的方向；标量g决定w的长度，将权重向量的欧氏范数固定实现正则化。

17、进一步mse loss损失函数依据如下公式计算：

18、

19、其中，为样本i的预测值，yi为样本i的真实值，n为样本总数；

20、所述学生神经网络的整体损失函数依据如下公式计算：

21、l学生神经网络＝l原任务+λl蒸馏  (3)

22、其中，l原任务为学生神经网络基本的损失，l蒸馏为蒸馏过程中的损失，λ为蒸馏系数。

23、进一步，步骤3中，通过特征增强网络的卷积层和通道注意力层进行通道扩展，进一步增强提取模板特征信息的能力，将增强后的特征信息输入到改进后的编码层，编码层包括编码器encoder和增加的一个卷积分支，编码器encoder对特征图的全局信息进行提取，卷积分支对特征图的局部的细粒度特征进行增强，获取更准确的特征表示。

24、进一步，解码层包括可变形注意力、前向网络、对比去噪组块和层归一化layernorm，通过可变形注意力融合来自编码器encoder的特征信息，在前向网络中，对解码器的输入特征进行编号和非线性映射得到更改层次的特征表示；在真实框附近加入噪声，通过对比去噪训练模块进行区分正负样本加速网络训练和收敛速度；在层归一化layernorm中进行归一化，得到解码器输出特征，将最后一个解码器的输出特征输入检测头中进行回归框和类别的预测。

25、进一步，平均绝对误差l1loss计算公式如下：

26、

27、式中，为样本i的预测值，yi为样本i的真实值，n为样本总数。

28、进一步，wiou损失函数计算公式如下：

29、lwiou＝rwiouliou  (5)

30、

31、

32、式中，rwiou表示衡量预测框与真实框之间重叠程度的权重系数，liou表示目标框损失函数，x,y表示预测框中心点的坐标，xgt，ygt为真实框中心点的坐标，wg，hg表示最小包围框的宽和高，iou表示交并比，wi，hi分别表示两个框重叠区域的宽和高，su为最小包围框的面积。

33、综上所述，发明具有以下有益效果：

34、本发明在提高识别准确率和特征提取性能的基础之上，简化了dino网络模型的大小，为转化和移植过程提供了方便，并且进一步提高了dino网络模型的推理速度，降低了dino网络模型的计算复杂度，改进dino主干网络架构，轻量化其网络模型，并提高其推理速度，能够实现对光伏板红外图像目标的快速、准确检测，对于dino模型应用到对无人机航拍图像进行目标检测的领域具有重要意义。