一种基于深度学习的绝缘子缺陷检测方法及其系统

本申请涉及计算机领域，尤其涉及一种基于深度学习的绝缘子缺陷检测方法及其系统。

背景技术：

输电线路所处地势地貌复杂，环境恶劣，设备长期暴露于野外，受到外力和人为因素的影响极易产生绝缘子老化、腐蚀、损坏等缺陷。绝缘子是电力系统输电线路的重要设备之一，起着固定载流导体、防止电流回地的作用。据统计，绝缘子缺陷引发的事故超过电网故障的一半，严重威胁着电网的安全稳定。因此，绝缘子缺陷的识别检测尤为重要。传统的绝缘子缺陷检测算法注重工艺特征和物理特征的提取，如纹理、颜色、形状等。现有技术中，将基于支持向量机的分类模型集成到多尺度滑动窗口框架中，用于红外图像绝缘子的定位。现有技术的相关算法取得了一定的成果，但此类算法只能检测单一背景、单一类型的绝缘子及其缺陷，且检测精度低。针对上述问题，很多学者将深度学习引入绝缘子及其缺陷检测中。近几年，随着深度学习的快速发展，许多基于深度学习的目标检测网络被提出，且可以达到很好的检测性能。使用快速区域卷积神经网络(fasterregionswithconvolutionalneuralnetwork，fasterr-cnn)定位绝缘子，然后提出由深度材料分类器(deepmaterialclassifier，dmc)和深度去噪自编码器(deepdenoisingautoencoder，ddae)组成的深度多任务神经网络(deepmultitaskneuralnetwork，dmnn)进行绝缘子缺陷检测。然而，由于fasterr-cnn模型的复杂度较高，导致检测速度过慢。针对这一问题，现有技术中再次提出数据增强技术和改进版的基于回归的目标检测模型(youonlylookonce，yolo)相结合的算法用于不同目标分辨率和不同光照条件下的绝缘子检测。其中对yolo算法进行了改进，算法可以达到绝缘子及其缺陷的实时监测。随后，一种基于单阶段多盒检测器(singleshotmultiboxdetector，ssd)算法被提出用于绝缘子及其缺陷的检测。研究者对ssd算法进行改进，用于绝缘子的红外图像检测。现有技术还提出了一种级联的基于ssd模型和yolo模型的深度卷积神经网络用于支撑装置紧固件及其缺陷检测。虽然以上两类单阶段目标检测算法取得了比双阶段的fasterr-cnn模型更快的速度，但都是以牺牲检测精度为代价。研究者在提升绝缘子缺陷检测精度方面做了一系列的研究，提出了一种新的级联卷积神经网络系统模型。先用视觉几何群网络(visualgeometrygroupnetwork，vgg)和区域生成网络(regionproposalnetwork，rpn)搭建模型进行绝缘子定位，再用残差网络(residualnetwork，resnet)和rpn网络搭建的组合网络进行绝缘子缺陷检测。然而，该算法只能检测陶瓷材质的绝缘子，对其他类型绝缘子检测有限制性。针对这一问题，现有技术再次提出了一种利用实例分割和红外绝缘子图像温度分析的自动诊断算法。该算法可借助掩膜区域卷积神经网络(maskregionswithconvolutionalneuralnetwork，maskr-cnn)从红外图像中提取多个绝缘子。先使用一个级联的深度分割网络(cascadeddeepsegmentationnetworks，cdsnets)提取绝缘子特征，然后提出缺陷检测对抗式生成网络(defectdetectiongenerativeadversarialnetworks，defgans)来检测缺陷。但是此类算法对有效信息在图像中的占比要求严格，对于远视角的绝缘子及其缺陷的检测具有局限性。

综上，如何进行绝缘子的缺陷检测是本领域人员急需要解决的技术问题。

技术实现要素：

基于此，本申请提供一种基于深度学习的绝缘子缺陷检测系统，进行绝缘子缺陷更精准的检测。

为了达到上述目的，本申请提出一种基于深度学习的绝缘子缺陷检测方法，包括如下步骤：在输入图片中进行绝缘子的定位识别；对定位识别后的绝缘子进行输入图片的绝缘子缺陷检测处理；对缺陷检测处理后的输入图片进行处理，得到完整的缺陷检测结果。

如上的，其中，在输入图片中进行绝缘子的定位识别具体包括以下子步骤：进行基础特征提取；对提取的基础特征进行初步融合，输出基础特征层；根据输出的基础特征层生成多尺度特征金字塔；根据多尺度特征金字塔，进行特征加强融合；进行多尺度特征聚合。

如上的，其中，在提取基础特征之前，还包括，将输入的图片调整为统一大小，经过多次卷积和最大池化一次生成不同尺度的特征层。

如上的，其中，将m2det模型中的主干网络vgg中的全连接层去掉，保留卷积层和最大池化层作为基础网络，利用基础网络提取多个不同尺度的浅层特征层和深层特征层。

如上的，其中，多个细化u型模块的各个层级的输出形成多层级的多尺度特征金字塔，每一个层级的输出具体表示为：

其中，xbase表示基础特征，xi^l表示第l个层级中第i个尺度的特征，l表示细化u型模块的总层级数，tl表示第l个层级的处理过程，f表示加强特征融合模块的处理过程。

如上的，其中，对定位识别后的绝缘子进行缺陷检测具体包括以下子步骤：对输入图像中的绝缘子所在部分进行裁剪，形成绝缘子图像；对裁剪后的绝缘子图像进行处理，获取多个绝缘子子图像；在多个绝缘子子图像中分别进行绝缘子的缺陷检测。

如上的，其中，在裁剪过程中，裁剪窗口为矩形，由上、下、左、右四条边界围成，将绝缘子框的顶点坐标定义裁剪窗口；边界四个点的坐标分别是xt、xb、xl和xr；对于输入图像中的空间任意一点(x,y)进行坐标判断，其中判断规则具体为：如果上述不等式全部成立，则说明点(x,y)落在裁剪窗口内；否则点(x,y)落在裁剪窗口外，根据上述规则裁剪出绝缘子图像。

如上的，其中，将裁剪后的，输入图片中除绝缘子图像的其他部分加灰度条进行填充，填充后输入图片长和宽的定义公式如下：

lnew＝padding(lold+(wold-lold)/2)²if(lold≤wold)

wnew＝padding(wold+(lold-wold)/2)²if(lold＞wold)

其中，padding表示填充，lold和wold表示裁剪后绝缘子图像的长和宽；lnew和wnew表示填充灰条后图像的长和宽。

如上的，其中，对绝缘子图像进行处理包括，对绝缘子图像进行分块处理，其中对填充灰条后的绝缘子图像进行m行n列的均匀分块，公式表示如下：其中，lnew和wnew表示填充灰度条之后输入图片的长度和宽度，m和n表示行数和列数。

一种基于深度学习的绝缘子缺陷检测系统，具体包括，定位识别单元、缺陷检测单元以及拼接单元；定位识别单元，用于在输入图片中进行绝缘子的定位识别；缺陷检测单元，用于对定位识别后的绝缘子进行输入图片的绝缘子缺陷检测处理；拼接单元，用于对缺陷检测处理后的输入图片进行处理，得到完整的缺陷检测结果。

本申请具体以下有益效果：

本申请提出将数据增强技术与m2det模型相结合的绝缘子定位识别方法，提出图像分块方法与m2det模型相结合的绝缘子缺陷检测算法，提高了检测算法的精度和鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请提出的一种基于深度学习的绝缘子缺陷检测系统结构示意图；

图2是本申请提出的一种基于深度学习的绝缘子缺陷检测方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本申请提供的一种基于深度学习的绝缘子缺陷检测系统，其中具体包括：定位识别单元110、缺陷检测单元120、拼接处理单元130。

其中定位识别单元110，用于在输入图片中进行绝缘子的定位识别。

其中定位识别单元具体为m2det模型，m2det模型是基于多级特征金字塔网络的单阶段目标检测器，多级特征金字塔网络由三个模块组成，分别为特征融合模块(featurefusionmodule，ffm)、细化u型模块(thinnedu-shapemodule，tum)和多尺度特征聚合模块(scale-wisefeatureaggregationmodule，sfam)。

特征融合模块第一阶段表示为ffmv1，第一阶段ffmv1通过融合主干网络的浅层特征和深层特征，将语义信息添加到基础特征。每个tum生成一组不同尺度的特征映射。特征融合模块第二阶段表示为ffmv2，第二阶段ffmv2主要负责将基础特征和前一个tum输出的最大特征映射进行融合，将融合后的特征映射输入到下一个tum(第一个tum输入只有基础特征)。通过sfam将交替堆叠tum和ffmv2生成的多级别、多尺度特征层进行聚合，生成多级特征金字塔。

缺陷检测单元120与定位识别单元110连接，用于对定位识别后的绝缘子进行输入图片的绝缘子缺陷检测处理。

具体地，对定位识别绝缘子后的输入图片进行分块处理，并对分块后的绝缘子子图像中的绝缘子进行缺陷检测，得到每个绝缘子子图像中绝缘子的检测结果。

拼接处理单元130与缺陷检测单元120连接，用于对缺陷检测处理后的输入图片进行处理，得到完整的缺陷检测结果。

具体地，拼接处理单元130进行绝缘子子图像的拼接，输出完整的缺陷检测结果。

如图2所示，本申请提供的出一种基于深度学习的绝缘子缺陷检测方法具体包括以下步骤：

步骤s210：在输入图片中进行绝缘子的定位识别。

其中，采用m2det模型进行绝缘子定位。m2det模型利用主干网络vgg和多级特征金字塔网络对输入图片进行特征提取、特征融合和多尺度特征聚合的操作。根据所学习到的特征生成密集的检测框、类别标签和相应的类别置信度，再通过非极大值抑制(non-maximumsuppression，nms)选择类别置信度最大的检测框并将其输出。

其中检测框是指，定位到绝缘子的一个或多个矩形框。类别标签是指，检测框内的物体属于绝缘子的一类或不属于绝缘子的一类，例如在检测框的上方可标注“insulator”，意思就是指检测框内的物体属于绝缘子的一类。类别置信度是指，检测框上方标注的数字，意思是框内物体属于绝缘子这一类的概率，例如标注0.89代表89％的可能性属于绝缘子。也就是说，根据类别置信度可以得到类别标签。例如，属于绝缘子这一类的概率较高，为0.89，类别置信度就是0.89，类别标签就是绝缘子。

其中m2det模型执行以下子步骤：

步骤s2101：进行基础特征提取。

其中在提取基础特征之前，还包括，将输入的图片调整为统一大小，经过多次卷积和最大池化一次生成不同尺度的特征层。

具体地，将m2det模型中的主干网络vgg中的全连接层去掉，保留卷积层和最大池化层作为基础网络。利用基础网络进行基础特征的提取，具体提取多个不同尺度的浅层特征层和深层特征层。

其中深层特征层中包含语义信息，浅层特征包含形状等物理特征。

步骤s2102：对提取的基础特征进行初步融合，输出基础特征层。

具体地，在多个不同尺度的特征层中任意选取两个不同尺度特征层，即不同尺度的一个深层特征层和一个浅层特征层。使用特征初步融合模块的第一个阶段ffmv1对选取的两个不同尺度的特征层进行特征初步融合。首先，对深层特征层进行卷积操作，再对其进行上采样，使其与浅层特征层大小相同。然后，对浅层特征层同样进行卷积操作，再将两个卷积后的结果进行堆叠。最后，输出融合语义信息的一个基础特征层。

步骤s2103：根据输出的基础特征层生成多尺度特征金字塔。

其中使用细化u型模块(thinnedu-shapemodule，tum)生成多尺度特征金字塔。

具体地，将特征初步融合模块的第一个阶段ffmv1输出的基础特征层作为首个tum的输入，对基础特征层进行u型特征提取，即先对基础特征层进行特征压缩。

然后，通过上采样进行特征融合，从一个基础特征层中获得不同尺度的有效特征层。优选地，能够获得6个不同尺度的有效特征层。

其中一个tum代表一个层级，第一层级的tum到最后一层级的tum依次提取由浅层到深层的特征，每个tum的所有输出形成当前层级的多尺度特征金字塔。具体地，一个tum生成一个多尺度特征金字塔，从第一个tum到最后一个tum生成由浅层级到深层级的多尺度特征金字塔，从而生成多级别、多尺度特征金字塔。其中每个层级tum的输出具体表示为：

其中，xbase表示基础特征，xi^l表示第l个tum中第i个尺度的特征。tum的总数表示为l，tl表示第l个tum的处理过程，f表示ffmv2的处理过程，ffmv2具体用来融合基础特征层和tum输出的最大特征层。

步骤s2104：根据多尺度特征金字塔，进行特征加强融合。

具体地，将基础特征层和多尺度特征金字塔中最大尺度的特征层进行特征加强融合。

其中，为了进一步加强网络的特征提取能力，使用加强特征融合模块的第二阶段ffmv2将tum输出的多尺度特征金字塔中的最大尺度有效特征层，和ffmv1输出的基础特征层进行加强融合。首先，将第一阶段ffmv1输出的初步融合的基础特征层作为输入先进行卷积操作，使基础特征层的特征通道数与tum输出的有效特征层通道数相同。

进一步地，将卷积后的基础特征层与上一个tum输出的尺度最大的有效特征层进行融合，生成通道数叠加、尺度大小不变的加强融合特征层。最后，使其输出到当前层级的tum。多个ffmv2和tum交替连接提取多级别、多尺度的特征。

步骤s2105：响应于完成特征加强融合，进行多尺度特征聚合。

具体地，使用sfam将多个层级tum生成的多级别、多尺度特征层聚合成多级特征金字塔，首先，sfam将所有tum生成的相同尺度的特征层堆叠在一起，聚合特征金字塔具体表示为：

x＝[x1，x2，...，xi]

其中，表示各层级中第i个尺度堆叠后的特征层，concat表示堆叠过程，表示第i个尺度第l个层级深度的特征层。即在聚合金字塔中每个尺度的特征层都包含多个层级深度的特征。

进一步地，引入压缩激发(squeeze-and-excitation，se)注意力机制模块。se模块对多个尺度的有效特征层进行各个通道的注意力机制调整，从而确定各个通道最佳权重。se模块分为压缩和激发两部分。压缩是使用全局平均池化生成特征映射的全局压缩特征量z∈r^c，激发是通过两次全连接操作为每个通道添加注意力机制。激发过程的定义公式如下：

s＝fex(z，w)＝σ(w2δ(w1z))

其中，σ表示矫正线性单元(rectifiedlinearunits，relu)激活函数，δ表示sigmoid激活函数，w∈r^c×c，c表示通道数，r表示还原率，fex表示激发过程。最后，用激活函数s为输入x进行加权，从而获得输出，输出表示为：

其中，表示第i个尺度中第c个通道加权后的特征，表示第i个尺度特征中所有通道加权后的特征层，每个特征通过缩放操作都会被增强或者削弱。

进一步地，其中，对步骤s2105获取到的每一个融合注意力机制的有效特征层，进行一次先验框数量*4，以及先验框数量*总类别数的卷积操作。其中，先验框是指每张图片分成n*n个网格，每个网格中心对应6个先验框；先验框数量为该特征层拥有的先验框数量，本实施例中设置为6。

定位结果是指，该有效特征层每一个网格点上每一个先验框相对于真实框的变化情况(指中心点偏移及其宽高的偏移情况)，其中真实框是指，工作人员先用labelmg软件预先生成的矩形框。

其中，真实框和先验框的重合程度计算得到类别置信度。根据类别置信度得到类别标签。例如，属于绝缘子这一类的概率较高，为0.89，类别置信度就是0.89，类别标签就是绝缘子。

进一步地，对每个绝缘子的定位识别结果进行解码生成一系列的检测框，其中解码过程为将每个网格的中心点加上真实框距离先验框中心的偏离情况，加完后的结果就是检测框的中心，然后再将先验框和真实框长和宽相对于先验框的变化情况结合，计算出检测框的长和宽。这样就能得到整个检测框的位置。

再进一步地，从中取出类别置信度大于指定阈值的类别置信度和对应的检测框，利用检测框和类别置信度进行非极大值抑制，从而去除同一目标重复的检测框，从而输出得分最高的检测框和相应的类别置信度。

最后，将类别标签、类别置信度和检测框的位置进行堆叠添加到结果当中，最终输出显示到输入图片中。

其中检测框包括正标签框和负标签框，正标签框指框内物体属于绝缘子一类的检测框，负标签框指框内物体不属于绝缘子一类的检测框。

其中，通过上述步骤，能够将输入图片输入到m2det模型中，m2det模型输出定位识别后的绝缘子以及绝缘子的位置，通过m2det模型定位绝缘子，其定位的输出包括类别标签、类别置信度和包含绝缘子框的左上角和右下角的顶点坐标。

其中，在定位绝缘子后，还包括，验证定位识别方法是否具有良好的鲁棒性。其中通过损失函数来验证鲁棒性，其中损失函数值越低，则鲁棒性越好。

具体地，本申请中损失的计算主要有三个部分，分别为获取所有正标签框定位结果的回归损失，获取所有正标签的种类定位结果的交叉熵损失和获取一定负标签的种类定位结果的交叉熵损失。

本申请采用smoothl1回归损失函数，定义如下：

其中，x表示m2det模型绝缘子定位结果和绝缘子对应的真实框信息的差距。

采用的交叉熵分类损失函数l(y,z)，定义如下：

其中，zk为输入图片中绝缘子定位结果，yk为输入图片中的绝缘子对应的真实框信息结果，c为输入图片的数量。其中真实框是指工作人员先用labelmg软件预先生成的矩形框。

步骤s220：对定位识别后的绝缘子进行输入图片的绝缘子缺陷检测处理。

其中，对定位识别后的绝缘子进行缺陷检测具体包括以下子步骤：

步骤s2201：对输入图像中的绝缘子所在部分进行裁剪，形成绝缘子图像。

其中，裁剪是以一定的计算方法从大量的数据集合中选取用户所需信息的过程，从而决定以图元为主的数据集合中哪些点、线段、多边形、曲线及文字落在显示区域之内。本实施例采用基于坐标的矩形裁剪方法，该方法不仅可以保护图像主体区域，而且同时兼顾着背景区域的裁剪效果。

具体地，其中，将绝缘子框的顶点坐标定义裁剪窗口。在裁剪过程中，裁剪窗口为矩形，由上、下、左、右四条边界围成，边界四个点的坐标分别是xt、xb、xl和xr。对于输入图像中的空间任意一点(x,y)进行坐标判断，其中判断规则具体为：

如果上述不等式全部成立，则说明点(x,y)落在裁剪窗口内；否则点(x,y)落在裁剪窗口外。依据此方法在输入图片中裁剪出绝缘子图像。

进一步地，为了避免图像质量损失，将裁剪后的，输入图片中除绝缘子图像的其他部分加灰度条进行填充(padding)，填充后输入图片的新的长lnew和宽wnew具体表示为：

lnew＝padding(lold+(wold-lold)/2)²if(lold≤wold)

wnew＝padding(wold+(lold-wold)/2)²if(lold＞wold)

其中，padding表示填充，lold和wold表示裁剪后绝缘子图像的长和宽；lnew和wnew表示填充灰条后图像的长和宽。

步骤s2202：对裁剪后的绝缘子图像进行处理，获取多个绝缘子子图像。

其中对绝缘子图像进行处理包括，对绝缘子图像进行分块处理，具体地，对填充灰条后的绝缘子图像进行m行n列的均匀分块，公式如下：

其中，lnew和wnew表示填充灰度条之后输入图片的长度和宽度。m和n表示行数和列数。表示向下取整。将绝缘子图像均分成若干个子块，如果分块数足够大，各个子块的表面亮度近似可以看成均匀分布。

其中把p*q维的绝缘子图像矩阵i进行分解，分解为m行n列的绝缘子子图像，矩阵i表示如下：

其中，矩阵图像iij(i＝1,2,...,m；j＝1,2,...,n)是p1*q1矩阵，矩阵图像iij具体表示为：

其中，a表示像素点，p和q表示矩阵维度。

步骤s2203：在多个绝缘子子图像中分别进行绝缘子缺陷检测。

具体地，由于绝缘子子图像中只包含绝缘子，因此不需要再次定位，只需要对绝缘子进行缺陷检测，其中将每个绝缘子子图像输入到m2det模型中，通过执行以下子步骤来进行绝缘子的缺陷检测：

步骤s22031：在每个绝缘子子图像中进行基础特征提取。

其中在提取基础特征之前，还包括，将多个绝缘子子图像调整为统一大小，经过多次卷积和最大池化一次生成不同尺度的特征层。

具体地，依然使用步骤s210中的基础网络，利用基础网络进行基础特征的提取，具体在每个绝缘子图像中提取多个不同尺度的浅层特征层和深层特征层。

其中深层特征层中包含语义信息，浅层特征包含形状等物理特征。

步骤s22032：在每个绝缘子子图像中，对提取的基础特征进行初步融合，输出基础特征层。

具体地，在多个不同尺度的特征层中任意选取两个不同尺度特征层，即不同尺度的一个深层特征层和一个浅层特征层。使用特征初步融合模块的第一个阶段ffmv1对选取的两个不同尺度的特征层进行特征初步融合。首先，对深层特征层进行卷积操作，再对其进行上采样，使其与浅层特征层大小相同。然后，对浅层特征层同样进行卷积操作，再将两个卷积后的结果进行堆叠。最后，输出融合语义信息的一个基础特征层。

步骤s22033：在每个绝缘子子图像中，根据输出的基础特征层生成多尺度特征金字塔。

其中使用细化u型模块tum生成多尺度特征金字塔。

具体地，将特征初步融合模块ffmv1输出的基础特征层作为首个tum的输入，对基础特征层进行u型特征提取，即先对基础特征层进行特征压缩。

然后，通过上采样进行特征融合，从一个基础特征层中获得不同尺度的有效特征层。优选地，能够获得6个不同尺度的有效特征层。

其中一个tum代表一个层级，第一层级的tum到最后一层级的tum依次提取由浅层到深层的特征，每个tum的所有输出形成当前层级的多尺度特征金字塔。其中每个层级tum的输出依然具体表示为：

其中，xbase表示基础特征，表示第l个tum中第i个尺度的特征。tum的总数表示为l，tl表示第l个tum的处理过程，f表示ffmv2的处理过程，ffmv2具体用来融合基础特征层和tum输出的最大特征层。

步骤s22034：根据多尺度特征金字塔，进行特征加强融合。

具体地，将基础特征层和多尺度特征金字塔中最大尺度的特征层进行特征加强融合。

其中，使用特征加强融合模块ffmv2将tum输出的多尺度特征金字塔中的最大尺度有效特征层，和ffmv1输出的基础特征层进行加强融合。首先，将ffmv1输出的初步融合的基础特征层作为输入先进行卷积操作，使基础特征层的特征通道数与tum输出的有效特征层通道数相同。

进一步地，将卷积后的基础特征层与上一个tum输出的尺度最大的有效特征层进行融合，生成通道数叠加、尺度大小不变的加强融合特征层。最后，使其输出到当前层级的tum。多个ffmv2和tum交替连接提取多级别、多尺度的特征。

步骤s22035：进行多尺度特征聚合。

具体地，使用sfam将多个层级tum生成的多级别、多尺度特征层聚合成多级特征金字塔，首先，sfam将所有tum生成的相同尺度的特征层堆叠在一起，聚合特征金字塔具体表示为：

x＝[x1,x2,...,xi]

其中，表示各层级中第i个尺度堆叠后的特征层，concat表示堆叠过程，表示第i个尺度第l个层级深度的特征层。即在聚合金字塔中每个尺度的特征层都包含多个层级深度的特征。

进一步地，引入压缩激发(squeeze-and-excitation，se)注意力机制模块。se模块对多个尺度的有效特征层进行各个通道的注意力机制调整，从而确定各个通道最佳权重。se模块分为压缩和激发两部分。压缩是使用全局平均池化生成特征映射的全局压缩特征量z∈r^c，激发是通过两次全连接操作为每个通道添加注意力机制。激发过程的定义公式如下：

s＝fex(z，w)＝σ(w2δ(w1z))

其中，σ表示矫正线性单元(rectifiedlinearunits，relu)激活函数，δ表示sigmoid激活函数，w∈r^c×c，c表示通道数，r表示还原率，fex表示激发过程。最后，用激活函数s为输入x进行加权，从而获得输出，输出表示为：

其中，表示第i个尺度中第c个通道加权后的特征，表示第i个尺度特征中所有通道加权后的特征层，每个特征通过缩放操作都会被增强或者削弱。

步骤s22036：多尺度特征聚合后对绝缘子进行缺陷检测，得到每个绝缘子子图像的缺陷检测结果。

其中，本申请通过利用分块后绝缘子的子块训练m2det模型，m2det模型根据由上述步骤学习到的特征获取每个绝缘子子图像中的绝缘子的缺陷检测结果。

其中，对步骤s22035获取到的每一个融合注意力机制的有效特征层，进行一次先验框数量*4，以及先验框数量*总类别数的卷积操作。其中，先验框是指每张图片分成n*n个网格，每个网格中心对应6个先验框；先验框数量为该特征层拥有的先验框数量，本实施例中设置为6。

处理后的缺陷检测结果是指，该有效特征层每一个网格点上每一个先验框相对于真实框的变化情况(指中心点偏移及其宽高的偏移情况)，其中真实框是指，工作人员先用labelmg软件预先生成的矩形框。

其中，真实框和先验框的重合程度计算得到类别置信度。根据类别置信度得到类别标签。例如，属于绝缘子这一类的概率较高，为0.89，类别置信度就是0.89，类别标签就是绝缘子。

进一步地，对每个绝缘子的缺陷检测结果进行解码生成一系列的检测框，其中解码过程为将每个网格的中心点加上真实框距离先验框中心的偏离情况，加完后的结果就是检测框的中心，然后再将先验框和真实框长和宽相对于先验框的变化情况结合，计算出检测框的长和宽。这样就能得到整个检测框的位置。

再进一步地，从中取出类别置信度大于指定阈值的类别置信度和对应的检测框，利用检测框框和类别置信度进行非极大值抑制，从而去除同一目标重复的检测框，从而输出得分最高的检测框和相应的类别置信度。

此时的绝缘子缺陷的检测框是指：框住存在缺陷的绝缘子的检测框。绝缘子缺陷的类别标签是指：检测框内的物体是否属于缺陷的一类。绝缘子缺陷的类别置信度是指：框内物体属于缺陷这一类别的概率。

最后，将类别标签、类别置信度和检测框的位置进行堆叠添加到结果当中，最终输出显示到每个绝缘子子图像中。

其中上述步骤，在每个绝缘子子图像中，均能够显示出绝缘子是否存在缺陷。

步骤s230：对缺陷检测处理后的输入图片进行处理，得到完整的缺陷检测结果。

其中处理具体为对绝缘子子图像进行拼接。

具体地，将数张有重叠部分的绝缘子子图像通过特征点检测、匹配和图像变换，拼成无缝的全景图或高分辨率的完整绝缘子图像。在图像拼接过程中，首先，利用尺度不变特征转换(scale-invariantfeaturetransform，sift)提取图像特征和特征匹配。运用sift局部描述算子检测图像中的关键点和特征，sift特征是物体上的一些局部外观的兴趣点而与影像的大小和旋转无关，对于光线、噪声、微视角改变的容忍度高。所以，用来检测拼接图像的特征及关键点很有优势。然后，使用随机抽样一致(randomsampleconsensus,ransac)方法对特征匹配的结果进行优化，最后，利用图像变换结构进行图像映射与融合，恢复绝缘子缺陷检测结果的完整图像。

得到完整图像后，输出图像中的绝缘子中对应的检测框，相应的类别置信度和类别标签。

其中，在得出缺陷检测结果后，进行本申请提出的缺陷检测方法是否具有良好的鲁棒性。其中通过损失函数来验证鲁棒性，其中损失函数值越低，则鲁棒性越好。

具体地，损失的计算主要有三个部分，分别为获取所有正标签框检测结果的回归损失，获取所有正标签的种类检测结果的交叉熵损失和获取一定负标签的种类检测结果的交叉熵损失。

正标签框指框内物体属于绝缘子缺陷一类的检测框，负标签框指框内物体不属于绝缘子缺陷一类的检测框。

本申请依然采用smoothl1回归损失函数，定义如下：

其中，p表示m2det模型缺陷检测结果和缺陷对应的真实框信息的差距。

采用的交叉熵分类损失函数l(a,b)，定义如下：

其中，bd为第d张绝缘子子图像的缺陷检测结果，ad为第d张绝缘子子图像中缺陷对应的真实框信息结果，f为绝缘子子图像的数量。其中真实框是指工作人员先用labelmg软件预先生成的矩形框。

进一步地，将本申请提出的方法与基于fasterr-cnn模型，yolov3模型和ssd模型的绝缘子定位识别进行性能对比，验证本申请提出的适用于多种背景下基于m2det模型的绝缘子定位识别方法的性能。m2det模型的输入为888张带标签的绝缘子图像，大小统一缩放成320×320，其中10％用于测试集，90％用于训练集。在实验测试阶段，本申请进行了不同背景下的绝缘子定位识别，如表1所示。分别测试了在建筑、山脉、草地、湖泊和公路五种背景下的绝缘子定位识别方法，并进行了性能对比。可以看出在建筑和湖泊的背景下绝缘子定位的准确率很高，草地背景下绝缘子定位的召回率最高，从平均精度和f1值的这两种评价指标来看，在公路和草地背景下绝缘子定位识别的性能最好。综合评估绝缘子定位识别性能，可以得出本申请提出的基于m2det模型的绝缘子定位识别方法可以稳定地定位到各种背景下的绝缘子。

表1不同背景下的绝缘子定位性能对比

进一步地，将本申请提出的方法与fasterr-cnn，yolov3和ssd三种不同的绝缘子定位识别方法作对比，如表2所示。可以看出，本申请绝缘子定位识别方法具有最高的检测平均精度98.06％，同时可以达到最高的绝缘子检测准确率，以及准确率和召回率的调和平均数f1值。在四种定位识别方法中，ssd模型绝缘子定位识别的平均精度偏低，识别效果较差，fasterr-cnn模型的定位准确率最低，yolov3模型的各个指标都稍低于m2det模型。这是因为fasterr-cnn模型、ssd模型和yolov3模型特征提取能力相对较差，不能充分学习到绝缘子的复杂特征。

表2各种算法绝缘子检测数据对比

表3是分别采用裁剪方法和图像分块方法前后的参数对比。首先，本申请在原始的m2det模型上加入裁剪方法进行绝缘子缺陷检测，从表中可以看出加入裁剪方法后模型的召回率和f1值大幅度提升，但用于综合评估的平均精度性能没有得到很好的改善。因此，本申请又加入图像分块方法提升性能。可以看出同时加入裁剪方法和图像分块方法的检测算法实现了高精度绝缘子缺陷检测，平均精度为98.86％，且具有很高的准确率、召回率和f1值。与现有的很多绝缘子缺陷检测算法相比，具有很高的检测精度，也特别适合航拍巡检图像绝缘子缺陷检测。

表3绝缘子缺陷检测数据对比

本申请具体以下有益效果：

本申请提出将数据增强技术与m2det模型相结合的绝缘子定位识别方法，提出图像分块方法与m2det模型相结合的绝缘子缺陷检测算法，提高了检测算法的精度和鲁棒性。

以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特殊进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。