基于共生关系和小样本学习的电力缺陷识别方法与流程

本发明公开一种基于共生关系和小样本学习的电力缺陷识别方法，属于电力监测的技术领域。

背景技术：

绝缘子在输电线路中起到了支撑和绝缘的作用，其绝缘性能是决定输电线路能否安全输送电能的重要因素。针对绝缘子串间电压分布不均的问题，在绝缘子串上安装均压环是解决这类问题的有效方法。但是由于均压环长期暴露在野外，受强电场、机械应力、恶劣天气等的影响，均压环有时会发生倾斜甚至丢失的问题，进而造成安全隐患。

传统的均压环隐患识别方法主要是通过利用局部的轮廓特征进行识别。但是在复杂的自然环境下，局部轮廓可能会发生遮挡和形变，导致单一的轮廓片段变换过大，不能很好地表示形状的局部信息。

近年来，深度学习在各领域中取得的突破性进展很大程度上依赖于大规模可用的有标签数据，而这些数据通常需要耗费大量的人工成本进行收集与标注。由于均压环的缺失以及倾斜等隐患情况在通常情况下较少发生，因此导致了标签数据过少而无法满足深度学习模型的正常训练。此外，相比于整幅图片来说，均压环一般都非常小，这就造成了隐患识别难度加大、计算资源消耗过多等问题。

除此之外，本领域还公开了相关的专利文献，例如：

中国专利文献cn110610122a一种输电设备可见光成像大数据人工智能检测诊断方法，采用一个5层的深度卷积神经网络，检测输电线路可见光图像中的背景、杆塔、绝缘子区域。构造了包含多类目标的输电线路数据集：背景、杆塔、玻璃绝缘子和复合绝缘子。用cifar-100数据集对网络预训练，然后利用输电线路数据集进行网络调优。检测时，将图像分为图像块，利用神经网络识别每个图像块的类别，将相同类别图像块所在区域合并后即为此类别目标在图像中的区域。经验证，该方法明显优于传统方法，可用于输电线路可见光图像中典型目标检测，检测结果可用于诊断参考或进一步的目标状态分析。该专利文献采用一个5层的深度卷积神经网络，检测输电线路可见光图像中的背景、杆塔、绝缘子区域。构造了包含多类目标的输电线路数据集：背景、杆塔、玻璃绝缘子和复合绝缘子。用cifar-100数据集对网络预训练，然后利用输电线路数据集进行网络调优。检测时，将图像分为图像块，利用神经网络识别每个图像块的类别，将相同类别图像块所在区域合并后即为此类别目标在图像中的区域。经验证，该方法明显优于传统方法，可用于输电线路可见光图像中典型目标检测，检测结果可用于诊断参考或进一步的目标状态分析。

上述专利文献cn110610122a在对数据集处理阶段，根据器具的不同类别将图像人工分为了各个图像块，然后通过一个5层的深度卷积网络对各个图像块进行检测，然后再将图像块所在区域合并，从而得到检测结果，这种方法比较适用于一个图像中要检测多种目标时使用，但是将其应用至本发明所述数据集中的单一目标或两个目标进行检测时，分成图像块的操作会使步骤更费时费力，效果欠佳。另外，该专利文献在5层的深度卷积神经网络的基础上进行识别，只能够识别器具的类别，而不能自动生成检测区域，这一步需要人工分割，因此大大影响了效率。与此相比，本发明采用的是fasterr-cnn神经网络结构，卷积神经网络只是用来提取特征，通过训练rpn来产生候选框，对识别目标的位置进行预测，减少了人工分割区域这一块，大大提高了效率，并且fasterr-cnn也可以保证准确率。

中国专利文献cn109345529a公开一种基于改进型二次目标检测网络线夹、均压环故障识别方法，包括以下步骤：步骤s1：制作线夹或均压环图像数据集，对图像数据样本做分类和清洗，并对样本做标注文件，作为初始化训练数据；步骤s2：针对不同检测数据集生成anchorbox；步骤s3：使用迁移学习将预训练好的模型初始化新的目标检测网络，将数据输入到模型中开始训练，待模型收敛后停止训练；步骤s4：固化模型，将模型中所含的训练变量剔除，保留用于检测的权值；步骤s5：数据经过固化后的模型生成一、二次检测图，针对线夹或均压环采用计算机视觉算法判断是否发生故障。

该专利文献提出的改进型目标检测模型结合了一、二次检测实现了端到端的训练，在特征提取阶段结合了高低特征图作为rpn的输入，对于小物体的表达能力更强。同时结合了maskr-cnn中的roialign消除了区域不匹配的问题，提高了识别小物体目标框的iou。相比之下，本发明并没有采用深度学习的模型直接判断故障部件，而是通过模型检测到线夹或者均压环后进一步结合一、二次图对其进行传统的视觉算法判断是否为故障部件，这样做能大大提高检测的准确性及效率。总结为：该专利文献在目标检测部分没有通过训练深度神经网络来判断器具是否故障，而是通过传统的计算机视觉算法来对故障进行判断，但是使用传统的视觉算法的局限性是在复杂的自然环境下，待检测器具很可能会发生遮挡和形变，此时会导致不能很好地表示形状的局部信息。而本发明通过深度神经网络来对器具是否故障直接进行判断，并结合传统的视觉算法得到的结果，进行综合考虑，既保证了准确性，也减少了在复杂的自然环境下的干扰。

中国专利文献cn109034184a公开了一种基于深度学习的均压环检测识别方法，是基于深度学习的均压环检测识别方法通过深度卷积神经网络进行自我训练和学习，通过图像变换扩充数据集，以及调整cnn模型中的卷积核大小和参考矩阵值等步骤，实现了对背景情况复杂的普通巡检照片进行自动均压环识别和检测，在实际应用中可大幅减少巡检人员成本，提高工作效率，实现对电力系统安全状态的有效评估。该专利文献cn109034184a采用视觉方法对预处理后的数据集进行候选框的生成，视觉方法产生的候选框会受到影响，相比之下，本发明采用rpn网络来产生候选框，并对数据集中的待检测器具利用共生关系一同提取生成新的数据集，以此来解决以上问题。

综上现有技术可知，在本技术领域中依然存在以下技术问题未得到妥善解决或者未被及时发现，从而使得在实际应用场景中针对均压环隐患的检测精度和效率都不能达到较高水准。依然存在的主要技术问题包括：

1、由于电力场景中某些电力元件的故障率并不高，因此，业内存在隐患图像数据匮乏的问题，直接导致了所述训练数据较少，因此，怎样将小样本学习技术与目标检测技术有效结合，还能保证检测精度，就成了本发明着重要解决的问题。例如，电力元件均压环。

2、怎样识别到电力图片中电力元件存在倾斜角的隐患也是亟待解决的技术问题：对于特定元件，其倾斜角度的改变会严重影响电力传输的安全和稳定性，而且由于某些元件本身体积就很小(例如均压环)，其倾斜角度在非常微小时，仅靠轮廓识别难以精确检测，本发明根据实验研究特将神经网络与传统的轮廓识别方法相结合以解决该技术问题。

3、除了上述所提的问题，实际场景中，如想提高对体积占比较小的电力元件的图像的清晰度和识别精度，对电力的硬件设施也是一次考验，为此，本发明创新型的利用电力元件之间的共生关系，先将可以组合共生的电力元件提取出来进行单独检测，之后再将其检测结果与单个元件的单独检测结果进行结合，以提高识别的精度。

技术实现要素：

针对现有技术的不足，本发明公开一种基于共生关系和小样本学习的电力缺陷识别方法。本发明通过以下技术方案可以实现在复杂自然环境下对输电线路中的均压环安全隐患的自动检测识别任务，并具有良好的准确率、稳定性和实时性，可满足输电线路上的实际应用需求。

专业术语解释：

卷积神经网络：一类包含卷积计算神经网络结构，是深度学习技术的代表算法之一。

小样本学习：机器模型在少量样本下进行快速学习的方法。

共享卷积：训练得到的卷积神经网络可以被模型的两个子网络共同使用。

共生关系：两者之间互相依赖且不能分割的关系。

nms：非极大值抑制，对产生的大量候选框进行去重复操作，留下置信度高的候选框。

rpn：(regionproposalnetwork)称为区域生成网络，用于产生检测的候选框，并通过边框回归和nms(极大值抑制)获得检测目标的边框。

发明的具体技术方案如下：

一种基于共生关系和小样本学习的电力缺陷识别方法，其特征在于，该方法包括以下步骤：

s1：将原始数据集的所有图片中的具有共生关系的两个电力元件一同提取出来，组成特写数据集；

s2：对原始数据集进行标注，利用共生关系，将两者一起标注为目标；同时，对特写数据集进行标注，只标注与其它电力元件容易混淆的一个电力元件为目标；

s3：对原始数据集和特写数据集进行数据增强，并对增强后的数据集做预处理：各自分为训练数据集和测试数据集；

s4：将s3步骤处理后的原始数据集进行局部轮廓特征提取，利用传统的检测算法对轮廓特征进行检测，得到检测结果；

s5：将s3步骤处理后的原始训练数据集和特写训练数据集分别输入fasterr-cnn神经网络中，单独进行训练，分别生成共生识别模型和特写识别模型；

s6：将待识别的数据测试集分别输入s5步骤中训练好的两个模型中进行识别，之后结合两个模型的识别结果，再根据s4步骤得到的识别结果，汇总两个部分检测结果并得到最终待缺陷识别电力元件的识别结果。

根据本发明优选的，所述步骤s2的标注方法为：

s21：原始数据集中图片中的第一电力元件和与第一电力元件对应的第二电力元件同时进行标注；

s22：同时，对特写数据集图片中所述第一电力元件对应的第二电力元件进行标注。

根据本发明优选的，所述步骤s2的标注方法还包括添加负样本：

s23：单独标注一部分第一电力元件和与第二电力元件相似的第三电力元件的数据，作为负样本加入两个数据集中。其中，负样本与正样本的比例可以根据对应识别的电力元件进行调整。将本发明应用至电力场景中用于识别绝缘子(第一电力元件)、均压环(第二电力元件)时，所述负样本与正样本的比例约为1：9。

根据本发明优选的，所述步骤s3对第二电力元件数据集的处理过程包括：

s31：数据增强：将特写数据集中的图片分别进行左、右倾斜操作各一遍，加入原始数据集和特写数据集中，进行数据增强，倾斜角度范围在(6°,7°)之间；

s32：数据预处理：对所有图片进行灰度化处理，即将rgb颜色图片转换为gray颜色图片，具体公式为：

gray(i,j)＝0.299*r(i,j)+0.587*g(i,j)+0.114*b(i,j)

其中r、g、b代表相应的红、绿、蓝色彩空间的值。

根据本发明优选的，所述步骤s4原始数据集的局部轮廓特征检测方法为：

s41：使用otsu二值化对原始数据集的图片进行处理；

s42：将处理过的图片分割成重叠的轮廓片段，再利用粒子滤波方法在图片中检测和组合轮廓片段；所述的所谓粒子滤波就是指:通过寻找一组在状态空间中传播的随机样本来近似的表示概率密度函数，用样本均值代替积分运算，进而获得系统状态的最小方差估计的过程，这些样本被形象的称为"粒子"，故而叫粒子滤波；

s43：定义第二电力元件的局部轮廓特征由直线和曲线片段组成2as表示特征，分别从以下两个层次进行描述：

其中，将k条相邻的近似直线边缘线段聚类组合，作为对象的局部轮廓特征，被称为kas，此处所述2as即为用两条相邻的近似直线边缘片段作为局部轮廓特征；

①根据片段的弯曲强度、曲线和直线之间夹角和相对尺度关系，定义2as；在高曲率点将对象模板进行分解，从而获得独立的直线和曲线片段，根据曲线和直线的不同组合构建2as；

②根据两两2as之间位置和角度关系，定义2as的相互关系模型，定义2as；完成2as的建立之后，对目标两两2as之间的相互关系进行描述，即两个2as之间的位置以及夹角角度；

s44：建立对象的整体描述，进而得到传统轮廓特征提取对第二电力元件的检测结果：

首先，使用对象模板的2as语义模型结合2as相似度匹配函数检测出测试图像中所有匹配的2as；

然后，在匹配的2as的基础上使用对象模板的2as相互关系模型检测出满足相互关系的2as，并将满足对象模板的2as相互关系模型的2as两两组合；

最后，根据检测到的两两组合的2as进行重复性聚类并通过2as相互关系进行判决；

s45：将所述检测结果放入softmax分类函数中进行分类预测，得到对第二电力元件检测识别的状态分值。

根据本发明优选的，所述步骤s5的对fasterr-cnn的训练方法包括：

s51：将预处理过的图片输入预训练好的resnet-50神经网络中，通过此卷积神经网络来进行特征信息提取；resnet与其他神经网络的不同之处在于网络中有很多旁路将当前层输入与后面的层直接相连，从而解决了卷积神经网络在训练过程中随着网络深度的增加而导致的原始信息丢失问题，保证了数据的完整性；在resnet-50中采用了bottleneck残差模块，首先通过第一个1x1卷积核来降低通道，使得中间卷积的通道数减少为1/4，再通过3x3卷积核在降通道的特征上进行卷积运算，进一步提取特征，最后通过一个1x1卷积核来升通道，保持了输出通道数与输入通道数相等；

s52：利用提取的特征信息对rpn进行先训练，用于实现rpn网络与fasterr-cnn网络的卷积层共享；优选的，具体的方法是利用随机梯度下降对fastr-cnn网络进行端到端的训练；

s53：rpn产生的候选框存在局部重叠问题，因此需要对所述候选框进行微调与精简，其过程的参考标准为区域候选框和真实框(groundtruth)的重叠度iou，iou具体定义公式为：

iou＝(a∩b)/(a∪b)

其中，a表示区域候选框，b表示真实框；优选的，在训练期间，忽略所有跨边界的锚框；

s54：通过边框回归对rpn产生的候选框进行微调，使其与真实框更为匹配，将修正后的anchors通过softmax分类获得正例和负例样本，将修正后的正例anchors按照softmax分数从大到小排序，取前2000个正例；

s55：设置nms_iou_threshold为0.7，max_proposals为300；利用非极大值抑制nms对提取出的候选框进行精简，之后保留300个概率最大的候选框；

s56：将生成的300个候选框送入fastr-cnn目标检测网络中，利用小样本学习的方法进行训练，然后利用fastr-cnn目标检测网络优化后的卷积层参数(优化后的参数即卷积网络的权重，包括卷积核的大小个数等，通过训练分类检测网络得到的)来重新初始化rpn网络，并不断对该过程进行迭代，得到rpn网络和fastr-cnn网络共用的卷积层，实现共享卷积。

所述本发明优选的，所述步骤s6的具体方法如下：

s61：将步骤s3中预处理过的特写测试数据集放入训练好的第二电力元件特写识别模型中进行检测识别，得到特写识别模型的识别结果，并对结果进行记录，即记录anchor的相对像素位置；

s62：将待识别的原始测试数据集送入步骤s5中训练好的第二电力元件共生识别模型中进行识别，得到检测结果；

s63：将步骤s45中对轮廓特征的第二电力元件状态分值与步骤s62中的第二电力元件共生模型得到的状态分值进行加权结合，按照结合后的分数判断第二电力元件的当前状态；

s64：将记录的相对像素位置以及第二电力元件共生模型的检测结果按照一定权重汇总到原始图上，并进行非极大值抑制(nms)来去掉重复框，得到最终的检测结果。

本发明的有益效果：

本发明借助于深度学习技术来对体积占比较小、识别干扰因素较多的电力元件进行隐患识别，并与传统的局部轮廓特征提取方法相结合来确定待测电力元件的当前状态，有效避免了待测电力元件在复杂的自然环境下倾斜角度过小以及容易受到遮挡干扰等情况。将本发明应用至电力均压环隐患识别时，相较于之前的识别技术在效果上有了显著的提高，对于均压环正常状态的检测准确率能够达到90.5％，对于倾斜状态检测准确率能够达到78.1％，对于脱落状态检测准确率能够达到100％，总的准确率可以达到87.8％(之前方法准确率最高为80.0％)。

本发明利用了小样本学习技术对模型进行训练，并利用两个电力元件的共生关系，将数据集划分为原始数据集与特写数据集。先将两者一同检测，再单独通过检测待测电力元件，最后将两个结果进行结合，大大减少了漏检率和误报率。将本发明所述方法应用至均压环时，将绝缘子和均压环作为共生关系的电力元件，经实际统计，误报率从34.0％降为了9.2％。利用小样本学习和一系列对数据集的预处理进行的数据增强，克服了像均压环一类电力元件数据集较稀少的问题。本发明几乎实现了实时性识别(延迟在4秒左右)，能够有效的对均压环的倾斜甚至丢失进行实时性识别，从而实现了减少输电线路中的安全隐患的目的。

附图说明

图1是本发明缺陷识别方法流程图。

具体实施方式

下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。

实施例1、

一种基于共生关系和小样本学习的电力缺陷识别方法，将其应用在识别电力场景中对均压环的缺陷识别中，将均压环和绝缘子作为两个具有共生关系的电力元件。

上述方法包括以下步骤：

s1：将原始数据集的所有图片中的绝缘子与均压环一同提取出来，组成特写数据集；

s2：对原始数据集进行标注，利用均压环与绝缘子的共生关系，将两者一起标注为目标；同时，对特写数据集进行标注，只标注均压环为目标；

s3：对原始数据集和特写数据集进行数据增强，并对增强后的数据集做预处理：各自分为训练数据集和测试数据集；

s4：将s3步骤处理后的原始数据集进行局部轮廓特征提取，利用传统的检测算法对轮廓特征进行检测，得到检测结果；

s5：将s3步骤处理后的原始训练数据集和特写训练数据集分别输入fasterr-cnn神经网络中，单独进行训练，分别生成均压环共生识别模型和均压环特写识别模型；

s6：将待识别的数据测试集分别输入s5步骤中训练好的两个模型中进行识别，之后结合两个模型的识别结果，再根据s4步骤得到的识别结果，汇总两个部分检测结果并得到最终均压环识别结果。

所述步骤s2的标注方法为：

s21：原始数据集中图片中的绝缘子和与该绝缘子对应的均压环同时进行标注；

s22：同时，对特写数据集图片中所述绝缘子对应的均压环进行标注。

所述步骤s2的标注方法还包括添加负样本：

s23：单独标注一部分绝缘子和屏蔽环(由于屏蔽环与均压环外形类似，因此单独标注其作为负样本)中的屏蔽环的数据，作为负样本加入两个数据集中。其中，负样本与正样本的比例可以根据对应识别的电力元件进行调整。将本发明应用至电力场景中用于识别绝缘子、均压环时，所述负样本与正样本的比例约为1：9。

所述步骤s3对均压环数据集的处理过程包括：

s31：数据增强：将特写数据集中的图片分别进行左、右倾斜操作各一遍，加入原始数据集和特写数据集中，进行数据增强，倾斜角度范围在(6°,7°)之间；

s32：数据预处理：对所有图片进行灰度化处理，即将rgb颜色图片转换为gray颜色图片，具体公式为：

gray(i,j)＝0.299*r(i,j)+0.587*g(i,j)+0.114*b(i,j)

其中r、g、b代表相应的红、绿、蓝色彩空间的值。

所述步骤s4原始数据集的局部轮廓特征检测方法为：

s41：使用otsu二值化对原始数据集的图片进行处理；

s42：将处理过的图片分割成重叠的轮廓片段，再利用粒子滤波方法在图片中检测和组合轮廓片段；所述的所谓粒子滤波就是指:通过寻找一组在状态空间中传播的随机样本来近似的表示概率密度函数，用样本均值代替积分运算，进而获得系统状态的最小方差估计的过程，这些样本被形象的称为"粒子"，故而叫粒子滤波；

s43：定义均压环的局部轮廓特征由直线和曲线片段组成2as表示特征，分别从以下两个层次进行描述：

其中，将k条相邻的近似直线边缘线段聚类组合，作为对象的局部轮廓特征，被称为kas，此处所述2as即为用两条相邻的近似直线边缘片段作为局部轮廓特征；

①根据片段的弯曲强度、曲线和直线之间夹角和相对尺度关系，定义2as；在高曲率点将对象模板进行分解，从而获得独立的直线和曲线片段，根据曲线和直线的不同组合构建2as；

②根据两两2as之间位置和角度关系，定义2as的相互关系模型，定义2as；完成2as的建立之后，对目标两两2as之间的相互关系进行描述，即两个2as之间的位置以及夹角角度；

s44：建立对象的整体描述，进而得到传统轮廓特征提取对均压环的检测结果：

首先，使用对象模板的2as语义模型结合2as相似度匹配函数检测出测试图像中所有匹配的2as；

然后，在匹配的2as的基础上使用对象模板的2as相互关系模型检测出满足相互关系的2as，并将满足对象模板的2as相互关系模型的2as两两组合；

最后，根据检测到的两两组合的2as进行重复性聚类并通过2as相互关系进行判决；

s45：将所述检测结果放入softmax分类函数中进行分类预测，得到对均压环检测识别的状态分值。

所述步骤s5的对fasterr-cnn的训练方法包括：

s51：将预处理过的图片输入预训练好的resnet-50神经网络中，通过此卷积神经网络来进行特征信息提取；resnet与其他神经网络的不同之处在于网络中有很多旁路将当前层输入与后面的层直接相连，从而解决了卷积神经网络在训练过程中随着网络深度的增加而导致的原始信息丢失问题，保证了数据的完整性；在resnet-50中采用了bottleneck残差模块，首先通过第一个1x1卷积核来降低通道，使得中间卷积的通道数减少为1/4，再通过3x3卷积核在降通道的特征上进行卷积运算，进一步提取特征，最后通过一个1x1卷积核来升通道，保持了输出通道数与输入通道数相等；

s52：利用提取的特征信息对rpn进行先训练，用于实现rpn网络与fasterr-cnn网络的卷积层共享；优选的，具体的方法是利用随机梯度下降对fastr-cnn网络进行端到端的训练；

s53：rpn产生的候选框存在局部重叠问题，因此需要对所述候选框进行微调与精简，其过程的参考标准为区域候选框和真实框(groundtruth)的重叠度iou，iou具体定义公式为：

iou＝(a∩b)/(a∪b)

其中，a表示区域候选框，b表示真实框；优选的，在训练期间，忽略所有跨边界的锚框；

s54：通过边框回归对rpn产生的候选框进行微调，使其与真实框更为匹配，将修正后的anchors通过softmax分类获得正例和负例样本，将修正后的正例anchors按照softmax分数从大到小排序，取前2000个正例；

s55：设置nms_iou_threshold为0.7，max_proposals为300；利用非极大值抑制nms对提取出的候选框进行精简，之后保留300个概率最大的候选框；

s56：将生成的300个候选框送入fastr-cnn目标检测网络中，利用小样本学习的方法进行训练，然后利用fastr-cnn目标检测网络优化后的卷积层参数(优化后的参数即卷积网络的权重，包括卷积核的大小个数等，通过训练分类检测网络得到的)来重新初始化rpn网络，并不断对该过程进行迭代，得到rpn网络和fastr-cnn网络共用的卷积层，实现共享卷积。

所述步骤s6的具体方法如下：

s61：将步骤s3中预处理过的特写测试数据集放入训练好的均压环特写识别模型中进行检测识别，得到特写识别模型的识别结果，并对结果进行记录，即记录anchor的相对像素位置；

s62：将待识别的原始测试数据集送入步骤s5中训练好的均压环共生识别模型中进行识别，得到检测结果；

s63：将步骤s45中对轮廓特征的均压环状态分值与步骤s62中的均压环共生模型得到的状态分值进行加权结合，按照结合后的分数判断均压环的当前状态；

s64：将记录的相对像素位置以及均压环共生模型的检测结果按照一定权重汇总到原始图上，并进行非极大值抑制(nms)来去掉重复框，得到最终的检测结果。

将本发明所述缺陷识别方法应用至对均压环的缺陷识别时，经过数据统计，相较于现有的识别技术在效果上有了显著的提高，如表1所示：

表1：

实施例2、

如本发明所述的一种基于共生关系和小样本学习的电力缺陷识别方法，将其对电力场景中销钉缺陷的识别，即用于对销钉的缺失以及闭合检测；同时利用销钉与槽形螺母的共生关系，对数据集进行处理，即，所述第一电力元件对应为槽形螺母，所述第二电力元件对应为销钉，所述第三电力元件为与所述销钉形状近似的其它连接用电力元件，例如：销片可以作为负样本。