一种输电通道挂空悬浮物检测方法与流程

1.本发明涉及挂空悬浮物检测技术领域，具体涉及一种输电通道挂空悬浮物检测方法。


背景技术：

2.输电通道（即输电线路）是国家电网的重要组成部分，由于输电通道的跨度大，通常都会横跨数百公里，非常容易遭受各种自然环境或人为因素的影响从而导致挂空悬浮物的出现（挂空悬浮物是指风筝、塑料袋等常见异物由于人为操作不当或者风的作用悬挂在输电通道或者输电设备上）。挂空悬浮物导致供电故障。因此，需要长期对输电通道的运行状态进行监测，目前一般采用人工巡线方式来达到这一要求，但是输电通道纵横跨度大、分布地形复杂；线路状态参数种类繁多，很多环节不易人工发现，不能及时掌握线路状态。因此需要一种自动的、准确的、实时的监测方式，来实现输电通道状态的全天候在线监测与管理。
3.针对需求选择使用目标检测算法。目标检测任务是找出图像或视频中人们感兴趣的物体，并同时检测出它们的位置和大小。目标检测不同于图像分类任务，目标检测不仅要解决分类问题，还要解决定位问题，是属于multi-task（多任务学习）的问题。经过多年的发展，最优秀的目标检测系统整合了大量技巧，例如多尺度检测，难分样本发掘，基于先验框的回归等等。
4.在现有技术中，公告号为cn109631848b的中国发明专利使用分类网络（svm分类器）来评判是否存在异物；但巡检人员通过异物报错无法快速找到异物的位置，当存在误检时，会增大巡检人员查找异物的时间，造成效率低下；公告号为cn109801265b的中国发明专利中使用faster-rcnn目标检测算法，但faster-rcnn与目前先进的检测算法比在检测精度上有较大差距。
5.为解决上述技术问题，提出一种输电通道挂空悬浮物检测方法。


技术实现要素：

6.本发明所要解决的技术问题在于：如何解决现有技术中存在的问题，提供了一种输电通道挂空悬浮物检测方法，本方法将yolov5目标检测算法用于输电通道挂空悬浮物检测上，提升模型对不同输电通道场景的鲁棒性，解决了数据样本单一，数据量少的问题，改进模型蒸馏时正样本的选取方式，提升小模型的检测准确率。
7.本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：步骤s1：制作目标检测数据集使用标注工具对原始数据图片进行左上角、右下角进行标注，数据归一化处理后生成标签，标签格式为类别加矩形的中心点和宽高；步骤s2：数据增强额外训练一个分割模型，将所有训练图片通过分割模型获取电线所在区域，在分
割出的电线所在区域中选取一个随机中心点将随机的悬浮物贴在此处，对图像粘贴区域进行图像处理，再将贴入的挂空悬浮物坐标输入训练标签中进行训练；对输入图片使用常规数据增强方式进行处理，生成数据增强后的数据集；步骤s3：在训练中加入无目标负样本图片将设定数量的无目标负样本图片加入到步骤s2中的数据集中，形成训练集，利用训练集训练yolov5l目标检测网络，得到挂空悬浮物检测模型；步骤s4：知识蒸馏通过知识蒸馏固定s3中训练得到的yolov5l模型的权重参数，利用该权重参数辅助训练yolov5s目标检测网络，得到知识蒸馏后的yolov5s模型，保存训练完成的yolov5s模型，输入测试集中的缺陷图片，经过非极大值抑制处理后检测出挂空悬浮物的位置。
8.更进一步地，在所述步骤s1中，数据归一化方式采用目标框坐标除以图像宽、高值的方式。
9.更进一步地，在所述步骤s2中，对图像粘贴区域进行处理的方式是先进行腐蚀处理、再进行膨胀处理、最后进行直方图均质化处理。
10.更进一步地，在所述步骤s3中，负样本只产生置信度损失，将损失权重设为原来的0.8，得到：其中，loss1为yolov5网络输出与标签label所计算出的损失，pos_box代表正样本边框回归损失，pos_obj代表正样本置信度损失，pos_cls代表正样本置信度损失，neg_obj代表负样本置信度损失，pos代表正样本，neg代表负样本，box表示边框回归损失，obj表示置信度损失，cls表示分类损失。
11.更进一步地，在所述步骤s4中，得到蒸馏后的yolov5s模型的具体过程为：步骤s41：通过步骤s3中的训练得到yolov5l模型；步骤s42：yolov5l目标检测网络的参数被固定不进行更新；训练时同一批数据增强后的训练数据会分别经过yolov5s与yolov5l目标检测网络，分别得到yolov5s模型与yolov5l模型的3个输出特征层；步骤s43：计算总损失，并利用计算得到的总损失进行知识蒸馏。
12.更进一步地，在所述步骤s43中，总损失的计算公式如下：其中，loss2为蒸馏损失。
13.更进一步地，蒸馏损失计算过程如下：步骤s431：将yolov5l目标检测网络得到3个输出层进行解码，解码后结果代表先验框经过调整后在原图上的预测框，将预测结果与真实标签进行iou阈值判断；步骤s432：若存在同一类的真实框与预测框的iou大于设定阈值，则称为正样本，反之为负样本；步骤s433：通过得到的正样本对应的mask，计算边框回归损失、分类损失、置信度损失三者相加后得到蒸馏损失。
14.更进一步地，在所述步骤s433中，边框回归损失的计算公式如下：
其中，表示yolov5s模型预测框与yolov5l模型预测框的交并比，和分别表示yolov5s模型预测框与yolov5l模型预测框的中心点，表示欧式距离，表示yolov5s模型预测框与yolov5l模型预测框的最小外接矩形的对角线距离，作为权衡参数，是用于衡量长宽比一致性的参数，，为yolov5s模型预测框的宽高，，为yolov5l模型预测框的宽高；最后乘以mask过滤去除负样本再求和得到。
15.更进一步地，在所述步骤s433中，分类损失的计算公式如下：其中，，，是yolov5s模型预测的分类结果，是yolov5l模型预测的分类结果。
16.更进一步地，在所述步骤s433中，置信度损失的计算公式如下：其中，，，是yolov5s模型预测的置信度结果，是yolov5l模型预测的置信度结果。
17.本发明相比现有技术具有以下优点：该输电通道挂空悬浮物检测方法，通过在输电通道的随机位置进行随机地挂空悬浮物贴图，贴图后进行先腐蚀再膨胀、直方图均质化等操作使得贴图更加真实化，丰富训练集数据；增加无目标负样本背景数据，训练时减少负样本损失权重，增加模型对不同场景的鲁棒性；加入了知识蒸馏，根据yolov5l预测结果与label进行比较，构建蒸馏损失正负样本，通过正负样本求出蒸馏损失并加入训练，值得被推广使用。
附图说明
18.图1是本发明实施例中输电通道挂空悬浮物检测方法的流程示意图；图2是本发明实施例中大模型yolov5l正样本预测置信度分布示意图；图3是本发明实施例中大模型yolov5l负样本预测置信度分布示意图。
具体实施方式
19.下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
20.如图1所示，其中，yolov5s与yolov5l目标检测网络为标准的yolov5架构，输出层
1、输出层2和输出层3是yolov5网络的三个标准输出特征层，本实施例提供一种技术方案：一种输电通道挂空悬浮物检测方法，包括以下步骤：步骤1：制作输电通道挂空悬浮物目标检测数据集使用labelme工具对原始数据图片进行左上角、右下角进行标注；归一化后(数据归一化方式采用目标框坐标除以图像宽、高值的方式)生成标签，标签格式为类别+矩形的中心点和宽高（class，centerx，centery，width，height）；步骤1完成后本可以直接输入网络进行训练，但在输电场景中存在数据量较少的问题。在挂空悬浮物的数据中有大部分数据属于无人机在不同角度拍摄的同一悬浮物，亦或是同一摄像头在不同帧拍摄的同一悬浮物，虽然在数据获取阶段进行了抽帧处理，但还是存在相似度较高的训练数据；所以图片在输入网络前进行数据增强是必不可少的一步。
21.步骤2：数据增强步骤2.1：额外训练一个分割模型用于分割电线区域，将所有训练图片通过分割模型获取电线所在区域（每张图片电线对应区域保存在一个文件中）。然后爬取了约500张悬浮物的图片，接着在数据增强过程中在分割出的电线所在区域中选取一个随机中心点将随机的悬浮物贴在此处，接下来对图像粘贴区域进行先腐蚀再膨胀、直方图均质化等操作使得贴图更加真实化；最后将贴入的挂空悬浮物坐标输入训练标签中进行训练；步骤2.2：再采用传统的数据处理方式进行数据增强。对输入图片使用常用的数据增强方式如翻转、色调变化、旋转、mosaic增强(随机使用4张图片，随机缩放，再随机分布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好)、cutmix增强(随机的将样本中的部分区域cut掉，并且填充0像素值，分类的结果不变)等。
22.步骤2完成后，将增强后的数据集传入yolov5l网络进行训练，得到挂空悬浮物检测模型，但是在测试时发现，对训练集外的其他场景中会在背景中出现较多误检，模型鲁棒性较差，针对此问题，考虑到是训练集背景单一所致，于是在训练集中加入无关负样本图片增加模型对其他场景的鲁棒性。
23.步骤3：在训练中加入无目标负样本图片步骤3.1：爬取约3000张不同场景的风景照，加上约4000张voc数据集加入训练集进行训练；负样本只产生置信度损失，将损失权重设为原来的0.8：其中，loss1为yolov5网络输出与标签label所计算出的损失，pos_box代表正样本边框回归损失，pos_obj代表正样本置信度损失，pos_cls代表正样本置信度损失，neg_obj代表负样本置信度损失，pos代表正样本，neg代表负样本，box表示边框回归损失，obj表示置信度损失，cls表示分类损失。
24.通过步骤3对数据集的扩充重新训练挂空悬浮物检测模型，在训练实验中对比发现yolov5s训练出的模型比yolov5l训练出的模型在检测精确度上少了接近5个点，但是在项目部署时由于算力限制无法部署较大模型(例如yolov5l)只能选择部署小模型（例如yolov5s），所以对小模型精度的提升成为下一阶段的任务。
25.步骤4：知识蒸馏，通过“大模型”yolov5l作为指导训练yolov5s；步骤4.1：通过步骤3训练得到大模型yolov5l。
26.步骤4.2：如图1所示，yolov5l目标检测网络的参数会被固定不进行更新。训练时同一批数据增强后的训练数据会分别经过yolov5s与yolov5l目标检测网络，分别得到3个输出层。
27.步骤4.3：计算蒸馏损失步骤4.3.1：计算损失loss1，yolov5s网络的输出结果会与标签label计算得到损失loss1(这部分就是普通yolov5网络的损失)。
28.步骤4.3.2：计算损失loss2，loss2也被称为蒸馏损失，传统的知识蒸馏一般用于分类任务，但是目标检测任务与之不同，所以设计了新的蒸馏损失计算方法整体思路如下：将输出层分别进行解码，根据解码后的结果与label进行iou（交并比）的阈值判断，大于iou阈值的预测框称为正样本，反之称为负样本。正样本产生边框回归损失、置信度损失和分类损失，负样本只产生置信度损失。这样做的目的是因为这里的输出结果是yolov5l的预测结果，预测值的目标是将先验框进行调整得到真实框，对于附近不存在真实框的先验框来说，预测得到的边框回归值与分类值是没有任何学习意义的，所以对于这部分的损失不进行计算。
29.具体操作如下：将yolov5l目标检测网络得到3个输出层进行解码，解码后结果代表先验框经过调整后在原图上的预测框，将预测结果与真实标签label进行iou阈值判断，iou阈值设为0.5，若存在同一类的真实框与预测框的iou》0.5，则称为正样本，反之为负样本。通过iou》0.5得到正样本对应的mask（掩码）。边框回归损失使用ciou_loss，置信度和分类损失均使用交叉熵损失，公式如下：边框回归损失：其中，表示yolov5s模型预测框与yolov5l模型预测框的交并比，和分别表示yolov5s模型预测框与yolov5l模型预测框的中心点，表示欧式距离，表示yolov5s模型预测框与yolov5l模型预测框的最小外接矩形的对角线距离，作为权衡参数，是用于衡量长宽比一致性的参数，，为yolov5s模型预测框的宽高，，为yolov5l模型预测框的宽高；最后乘以mask过滤去除负样本再求和得到；分类损失：其中，，，是yolov5s模型预测的分类结果，是yolov5l模型预测的分类结果。
30.置信度损失：其中，，，是yolov5s模型预测的置信度结果，是yolov5l模型预测的置信度结果。
31.最后得到loss2损失：。
32.步骤4.3.3：计算总损失：。
33.通过蒸馏技术，固定大模型yolov5l的权重参数来训练更新yolov5s模型参数，最终蒸馏后的yolov5s模型对比原始不蒸馏yolov5s模型在测试集上map高出约两个点，成功提升模型检测精确度。最后保存训练好的yolov5s模型，输入测试的缺陷图片，经过nms（非极大值抑制）处理后可检测出挂空悬浮物的位置。
34.综上所述，上述实施例的输电通道挂空悬浮物检测方法，通过在输电通道的随机位置进行随机地挂空悬浮物贴图，贴图后进行先腐蚀再膨胀、直方图均质化等操作使得贴图更加真实化，丰富训练集数据；增加无目标负样本背景数据，训练时减少负样本损失权重，增加模型对不同场景的鲁棒性；加入了知识蒸馏，根据yolov5l预测结果与label进行比较，构建蒸馏损失正负样本，通过正负样本求出蒸馏损失并加入训练，值得被推广使用。
35.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。