一种基于改进YOLO模型的销钉状态的识别方法与流程

本发明涉及输电线路缺陷识别，具体而言，涉及一种基于改进yolo模型的销钉状态的识别方法。

背景技术：

1、电力金具是架空输电线路的不可缺少的一部分，承担着地线与杆塔、输电导线与绝缘子、杆塔与绝缘子等电力部件的稳定连接，对电力系统的安全稳定运行起着至关重要的作用。销钉是输电线路中电力金具重要的组成部分，销钉的缺失、松动等不正常状态可能会影响电力系统设备的正常运行，给输电线路带来安全隐患。因此对输电线路上的销钉进行及时检测，及时发现销钉的不正常状态，对于电网巡检，维持电力系统稳定运行有着重要作用意义。

2、近年来，随着智能电网的提出，电力巡检自动化趋势逐渐加大，输电线路巡检也由人工巡检过渡为无人机巡检，在提高的巡检工作效率的同时减少了大量的工作量。新世纪以来，跨学科的知识应用常常能够带来新的飞跃，随着深度学习的飞速发展，计算机智能识别逐渐代替了人工识别。

3、即使目前深度学习算法多样，对于大多数输电线路缺陷具有较好的检测效果，但是由于销钉异常状态识别不同于其他缺陷故障检测，其检测具有以下特点：

4、1、背景大，目标小；

5、2、一张图片可能存在多个具有缺陷需要识别的销钉；

6、3、因为无人机在拍摄过程中每次摄像角度不确定，导致松动的销钉可能与正常情况十分类似，容易出现错标的情形；

7、4.销钉具有多种形状，且被安装在不同的位置；

8、5.销钉缺失的缺陷数据较难收集，造成缺陷数据量较少，可能会影响模型训练结果，导致最终检测识别效果不好

9、这些特点给智能识别带来了一定程度的麻烦，不管是两步法“twostage”的r-cnn系列算法，亦或是一步法“onestage”系列的yolov3，yolov4,yolov3-spp等算法，对小目标的准确识别都有所欠缺，识别效果欠佳，无法高准确率的对输电线路上的销钉缺陷进行检测。

技术实现思路

1、为了解决上述问题，本发明的目的是提供一种改进的yolo模型，利用新的高性能检测器去进行销钉异常状态的目标识别，通过引入了解耦合检测头(decoupledhead)和多种数据增强(dataaug)，建立了一种免锚框的端到端目标检测架构，提升了检测精度的同时也提高了检测速度，使得对于输电线路销钉检测这种小目标识别具有更好的检测效果。

2、为了实现上述技术目的，本申请提供了一种基于改进yolo模型的销钉状态的识别方法，包括以下步骤：

3、基于yolov3-darknet53模型，加入解耦合检测头结构，构建初始改进yolo模型；

4、采集输电线路销钉的可见光通道图片，构建可见光通道图片数据集；

5、基于imagenet数据集对初始改进yolo模型进行预训练后，通过可见光通道图片数据集对预训练后的初始改进yolo模型进行微调训练，构建改进yolo模型；

6、采集待检测线路的输电线路销钉图片，通过随机擦除策略和hide-and-seek策略进行预处理后，传输到改进yolo模型进行识别，获取输电线路销钉的销钉状态。

7、优选地，在构建初始改进yolo模型的过程中，解耦合检测头包含一个1x1的卷积层，卷积层还连接有两个3x3的卷积的并行分支。

8、优选地，在构建初始改进yolo模型的过程中，解耦合检测头还包括cls计算模块、reg计算模块和iou计算模块；

9、并行分支分别与reg计算模块和iou计算模块连接；

10、cls计算模块通过1个3x3的卷积与卷积层连接。

11、优选地，在采集待检测线路的输电线路销钉图片的过程中，通过随机擦除策略对输电线路销钉图片进行第一次数据增强，用于提高模型的泛化能力，其中，随机擦除策略用于表示随机选择图像中的一个矩形区域，并用随机值擦除其像素。

12、优选地，在对输电线路销钉图片进行第一次数据增强的过程中，选择整张图片的平均rgb值对填充区域进行颜色填充。

13、优选地，在对初始改进yolo模型进行训练的过程中，通过hide-and-seek策略对增强后的输电线路销钉图片进行第二次数据增强，用于提高模型的识别效率。

14、优选地，在构建可见光通道图片数据集的过程中，通过对红外图像和可见光图像进行空间域上的配准和特征级融合，对红外图像和可见光图像进行关键点匹配，以最小化位置误差为目标，对二者的变换矩阵进行优化，实现二者间的图像配准，将融合后的图像输入到初始改进yolo模型中进行缺陷检测，用于对输电线路红外—可见光航拍视频流的诊断。

15、优选地，在构建可见光通道图片数据集的过程中，对紫外图像和可见光图像进行空间域上的去噪、配准和像素级融合，并输入到初始改进yolo模型中进行缺陷检测，实现了输电线路紫外—可见光航拍视频流的诊断。

16、优选地，用于实现识别方法的识别系统，包括：

17、数据采集模块，用于采集输电线路销钉图片；

18、一次数据处理模块，用于对输电线路销钉图片进行第一次数据增强；

19、二次数据处理模块，用于对增强的输电线路销钉图片进行第二次数据增强；

20、识别模块，用于通过构建改进yolo模型，对待检测线路的输电线路销钉图片进行识别，生成销钉状态。

21、优选地，识别系统还包括分别设置在云端的第一系统、雾端的第二系统和边缘端的第三系统，其中，

22、第一系统用于通过dj-m100和dj-m300两种固定四旋翼无人机完成固定航迹的航拍任务，通过2.4g频段图像传输协议将实时航拍图像传输至便携诊断装置，在便携诊断装置内，部署有yolov4-tiny缺陷快速识别算法，可以对航拍视频流进行常见的12种缺陷的快速诊断，并针对潜在的缺陷存在位置生成缺陷诊断报告；

23、第二系统用于通过识别方法针对实时航拍图像进行深度诊断，获取销钉状态，并生成附加诊断报告；

24、第三系统用于基于缺陷诊断报告和附加诊断报告，通过深层神经网络yolov5l深层神经网络yolov5l与高算力服务器，对实时航拍图像或航拍视频流，进行深度诊断，并将诊断结果转存至数据中心进行结构化存储生成诊断日志，其中，数据中心根据诊断日志，进行巡检任务创建、路线管理、统计分析与数据管理流程设置。

25、本发明公开了以下技术效果：

26、本发明所采用的改进yolo模型是基于yolo系列的基础上进行改进的新型算法，其主要创新点在于：在yolov3的基础上，引入了解耦合头部数据增强的方法，建立了一种免锚框的端到端目标检测架构，提升了检测精度的同时也提高了检测速度，使得对于输电线路销钉检测这种小目标识别具有更好的检测效果。同时，针对此算法，本发明提出了完整的云雾边部署方案与数据传输方案，并提出了边缘节点工作站最优化配置参数。

技术特征：

1.一种基于改进yolo模型的销钉状态的识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述一种基于改进yolo模型的销钉状态的识别方法，其特征在于：

3.根据权利要求2所述一种基于改进yolo模型的销钉状态的识别方法，其特征在于：

4.根据权利要求3所述一种基于改进yolo模型的销钉状态的识别方法，其特征在于：

5.根据权利要求4所述一种基于改进yolo模型的销钉状态的识别方法，其特征在于：

6.根据权利要求5所述一种基于改进yolo模型的销钉状态的识别方法，其特征在于：

7.根据权利要求6所述一种基于改进yolo模型的销钉状态的识别方法，其特征在于，

8.根据权利要求7所述一种基于改进yolo模型的销钉状态的识别方法，其特征在于，

9.根据权利要求8所述一种基于改进yolo模型的销钉状态的识别方法，其特征在于：

10.根据权利要求9所述一种基于改进yolo模型的销钉状态的识别方法，其特征在于：

技术总结
本发明公开了一种基于改进YOLO模型的销钉状态的识别方法，包括以下步骤：基于YOLOv3‑Darknet53模型，加入解耦合检测头结构，构建初始改进YOLO模型；基于ImageNet数据集对初始改进YOLO模型进行预训练后，通过采集输电线路销钉的可见光通道图片对预训练后的初始改进YOLO模型进行微调训练，构建改进YOLO模型；采集待检测线路的输电线路销钉图片，通过随机擦除策略和Hide‑and‑seek策略进行预处理后，通过改进YOLO模型获取输电线路销钉的销钉状态；本发明提升了检测精度的同时也提高了检测速度，使得对于输电线路销钉检测这种小目标识别具有更好的检测效果。

技术研发人员：沈学良,贾志辉,孙文凯,葛召,陈洪亮,魏子仁,李珅,曹轩,池威威,李树荣,邢志坤
受保护的技术使用者：国网河北省电力有限公司雄安新区供电公司
技术研发日：
技术公布日：2024/1/12