一种基于深度学习的螺栓缺失快速检测方法与流程

本发明属于深度学习中目标检测技术领域，具体是一种基于深度学习的螺栓缺失快速检测方法。

背景技术：

随着电力系统的高速飞跃发展，高电压、大功率的输电线路占比越来越大。作为传输电能的重要载体，在国家电网建设中占有重要的比重，由于长期暴露在室外，受到强风、暴雨等恶劣环境的危害，输电线路容易出现断股、锈蚀以及螺栓缺失等缺陷，存在安全隐患，要对输电线路定期进行检查。

然而，现有的螺栓缺失检测方法是人工巡检，人工巡检存在着工作量大、效率低等问题，随着无人机的发展，无人机巡检系统环境适应性强、准确度高，降低劳动强度，提高了电力维护和检修的速度和效率。如何实现无人机巡检智能化成为现如今电力行业的研究热点。

技术实现要素：

本发明的目的在于克服现有技术的缺陷，提供一种基于深度学习的螺栓缺失快速检测方法。

为实现上述目的，本发明采用了如下技术方案：

一种基于深度学习的螺栓缺失快速检测方法，包括：

s1、数据采集及标注;

s2、yolov4网络训练;

s3、人工辅助检测。

优选的，步骤1）中，所述数据采集及标注包括：

s1-1、制定数据采集规范；

s1-2、基于采集规范进行样本采集；

s1-3、通过labelme软件对样本中的螺栓进行标注。

优选的，步骤1-1）中，所述数据采集规范是对输电塔及其输电线上的螺栓进行航拍，采集若干个个螺栓样本。

优选的，步骤1-2）中，所述样本格式为影像或者视频格式；

步骤1-3）中，所述标注采用拉矩形框的方式。

优选的，步骤2）中，所述yolov4网络训练包括：

s2-1、标注后的样本输入yolov4网络；

s2-2、使用cspdarknet53作为backbone骨干网络对标注后的样本进行特征提取；

s2-3、将spp模块添加到cspdarknet53上，分离出上下文信息；

s2-4、使用panet取代yolov3中的fpn，对不同backbone的参数进行聚合；

s2-5、使用yolov3作为head进行预测，得到训练结果。

优选的，步骤3）中，所述人工辅助检测包括：

s3-1、对训练结果进行测试，得到测试结果评价精度；

s3-2、进行4000次迭代，采用map对测试结果评价精度进行评定；

s3-3、将4个输电塔共20张螺栓影像输入网络检测，得到检测结果；

s3-4、对检测结果进行人工检查，并形成检查报告。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明通过航拍采集若干螺栓样本，通过labelme软件对样本中的螺栓进行标注，然后输入yolov4网络训练，提升了螺栓检测的巡检效率；

本发明通过对训练结果进行测试，然后进行4000次迭代，采用map对测试结果评价精度进行评定，从而提升了螺栓检测的精度。

附图说明

图1是本发明一种基于深度学习的螺栓缺失快速检测方法的流程图;

图2是本发明优选实施例提供的一种yolov4网络训练流程图;

图3是本发明优选实施例提供的一种螺栓数据集示意图;

图4是本发明优选实施例提供的一种螺栓标注示意图;

图5是本发明优选实施例提供的一种螺栓缺失示意图;

图6是本发明优选实施例提供的一种检测结果示意图。

具体实施方式

以下结合附图1-6，进一步说明本发明一种基于深度学习的螺栓缺失快速检测方法的具体实施方式。本发明一种基于深度学习的螺栓缺失快速检测方法不限于以下实施例的描述。

实施例：

本实施例给出一种基于深度学习的螺栓缺失快速检测方法的具体结构，如图1-6所示，包括：

s1、数据采集及标注;

s2、yolov4网络训练;

s3、人工辅助检测。

具体地，步骤1）中，数据采集及标注包括：

s1-1、制定数据采集规范；

s1-2、基于采集规范进行样本采集；

s1-3、通过labelme软件对样本中的螺栓进行标注。

具体地，步骤1-1）中，数据采集规范是对输电塔及其输电线上的螺栓进行航拍，采集若干个螺栓样本。

具体地，步骤1-2）中，样本格式为影像或者视频格式；

步骤1-3）中，标注采用拉矩形框的方式。

进一步的，步骤2）中，yolov4网络训练包括：

s2-1、标注后的样本输入yolov4网络；

s2-2、使用cspdarknet53作为backbone骨干网络对标注后的样本进行特征提取；

s2-3、将spp模块添加到cspdarknet53上，分离出上下文信息；

s2-4、使用panet取代yolov3中的fpn，对不同backbone的参数进行聚合；

s2-5、使用yolov3作为head进行预测，得到训练结果。

进一步的，步骤3）中，人工辅助检测包括：

s3-1、对训练结果进行测试，得到测试结果评价精度；

s3-2、进行4000次迭代，采用map对测试结果评价精度进行评定；

s3-3、将4个输电塔共20张螺栓影像输入yolov4网络检测，得到检测结果；

s3-4、对检测结果进行人工检查，并形成检查报告。

通过采用上述技术方案：

如图3所示，对输电塔及其输电线上螺栓进行航拍，在保证影像中螺栓清晰的情况下，共采集若干个螺栓样本，格式为影像；

再根据图2所示的流程图对样本数据进行处理：

如图4所示，使用labelme软件，采用拉矩形框的方式，标注影像中的螺栓；

如图5所示，将标注后的影像输入yolov4网络，再使用cspdarknet53作为backbone骨干网络进行特征提取，再将spp模块添加到cspdarknet53上，增大感受视野，分离出上下文信息，再使用panet取代yolov3中的fpn，对不同backbone的参数进行聚合，最后使用yolov3作为head进行预测，得到训练结果；

如图6所示，对训练结果进行测试，得到测试结果评价精度，进行4000次迭代，采用map对测试结果评价精度进行评定，将4个输电塔共20张螺栓影像输入网络检测，得到检测结果，对检测结果进行人工检查，并形成检查报告。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

技术特征：

1.一种基于深度学习的螺栓缺失快速检测方法，其特征在于，包括：

s1、数据采集及标注;

s2、yolov4网络训练;

s3、人工辅助检测。

2.如权利要求1所述的一种基于深度学习的螺栓缺失快速检测方法，其特征在于，步骤1）中，所述数据采集及标注包括：

s1-1、制定数据采集规范；

s1-2、基于采集规范进行样本采集；

s1-3、通过labelme软件对样本中的螺栓进行标注。

3.如权利要求2所述的一种基于深度学习的螺栓缺失快速检测方法，其特征在于：步骤1-1）中，所述数据采集规范是对输电塔及其输电线上的螺栓进行航拍，采集若干个螺栓样本。

4.如权利要求3所述的一种基于深度学习的螺栓缺失快速检测方法，其特征在于：步骤1-2）中，所述样本格式为影像或者视频格式；

步骤1-3）中，所述标注采用拉矩形框的方式。

5.如权利要求1所述的一种基于深度学习的螺栓缺失快速检测方法，其特征在于，步骤2）中，所述yolov4网络训练包括：

s2-1、标注后的样本输入yolov4网络；

s2-2、使用cspdarknet53作为backbone骨干网络对标注后的样本进行特征提取；

s2-3、将spp模块添加到cspdarknet53上，分离出上下文信息；

s2-4、使用panet取代yolov3中的fpn，对不同backbone的参数进行聚合；

s2-5、使用yolov3作为head进行预测，得到训练结果。

6.如权利要求1所述的一种基于深度学习的螺栓缺失快速检测方法，其特征在于，步骤3）中，所述人工辅助检测包括：

s3-1、对训练结果进行测试，得到测试结果评价精度；

s3-2、进行4000次迭代，采用map对测试结果评价精度进行评定；

s3-3、将4个输电塔共20张螺栓影像输入网络检测，得到检测结果；

s3-4、对检测结果进行人工检查，并形成检查报告。

技术总结
本发明公开了一种基于深度学习的螺栓缺失快速检测方法，包括：S1、数据采集及标注;S2、YOLOV4网络训练;S3、人工辅助检测，本发明适用于螺栓缺失快速检测过程，通过航拍采集若干螺栓样本，再通过labelme软件对样本中的螺栓进行标注，然后输入YOLOV4网络训练，提升了螺栓检测的巡检效率，还通过对训练结果进行测试，然后进行4000次迭代，采用mAP对测试结果评价精度进行评定，从而提升了螺栓检测的精度。

技术研发人员：刘华;罗劲;曾耀强;吴彦伟;徐敏;邱海江;林坚;高怿;杨文清;冯宇科
受保护的技术使用者：广东电网有限责任公司广州供电局
技术研发日：2020.11.20
技术公布日：2021.07.27