一种电力巡检图像杆塔基础故障检测方法与流程

本发明涉及电网运检维护技术以及电力监测技术领域，具体涉及一种电力巡检图像杆塔基础故障检测方法。

背景技术：

随着经济社会的发展，发电量与用电量逐年上升。电网规模不断扩大，输电线路运检维护的工作量也随之增大，电力部门每年都要花费巨大的人力和物力资源进行运检维护工作。近几年随着电力巡检技术的不断发展，除了依靠传统人工巡检外，利用直升机或者无人机对输电线路进行巡检也变得越来越普遍。通过无人机或者直升机航拍得到的影像数据进行分析，来发现巡检中输电线路存在的故障情况。目前对电力巡检图像的处理分析主要还是依靠电力巡检人员后期人工检测，然而大量的巡检图像给后期数据分析处理带来了巨大的挑战，电力巡检人员长时间的判断处理电力巡检图像，极易产生视觉疲劳，从而导致严重的错判或者漏判。其中基础类缺陷故障往往表现为塔基被掩埋、塔基下陷，塔基下陷往往会导致原基础承受的压力增加，原铁塔基础不满足承受力，结果长期的承载力超限基础下陷或者倾斜，如果四个腿平整下陷，原铁塔呼高变化，铁塔受力变化，可能受力不满足，也可能电气不满足，导致对塔身放电。铁塔平整下陷的概率很小，可能是一个脚下陷或者所有脚倾斜下陷，这样将会导致铁塔倾斜或者倒塌。塔基被掩埋则可能导致铁塔钢材被掩埋，进而加剧钢材的腐蚀，最后造成杆塔倒塌事故。因此，及时的发现电力巡检图像中的基础类缺陷故障，进而快速地对基础类缺陷故障进行修复显得十分的重要，其能够避免重大的经济损失，为社会生产生活安全带来可靠的保障。几年来随着人工智能技术的快速发展，基于深度学习的电力巡检图像杆塔基础检测成为了可能。

技术实现要素：

有鉴于此，本发明的目的在于提供一种电力巡检图像杆塔基础故障检测方法，方便电力巡检人员后期的处理，提高电力巡检的效率和智能化水平。

为实现上述目的，本发明采用如下技术方案：

一种电力巡检图像杆塔基础故障检测方法，包括如下步骤：

步骤s1:根据电力巡检影像库接口，从电力巡检影像数据库中获取杆塔基座和塔基基础的电力巡检图像以及对应的xml标签数据；

步骤s2:制作杆塔基座目标检测训练数据；

步骤s3:制作塔基基础故障检测训练数据;

步骤s4:构建杆塔基座目标检测模型；

步骤s5:建立塔基基础故障检测模型；

步骤s6:将杆塔基座目标检测训练数据和塔基基础故障检测训练数据转换成可用于深度学习网络训练的杆塔基座训练数据和塔基基础训练数据；

步骤s7:训练杆塔基座检测模型;

步骤s8:训练塔基基础检测模型;

步骤s9:根据步骤s7训练时各项网络参数变化情况，在达到期望数值时固化杆塔基座检测模型；

步骤10、根据步骤s8训练时各项网络参数变化情况，在达到期望数值时固化塔基基础检测模型；

步骤s11:将待检测的电力巡检图像输入到固化后的杆塔基座目标检测模型中，得到每张电力巡检图像中检测出的杆塔基座子图框信息并生成对应的文本文件；

步骤s12:将步骤s11获取的杆塔基座目标子图分别输入到固化后塔基基础检测模型中，得到塔基基础故障框坐标信息；

步骤s13:对塔基基础故障框坐标信息进行融合处理，最后得到最终塔基基础故障目标框，并存储故障目标框信息。

进一步的，所述步骤s2具体为：

步骤s21:将杆塔基座的电力巡检图像统一等比缩放为图像像素宽度小于1024或者图像像素高度小于900的图像，得到处理后的电力巡检图像；

步骤s22:根据处理后的电力巡检图像，修改杆塔基座的电力巡检图像对应的xml文件，按照原图像缩放比例，修改xml文件中对应的图像宽度与高度信息和杆塔基座目标框大小。

进一步的，所述步骤s3具体为：

步骤s31:将塔基基础的电力巡检图像统一等比缩放为图像像素宽度小于1024或者图像像素高度小于900的图像，得到处理后的电力巡检图像；

步骤s32:根据处理后的电力巡检图像，修改塔基基础的电力巡检图像对应的xml文件，按照原图像缩放比例，修改xml文件中对应的图像宽度与高度信息和塔基基础目标框大小。

进一步的，所述杆塔基座目标检测模型具体为：

步骤s41:采用基础网络为resnet-101的faster-rcnn目标检测网络，构建塔基基础目标检测模型;其中输入包含3个部分：样本图像、标定值、objectproposals;

步骤s42:通过计算每个样本图像的标定框与objectproposals的覆盖率,卷积神经网络通过卷积层和最大池化层获得样本的卷积特征;

步骤s43:roi池化层对每一个感兴趣区域,从卷积特征中提取出对应的一个规格化的特征向量;

步骤s44:所有特征向量将输入全连接层最终将结果共享,产生两个支路,进入两个不同的层中;一个层负责利用softmax回归计算k类目标加一个“背景”类的概率估算值;另一个层负责输出,用来表征每个图像上k类目标的检测框坐标的4个值。

进一步的，所述塔基基础模型具体为：结合基础网络为darknet-53的yolov3深度学习网络、基础网络为nasnet的faster-rcnn深度学习网络、基础网络为resnet-50的fpn-ssd深度学习网络构建塔基基础模型，对塔基基础进行故障检测。

进一步的，所述步骤s7具体为：利用杆塔基座训练数据训练塔基基础目标检测模型，其中在训练数据进入网络前对电力巡检图像进行随机旋转、颜色转换等数据增强操作。

进一步的，所述步骤s8具体为：利用塔基基础训练数据训练塔基基础模型，其中在训练数据进入网络前对电力巡检图像进行随机旋转、颜色转换等数据增强操作。

本发明与现有技术相比具有以下有益效果：

本发明通过训练好的深度学习网络，对大量的电力巡检图像进行预处理，识别出电力巡检图像中输电杆塔基座，然后将杆塔基座从对应的电力巡检图像中截取出来进行二次故障检测。方便电力巡检人员后期的处理，提高电力巡检的效率和智能化水平。

附图说明

图1是本发明方法流程图；

图2是本发明一实施例中塔基基座目标检测模型训练流程图；

图3是本发明一实施例中塔基基座故障检测模型训练流程图；

图4是本发明一实施例中塔基基座目标检测模块框图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种电力巡检图像杆塔基础故障检测方法，包括如下步骤：

步骤s1:根据电力巡检影像库接口，从电力巡检影像数据库中获取杆塔基座和塔基基础的电力巡检图像以及对应的xml标签数据；

步骤s2:制作杆塔基座目标检测训练数据；

步骤s21:将杆塔基座的电力巡检图像统一等比缩放为图像像素宽度小于1024或者图像像素高度小于900的图像，得到处理后的电力巡检图像；

步骤s22:根据处理后的电力巡检图像，修改杆塔基座的电力巡检图像对应的xml文件，按照原图像缩放比例，修改xml文件中对应的图像宽度与高度信息和杆塔基座目标框大小。

步骤s3:制作塔基基础故障检测训练数据;

步骤s31:将塔基基础的电力巡检图像统一等比缩放为图像像素宽度小于1024或者图像像素高度小于900的图像，得到处理后的电力巡检图像；

步骤s32:根据处理后的电力巡检图像，修改塔基基础的电力巡检图像对应的xml文件，按照原图像缩放比例，修改xml文件中对应的图像宽度与高度信息和塔基基础目标框大小。

步骤s4:构建杆塔基座目标检测模型；

步骤s41:采用基础网络为resnet-101的faster-rcnn目标检测网络，构建塔基基础目标检测模型;其中输入包含3个部分：样本图像、标定值、objectproposals;

步骤s42:通过计算每个样本图像的标定框与objectproposals的覆盖率,卷积神经网络通过卷积层和最大池化层获得样本的卷积特征;

步骤s43:roi池化层对每一个感兴趣区域,从卷积特征中提取出对应的一个规格化的特征向量;

步骤s44:所有特征向量将输入全连接层最终将结果共享,产生两个支路,进入两个不同的层中;一个层负责利用softmax回归计算k类目标加一个“背景”类的概率估算值;另一个层负责输出,用来表征每个图像上k类目标的检测框坐标的4个值。

步骤s5:建立塔基基础故障检测模型；所述塔基基础模型具体为：结合基础网络为darknet-53的yolov3深度学习网络、基础网络为nasnet的faster-rcnn深度学习网络、基础网络为resnet-50的fpn-ssd深度学习网络构建塔基基础模型，对塔基基础进行故障检测。

步骤s6:将杆塔基座目标检测训练数据和塔基基础故障检测训练数据转换成可用于深度学习网络训练的杆塔基座训练数据和塔基基础训练数据；

步骤s7:训练杆塔基座检测模型;利用杆塔基座训练数据训练塔基基础目标检测模型，其中在训练数据进入网络前对电力巡检图像进行随机旋转、颜色转换等数据增强操作。

步骤s8:训练塔基基础检测模型;利用塔基基础训练数据训练塔基基础模型，其中在训练数据进入网络前对电力巡检图像进行随机旋转、颜色转换等数据增强操作。

步骤s9:根据步骤s7训练时各项网络参数变化情况，在达到期望数值时固化杆塔基座检测模型；

步骤10、根据步骤s8训练时各项网络参数变化情况，在达到期望数值时固化塔基基础检测模型；

步骤s11:将待检测的电力巡检图像输入到固化后的杆塔基座目标检测模型中，得到每张电力巡检图像中检测出的杆塔基座子图框信息并生成对应的文本文件；

步骤s12:将步骤s11获取的杆塔基座目标子图分别输入到固化后塔基基础检测模型中，得到塔基基础故障框坐标信息；

步骤s13:对塔基基础故障框坐标信息进行融合处理，最后得到最终塔基基础故障目标框，并存储故障目标框信息。

在本发明一实施例中，步骤1中从电力巡检影像数据库中获取杆塔基座和塔基基础的电力巡检图像与杆塔基座和塔基基础相似的图片，使深度学习网络能够更好的学习到杆塔基础的特征并与其他具有类似特征的物体区分。

为了让一般技术人员更好的理解本发明的技术方案，以下结合附图对本发明进行详细介绍。

实施例1

1.训练数据集制作：训练数据集制作主要包括人工标注包含杆塔基座和塔基基础的电力巡检图像，得到包含对应图片文件名、图像宽度与高度信息及杆塔基础目标框左上点与右下方点坐标信息的xml文件，然后将总的图片与对应的xml文件分为训练集与验证级两部分（训练数据用来训练模型，验证数据用来调整模型），然后分别提取xml文件里的目标框坐标、类别转换成csv格式的文件，最后根据csv文件里面的图片信息将图片与其对应的标签信息组合成一个可以高效读取的tf_record文件，最后分别生成用于训练与测试的两个tf_record文件。

2、建立杆塔基座目标检测模型：采用基础网络为resnet-101的faster-rcnn目标检测网络检测杆塔基座。其中输入包含3个部分：样本图像、标定值、objectproposals。通过计算每个样本图像的标定框与objectproposals的覆盖率。卷积神经网络通过一些卷积层和最大池化层获得样本的卷积特征。然后roi池化层对每一个感兴趣区域,从卷积特征中提取出对应的一个规格化的特征向量。所有特征向量将输入全连接层最终将结果共享,产生两个支路,进入两个不同的层中。一个层负责利用softmax回归计算k类目标加一个“背景”类的概率估算值;另一个层负责输出,用来表征每个图像上k类目标的检测框坐标的4个值；

3、建立塔基基础故障检测模型：分别选用基础网络为darknet-53的yolov3深度学习网络、基础网络为nasnet的faster-rcnn深度学习网络、基础网络为resnet-50的fpn-ssd深度学习网络对塔基基础进行故障检测；。

4、训练杆塔基座目标检测网络：加载通过迁移学习的思想将预训练模型中学习到的部分知识迁移到杆塔基座目标检测上。通过加载预训练模型，利用迁移学习思想进行再训练，能够有效加快训练的速度，并且每当有新数据加入训练时都可以强化模型性能，提高塔基目标检测模型准确率和鲁棒性。

5、训练塔基基础故障检测网络：通过加载预训练模型，然后通过迁移学习思想对三个塔基基础故障检测模型进行再训练。

6、模型测试与固化：每隔一定训练周期，保存训练模型，利用测试集数据测试当前模型性能，计算平均准确率（ap）、漏检率、误报率；当模型各项参数达到期望值且趋于平稳时，保存模型然后固化，只保留前向传播的神经元权重与偏置等常量，最后得到杆塔基座目标检测模型和三个塔基基座故障检测模型。

7、测试模型：将待检测电力巡检图像输入到固化后的模型后，经过前向传播后得到目标框坐标与置信度评分，用矩形框框选出杆塔基座目标，并生成对应的包含目标框坐标信息的文件。根据杆塔基座目标框坐标，截取对应电力巡检图像得到杆塔基座子图，对杆塔基座子图分别输入到三个塔基基础故障检测模型中，分别得到塔基基础故障框坐标信息，然后对得到的目标框进行融合处理，最后得到最终塔基基础故障目标框，并存储故障目标框信息。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。