一种无人机影像的配电线路杆塔导地线断股图像检测方法与流程

本发明涉及图像识别技术领域，具体涉及一种无人机影像的配电线路杆塔导地线断股图像检测方法。

背景技术：

输电线路是电力系统的动脉,输电导线是组成输电线路的重要部件。外力破坏、气象灾害、线路老化等因素造成的输电导线断股与损坏严重威胁线路稳定运行,给人们正常的生产、生活造成严重影响。通过对无人机巡线的航拍输电导线视频/图像进行图像处理,能够实现输电导线运行状态的实时检测,有效保障电网的安全运行。因此,基于小样本量无人机影像的配电线路杆塔导地线断股图像检测方法的研究具有非常重要的现实意义。我国无人机与直升机巡检检测研究的起步相较于欧美一些发达国家晚，在许多技术方面还存在诸多难题，当前还不能实现无人机与直升机巡检技术的全面实施。目前，我国对无人机与直升机中架设的图像采集设备获取的图像主要依靠后期人工检测，检测结果不仅受人为主观因素的影响，而且效率较低。我国现有输电导线断股与损伤的检测方法主要包括：基于红外图像的故障监测、基于可见光图像的故障监测、基于漏磁与涡流传感器的钢芯铝股导线断股检测及基于各类传感器的导线疲劳强度检测等。由文献宋屹峰,王洪光,李贞辉等《基于视觉方法的输电线路断股检测与机器人行为规划》[j].机器人,2015,37(2):204-211).公开。

申请人经过查阅资料，发现与本申请技术最为接近的是文献：蒋兴良,夏云峰,张志劲,等《基于优化gabor滤波器的输电导线断股图像检测》[j]电力系统自动化,2011,35(15):78-83).中，蒋兴良等人提出一种通过计算完好导线图像与滤波器卷积能量的输出响应，应用小生境遗传算法寻找最优的gabor滤波器参数和分割阈值，通过检测图像的滤波和能量的二值化处理，实现输电线路导线断股缺陷检测的识别方法。该方法可实现获取导线图像中涉及的导线单侧的断股与损伤状况，而对未检测的导线背面区域的断股状况并未可知，且对于散股严重的断股导线很难进行有效检测，极易出现错检、漏检；其次，其检测结果对于背景单一的输电线路导线图像将很有效，但由于通过直升机、无人机或巡检机器人获取的输电线路导线图像中复杂背景总是存在，基于输电线路导线灰暗的颜色特性，以及获取的输电导线图像中导线表面受光照影响像素灰度值不均匀，导线区域清晰度高（灰度值分散程度高等），而背景区域中的树木、房屋、道路等清晰度低的图像特点，该方法检测结果具有一定的局限性。

技术实现要素：

本发明要解决的技术问题是：目前导地线断股图像检测方法检测准确度低的技术问题。提出了一种无人机影像的配电线路杆塔导地线断股图像检测方法，本方法对小目标特征的识别进行了优化处理，不仅大幅提高了检测准确度，同时降低了所需训练样本数量。

为解决上述技术问题，本发明所采取的技术方案为：一种无人机影像的配电线路杆塔导地线断股图像检测方法，包括以下步骤：a）建立导地线断股的图片数据集，标记并定位图像中的大目标；b）通过有线从无人机将无人机拍摄的图片数据传输到pc端，进入典型缺陷智能分析模块，提供模型进行智能识别出待分析区域，建立分析框，人工标记缺陷，获得样本数据；c）构建cascader-cnn网络，使用样本数据训练和测试cascader-cnn网络；d）获得无人机巡视拍摄图片，识别出待分析区域，导入步骤c）中训练的cascader-cnn网络，获得检测结果。建立导地线断股的图片数据集的图片来自无人机拍摄的可见光图片，由于检测的杆塔是固定的，因而无人机拍摄按预定巡线路线以及预定拍摄机位拍摄获得图片后，即可传回图像，由人工将图片中的杆塔以及其他能够支撑导地线的结构性部件作为大目标进行标记，用于识别导地线的位置和范围。典型缺陷智能分析模块，能够进行数据的智能加强，实现非机构数据向结构化数据的转换，在图片上标记处待分析区域，以便后续步骤提取图片上的相关缺陷信息。典型缺陷智能分析模块同时对导地线断股滤除背景，进行粗定位。

作为优选，步骤b）中，识别出待分析区域，建立分析框的方法包括：b1）获得具有待分析区域及大目标的图片，人工标记待分析区域以及大目标区域，并预建分析框；b2）将人工标记大目标区域，与步骤a）中获得的图片数据中标记的大目标区域对齐；b3）人工标记的待分析区域所在区域，即为识别出的待分析区域，在预建分析框所在的区域建立分析框。本优选方案建立的典型缺陷智能分析模块能够快速的对齐图像，并建立分析框，有助于提高故障分析的效率。

作为优选，步骤c）中构建的cascader-cnn网络包括若干个级联的r-cnn网络，每个级联的r-cnn网络设置不同的iou阈值。每个级联的r-cnn网络设置的iou阈值逐级增大，从而对输入的proposal进行优化，使自定义的卷积神经网络在计算精度和效率上进行了提升。

作为优选，在步骤c）中构建的cascader-cnn网络中，使用fpn特征提取获得每层图像的特征图，根据特征图对应的感受野和表达的信息抽象程度融合特征图，获得图像的特征表达。将不同阶段的特征图融合的fpn层，提升了对小目标检测的性能。

作为优选，在步骤c）中构建的级联的r-cnn网络，包括gan网络，gan网络对小目标生成super-resolvedfeature，在步骤d）中，将小目标的super-resolvedfeature叠加到图像的相应区域。使用了gan对小目标生成一个和大目标很相似的super-resolvedfeature，然后把这个super-resolvedfeature叠加在原来的小目标的特征图上，以此增强对小目标特征表达来提升小目标的检测性能。

作为优选，在步骤c）中构建的cascader-cnn网络包括动态anchor框密度调整模块，若图像数据中分析框小于预设阈值，则增加anchor框密度，在分析框内生成多个anchor框，所述多个anchor框根据分析框中图像的边界线条密度分布。在数据训练中采用基于数据的特点增加小目标匹配的anchor框的个数，增加小目标的训练权重，减少网络对大目标的倾斜。增加负责小目标的anchor的策略来让训练时对小目标的学习更加充分。使anchor在图中的密度大致相等同时对小目标的anchor使用比较宽松的匹配策略增强对小目标的敏感度。生成anchor框的方法包括：提取分析框中图像的边界，按边界和非边界划分将分析框中的图像建立一个二值化的副本，将副本划分方形网格，统计每个方形网格中边界区域面积，将边界区域面积大于第一设定阈值的方形网格作为中心网格，中心网格的数量即为anchor框的数量，中心网格周围的边界区域面积大于第二设定阈值的方形网格与中心网格一起构成anchor框的初始范围，anchor框的初始范围的最小外接矩阵为anchor框的范围。

作为优选，步骤d）中，将无人机巡视拍摄图片导入典型缺陷智能分析模块，典型缺陷智能分析模块分析出待分析区域，将无人机巡视拍摄图片按待分析区域裁剪，将裁剪后的图片导入到步骤c）中训练的cascader-cnn网络，分别获得每个裁剪区域的故障检测结果。

本发明的实质性效果是：通过使用fpn特征提取获得每层图像的特征图，提升了对小目标检测的性能；使用了gan对小目标生成一个和大目标很相似的super-resolvedfeature，然后把这个super-resolvedfeature叠加在原来的小目标的特征图上，以此增强对小目标特征表达来提升小目标的检测性能；在数据训练中采用基于数据的特点增加小目标匹配的anchor框的个数，增加小目标的训练权重，增强对小目标的敏感度，提高了对配电线路杆塔导地线断股故障检测的准确度。

附图说明

图1为实施例一杆塔导地线断股图像检测方法流程框图。

图2为实施例一cascader-cnn网络示意图。

图3为实施例一fpn特征提取示意图。

图4为实施例一杆塔导地线断股图像检测过程示意图。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。

实施例一：

一种无人机影像的配电线路杆塔导地线断股图像检测方法，如图1所示，包括以下步骤：a）建立导地线断股的图片数据集，标记并定位图像中的大目标。b）通过有线从无人机将无人机拍摄的图片数据传输到pc端，进入典型缺陷智能分析模块，提供模型进行智能识别出待分析区域，建立分析框，人工标记缺陷，获得样本数据。识别出待分析区域，建立分析框的方法包括：b1）获得具有待分析区域及大目标的图片，人工标记待分析区域以及大目标区域，并预建分析框；b2）将人工标记大目标区域，与步骤a）中获得的图片数据中标记的大目标区域对齐；b3）人工标记的待分析区域所在区域，即为识别出的待分析区域，在预建分析框所在的区域建立分析框。本优选方案建立的典型缺陷智能分析模块能够快速的对齐图像，并建立分析框，有助于提高故障分析的效率。

c）构建cascader-cnn网络，使用样本数据训练和测试cascader-cnn网络。如图2所示，步骤c）中构建的cascader-cnn网络包括若干个级联的r-cnn网络，每个级联的r-cnn网络设置不同的iou阈值。每个级联的r-cnn网络设置的iou阈值逐级增大，从而对输入的proposal进行优化，使自定义的卷积神经网络在计算精度和效率上进行了提升。如图3所示，使用fpn特征提取获得每层图像的特征图，根据特征图对应的感受野和表达的信息抽象程度融合特征图，获得图像的特征表达。将不同阶段的特征图融合的fpn层，提升了对小目标检测的性能。在步骤c）中构建gan网络，gan网络对小目标生成super-resolvedfeature，使用了gan对小目标生成一个和大目标很相似的super-resolvedfeature，然后把这个super-resolvedfeature叠加在原来的小目标的特征图上，以此增强对小目标特征表达来提升小目标的检测性能。

在步骤c）中构建的cascader-cnn网络包括动态anchor框密度调整模块，若图像数据中分析框小于预设阈值，则增加anchor框密度，在分析框内生成多个anchor框，多个anchor框根据分析框中图像的边界线条密度分布。在数据训练中采用基于数据的特点增加小目标匹配的anchor框的个数，增加小目标的训练权重，减少网络对大目标的倾斜。增加负责小目标的anchor的策略来让训练时对小目标的学习更加充分。使anchor在图中的密度大致相等同时对小目标的anchor使用比较宽松的匹配策略增强对小目标的敏感度。生成anchor框的方法包括：提取分析框中图像的边界，按边界和非边界划分将分析框中的图像建立一个二值化的副本，将副本划分方形网格，统计每个方形网格中边界区域面积，将边界区域面积大于第一设定阈值的方形网格作为中心网格，中心网格的数量即为anchor框的数量，中心网格周围的边界区域面积大于第二设定阈值的方形网格与中心网格一起构成anchor框的初始范围，anchor框的初始范围的最小外接矩阵为anchor框的范围。

d）获得无人机巡视拍摄图片，识别出待分析区域，导入步骤c）中训练的cascader-cnn网络，获得检测结果。步骤d）中，将无人机巡视拍摄图片导入典型缺陷智能分析模块，典型缺陷智能分析模块分析出待分析区域，将小目标的super-resolvedfeature叠加到图像的相应区域，将无人机巡视拍摄图片按待分析区域裁剪，将裁剪后的图片导入到步骤c）中训练的cascader-cnn网络，分别获得每个裁剪区域的故障检测结果。

如图4所示，通过训练基于杆塔及相应部位的大目标检测器，从图像中找到杆塔及相应部位的大目标并定位，用于提供给步骤b）检测的输入数据。针对电网典型缺陷的算法开发，使用基于多特征融合的目标检测框架，该框架针对目标检测算法中的小物体漏检和检测框不准确的问题，采用了多层特征融合的多特征图，结合了低层的原始图像信息和高层的语义信息。同时提高了目标检测的速度，具有更高的检测精度和速度。快速定位图像中杆塔及相应部位的大目标，为第二步的导地线断股提供滤除背景的粗定位影像。实现缺陷识别率70%,漏检率小于20%，误报率小于20%，缺陷识别的效率不低于200张/分钟。建立导地线断股的图片数据集的图片来自无人机拍摄的可见光图片，由于检测的杆塔是固定的，因而无人机拍摄按预定巡线路线以及预定拍摄机位拍摄获得图片后，即可传回图像，由人工将图片中的杆塔以及其他能够支撑导地线的结构性部件作为大目标进行标记，用于识别导地线的位置和范围。

本实施例通过使用fpn特征提取获得每层图像的特征图，提升了对小目标检测的性能；使用了gan对小目标生成一个和大目标很相似的super-resolvedfeature，然后把这个super-resolvedfeature叠加在原来的小目标的特征图上，以此增强对小目标特征表达来提升小目标的检测性能；在数据训练中采用基于数据的特点增加小目标匹配的anchor框的个数，增加小目标的训练权重，增强对小目标的敏感度，提高了对配电线路杆塔导地线断股故障检测的准确度。

以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。