一种基于深度学习的航拍图像输电线路细小金具识别方法与流程

本发明属于高压输电线路巡线技术、图像识别技术、机器学习技术领域，具体涉及一种基于深度学习的航拍图像输电线路细小金具识别方法。

背景技术：

输电线路巡检是保障电力系统安全可靠运行的重要手段之一，电力部门每年都要投入大量的人力物力进行巡检，然而传统的人工巡线存在着高风险、高成本、低效率的问题。伴随着无人机应用的逐渐普及，电力巡线无人机受到各大电网公司的广泛关注以及应用。一方面，无人机巡线具有野外作业风险低、成本低以及作业灵活的特点；另一方面，从海量的图像数据中判断电力故障需要多名经验丰富的专业人员进行枯燥的图片检索与分析任务，花费数日以上的时间，还有可能出现漏检、误判的情况，增加了巡线成本，降低了巡线效率。

螺栓、螺母、销钉等输电线路细小金具，用于将绝缘子、防震锤等电力部件安装在输电线路上，对于电网输配电来说具有重要作用。由于输电线路跨越不同的复杂地形，细小金具长期暴露在各种环境条件下，极易发生缺失、松脱、失能等故障。而细小金具一旦发生故障将会严重影响到绝缘子、防震锤等电力部件的正常运作，从而影响到输电线路的安全可靠运行，进一步威胁到电力系统的安全。因此，对于输电线路细小金具的故障检测是输电线路运检维护的必要程序之一。而从航拍图像中识别出细小金具是故障检测的先决条件，但航拍输电线路背景复杂、部件繁多，难以区分出细小金具，同时无人机拍摄时的拍摄角度与环境条件具有较大的随机性，现有算法无法满足细小金具识别的准确性需求。

技术实现要素：

本发明的目的在于提供一种基于深度学习的航拍图像输电线路细小金具识别方法，利用基于深度学习的目标检测技术快速而准确地识别出复杂背景中的细小金具，为细小金具的故障检测奠定良好的基础。此外，针对螺栓平帽这一故障，提出了一种基于二值图的螺栓平帽故障检测方法。以期减轻巡线人员的工作强度和难度，进一步提升电网巡线的智能化水平，使电力系统能够更加安全可靠地运行。

为实现上述目的，本发明的技术方案是：一种基于深度学习的航拍图像输电线路细小金具识别方法，包括如下步骤：

步骤s1、航拍图像预处理：对无人机巡检航拍得到的图像进行预处理；

步骤s2、建立细小金具识别图像库：包括多种场景下的细小金具，图像为完整航拍图像且归一化到1024*1024像素尺寸；

步骤s3、扩充识别图像库：利用数据增强技术扩充步骤s2的图像库，具体做法是将图像库中的一张原图通过包括扭曲、旋转、镜像、裁剪、拉伸数据的增强操作，变换为一张新的图像；所有的操作以预定概率施加在原图上，即一张图片可能同时被施加多种数据增强操作，以生成多幅类似图像，扩充样本数据库；

步骤s4、建立与细小金具识别图像库对应的图像标签库：图库中的每幅图片建立相应的符合标准pascalvoc格式的xml标签文件；细小金具图像库的标签文件中包括图片的以下信息：图片id号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，细小金具目标所在区域的矩形边界框的坐标(xmin,ymin,xmax,ymax)，其中(xmin,ymin)为边界框的左上顶点坐标，(xmax,ymax)为边界框的右下顶点坐标；

步骤s5、建立深度学习模型：采用深度学习当中的目标检测网络fasterr-cnn构建模型；fasterr-cnn的整体架构由特征提取网络、区域建议网络和fast-rcnn检测网络构成；其中，特征提取网络选用zfnet，实现对输入图片进行高纬度深层的特征提取，最终生成一组特征图；区域建议网络在特征提取网络所生成的特征图上继续使用3*3卷积生成尺寸与深度皆一致的特征图，通过并行的两个1*1卷积操作计算是否含有目标的置信度和相应建议区域位置坐标，生成建议区域；fastr-cnn检测网络再根据rpn所生成的建议区域，在每个建议区域上进行感兴趣区域池化操作，然后通过并行的两组全连接层计算目标种类的置信度和目标位置坐标；

步骤s6、数据集生成：将所有参与训练的图像与其对应的标签文件合成一个用于训练的、可以进行高效读取的文件；

步骤s7、训练细小金具识别模型：利用步骤s5的fasterr-cnn模型通过反向传播算法在细小金具识别图像库上进行训练；

步骤s8、固化模型用于快速检测：将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置等常量，缩小模型体积，方便模型移植，提高检测速度；

步骤s9、模型测试：将待识别的图片或者视频输入到固化后的识别模型中，用矩形边界框在原图像或者视频中标注出识别到的细小金具区域，以及它们的置信度得分；

步骤s10、螺栓平帽故障诊断：利用步骤s9识别出的细小金具当中的螺栓区域转化为二值图，通过比较螺栓之间的行最小值判断螺栓平帽故障。

在本发明一实施例中，在步骤s1中，对无人机巡检航拍得到的图像进行预处理的过程，即检测拍摄图像是否存在抖动、迷糊的问题，并进行去噪防抖处理。

在本发明一实施例中，在步骤s7中，训练所用的初始化模型为在coco数据集上训练所得的模型。

相较于现有技术，本发明具有以下有益效果：本发明的创新点在于利用深度学习目标检测网络fasterr-cnn有效提升了不同场景下的输电线路细小金具识别的准确率与速度，将原始图像数据输入fasterr-cnn网络当中，通过特征提取网络、区域建议网络和fastr-cnn检测网络进行预测推理，得到检测结果。fasterr-cnn在生成建议区域的改进，使得识别效率提升，从而提高了输电线路细小金具后续自动故障诊断的效率。并且利用二值图，提出了一种较为简便的螺栓平帽故障检测方法，有助于减轻目前巡线人员面对海量巡线数据时的检索压力与强度。

附图说明

图1基于深度学习的航拍图像输电线路细小金具识别方法系统流程图。

图2fasterr-cnn网络结构图。

图3螺栓平帽故障检测流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种基于深度学习的航拍图像输电线路细小金具识别方法，包括如下步骤：

步骤s1、航拍图像预处理：对无人机巡检航拍得到的图像进行预处理；

步骤s2、建立细小金具识别图像库：包括多种场景下的细小金具，图像为完整航拍图像且归一化到1024*1024像素尺寸；

步骤s3、扩充识别图像库：利用数据增强技术扩充步骤s2的图像库，具体做法是将图像库中的一张原图通过包括扭曲、旋转、镜像、裁剪、拉伸数据的增强操作，变换为一张新的图像；所有的操作以预定概率施加在原图上，即一张图片可能同时被施加多种数据增强操作，以生成多幅类似图像，扩充样本数据库；

步骤s4、建立与细小金具识别图像库对应的图像标签库：图库中的每幅图片建立相应的符合标准pascalvoc格式的xml标签文件；细小金具图像库的标签文件中包括图片的以下信息：图片id号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，细小金具目标所在区域的矩形边界框的坐标(xmin,ymin,xmax,ymax)，其中(xmin,ymin)为边界框的左上顶点坐标，(xmax,ymax)为边界框的右下顶点坐标；

步骤s5、建立深度学习模型：采用深度学习当中的目标检测网络fasterr-cnn构建模型；fasterr-cnn的整体架构由特征提取网络、区域建议网络和fast-rcnn检测网络构成；其中，特征提取网络选用zfnet，实现对输入图片进行高纬度深层的特征提取，最终生成一组特征图；区域建议网络在特征提取网络所生成的特征图上继续使用3*3卷积生成尺寸与深度皆一致的特征图，通过并行的两个1*1卷积操作计算是否含有目标的置信度和相应建议区域位置坐标，生成建议区域；fastr-cnn检测网络再根据rpn所生成的建议区域，在每个建议区域上进行感兴趣区域池化操作，然后通过并行的两组全连接层计算目标种类的置信度和目标位置坐标；

步骤s6、数据集生成：将所有参与训练的图像与其对应的标签文件合成一个用于训练的、可以进行高效读取的文件；

步骤s7、训练细小金具识别模型：利用步骤s5的fasterr-cnn模型通过反向传播算法在细小金具识别图像库上进行训练；

步骤s8、固化模型用于快速检测：将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置等常量，缩小模型体积，方便模型移植，提高检测速度；

步骤s9、模型测试：将待识别的图片或者视频输入到固化后的识别模型中，用矩形边界框在原图像或者视频中标注出识别到的细小金具区域，以及它们的置信度得分；

步骤s10、螺栓平帽故障诊断：利用步骤s9识别出的细小金具当中的螺栓区域转化为二值图，通过比较螺栓之间的行最小值判断螺栓平帽故障。

在步骤s1中，对无人机巡检航拍得到的图像进行预处理的过程，即检测拍摄图像是否存在抖动、迷糊的问题，并进行去噪防抖处理。

在步骤s7中，训练所用的初始化模型为在coco数据集上训练所得的模型。

以下为本发明的具体实现过程。

为了使本发明的目的、技术方案、和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明，整个方法的系统流程图如图1所示，输入图像首先经过预处理，而后输入fasterr-cnn深度学习目标识别网络，最终识别出图像中的细小金具区域。

1、航拍图像预处理。对无人机巡检航拍得到的图像进行预处理，主要是检测拍摄图像是否存在抖动、迷糊等问题，并进行去噪防抖处理，以便后续使用。

2、建立细小金具识别图像库。将所收集的且经过去噪防抖的包含多种场景下的细小金具的巡线图像归一化到1024*1024像素尺寸，不进行其他图像处理操作，加入细小金具识别图像库。

3、扩充识别图像库。利用数据增强技术扩充细小金具图像库，具体做法是将图像库中的一张原图通过扭曲、旋转、镜像、裁剪、拉伸等数据增强操作，变换为一张新的图像。所有的操作以0.25的概率施加在原图上，即一张图片可能同时被施加多种数据增强操作，以生成多幅类似图像，扩充样本数据库。为了避免图像库中包含目标缺失、目标严重失真以及背景严重失真等不合格数据图像，需对生成的数据进行筛选。

4、建立与细小金具识别图像库对应的图像标签库。图库中的每幅图片建立相应的符合标准pascalvoc格式的xml标签文件。细小金具图像库的标签文件中包含了图片的以下信息：图片id号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，细小金具目标所在区域的矩形边界框的坐标(xmin,ymin,xmax,ymax)，其中(xmin,ymin)为边界框的左上顶点坐标，(xmax,ymax)为边界框的右下顶点坐标。

5、建立深度学习模型。采用深度学习当中的目标检测网络fasterr-cnn（region-basedconvolutionalneuralnetworks,r-cnn）构建模型。fasterr-cnn的整体架构主要由特征提取网络、区域建议网络（regionalproposalnetwork，rpn）和fast-rcnn检测网络构成。其中，特征提取网络选用zfnet，有5个卷积层构成，实现对输入图片进行高纬度深层的特征提取，最终生成一组特征图。区域建议网络在特征提取网络所生成的特征图上继续使用3*3卷积生成尺寸与深度皆一致的特征图，通过并行的两个1*1卷积操作计算是否含有目标的置信度和相应建议区域位置坐标，生成建议区域。其中，置信度计算属于分类任务，训练时采用的损失函数是softmaxloss;提议区域位置坐标计算属于回归任务，训练时采用的损失函数是smoothl1loss。fastr-cnn检测网络再根据rpn所生成的建议区域，在每个建议区域上进行感兴趣区域池化操作，然后通过并行的两组全连接层计算目标种类的置信度和目标位置坐标。

6、细小金具识别数据集生成。将细小金具识别图库中所有xml标签文件合成一个csv格式的表格文件，将此csv文件按行编号以一个自定义的比例随机拆分成训练集csv文件与测试集csv文件。根据csv文件中的图片标签信息，将所有图片与对应标签合成一个可以用于高效读写的tfrecord格式文件。最终得到细小金具识别训练集的tfrecord文件和细小金具识别测试集的tfrecord文件。

7、训练细小金具识别模型。利用fasterr-cnn模型通过反向传播算法在细小金具识别图像库上进行训练，得到细小金具识别模型。其中，训练所用的初始化模型为在微软的coco数据集上训练所得的模型，参数更新方式是rmsprop，初始学习速率0.003，动量系数0.9，批次大小12，利用批次归一化（bn）方式避免过拟合。模型其他相关参数如下：最大提议区域300，非极大值抑制的iou阈值0.7。

8、固化模型。模型的性能随着训练的迭代次数上升，每隔一定迭代次数便保存一次训练模型，并在测试集上验证检测效果，观察模型性能的变化，当模型性能稳定在一定水准时，选择此时的模型作为模型固化的模型原始文件。具体方法是将模型中所含的训练过程变量剔除，只保留前向传播的神经元权重与偏置等常量，缩小模型体积，方便模型移植，提高检测速度。

9、测试模型。将待检测的巡线图片或者视频输入到固化后的细小金具识别模型中，经过前向传播后得出细小金具区域的边界框坐标与置信度得分，储存每个细小金具的边界框坐标。将识别后的图片或视频保存到服务器中以待后期的故障诊断。

10、螺栓平帽故障检测。螺栓平帽故障的流程图如图3所示。将由测试模型得到的细小金具中的螺栓感兴趣区域二值化，二值化后的螺栓像素如若为0，还需对二值图取反，确保螺栓的像素为1。基于同一部件上的正常螺栓之间高度非常接近，而存在平帽缺陷的螺栓，明显比正常螺栓矮的特征，首先找出每个螺栓的最高点，即二值图像中每个螺栓的行最小值，接着对比各螺栓之间的行最小值，找出最小的那个。把每个螺栓的行最小值与之做差，设定阈值为5，如果行最小值之差大于该值，则判定为平帽；否则不是。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。