一种输电线路缺陷图像识别方法与流程

本发明涉及图像处理技术领域，特别涉及一种输电线路缺陷图像识别方法。

背景技术

电力系统是我国经济建议的重要基础和国民生活的重要保障，电力系统是否能够正常运行直接影响了国家经济发展和人民的生活质量。一套完整的电力供应系统包括配电、发电、送电、输电、用电等一系列相关设备。作为连接整个系统的主要部分，输电线路运行正常与否，影响了电力系统的稳定性和安全性。对输电线路进行巡检，及时检测线路设备缺陷状态，保证电网安全稳定运行。目前输电线路巡检方式主要有3种：人工巡检、直升机巡检和无人机巡检。

现有对于无人机所拍摄的输电线路图像通常是采用人工检测识别的方式，通过人工识别输电线路图像上是否存在输电线路缺陷。现有对于输电线路图像的人工识别工作强度大，浪费大量的人力，且效率低下。

技术实现要素：

本发明主要解决的技术问题是提供一种输电线路缺陷图像识别方法，能够自动对输电线路图像进行缺陷的识别，节省人力，提升效率。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种输电线路缺陷图像识别方法，包括：输入输电线路图像，其中输电线路图像为无人机所拍摄获得；提取输电线路图像的多个候选区域；提取候选区域的特征；利用分类器对特征进行分类，以确定特征是否符合一个类别；对符合类别的特征对应的候选区域进行边框回归。

进一步地，提取输电线路图像的多个候选区域的步骤具体包括：利用选择性搜索算法在输电线路图像中提取多个候选区域。

进一步地，在利用选择性搜索算法在输电线路图像中提取多个候选区域的步骤之后还包括：将多个候选区域缩的尺寸大小缩放成预设尺寸大小；提取候选区域的特征的步骤具体包括：将缩放后的各个候选区域输入到卷积神经网络提取对应的cnn特征；利用分类器对特征进行分类的步骤具体包括：将cnn特征输入到svm分类器进行分类。

进一步地，提取候选区域的特征的步骤具体包括：将输电线路图像输入到卷积神经网络以获得特征图；将候选区域在特征图上的映射输入到spp层以获得特征向量；将特征向量输入到全连接层以获得特征。

进一步地，提取候选区域的特征的步骤具体包括：将输电线路图像输入到卷积神经网络以获得特征图；将候选区域在特征图上的映射输入到roipooling层以获得特征向量；将特征向量输入到全连接层以获得特征。

进一步地，利用分类器对特征进行分类的步骤具体包括：将特征输入到softmax分类器进行分类。

进一步地，提取输电线路图像的多个候选区域的步骤具体包括：将输电线路图像输入到卷积神经网络以获得特征图；将特征图输入到rpn以获得多个候选区域。

进一步地，提取候选区域的特征的步骤具体包括：将候选区域输入到roipooling层以获得特征向量；将特征向量输入到全连接层以获得特征。

本发明的有益效果是：区别于现有技术的情况，本发明所公开的输电线路缺陷图像识别方法，能够自动对输电线路图像进行缺陷的识别，通过分类器具体识别出缺陷的类别，以及通过边框回归修正确定缺陷的位置，节省人力，提升效率。

附图说明

图1是本发明输电线路缺陷图像识别方法第一实施例的流程示意图；

图2是本发明输电线路缺陷图像识别方法第二实施例的流程示意图；

图3是本发明输电线路缺陷图像识别方法第三实施例的流程示意图；

图4是本发明输电线路缺陷图像识别方法第四实施例的流程示意图；

图5是本发明输电线路缺陷图像识别方法第五实施例的流程示意图。

具体实施方式

本发明的图像识别方法为基于深度学习的目标检测算法，目标检测(objectdetection)就是在给定的图片中精确找到物体所在位置，并标注出物体的类别；本发明通过对输电线路图像进行图像识别，从而确定出输电线路的杆塔、导线、绝缘子、线路金具等目标的缺陷。

请参阅图1，本发明输电线路缺陷图像识别方法第一实施例包括以下步骤：

s11：输入输电线路图像。

输电线路图像为无人机所拍摄获得。

s12：提取输电线路图像的多个候选区域。

候选区域(regionproposal)是预先找出图像中目标可能出现的位置，候选区域利用了图像中的纹理、边缘、颜色等信息，可以在选取较少窗口的情况下保持较高的召回率。

s13：提取候选区域的特征。

进一步提取上述候选区域的特征。

s14：利用分类器对特征进行分类。

利用分类器对特征进行分类，以确定特征是否符合一个类别，即确定输电线路图像的多个候选区域是否属于某一个缺陷类别。

s15：对符合类别的特征对应的候选区域进行边框回归。

边框回归(bounding-boxregression)为对窗口的位置进行调整，对符合某一个类别的特征对应的候选区域进行边框回归，以使其更接近真实的窗口位置，实现对目标对象的精准定位。

本发明输电线路缺陷图像识别方法第一实施例能够自动对输电线路图像进行缺陷的识别，通过分类器具体识别出缺陷的类别，以及通过边框回归修正确定缺陷的位置，节省人力，提升效率。

请参阅图2，本发明输电线路缺陷图像识别方法第二实施例包括以下步骤：

s21：输入输电线路图像。

s22：利用选择性搜索算法在输电线路图像中提取多个候选区域。

利用选择性搜索算法(selectivesearch)在输电线路图像中提取多个候选区域，其中候选区域的数量可为2000个左右。

s23：将多个候选区域缩的尺寸大小缩放成预设尺寸大小。

其中，候选区域所缩放成的预设尺寸大小具体可为227×227。

s24：将缩放后的各个候选区域输入到卷积神经网络提取对应的cnn特征。

将缩放后的各个候选区域输入到卷积神经网络(convolutionalneuralnetwork，cnn)，提取对应的cnn特征，其中卷积神经网络的最后一层的全连接层fully-connectedlayers(fc7层)所输出的特征即为cnn特征。

s25：将cnn特征输入到svm分类器进行分类。

将步骤s24的cnn特征输入到svm(supportvectormachine，支持向量机)分类器对各个候选区域进行分类，以确定输电线路图像的多个候选区域是否属于某一个缺陷类别。

s26：对符合类别的特征对应的候选区域进行边框回归。

本发明输电线路缺陷图像识别方法第二实施例为基于r-cnn的目标检测算法，依据图像识别的评估方法-map(meanaveragedprecision)，在pascalvoc2007上的检测结果的准确率map约为66％，具有较高的识别率，通过分类器具体识别出缺陷的类别，以及通过边框回归修正确定缺陷的位置，节省人力，提升效率。

请参阅图3，本发明输电线路缺陷图像识别方法第三实施例包括以下步骤：

s31：输入输电线路图像。

s32：利用选择性搜索算法在输电线路图像中提取多个候选区域。

s33：将输电线路图像输入到卷积神经网络以获得特征图。

将步骤s31的输电线路图像输入到卷积神经网络进行卷积池化操作，以获得输电线路图像对应的特征图。

s34：将候选区域在特征图上的映射输入到spp层以获得特征向量。

获取步骤s32的候选区域在上述特征图上的映射，该映射即为候选区域在特征图上对应的位置区域，将各个映射输入到spp(spatialpyramidpooling，空间金字塔采样)层以获得特征向量，spp层具体将每个映射划分为4*4,2*2,1*1的块，然后每个块使用max-pooling下采样，这样每个映射经过spp层后都得到一个长度为(4*4+2*2+1)*512维度的特征向量。

s35：将特征向量输入到全连接层以获得特征。

将步骤s34的特征向量输入到全连接层以获得特征，具体为两个相邻的全连接层(fc6层、fc7层)，最后一层的全连接层(fc7层)输出上述特征。

s36：利用分类器对特征进行分类。

该步骤具体可利用svm分类器对特征进行分类。

s37：对符合类别的特征对应的候选区域进行边框回归。

本发明输电线路缺陷图像识别方法第三实施例为基于spp-net(spatialpyramidpoolingindeepconvolutionalnetworksforvisualrecognition)的目标检测算法，本发明第二实施例检测一张图像大约需要47秒，其需要对每个候选区域进行卷积池化操作以提取特征，而本发明第三实施例只需对输电线路图像进行一次卷积池化操作，相对第二实施例提高了图像识别的速度。

请参阅图4，本发明输电线路缺陷图像识别方法第四实施例包括以下步骤：

s41：输入输电线路图像。

s42：利用选择性搜索算法在输电线路图像中提取多个候选区域。

s43：将输电线路图像输入到卷积神经网络以获得特征图。

s44：将候选区域在特征图上的映射输入到roipooling层以获得特征向量。

roipooling层对每个候选区域的映射进行下采样以获得一个7*7*512维度的特征向量。

s45：将特征向量输入到全连接层以获得特征。

将s45的特征向量输入到全连接层以获得对应的特征。

s46：利用分类器对特征进行分类。

该步骤具体包括：将特征输入到softmax分类器进行分类。softmax分类器以多项式分布(multinomialdistribution)为模型建模的，它可以分多种互斥的类别。

s47：对符合类别的特征对应的候选区域进行边框回归。

本发明输电线路缺陷图像识别方法第四实施例为基于fastr-cnn的目标检测算法，与本发明第三实施例相比，本实施例加入了一个roipooling层，此外损失函数使用了多任务损失函数(multi-taskloss)，将边框回归直接加入到cnn网络中训练，使得整个训练过程是端到端的(上述s42提取候选区域阶段除外)，整个网络的训练和测试十分方便。本实施例在pascalvoc2007训练集上训练，在voc2007测试的结果为66.9％(map)，在voc2007+2012训练集上训练，在voc2007上相应的测试结果约为70％(数据集的扩充能提高目标检测性能)。本实施例检测每张图像大约需要3秒左右。

请参阅图5，本发明输电线路缺陷图像识别方法第五实施例包括以下步骤：

s51：输入输电线路图像。

s52：将输电线路图像输入到卷积神经网络以获得特征图。

s53：将特征图输入到rpn以获得多个候选区域。

将s52的特征图输入到rpn(regionproposalnetworks)网络以获得多个候选区域。rpn的核心思想是使用卷积神经网络直接产生候选区域，使用的方法本质上为滑动窗口。

s54：将候选区域输入到roipooling层以获得特征向量。

s55：将特征向量输入到全连接层以获得特征。

s56：利用分类器对特征进行分类。

本步骤具体可通过softmax分类器对特征进行分类。

s57：对符合类别的特征对应的候选区域进行边框回归。

本发明输电线路缺陷图像识别方法第五实施例为基于fasterr-cnn的目标检测算法。本实施例将rpn获得的候选区域直接连到roipooling层，实现一个网络内的端到端目标检测的框架。本实施例在voc07+12训练集训练，其相应的测试map达到73.2％，目标检测的速度可以达到每秒5帧，相比本发明第四实施例速度有较大提升。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。