基于电力图像的电力设备缺陷识别方法、装置与存储介质与流程

本发明涉及图像识别技术领域，尤其涉及一种基于电力图像的电力设备缺陷识别方法、装置与存储介质。

背景技术：

近年来，南方电网的快速建设，巡线检查以确保电网安全运行变得日益重要。随着智能巡检的发展，从航拍或机器人采集得到的大量巡检电力图像中，快速而自动化地识别出存在电力设备缺陷的图像对于及时进行故障修复有很大作用。

由于电力设备缺陷在整张图像中为非显著目标，无法通过常规目标检测的方式实现缺陷识别，虽然现有技术可以利用分类的方式确定图像中是否存在缺陷，但不具有通用性，一般需要对图像进行预处理，把图像中的非显著目标转变为显著目标，这种预处理是对特定图像进行的特定处理过程，而不针对通用的目标，因此该分类方式无法解决电力图像的电力设备缺陷的分类问题。

技术实现要素：

本发明的目的是提供一种基于电力图像的电力设备缺陷识别方法、装置与存储介质，能够有效地对电力图像中的非显著目标即电力设备缺陷进行准确、及时地识别，保证电力系统安全运行。

本发明实施例提供了一种基于电力图像的电力设备缺陷识别方法，包括：

采集电力图像，并根据图像金字塔对所述电力图像进行网格切分，构建含有多尺度电力图像块的电力图像数据库；其中，对所述电力图像存在电力设备缺陷的区域进行标注；

对所述电力图像数据库中的电力图像块进行扩增处理，得到扩增电力图像数据库；

根据深度卷积神经网络对所述扩增电力图像数据库中的电力图像块进行图像特征提取，得到图像特征向量；

根据深度卷积神经网络对待检测电力图像进行图像特征提取，得到待检测图像特征向量；

根据所述图像特征向量和所述待检测图像特征向量，计算所述扩增电力图像数据库中的每一张电力图像块与所述待检测电力图像之间的相似度；

对所述相似度按照从大到小的顺序进行排序，得到相似度排序结果；

根据所述相似度排序结果，对所述扩增电力图像数据库中的电力图像块进行排序，得到相似度递减的电力图像块排序列表；

根据所述电力图像块排序列表构建相似度分布图，识别出与所述待检测电力图像含有相同电力设备缺陷的电力图像。

优选地，所述采集电力图像，并根据图像金字塔对所述电力图像进行网格切分，构建含有多尺度电力图像块的电力图像数据库，具体包括：

按5*5、7*7和10*10的网格对采集的电力图像进行网格切分，得到不同尺度的电力图像块。

优选地，所述对所述电力图像数据库中的电力图像块进行扩增处理，得到扩增电力图像数据库，具体包括：

对所述电力图像数据库中的电力图像块分别进行加噪、滤波、明暗度调节、图像质量调整处理，实现所述电力图像数据库中的电力图像块的扩增。

优选地，所述根据深度卷积神经网络对所述扩增电力图像数据库中的电力图像块进行图像特征提取，得到图像特征向量，具体包括：

选取vgg16分类网络模型作为深度卷积神经网络进行电力图像块的特征提取。

优选地，所述根据所述图像特征向量和所述待检测图像特征向量，计算所述扩增电力图像数据库中的每一张电力图像块与所述待检测电力图像之间的相似度，具体包括：

计算所述图像特征向量和所述待检测图像特征向量的夹角余弦值，并根据所述夹角余弦值判断所述扩增电力图像数据库中的每一张电力图像块与所述待检测电力图像之间的相似度。

优选地，所述计算所述图像特征向量和所述待检测图像特征向量的夹角余弦值，并根据所述夹角余弦值判断所述扩增电力图像数据库中的每一张电力图像块与所述待检测电力图像之间的相似度，具体包括：

根据公式计算所述图像特征向量和所述待检测图像特征向量的夹角余弦值；

其中，x和y分别为待检测图像特征向量和所述扩增电力图像数据库中某一电力图像块的图像特征向量，分子表示两个图像特征向量的内积，分母表示两个图像特征向量的长度的乘积；

根据所述夹角余弦值判断所述扩增电力图像数据库中的每一张电力图像块与所述待检测电力图像之间的相似度大小；其中，夹角余弦值越大，相似度越小；夹角余弦值越小，相似度越大。

优选地，所述根据所述电力图像块排序列表构建相似度分布图，识别出与所述待检测电力图像含有相同电力设备缺陷的电力图像，具体包括：

根据所述电力图像块排序列表，选取相似度较高的前n个电力图像块对应的电力图像；

根据计算得到的夹角余弦值，将所述相似度较高的前n个电力图像块对应的电力图像按预设数值进行区间划分，得到不同尺度的相似度分布图；

根据所述不同尺度的相似度分布图中的空间上下文信息和多尺度的语义一致性，识别出与所述待检测电力图像含有相同电力设备缺陷的电力图像。

本发明实施例还提供了一种基于电力图像的电力设备缺陷识别装置，包括：

电力图像数据库构建模块，用于采集电力图像，并根据图像金字塔对所述电力图像进行网格切分，构建含有多尺度电力图像块的电力图像数据库；其中，对所述电力图像存在电力设备缺陷的区域进行标注；

扩增电力图像数据库构建模块，用于对所述电力图像数据库中的电力图像块进行扩增处理，得到扩增电力图像数据库；

图像特征向量获取模块，用于根据深度卷积神经网络对所述扩增电力图像数据库中的电力图像块进行图像特征提取，得到图像特征向量；

待检测图像特征向量获取模块，用于根据深度卷积神经网络对待检测电力图像进行图像特征提取，得到待检测图像特征向量；

相似度计算模块，用于根据所述图像特征向量和所述待检测图像特征向量，计算所述扩增电力图像数据库中的每一张电力图像块与所述待检测电力图像之间的相似度；

相似度排序结果获取模块，用于对所述相似度按照从大到小的顺序进行排序，得到相似度排序结果；

电力图像块排序列表获取模块，用于根据所述相似度排序结果，对所述扩增电力图像数据库中的电力图像块进行排序，得到相似度递减的电力图像块排序列表；

电力图像识别模块，用于根据所述电力图像块排序列表构建相似度分布图，识别出与所述待检测电力图像含有相同电力设备缺陷的电力图像。

本发明实施例还提供了一种基于电力图像的电力设备缺陷识别装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的基于电力图像的电力设备缺陷识别方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的基于电力图像的电力设备缺陷识别方法。

相对于现有技术，本发明实施例提供的一种基于电力图像的电力设备缺陷识别方法的有益效果在于：该方法通过深度卷积神经网络对采集到的电力图像和待检测电力图像进行图像特征提取，然后进行图像特征向量相似度计算，排除一部分与待检测电力图像相似度较低的电力图像块，最后将相似度较高的电力图像块对应的电力图像构建相似度分布图，从而有效地对电力图像中的非显著目标即电力设备缺陷进行准确、及时地识别，及时发现并排查设备故障，保证电力系统安全运行。

附图说明

图1是本发明实施例提供的一种基于电力图像的电力设备缺陷识别方法的流程示意图；

图2是本发明实施例提供的一种基于电力图像的电力设备缺陷识别装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其是本发明实施例提供的一种基于电力图像的电力设备缺陷识别方法的流程示意图，所述基于电力图像的电力设备缺陷识别方法，包括：

s100：采集电力图像，并根据图像金字塔对所述电力图像进行网格切分，构建含有多尺度电力图像块的电力图像数据库；其中，对所述电力图像存在电力设备缺陷的区域进行标注；

s200：对所述电力图像数据库中的电力图像块进行扩增处理，得到扩增电力图像数据库；

s300：根据深度卷积神经网络对所述扩增电力图像数据库中的电力图像块进行图像特征提取，得到图像特征向量；

s400：根据深度卷积神经网络对待检测电力图像进行图像特征提取，得到待检测图像特征向量；

s500：根据所述图像特征向量和所述待检测图像特征向量，计算所述扩增电力图像数据库中的每一张电力图像块与所述待检测电力图像之间的相似度；

s600：对所述相似度按照从大到小的顺序进行排序，得到相似度排序结果；

s700：根据所述相似度排序结果，对所述扩增电力图像数据库中的电力图像块进行排序，得到相似度递减的电力图像块排序列表；

s800：根据所述电力图像块排序列表构建相似度分布图，识别出与所述待检测电力图像含有相同电力设备缺陷的电力图像。

在本实施例中，由于电力设备缺陷在在整张电力图像中属于非显著目标，所以在一般的分类方式中无法准确、及时地识别出电力图像中的电力设备缺陷，有可能对电力系统的运行造成严重的影响，所以为了准确、及时地识别出电力图像中的电力设备缺陷，需要采集数量比较大的电力图像，然后对电力图像进行图像特征提取，获取各种各样的电力图像块，最后通过计算待检测电力图像与电力图像块的相似度，识别出与所述待检测电力图像含有相同电力设备缺陷的电力图像，这样就能够有效地识别出电力图像中的非显著目标即电力设备缺陷。

在一种可选的实施例中，s100：采集电力图像，并根据图像金字塔对所述电力图像进行网格切分，构建含有多尺度电力图像块的电力图像数据库，具体包括：

按5*5、7*7和10*10的网格对采集的电力图像进行网格切分，得到不同尺度的电力图像块。

在本实施例中，由于采集到的电力图像分辨率较高，电力图像尺寸大且电力设备缺陷部位面积占比特别小，因此为了模拟电力图像的多尺度特征，选取图像金字塔按5*5、7*7、10*10的网格对电力图像进行切分，构建含多尺度电力图像块的电力图像数据库。

在一种可选的实施例中，s200：对所述电力图像数据库中的电力图像块进行扩增处理，得到扩增电力图像数据库，具体包括：

对所述电力图像数据库中的电力图像块分别进行加噪、滤波、明暗度调节、图像质量调整处理，实现所述电力图像数据库中的电力图像块的扩增。

在本实施例中，由于采集到的电力图像数据量比较小，为了增加训练数据的数量和多样性进而提高识别精度，需要对采集到的电力图像进行扩增处理，下面分别对加噪、滤波、明暗度调节、图像质量调整处理进行说明，其中s(0)为扩增处理后的电力图像，s(i)为采集的电力图像；

加噪处理主要是对电力图像加入图像噪声，可选取高斯噪声、椒盐噪声、泊松噪声三种常见图像噪声，并且通过改变不同的信噪比得到多张加入图像噪声的电力图像，根据公式s(o)＝s(i)+n(θ)，可获取加入图像噪声的电力图像；其中，n(θ)为噪声，θ为噪声参数；

滤波处理主要是选取均值滤波、高斯滤波、运动模糊、对比度增强滤波等常见滤波器，设定不同参数对采集的电力图像进行模糊化处理，得到多张经过滤波处理的电力图像，根据公式s(o)＝f(s(i)|φ)，可获取经过滤波处理的电力图像，其中，f(*)为滤波器，φ为滤波器参数；

明暗度调节处理主要是选取不同的亮度比例将采集到的电力图像进行亮度值变换，改变电力图像明暗度，其中亮度比例可选取20％、50％、80％；根据公式s(o)＝f(s(i))，实现对电力图像的明暗度调节，其中，f(*)为亮度变化函数；

图像质量调整处理主要是将jpeg电力图像按照jpeg编码规范降低质量，获取不同质量下的电力图像。其中，可按75％、90％的质量进行降低，根据公式s(o)＝m(s(i))，获取质量调整后的电力图像；其中，m(*)为jpeg编码质量调整函数。

根据以上几种常见策略,扩增后的电力图像数据量是采集到的电力图像数据量的13倍。

在一种可选的实施例中，s300：根据深度卷积神经网络对所述扩增电力图像数据库中的电力图像块进行图像特征提取，得到图像特征向量，具体包括：

选取vgg16分类网络模型作为深度卷积神经网络进行电力图像块的特征提取。

在本实施例中，所述深度卷积神经网络一般是在大型数据集imagenet上预训练好的，然后将其作为特征提取器，为了适用于本电力图像的特征提取，需要进行适当地调整，然后将电力图像经过多层卷积池化操作得到高层图像特征，经过全连接层进行特征降维得到最终的图像特征向量。

在一种可选的实施例中，s400：根据深度卷积神经网络对待检测电力图像进行图像特征提取，得到待检测图像特征向量；

在本实施例中，为了减少误差，需要使用相同的深度卷积神经网络，对待检测电力图像特征提取，得到待检测图像特征向量。

在一种可选的实施例中，s500：根据所述图像特征向量和所述待检测图像特征向量，计算所述扩增电力图像数据库中的每一张电力图像块与所述待检测电力图像之间的相似度，具体包括：

计算所述图像特征向量和所述待检测图像特征向量的夹角余弦值，并根据所述夹角余弦值判断所述扩增电力图像数据库中的每一张电力图像块与所述待检测电力图像之间的相似度。

进一步地，所述计算所述图像特征向量和所述待检测图像特征向量的夹角余弦值，并根据所述夹角余弦值判断所述扩增电力图像数据库中的每一张电力图像块与所述待检测电力图像之间的相似度，具体包括：

根据公式计算所述图像特征向量和所述待检测图像特征向量的夹角余弦值；

其中，x和y分别为待检测图像特征向量和所述扩增电力图像数据库中某一电力图像块的图像特征向量，分子表示两个图像特征向量的内积，分母表示两个图像特征向量的长度的乘积；

根据所述夹角余弦值判断所述扩增电力图像数据库中的每一张电力图像块与所述待检测电力图像之间的相似度大小；其中，夹角余弦值越大，相似度越小；夹角余弦值越小，相似度越大。

在本实施例中，使用微调好的特征提取器计算待检测电力图像的待检测图像特征向量和扩增电力图像数据库中所有电力图像块的图像特征向量并储存，然后根据图像特征向量之间的余弦距离计算相似度，获得扩增电力图像数据库中预存储所有电力图像块的图像特征向量与待检测电力图像特征向量的相似度得分；其中，余弦距离可以用两向量之间夹角的余弦值来表示，相似度得分越大，表明该电力图像块与待检测电力图像越相似，若待检测电力图像为特定电力设备缺陷图像，则其相似的电力图像块中应当也存在相同类型的缺陷。

在一种可选的实施例中，s800：根据所述电力图像块排序列表构建相似度分布图，识别出与所述待检测电力图像含有相同电力设备缺陷的电力图像，具体包括：

根据所述电力图像块排序列表，选取相似度较高的前n个电力图像块对应的电力图像；

根据计算得到的夹角余弦值，将所述相似度较高的前n个电力图像块对应的电力图像按预设数值进行区间划分，得到不同尺度的相似度分布图；

根据所述不同尺度的相似度分布图中的空间上下文信息和多尺度的语义一致性，识别出与所述待检测电力图像含有相同电力设备缺陷的电力图像。

在本实施例中，为了避免直接根据电力图像块排序列表输出最终结果，造成识别结果的不可靠性，增加相似度分布图环节，辅助存在缺陷的电力图像比对。其中预设数值可取0.8、0.5和0.3进行区间划分，得到多尺度的相似度分布图；通过先进行图像特征向量相似度得分排序的方式，排除一部分与待检测电力图像相似度较低的电力图像块，再由高相似度电力图像块复原其电力图像的信息，利用相似度分布图的空间上下文信息及多尺度的语义一致性，通过电力图像块的语义分布获取全图的语义，进一步判定缺陷图像，检索出扩增电力图像数据库中含有缺陷的电力图像块，从而识别对应的电力图像。

请参阅图2，其是本发明实施例提供的一种基于电力图像的电力设备缺陷识别装置的结构示意图，所述基于电力图像的电力设备缺陷识别装置，包括：

电力图像数据库构建模块1，用于采集电力图像，并根据图像金字塔对所述电力图像进行网格切分，构建含有多尺度电力图像块的电力图像数据库；其中，对所述电力图像存在电力设备缺陷的区域进行标注；

扩增电力图像数据库构建模块2，用于对所述电力图像数据库中的电力图像块进行扩增处理，得到扩增电力图像数据库；

图像特征向量获取模块3，用于根据深度卷积神经网络对所述扩增电力图像数据库中的电力图像块进行图像特征提取，得到图像特征向量；

待检测图像特征向量获取模块4，用于根据深度卷积神经网络对待检测电力图像进行图像特征提取，得到待检测图像特征向量；

相似度计算模块5，用于根据所述图像特征向量和所述待检测图像特征向量，计算所述扩增电力图像数据库中的每一张电力图像块与所述待检测电力图像之间的相似度；

相似度排序结果获取模块6，用于对所述相似度按照从大到小的顺序进行排序，得到相似度排序结果；

电力图像块排序列表获取模块7，用于根据所述相似度排序结果，对所述扩增电力图像数据库中的电力图像块进行排序，得到相似度递减的电力图像块排序列表；

电力图像识别模块8，用于根据所述电力图像块排序列表构建相似度分布图，识别出与所述待检测电力图像含有相同电力设备缺陷的电力图像。

本发明实施例还提供了一种基于电力图像的电力设备缺陷识别装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的基于电力图像的电力设备缺陷识别方法。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于电力图像的电力设备缺陷识别装置中的执行过程。例如，所述计算机程序可以被分割成如图2所示的基于电力图像的电力设备缺陷识别装置的功能模块。

所述基于电力图像的电力设备缺陷识别装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于电力图像的电力设备缺陷识别装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是基于电力图像的电力设备缺陷识别装置的示例，并不构成对基于电力图像的电力设备缺陷识别装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于电力图像的电力设备缺陷识别装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于电力图像的电力设备缺陷识别装置的控制中心，利用各种接口和线路连接整个基于电力图像的电力设备缺陷识别装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于电力图像的电力设备缺陷识别装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述基于电力图像的电力设备缺陷识别装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的基于电力图像的电力设备缺陷识别方法。

相对于现有技术，本发明实施例提供的一种基于电力图像的电力设备缺陷识别方法的有益效果在于：该方法通过深度卷积神经网络对采集到的电力图像和待检测电力图像进行图像特征提取，然后进行图像特征向量相似度计算，排除一部分与待检测电力图像相似度较低的电力图像块，最后将相似度较高的电力图像块对应的电力图像构建相似度分布图，从而有效地对电力图像中的非显著目标即电力设备缺陷进行准确、及时地识别，及时发现并排查设备故障，保证电力系统安全运行。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。