一款基于深度学习的电力设备图像识别方法及巡查机器人与流程

本发明涉及电力设备巡查技术领域，具体涉及一款基于深度学习的电力设备图像识别方法及巡查机器人。

背景技术：

近年来，我国的全国电网逐步建成并完善，输电线路总长度和输送容量逐年增长。电力配网主要包括发电设备、输电设备、变电设备、配电设备和用电设备，配网过程中关键是设备保护。为确保输电线路的可靠性，及时发现线路损伤和隐患，电力部门必须定期对输电线路进行巡检。传统输电线路的巡检主要为人工巡检方式，此方式受到自然环境和巡检设备的制约，成本高、效率低、漏检率及误检率大，效果不佳。目前，电网视频监控系统作为智能电网的一个重要组成部分，广泛应用于电网的生产管理、输变电线路状态监测和维修等，但视频监控系统也存在一定的局限性，视频数据存储压力大、网络优势利用不充分等。

随着图像处理和计算机视觉技术的发展，使用计算机视觉识别电力设备，并且分析电力设备的日常运行状态在电力系统检测中发挥着越来越重要的作用，实时监测电力设备的运行状态尤为重要。

目前的电力设备中使用的图像识别分类方法中提取图像特征是图像识别的关键步骤，当图像背景简单且电力设备特征突出时，传统方法中采取的图像颜色特征、图像纹理特征和图像形状特征等可以获得比较理想的图像识别率。但是电力设备种类众多且颜色单一，输变电部门环境复杂，电力设备图像中复杂的背景对电力设备的识别准确率造成了较大影响，并且受拍摄角度、距离、光照和阴影变化的影响，同一种电力设备的外观会发生较大变化，这些问题使得传统的电力设备图像特征提取技术难以满足电力设备识别的需求和准确率的识别，另外，目前的电力设备中使用的图像识别分类方法需要人工标注大量的样本数据，耗时费力，经济成本高，且对图像的识别准确率也不是很理想，因此，我们急需一种电力设备巡检中使用的基于深度学习的图形图像识别方法，它直接作用于电力设备的原始数据，自动逐层地进行特征学习，更好地描述图像的全局特征，解决电力设备系统中海量非结构化图像数据的智能化分析和识别，进而提高不同电力设备图像识别的准确率，完成对电力设备事故的预警，保障电力设备的安全性。

技术实现要素：

本发明所要解决的技术问题是：现有的电力设备图像识别方法需要人工标注大量的样本数据，耗时费力，经济成本高，且对图像的特征提取过于单一，不能更好地描述图像的全局特征，导致最终图像的识别准确率不高的问题，本发明提供了解决上述问题的一款基于深度学习的电力设备图像识别方法及巡查机器人。

本发明通过下述技术方案实现：

一种基于深度学习的电力设备图像识别方法，该方法包括以下步骤：

s1：收集同一类型的电力设备连续时间段内的样本图像数据，把收集到的同一类型的电力设备连续时间段内的样本图像数据分为两组，两组的比例为1:9，对样本图像数据少的一组进行数据标注并记作为已标注样本数据集l，对样本图像数据多的另一组不进行数据标注并记作为未标注样本数据集u；

s2：对步骤s1中所述同一类型的电力设备连续时间段内的样本图像数据进行预处理，去除图像数据噪声，增强图像数据的细节，提高图像数据的信噪比；

s3：对步骤s2中预处理后的图像数据使用卷积神经网络进行提取特征并建立特征向量，提取特征及建立特征向量步骤如下：

s31：建立带有5个卷积层和3个全连接层的卷积神经网络，其中最后一层全连接层与输入的电力设备图像维度相同，该网络所有权重均随机初始化；

s32：对步骤s31中提取的10维特征进行归一化处理，目的是使不同维度的图像特征能够在一个统一的标准下进行后续的计算；

s33：结合步骤s31与步骤s32，对3个全连接层中的前2个全连接层的输出建立电力设备图像的特征向量；

s4：对步骤s3提取的10维特征使用基于半监督主动学习训练二元分类器模型，二元分类器模型的训练步骤如下：

s41：采用3个相同的svm分类器h1、h2、h3，利用随机采用bootstrap算法从已标注样本数据集l中获取有差异的训练数据子集t，进行初始分类器的训练；

s42：利用s41中的其中2个svm分类器h1、h2协同训练，使用主动学习方法从未标注样本数据集u中挑选置信度高的未标注样本数据x进行标注，其熵值e(x)，如此迭代地扩充第3个分类器h3的训练样本集来更新第3个分类器模型，并把熵值e(x)最大的并且完成标注的样本数据x加入到训练数据子集t中和已标注样本数据集l中，同时从未标注样本数据集u中减去该样本数据x；

s43：循环执行步骤s41与步骤s42直至未标注样本数据集u为空，模型训练结束；

s44：模型训练结束后，采用多数投票法对3个分类器h1、h2、h3集成，获得最终二元分类器模型；

s5：利用步骤s4训练好的二元分类器模型，输入待检测的实时图像数据进行识别，判断是正常或者异常图像数据，尽而得出电力设备的正常和异常情况。

在主动学习中，选择最富有信息的数据进行标注，每个未标注的样本点都被输入3个分量分类器中，而使得各个分量分类器的判断结果最不一致的样本点就是最富有信息的样本，在这里，这个不一致性的度量采用每个分量分类器对分类结果的投票熵entropy(x)来确定，简写记为e(x)，熵entropy(x)的数学表达式如下：

其中，v(i)是类别i的投票数，c是总的分类类别数，k是分类器数，pi是未标注样本数据被标注为第c类的概率；本发明方法中，k＝3，电力设备最终设置的分类类别为正常图片、异常图片这个两个类别，即c＝2。

本发明上述方法的原理是：由于现有的电力设备图像识别方法需要人工标注大量的样本数据，耗时费力，经济成本高，且对图像的特征提取过于单一，不能更好地描述图像的全局特征，导致最终图像的识别准确率不高的问题，本发明上述方法为了更好地利用卷积神经网络算法自动学习描述图像的全局多维特征和未标注图像数据来提高分类的性能，结合半监督学习与主动学习来实现识别出正常和异常的电力设备，通过采用bootstrap随机获取有差异的已标注数据的子集，以此来保证分类器之间的差异；使用卷积神经网络提取综合反映电力设备的图像特征信息的特征，通过建立带有5个卷积层和3个全连接层的卷积神经网络，其中最后一层全连接层与输入的电力设备图像维度相同，该网络所有权重均随机初始化，并对提取的10维特征进行归一化处理，对3个全连接层中的前2个全连接层的输出建立电力设备图像的特征向量待后续使用；分类器训练过程为：首先利用其中两个分类器来对未标注图像数据进行标注，然后挑选置信度高的未标注图像数据样本加入到第三个分类器的训练集中，同时更新第三个分类器，最后不断地迭代直到收敛或者未标注图像数据为空，在每次迭代过程中，每个分类器的训练集扩大了，并且由主动学习产生的图像数据从另一个角度补充了标注样本，从而进一步增加了分类器之间的差异性，训练结束后，采用“少数服从多数”的原则对三个分类器集成，获取最终的分类模型，最后利用训练好的分类器模型，输入待检测的实时图像数据进行识别，判断是正常或者异常图像数据，尽而得出电力设备的正常和异常情况。

进一步地，考虑到由于电力设备种类众多且颜色单一，输变电部门环境复杂，电力设备图像中复杂的背景对电力设备的识别准确率造成了较大影响，并且受拍摄角度、距离、光照和阴影变化的影响，同一种电力设备的外观会发生较大变化，这些问题使得传统的电力设备单纯依靠图像颜色特征、图像纹理特征和图像形状特征等图像特征提取技术难以满足电力设备识别的需求和准确率的识别，于是步骤s3中提取了10维用于综合反映电力设备的图像特征信息的特征，具体包括图像颜色特征、图像纹理特征、图像形状特征、区域特征、边界特征、电力设备的最长使用寿命特征、电力设备的当前使用电压特征、电力设备的当前使用电流特征、温度特征和湿度特征；其中图像颜色特征、图像纹理特征、图像形状特征属于基础特征，区域特征、边界特征属于深度特征，电力设备的最长使用寿命特征、电力设备的当前使用电压特征、电力设备的当前使用电流特征、温度特征和湿度特征属于电力设备相关特征。

进一步地，步骤s2中，预处理包括图像降噪、边缘检测、图像压缩和图像分割，目的是对同一类型的电力设备样本图像数据去除干扰、噪声及差异，将原始图像变成适于计算机进行后续特征提取的形式。

一款基于图形图像识别的电网安全巡查机器人，使用所述的基于深度学习的电力设备图像识别方法。

收集了近3年的5种电力设备输电线电杆、输电线铁塔、绝缘子、变压器和断路器样本图像数据9600幅做实验，针对同一类型的电力设备样本图像数据，已标注数据集和未标注数据集的比例设置为1:9，对于每个数据集，30％作为测试数据，70％作为训练数据，采用了本发明中的基于深度学习的电力设备图像识别方法识别准确率达到了85.28％，识别准确率高，很好地利用大量的未标注数据，只需标注少量的样本数据，省时费力，经济成本低，与标注大量数据方法相比，同样条件下达到了对图像很好的识别准确率。

本发明具有如下的优点和有益效果：

1、本发明更好地利用卷积神经网络算法自动学习描述图像的全局多维特征和未标注图像数据来提高分类的性能，结合半监督学习与主动学习来实现识别出正常和异常的电力设备，通过采用bootstrap随机获取有差异的已标注数据的子集，以此来保证分类器之间的差异；

2、本发明使用卷积神经网络提取综合反映电力设备的图像特征信息的特征，通过建立带有5个卷积层和3个全连接层的卷积神经网络，其中最后一层全连接层与输入的电力设备图像维度相同，该网络所有权重均随机初始化，并对提取的10维特征进行归一化处理，对3个全连接层中的前2个全连接层的输出建立电力设备图像的特征向量待后续使用；

3、本发明分类器训练过程为首先利用其中两个分类器来对未标注图像数据进行标注，然后挑选置信度高的未标注图像数据样本加入到第三个分类器的训练集中，同时更新第三个分类器，最后不断地迭代直到收敛或者未标注图像数据为空，在每次迭代过程中，每个分类器的训练集扩大了，并且由主动学习产生的图像数据从另一个角度补充了标注样本，从而进一步增加了分类器之间的差异性，训练结束后，采用“少数服从多数”的原则对三个分类器集成，获取最终的分类模型，最后利用训练好的分类器模型，输入待检测的实时图像数据进行识别，判断是正常或者异常图像数据，尽而得出电力设备的正常和异常情况；

4、本发明对电力设备图像识别准确率高，为海量非结构化电力设备图像智能化分析提供了一种新的解决方法，并且更好地利用了大量未标注数据来提高了图像的识别准确率，经济成本低。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明的基于深度学习的电力设备图像识别方法流程图。

图2为本发明的利用卷积神经网络算法提取图像特征流程图。

图3为本发明的基于半监督主动学习训练二元分类器模型训练图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

如图1至图3所示，一种基于深度学习的电力设备图像识别方法，该方法包括以下步骤：

s1：收集同一类型的电力设备连续时间段内的样本图像数据，把收集到的同一类型的电力设备连续时间段内的样本图像数据分为两组，两组的比例为1:9，对样本图像数据少的一组进行数据标注并记作为已标注样本数据集l，对样本图像数据多的另一组不进行数据标注并记作为未标注样本数据集u；

s2：对步骤s1中所述同一类型的电力设备连续时间段内的样本图像数据进行预处理，去除图像数据噪声，增强图像数据的细节，提高图像数据的信噪比；

s3：对步骤s2中预处理后的图像数据使用卷积神经网络进行提取特征并建立特征向量，提取特征及建立特征向量步骤如下：

s31：建立带有5个卷积层和3个全连接层的卷积神经网络，其中最后一层全连接层与输入的电力设备图像维度相同，该网络所有权重均随机初始化；

s32：对步骤s31中提取的10维特征进行归一化处理，目的是使不同维度的图像特征能够在一个统一的标准下进行后续的计算；

s33：结合步骤s31与步骤s32，对3个全连接层中的前2个全连接层的输出建立电力设备图像的特征向量；

s4：对步骤s3提取的10维特征使用基于半监督主动学习训练二元分类器模型，二元分类器模型的训练步骤如下：

s41：采用3个相同的svm分类器h1、h2、h3，利用随机采用bootstrap算法从已标注样本数据集l中获取有差异的训练数据子集t，进行初始分类器的训练；

s42：利用s41中的其中2个svm分类器h1、h2协同训练，使用主动学习方法从未标注样本数据集u中挑选置信度高的未标注样本数据x进行标注，其熵值e(x)，如此迭代地扩充第3个分类器h3的训练样本集来更新第3个分类器模型，并把熵值e(x)最大的并且完成标注的样本数据x加入到训练数据子集t中和已标注样本数据集l中，同时从未标注样本数据集u中减去该样本数据x；

s43：循环执行步骤s41与步骤s42直至未标注样本数据集u为空，模型训练结束；

s44：模型训练结束后，采用多数投票法对3个分类器h1、h2、h3集成，获得最终二元分类器模型；

s5：利用步骤s4训练好的二元分类器模型，输入待检测的实时图像数据进行识别，判断是正常或者异常图像数据，尽而得出电力设备的正常和异常情况。

考虑到由于电力设备种类众多且颜色单一，输变电部门环境复杂，电力设备图像中复杂的背景对电力设备的识别准确率造成了较大影响，并且受拍摄角度、距离、光照和阴影变化的影响，同一种电力设备的外观会发生较大变化，这些问题使得传统的电力设备单纯依靠图像颜色特征、图像纹理特征和图像形状特征等图像特征提取技术难以满足电力设备识别的需求和准确率的识别，于是步骤s3中提取了10维用于综合反映电力设备的图像特征信息的特征，具体包括图像颜色特征、图像纹理特征、图像形状特征、区域特征、边界特征、电力设备的最长使用寿命特征、电力设备的当前使用电压特征、电力设备的当前使用电流特征、温度特征和湿度特征；其中图像颜色特征、图像纹理特征、图像形状特征属于基础特征，区域特征、边界特征属于深度特征，电力设备的最长使用寿命特征、电力设备的当前使用电压特征、电力设备的当前使用电流特征、温度特征和湿度特征属于电力设备相关特征。

为了对同一类型的电力设备样本图像数据去除干扰、噪声及差异，将原始图像变成适于计算机进行后续特征提取的形式，步骤s2中，预处理包括图像降噪、边缘检测、图像压缩和图像分割。

一款基于图形图像识别的电网安全巡查机器人，使用所述的基于深度学习的电力设备图像识别方法。

本发明的工作原理是：为了更好地利用卷积神经网络算法自动学习描述图像的全局多维特征和未标注图像数据来提高分类的性能，结合半监督学习与主动学习来实现识别出正常和异常的电力设备，通过采用bootstrap随机获取有差异的已标注数据的子集，以此来保证分类器之间的差异；使用卷积神经网络提取综合反映电力设备的图像特征信息的特征，通过建立带有5个卷积层和3个全连接层的卷积神经网络，其中最后一层全连接层与输入的电力设备图像维度相同，该网络所有权重均随机初始化，并对提取的10维特征进行归一化处理，对3个全连接层中的前2个全连接层的输出建立电力设备图像的特征向量待后续使用；分类器训练过程为：首先利用其中两个分类器来对未标注图像数据进行标注，然后挑选置信度高的未标注图像数据样本加入到第三个分类器的训练集中，同时更新第三个分类器，最后不断地迭代直到收敛或者未标注图像数据为空，在每次迭代过程中，每个分类器的训练集扩大了，并且由主动学习产生的图像数据从另一个角度补充了标注样本，从而进一步增加了分类器之间的差异性，训练结束后，采用“少数服从多数”的原则对三个分类器集成，获取最终的分类模型，最后利用训练好的分类器模型，输入待检测的实时图像数据进行识别，判断是正常或者异常图像数据，尽而得出电力设备的正常和异常情况。

收集了近3年的5种电力设备输电线电杆、输电线铁塔、绝缘子、变压器和断路器样本图像数据9600幅做实验，针对同一类型的电力设备样本图像数据，已标注数据集和未标注数据集的比例设置为1:9，对于每个数据集，30％作为测试数据，70％作为训练数据，采用了本发明中的基于深度学习的电力设备图像识别方法识别准确率达到了85.28％，识别准确率高，很好地利用大量的未标注数据，只需标注少量的样本数据，省时费力，经济成本低，与标注大量数据方法相比，同样条件下达到了对图像很好的识别准确率。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。