具有自学习能力的电力巡检图像目标检测方法与流程

本发明涉及图像识别技术领域，具体涉及具有自学习能力的电力巡检图像目标检测方法。

背景技术：

在计算机领域，基于机器学习和深度学习的图像目标检测技术是人工智能的一个重要部分。图像目标检测技术的研究目标是根据采集的图像，识别其中特定目标的位置及类别，做出有意义的判断。

在电力行业，利用图像目标检测技术进行输电线路和变电站等场所的异物入侵检测，正慢慢成为智能电网实现的重要手段之一。但在电力行业应用图像识别技术，存在着训练数据集(比如输电线路上挂有垃圾袋的图片)不足的情况，这将影响图像目标识别模型的准确率。将目标对象与现场背景融合是一种扩充样本的方式，但随机将目标对象与背景合成(如将吊车粘贴在天空中)会使图像识别性能下降。为提高图像目标检测的准确率，采用一种基于已有样本自动生成大量符合实际场景的图片的方法来扩充样本可能是更好的选择。

目前图像识别技术在电力行业的应用，以及深度学习、增量学习训练人工智能技术多有报道。申请号：201611106157.8，申请人：天津工业大学，发明名称《基于深度卷积神经网络的航拍绝缘子故障自动检测》公开了一种基于深度卷积神经网络的航拍绝缘子故障自动检测方法，该方法通过深度卷积神经网络对航拍绝缘子样本图像进行学习，记忆绝缘子的故障模式和正常模式，进而实现对绝缘子故障模式与正常模式的有效区分，能够在实际应用中扩充样本库，进而提高深度卷积神经网络对故障的识别能力。申请号：201910049826.x，申请人：上海交通大学，发明名称《基于学习自动机的深度神经网络增量式训练方法及系统》包括：原始样本集训练步骤：采用原始训练样本集对深度神经网络模型进行训练；增量样本集训练步骤：对前一次训练样本集进行类别扩充，采用扩充后的训练样本集对前一次训练好的深度神经网络模型进行增量式训练。

本发明针对上述现有技术，对电力场所异物侵入目标检测进行了改进。

技术实现要素：

本发明的目的是，提出一种利用神经网络contextcnn扩充样本，提高电力场所异物侵入目标识别准确率的具有自学习能力的目标识别方法。

为实现上述目的，本发明采取的技术方案是具有自学习能力的电力巡检图像目标检测方法，包括以下步骤：

s1、在采集的图片样本中选择含有目标对象的图片样本；

s2、基于含有目标对象的图片样本生成目标对象位置标注文件；

s3、将含有目标对象的图片样本、目标对象位置标注文件送入contextcnn；

s4、基于送入contextcnn的含有目标对象的图片样本、目标对象位置标注文件训练context模型；

s5、基于context模型对输入的背景图片、扩充的目标对象图片进行图像融合处理得到扩充的图片样本；

s6、基于扩充的图片样本生成对应的目标对象位置标注文件；

s7、将含有目标对象的图片样本、目标对象位置标注文件送入fasterr-cnn；

s8、基于送入fasterr-cnn的含有目标对象的图片样本、目标对象位置标注文件训练目标检测模型1；

s9、将扩充的图片样本及目标对象位置标注文件送入fasterr-cnn；

sa、基于送入fasterr-cnn的含有目标对象的图片样本、目标对象位置标注文件，和扩充的图片样本及目标对象位置标注文件训练目标检测模型2；

sb、将新采集的图片送入fasterr-cnn执行目标检测；

sc、fasterr-cnn基于目标检测模型1、和/或目标检测模型2输出采集的图片中是、否含有目标对象的检测结果。

优选地，步骤s3、s4、s5、s6，步骤s7、s8执行顺序可以对调，或者并行执行。

进一步优选技术方案，还包括以下步骤：

sd、累积一定数量目标对象检测结果为是的新采集的图片样本，跳转执行s1，和原来采集的图片样本一起作为训练样本微调context模型、目标检测模型1和目标检测模型2。

优选地，上述的一定数量目标对象检测结果为是的新采集的图片样本是30张图片。

进一步优选技术方案，上述步骤sc：所述fasterr-cnn分别基于目标检测模型1、目标检测模型2对同一组测试样本执行目标检测，比较两个目标检测模型的识别准确率，保留识别准确率更高的目标检测模型。

进一步优选技术方案，上述步骤s5具体包括以下步骤：

s51、contextcnn基于训练好的context模型判断扩充的目标对象图片在背景图片上的合适的粘贴位置；

s52、对扩充的目标对象图片进行图像预处理，包括图像增强、大小变换。旋转；

s53、扩充的目标对象图片在背景图片上进行图像融合处理，采用泊松融合，然后进行滤波、镜像操作，得到扩充的图片样本。

优选地，上述步骤s6：在图像融合处理的同时生成对应的目标对象位置标注文件。

优选地，上述采集的图片样本采集的是电力场所的图片，上述目标对象是电力场所侵入的异物，上述背景图片是电力场所的背景图片。

本发明有如下有益效果：1、将电力系统图像识别流程进行整合，实现了从样本扩充到目标检测的自动化，降低了使用门槛；2、利用神经网络contextcnn实现自动地、科学地扩充样本图片，利于快速生成大量符合实际场景的图像样本，克服电力行业应用图像识别技术存在的训练数据集不足的情况，提高图像识别的性能；3、不断利用新采集的图片样本微调模型，扩充图片样本，具备了在使用过程中自动提升识别性能的能力，具有自学习能力。

【附图说明】

图1是具有自学习能力的电力巡检图像目标检测方法步骤图。

图2是具有自学习能力的电力巡检图像目标检测方法图片样本扩充方法1流程图。

图3是具有自学习能力的电力巡检图像目标检测方法图片样本扩充方法2流程图。

图4是具有自学习能力的电力巡检图像目标检测方法实施例流程图。

【具体实施方式】

下面结合实施例并参照附图对本发明作进一步描述。

实施例1

本实施例实现具有自学习能力的电力巡检图像目标检测方法。

人工智能(artificialintelligence)，英文缩写为ai。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

卷积神经网络(convolutionalneuralnetworks,cnn)是一类包含卷积计算且具有深度结构的前馈神经网络(feedforwardneuralnetworks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representationlearning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification)，因此也被称为“平移不变人工神经网络(shift-invariantartificialneuralnetworks,siann)”。

contextcnn是一个基于卷积神经网络的场景建模算法，采用resnet50网络，训练时学习目标物周围的场景特征，用于判断某场景与目标物的匹配程度。

fasterr-cnn是一种专门用于目标图像识别的基于卷积神经网络的算法，主要由以下步骤组成：

1.对整张图片输进cnn，得到featuremap；

2.卷积特征输入到rpn，得到候选框的特征信息；

3.对候选框中提取出的特征，使用分类器判别是否属于一个特定类；

4.对于属于某一类别的候选框，用回归器进一步调整其位置。

图像融合(imagefusion)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。泊松融合是图像融合的一种算法，其核心算法有拉普拉斯算子滤波，泊松重建求解方程组：ax＝b等步骤。

附图1所述具有自学习能力的电力巡检图像目标检测方法步骤图，框图中的cnn，可以基于本地的服务器实现，也可以是基于云计算的服务实现，或者兼而有之；具体实现的程序是基于python语言的项目；可以选用商业的神经网络，例如alexnet、vggnet，以及上述神经网络的改进。

具有自学习能力的电力巡检图像目标检测方法，包括以下步骤：

s1、在采集的图片样本中选择含有目标对象的图片样本；

s2、基于含有目标对象的图片样本生成目标对象位置标注文件；

s3、将含有目标对象的图片样本、目标对象位置标注文件送入contextcnn；

s4、基于送入contextcnn的含有目标对象的图片样本、目标对象位置标注文件训练context模型；

s5、基于context模型对输入的背景图片、扩充的目标对象图片进行图像融合处理得到扩充的图片样本；

s6、基于扩充的图片样本生成对应的目标对象位置标注文件；

s7、将含有目标对象的图片样本、目标对象位置标注文件送入fasterr-cnn；

s8、基于送入fasterr-cnn的含有目标对象的图片样本、目标对象位置标注文件训练目标检测模型1；

s9、将扩充的图片样本及目标对象位置标注文件送入fasterr-cnn；

sa、基于送入fasterr-cnn的含有目标对象的图片样本、目标对象位置标注文件，和扩充的图片样本及目标对象位置标注文件训练目标检测模型2；

sb、将新采集的图片送入fasterr-cnn执行目标检测；

sc、fasterr-cnn基于目标检测模型1、和/或目标检测模型2输出采集的图片样本中是、否含有目标对象的检测结果。

上述方法将电力系统图像识别流程进行整合优化了fasterr-cnn目标检测模型，克服电力行业应用图像识别技术存在的训练数据集不足的情况，具备了在使用过程中自动提升识别性能的能力，降低了使用门槛。

优选地，步骤s3、s4、s5、s6，步骤s7、s8执行顺序可以对调，或者并行执行。以上改进可以根据实际的系统进行调整，步骤的调整不影响方法的效果及结果。

进一步优选技术方案，还包括以下步骤：

sd、累积一定数量目标对象检测结果为是的新采集的图片样本，跳转执行s1，和原来采集的图片样本一起作为训练样本微调context模型、目标检测模型1和目标检测模型2。

优选地，上述的一定数量目标对象检测结果为是的新采集的图片样本是30张图片。

不断利用新采集的图片样本微调模型，扩充图片样本，以不断提高图像目标检测方法的性能。增量样本的数量可以根据应用场景和实际使用环境进行调整。

进一步优选技术方案，上述步骤sc：所述fasterr-cnn分别基于目标检测模型1、目标检测模型2对同一组测试样本执行目标检测，比较两个目标检测模型的识别准确率，保留识别准确率更高的目标检测模型。以上技术方案使得目标检测准确率进一步提高。

附图2所述具有自学习能力的电力巡检图像目标检测方法图片样本扩充方法1流程图，进一步优选技术方案，上述步骤s5具体包括以下步骤：

s51、contextcnn基于训练好的context模型判断扩充的目标对象图片在背景图片上的合适的粘贴位置；

s52、对扩充的目标对象图片进行图像预处理，包括图像增强、大小变换、旋转；

s53、扩充的目标对象图片在背景图片上进行图像融合处理，采用泊松融合，然后进行滤波、镜像操作，得到扩充的图片样本。

利用神经网络contextcnn实现自动地、科学地扩充样本图片，提高图像识别的性能。

附图3所述具有自学习能力的电力巡检图像目标检测方法图片样本扩充方法2流程图，优选地，上述步骤s6：在图像融合处理的同时生成对应的目标对象位置标注文件。位置标注文件和扩充的图片样本同时产生提高效率。

优选地，上述采集的图片样本采集的是电力场所的图片，上述目标对象是电力场所侵入的异物，上述背景图片是电力场所的背景图片。

实施例2

本实施例实现具有自学习能力的电力巡检图像目标检测方法。

附图4所述具有自学习能力的电力巡检图像目标检测方法实施例流程图，本实施例在实施例1的基础上进行改进，或者说是实际的落地应用。

实现本实施例的系统包括摄像装置、fasterr-cnn算法、contextcnn神经网络、图像融合部分。

摄像装置包括无人机、手机、摄像头等。摄像装置采集的图片被标注处理后，用于fasterr-cnn训练目标检测模型，同时为提高目标检测的准确率，利用contextcnn神经网络训练context模型，基于此模型生成大量合成图片，作为扩充的样本，重新送入fasterr-cnn训练模型。应用时，摄像装置拍摄的图片通过网络传输至服务器端，进行异常目标检测，并将图片进行自动标注并作为新的样本微调两个模型。

contextcnn是一个卷积神经网络，采用resnet50网络，用于判断目标对象在背景图上的粘贴位置，生成匹配信息。所用识别模型需提前训练，训练所用样本即拍摄得到的真实图片。

图像融合基于contextcnn神经网络对目标对象粘贴位置的预测，将目标对象调整大小并与背景图片融合。图片融合采用泊松融合，并对目标对象进行旋转、图像增强、滤波等效果，以增加合成图片的多样性。

fasterr-cnn是一种经典的开源目标检测算法，将目标检测的四个基本步骤，即特征提取、候选区域生成、目标物分类、位置精修，统一到一个深度网络框架之内，利用训练好的模型，可以对图片进行目标对象检测、分类及位置标注。所用的识别模型需提前训练，训练样本即来自已有的真实图片和上述合成的图片。

按照附图4所示，本实施例具有自学习能力的电力巡检图像目标检测方法步骤如下：

首先获得摄像装置预拍摄的电力场景图，对其中的异常目标进行位置标注，并提取出异常目标的图片作为目标对象。将原图片及标注信息作为训练样本送入contextcnn网络进行训练，训练次数为10000，学习率0.0001。得到context模型后，基于此模型将背景图片与目标对象进行匹配。将匹配成功的目标对象调整大小、增强、旋转，与背景图片进行泊松融合，之后对图片进行高斯滤波，同时生成图片的目标位置标注文件。

将无人机预采集的图片作为训练样本，送入fasterr-cnn训练网络权重，训练次数70000次，学习率0.001。保存训练得到的模型，记为模型1。

将无人机预采集的图片加上上述合成图片作为训练样本，送入fasterr-cnn做同样的训练。保存训练得到的模型，记为模型2。

无人机拍摄巡检现场的图片传到服务器端，服务器端部署已训练完成的fasterr-cnn模型，分别用模型1和2对图片进行目标识别并标出目标物的位置，比较两个模型的识别准确率，保留识别准确率较高的模型。

新采集的含目标对象的图片数达到十张以后，和原来的图片一起作为训练样本微调context模型和目标检测模型，对所得到的所有模型的准确率进行比较，选择性能较好者。如此循环，不断利用新的图片微调模型，扩充样本，以提高图像目标检测方法的性能。

本领域普通技术人员可以理解，实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomacessmemory，ram)等。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。