基于深度学习的变压器巡检图像智能识别和故障检测系统的制作方法

本发明涉及数字图像识别技术领域，更具体地说，涉及一种基于深度学习的变压器巡检图像智能识别和故障检测系统。

背景技术：

变电设备巡检是保障变电站安全运行的一项重要制度。鉴于传统人工巡检存在的工作量大、作业危险度高、受巡检员的经验等主观因素影响大、手工记录难以保存等问题，越来越多的智能巡检系统在变电站中实际应用，有效地提高了设备巡检工作的效率，降低了运维人员的劳动强度和风险，为变电站无人值守提供强有力的技术支撑。巡检机器人、巡检无人机、视频在线监测系统产生了海量的可见光图像，提供了对变压器外观特征进行监控和分析的基础；但目前外观故障检测主要还是采取人工分析的方式，不但工作量大，而且易发生严重的检测误判或漏判情况，难以准确发现安全隐患。

目前图像识别技术已经在电力设备目标智能识别和故障检测领域开始应用，但现有的电力设备图像识别技术很多是在实验室环境下进行，具有很大局限性，主要表现在：

(1)不同角度、不同高度、不同距离拍摄的图片成像特征差异较大，传统图像识别方式能够利用的图片范围较窄；

(2)恶劣天气条件、光照与阴影、背景设施和景物的干扰，降低了图像的可识别性；

(3)关键部件在整个变压器图像中占比较小，故障信息提取效率低。

技术实现要素：

本发明要解决的技术问题在于，提供一种基于深度学习的变压器巡检图像智能识别和故障检测系统。

本发明解决其技术问题所采用的技术方案是：构造一种基于深度学习的变压器巡检图像智能识别和故障检测系统，包括依次位于存储层、建模层和应用层的图像存储和标定模块、深度学习模块以及故障检测模块；其中，所述图像存储和标定模块采用hdfs文件系统，所述hdfs文件系统从电网信息系统中获取海量巡检图片并进行分布式的存储，所述图像存储和标定模块采用labelme作为标定工具，将巡检图片中各个部件、正常状态下变压器图像中各个部件、故障状态下变压器图像中各个部件进行标定并分别形成部件特征集、正常状态特征集和故障状态特征集3种特征数据集；3种所述特征数据集传入深度学习模块，所述深度学习模块构建和训练卷积神经网络，得到训练结果；所述故障检测模块利用训练结果对待识别图集进行检测，先自动识别巡检图片中变压器各个部件，再对每个部件的故障状态进行判断，记录存在故障的巡检图片并生成故障识别结论。

在上述方案中，所述卷积神经网络包括依次相连的输入层、卷积层c1、下采样层s2、卷积层c3、下采样层s4、卷积层c5、f6层和输出层，每层都包含可训练参数并具有多个特征映射图，每个特征映射图具有多个神经元，每个特征映射图通过一种卷积滤波器提取输入的一种特征。卷积神经网络是人工神经网络的一种，它的权值共享网络结构使之更类似于生物神经网络，降低网络模型的复杂度，减少权值的数量。巡检图片可以直接作为卷积神经网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。在本发明中，卷积神经网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。

在上述方案中，所述labelme是图像标注工具，用于创建定制化标注方法或执行图像标注任务。labelme是麻省理工学院计算机科学和人工智能实验室用于辅助计算机视觉研究而对外开放的图像标注工具。

在上述方案中，所述hdfs文件系统包括一个命名节点和三个数据节点，所述命名节点用于管理文件系统的命名空间和客户端对文件的访问，所述数据节点用于管理其存储的巡检图片。hdfs文件系统是分布式计算中数据存储管理的基础，具有高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征，为海量数据提供不怕故障的存储，为超大数据集的应用处理带来很多便利。

实施本发明基于深度学习的变压器巡检图像智能识别和故障检测系统，具有以下有益效果：

1、本发明能够利用视觉分层理论对图像进行自动特征提取，从而达到目标分类的目的，省去大量的人工识别工作，并且在识别速度和准确度上都有很大的提升，提供了一种操作简单、自动分析、准确率高的巡检图像识别手段，有效地为变电站运维工作提供辅助决策的支撑。

2、本发明利用hdfs文件系统实现海量图像数据的存储管理，不需要购置大量硬件设施；利用开源图像标定软件实现图像标定，缩短了软件开发的周期；这些都减少了本发明的开发成本。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明基于深度学习的变压器巡检图像智能识别和故障检测系统的架构图。

图2是本发明中hdfs文件存储系统的工作原理示意图。

图3是本发明实施例中卷积神经网络的局部感受野理论示意图。

图4是本发明实施例中卷积神经网络的权值共享理论示意图。

图5是本发明实施例中实现卷积神经网络的建构流程图。

图6是实施例中基于深度学习的变压器巡检图像智能识别和故障检测系统的操作界面示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

如图1所示，本发明提供一种基于深度学习的变压器巡检图像智能识别和故障检测系统，包括依次位于存储层、建模层和应用层的图像存储和标定模块、深度学习模块以及故障检测模块。图像存储和标定模块位于存储层，采用4台电脑搭建hadoop集群，形成hdfs文件系统，hdfs文件系统从pms等电网信息系统中获取海量巡检图片并进行分布式的存储，这样提高海量图片的吞吐效率；图像存储和标定模块采用labelme作为标定工具，labelme是麻省理工学院计算机科学和人工智能实验室用于辅助计算机视觉研究而对外开放的图像标注工具，用于创建定制化标注方法或执行图像标注任务，labelme在本实施例中将巡检图片中各个部件、正常状态下变压器图像中各个部件、故障状态下变压器图像中各个部件进行标定并分别形成部件特征集、正常状态特征集和故障状态特征集3种特征数据集。3种特征数据集传入深度学习模块，深度学习模块构建和训练卷积神经网络，得到训练结果。在本实施例中，卷积神经网络是为识别二维形状而特殊设计的一个多层感知器，卷积神经网络包括依次相连的输入层、卷积层c1、下采样层s2、卷积层c3、下采样层s4、卷积层c5、f6层和输出层，每层都包含可训练参数并具有多个特征映射图，每个特征映射图具有多个神经元，每个特征映射图通过一种卷积滤波器提取输入的一种特征。这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。故障检测模块利用训练结果对待识别图集进行检测，先自动识别巡检图片中变压器各个部件，再对每个部件的故障状态进行判断，记录存在故障的巡检图片并生成故障识别结论。

本发明基于深度学习的变压器巡检图像智能识别和故障检测系统的工作流程包括以下步骤：

步骤1：从pms等电网信息系统中获取大量可见光的变压器巡检图片。由于原始图片数量众多，达到tb等级，考虑到硬件成本和吞吐效率等因素，采用hdfs文件系统来管理图片。

如图2所示，图像存储和标定模块使用4台linux系统的电脑，其中一台为图形工作站，它是一个命名节点(namenode)，作为master服务，负责管理文件系统的命名空间和客户端对文件的访问。另外三台为普通台式电脑，它们是数据节点(datanode)，作为slave服务，负责管理节点上它们拥有的存储。这4台电脑都需要安装有hadoop开发环境、建立ssh免密码登录并配置ip和主机名。在master节点上配置core-default.xml、hdfs-default.xml和mapred-default.xml三个配置文件，配置好集群中的各个节点，格式化hdfs，启动hadoop守护进程，hdfs文件系统搭建完成。

本实施例通过远程传输，将海量原始巡检图片保存到hdfs文件系统中，这为下面海量图像文件读写操作提供高速的存储支撑。

步骤2：图像存储和标定模块使用labelme软件对原始图片进行标注。标注方式可以自定义，标注信息可以编辑、标注结果和原始图片可以协同管理。

在正常状态下变压器图像中标定出全景、本体、套管、油枕四类部件图片。巡检图片要涵盖不同拍摄高度、角度、清晰度，尽可能模拟实际设备巡检中可能出现的各种场景。对于每个部件，随机选取1000张正常状态下的图片和1000张故障状态下的图片，这些故障包括但不限于渗油、裂纹、污秽、破损、搭建异物，分别构成正常状态特征集和故障状态特征集。同时，随机选取2000张部件的图片(不区分是否有故障)构成部件特征集。每个特征集按照8：2的比例随机分为训练集和测试集两组。特征集中图像的像素都为120×120dpi。

步骤3：首先进行全景、本体、套管、油枕四类部件的部件特征训练，再进行每个部件的状态特征训练。下面以部件特征训练为例，阐述卷积神经网络构建和训练的过程。

3.1卷积神经网络模型的构建

卷积网络的核心思想是：局部感受野、权值共享以及时间或空间亚采样，这三种结构思想结合起来获得了一定程度的位移、尺度、形变不变性。

局部感受野理论指出，图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局的信息了。这样，我们就可以减少连接的数目，也就是减少神经网络需要训练的权值参数的个数。如图3所示，对于一个1000×1000像素的图像，有1百万个隐层神经元，每个神经元连接10×10个像素，其全连接和局部连接生成的权值参数个数分别为1012个和108个，可以看出局部连接可以大大减少神经网络中权值参数的个数。

局部连接之后产生的权值参数的个数依然很多，使用权值共享理论进行进一步的压缩。权值共享理论指出，每个隐层神经元的一组权值连接参数实际上是一种特征滤波器，每个隐层神经元的同一种特征滤波器的权值连接参数是可以共享的。对于一幅图像，只要设置足够多的特征滤波器，就可以表达出图像的所有有效特征。如图4所示，假设每个神经元连接10×10个像素，设置100个特征滤波器，卷积图像后得到100个特征图，则每个神经元需要的参数仅为10000个。

基于以上理论和经验数据，如图5所示，除去输入层，本实施例构建的卷积神经网络包含7层；每层都包含可训练参数，即连接权重；同时，每层都有多个特征映射图，每个特征映射图有都多个神经元，每个神经元通过一种卷积滤波器提取输入的一种特征。

c1层是一个卷积层，其作用主要是增强原信号特征并降低噪音。c1层由8个特征图构成，特征图中每个神经元与输入中6×6的邻域相连，特征图的大小为48×48。这样，c1层共有298个参数和681984个连接。

s2层是一个下采样层，其作用是利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息。s2层有8个16×16的特征图。特征图中的每个单元与c1中相对应特征图的3×3邻域相连接。s2层每个单元的9个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过sigmoid函数计算。可训练系数和偏置控制着sigmoid函数的非线性程度。每个单元的3×3感受野并不重叠，因此s2中每个特征图的大小是c1中特征图大小的1/9(行和列各1/3)。s2层有40个可训练参数和20480个连接。

c3层也是一个卷积层，它同样通过6×6的卷积核去卷积层s2，得到的特征图只有10×10个神经元，但是它有16种不同的卷积核，所以就存在16个特征图。这里需要注意的一点是：c3中的每个特征图是连接到s2中的所有8个或者几个特征图的，表示本层的特征图是上一层提取到的特征图的不同组合。c3层有2756个可训练参数和275600个连接。

s4层是一个下采样层，由16个5×5大小的特征图构成。特征图中的每个单元与c3中相应特征图的2×2邻域相连接，跟c1和s2之间的连接一样。s4层有32个可训练参数和2000个连接。

c5层是一个卷积层，有120个特征图。每个单元与s4层的全部16个单元的5×5邻域相连。由于s4层特征图的大小也为5×5，故c5特征图的大小为1×1，这构成了s4和c5之间的全连接。c5层有48120个可训练连接。

f6层有64个单元，与c5层全相连。有7744个可训练参数。如同经典神经网络，f6层计算输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产生单元i的一个状态。

输出层由欧式径向基函数(euclideanradialbasisfunction)单元组成，每类一个单元，每个有64个输入。换句话说，每个输出erbf单元计算输入向量和参数向量之间的欧式距离。输入参数离参数向量越远，erbf输出就越大。一个erbf输出可以被理解为衡量输入模式和与erbf相关联类的一个模型的匹配程度的惩罚项。

3.2训练过程

卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入和输出之间的映射关系，而不需要任何输入和输出之间的精确数学表达式。用已知的模式对卷积神经网络加以训练，卷积神经网络就具有了输入输出对之间的映射能力。卷积神经网络执行的是有监督的导师训练，所以样本集是由形如(输入向量，理想输出向量)的向量对构成。卷积神经网络训练算法类似于bp算法，主要分为4步，这4步分为两个阶段：

阶段1：向前传播过程

1)从样本集中读取(x,y),将x输入网络；

2)计算相应的实际输出op。在此阶段，信息从输入层经过逐层变换，传送到输出层，输入与每层的权值矩阵点乘，得到输出结果：op＝fn(…(f2(f1(xpw(1))w(2))…)w(n))。

阶段2：向后传播阶段

3)计算实际输出和理想输出的差值；

4)按极小误差发反向传播调整权值矩阵。

3.3训练结果

训练得到一组权值，也就是说在这组权值下卷积神经网络可以最有效地提取图像特征用于分类识别。

步骤4：如图6所示，在故障检测模块中输入一组待识别的巡检图片，并加载步骤3中生成的训练结果，系统将自动识别图像中可能存在的变压器全景、本体、套管、油枕等部件的局部图像，判定其在巡检图片中的位置和范围；在识别提取部件图像、缩小状态特征需要的数据范围后，将检测部件局部图像的状态特征，生成其是否存在渗油、裂纹、污秽、破损、搭建异物等故障的结论。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。