基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统与流程

本发明属于模式识别
技术领域：
，具体涉及一种基于多层卷积神经网络的架空输电线路设备图像缺陷检测方法及系统。
背景技术：
：高压输电线路是电力传输的主要途径，对输电线路定期巡检，及时发现和消除缺陷和隐患，预防重大事故，对电力系统有重要意义。输电线路巡检机器人能够集成最新的机电一体化、数据可视化和识别智能化技术，采用自主或遥控方式，部分替代人接近架空输电线路设备进行可见光或红外等检测，对巡检数据进行对比和趋势分析，及时发现电网运行的事故隐患和故障先兆，如：异物、损伤、发热和结冰等，从而代替人工巡检。而计算机视觉作为巡检机器人自主导航与场景分析的常用方法之一，能够提供丰富、准确的环境信息，且设备价格低廉，易于安装使用，因此，基于视觉的缺陷检测一直是巡检机器人视觉导航系统问题研究的热点。传统的输电线路巡检系统所集成的视觉缺陷检测方法主要是先通过结构化的线上环境提取线上设备几何基元信息(如直线、圆、椭圆等)，再进行假设检验以便进行进一步分类识别，最终获得可靠的设备类型信息与设备状态。此类方法的优势在于计算复杂度低，实时性较好，并在国内外现场都取得了广泛的应用。但基于结构特征与存在概率基元信息的分类与识别算法相对简单，且受野外作业环境中光照、尺度及部分遮挡等因素的影响较大，这都会对图像信息的进一步理解、分析与深加工带来较大的困难。虽然高性能的特征算子(如梯度直方图hog等)能够提升识别准确度，但都存在计算量大、速度慢的问题，从而成为了在线识别的瓶颈。综上所述，传统算法面对高清晰度、海量的在线视频文件的低下效率迫切要求高效的面对大规模数据的自动化数据处理技术。为了加速特征提取和分类，采用基于gpu的并行处理框架(如cuda等)和大规模多层神经网络结构(如深度学习)的分类器能够在准确率不降低的情况下实现识别速度的提高，因此成为了近年来研究的热门方向。目前基于深度学习的方法在非电力专业的自然图像识别中虽然已有一定的应用，但未见对电力设备图像分类的应用。需要指出的是，不同于传统自然图像检测，巡检机器人的工作环境恶劣，线上障碍物千差万别，尺度变化极大，光照影响非常明显。尤其是受到一义多图、一图多物、一物多态、异物相似等多重因素的影响，输电线路上的可靠的图像特征提取技术仍存在许多悬而未决的问题，距实际应用仍有很大差距。在现有的一些基于深度学习的处理平台中，在处理类似于电力设备的大规模图像数据时存在明显局限：即当在一段时间内连续输入相同类型的训练数据时，训练模型将失效。现有技术公开了基于深度学习的电力图像分类方法，然而该方法只能在图像尺寸固定(32*32)的情况下进行识别，对于千差万别的高清在线图像数据处理而言，该方法的精度将急剧恶化，同时计算量大幅上升。除此之外，基于计算机视觉的缺陷检测的另外一个难点在于定位出待检测目标之后，如何针对具体目标进行特征选择、描述及匹配的有效性(即是否能够检测出来有没有缺陷)和鲁棒性(即是否稳定)。现有利用图像特征匹配的方法，一般都需要在帧内阶段(检测阶段)来准确提取缺陷，再进行人工缺陷特征匹配(如局部位置特征信息、几何特征信息和光照、对比度特征信息等)。这种方法具有先天不足的特点：在线上作业中，机器人往往面对阳光直射或遭遇野外、市区等复杂背景干扰，导致采集到的图像出现运动模糊、低对比度、缺陷形态多样等问题，导致缺陷提取的准确性无法得到保证；此外，人工特征的有效描述和人工特征的准确选取往往非常困难，需要启发式方法和非常专业的知识，很大程度上也靠个人经验，并且要求特征具有对旋转、缩放和平移的不变性，所以上述基于人工特征的缺陷检测方法对于线上巡检作业的效果较差。技术实现要素：本发明的目的就是为了解决上述问题，提出了一种基于多层卷积神经网络的架空输电线路设备图像缺陷检测方法及系统，能在极大降低处理数据量的同时，自动抽取能真正表征物体的有用的本质特征信息(破损状态与正常状态)。它可进行在线学习、并能够处理任意尺寸的输入数据，具有训练的收敛速度较快并有极高的准确率，并可同时进行图像分类与定位、缺陷检测等多类实时任务，并可通过使用gpu加快学习网络的处理速度优点。为了实现上述目的，本发明采用如下技术方案：本发明公开了一种基于多层卷积神经网络的输电线路设备图像缺陷检测方法，包括：步骤1:对原始训练集图像进行模块化预处理，包括：形态学模块化处理、几何视角模块化处理和光照补偿模块化处理；步骤2:将模块化预处理后的图像送入多层卷积神经网络模型进行训练，经过信息融合和分类，得到输入图像的识别结果；步骤3:对于模块化预处理后的图像，分别选择不同的训练集大小和训练参数，重复步骤2进行多次实验，并将分类准确率和效率进行对比分析，选出最优的训练参数并保存；步骤4:对步骤2所得到的输入图像的识别结果，通过基于环境结构和先验知识所构成的判别器进行过滤，更正误检与漏检信息，得到最终的图像缺陷检测结果。进一步地，所述步骤1中，形态学模块化处理包括：进行随机的形变、剪切、白化、直方图均衡、颜色干扰、提高对比度操作，获得与实际运行环境相符合的训练数据库；所述随机的形变、剪切具体为：将每一张图片调整到短边为256，长边的大小通过保持长宽比而得；然后从中间裁剪出一个256×256的图像；在该图像上再裁剪出来大小为224×224的子图作为该数据层的输出；在网络训练的阶段，子图裁剪的位置从256×256的图像上随机选择，只需要满足裁剪后的子图完全落在图像中即可。进一步地，所述步骤1中，几何视角模块化处理包括：对原始训练集图像进行镜像干扰和旋转干扰。进一步地，所述步骤1中，光照补偿模块化处理包括:使用retinex算子对检测后的图像进行图像动态增强：使用retinex光照补偿方法，分别对中间和四周的局部区域进行高斯平滑函数估计亮度分布来压缩图像光照动态范围，得到补偿后的图像。进一步地，光照补偿模块化处理方法具体为：设亮度图像为l(x，y)，反射图像为r(x，y)，原图像为i(x，y)，并记g(x，y)代表高斯卷积函数，则有：转换至对数域中有：logr＝log(i/l)＝logi-logl＝logi-log(i*g)。r、i、l、g分别代表转换为对数域后的反射图像、原图像、亮度图像和高斯卷积函数。进一步地，所述步骤2中，多层卷积神经网络模型包括：输入层、卷积层、全连接层和输出层；将经过预处理的图像送入卷积神经网络的卷积层进行卷积；进行降采样/池化：将pooling窗口中的所有值组合，以最大值作为采样值；全连接层的投影矩阵以及阈值通过随机梯度下降的方式更新优化；输出层即分类器，由欧式径向基函数单元组成，每个输出rbf单元计算输入向量x和参数向量c之间的欧式距离，取欧式距离最大值作为最终输出结果。进一步地，输出层使用softmax误差函数作为代价函数：其中，i为输出层节点，m为输出层节点的个数，即最终的分类类别数目；k是训练样本的正确结果，y＝k是网络训练的输出结果；xn是特征向量、p(y＝k)表示待检测图片的识别结果y是否符合正确结果k的概率。进一步地，原始数据输入经过前向传播传到最后一层，再从最后一层开始逐层的根据各层的反向传播推导得到各层参数需要调整权值的量；整个网络的权值更新采用成熟的随机梯度下降法实现。进一步地，所述步骤4中，基于环境结构和先验知识所构成的判别器具体为：对采集到的图像进行分割和特征提取，并把图像中每一区域的特征值输入到已训练好的多层卷积神经网络中进行识别，以确定该区域是待检测目标还是背景；进行图像分割，在得到分割出来的待检测目标之后，对其进行边缘轮廓提取；通过先验知识对轮廓区域提取亮度值进行模式匹配，对待检测目标进行是否存在破损缺陷的判定。本发明还公开了一种基于多层卷积神经网络的输电线路设备图像缺陷检测系统，包括：图像预处理模块，用于对原始训练集图像进行模块化预处理，包括：形态学模块化处理单元、几何视角模块化处理单元和光照补偿模块化处理单元；多层卷积神经网络模型分类器，用于对预处理后的图像进行分类，包括：输入层、卷积层、全连接层和输出层；判别器，用于对检测网络所出现的误检与漏检问题进行过滤和更正。本发明有益效果：1.本方法运用多层神经网络实现针对电网大数据中的图像等非结构化数据的分类与检测。其原理实质是通过构建具有多层隐藏层的机器学习模型，从大量的数据中学习有价值的表现型特征，从而提升分类或者预测的准确性。该方法强调模型结构的逐级强化特性，突出了特征学习的重要性，通过逐层的特征变化将样本在原空间的特征表示变换到一个新特征空间，从而使分类或缺陷预测所需要的特征更加突出方便识别。相比于传统的浅层机器学习与计算机视觉方法，该方法的分类准确度更高，速度更快，达到相同准确率所需训练样本容量更小。2.通过使用改进型的retinex算子对图像局部区域进行高斯平滑函数估计亮度分布来进行图像增强，使得经过预处理的图像纹理突出，特征信息更加丰富。3.图像增强和图像形变、剪切、白化、直方图均衡、颜色干扰、提高对比度等数字图像处理形态学操作能够能有效提升训练集的尺度(尤其是在数据集不大的情况下)。同时也有效地覆盖了在实际应用中的若干极端情况。4.光照补偿和颜色干扰相结合的手段能够令图像在整体光照不均的情况下压缩图像动态范围，增强图像暗处信息。使得细节信息更具辨识度，即局部特征信息敏感。同时所有操作依然保持了图像的整体拓扑性不变，即全局特征信息不敏感(更加鲁棒)。相对于传统算法而言，能在不降低训练速度的同时提升了识别效果。5.首次提出的通过基于环境结构和先验知识所构成的判别器能够过滤、更正误检与漏检信息。该判别器模块基于先验知识和周边环境信息，无需训练学习，因此能够在在不增加额外计算量的基础上降低检测算法的误检率。得到的最终输出较传统方法而言更加准确。6.模块化的图像预处理框架使得训练与测试弹性化。即便有错分样本或者以后有新的分类需要加入，也很容易调整网络模型，重新训练然后重新部署。7.多层卷机神经网络的在线学习机制使得能够在已有数据集上追加新数据，还可以考虑到变化因素或者其他在模型部署环境下可能发生的问题，以面向对象的方式扩充数据。使得数据集能够进行自适应扩展。8.从应用层面而言，传统的图像分类，图像检测和图像分割目前是被独立进行处理的。本算法所提取到的特征能够实现在一个通用的框架下对三类问题的融合，极大的提升了线上视觉巡检系统的工作效率。附图说明图1为本发明方法整体流程示意图；图2为光照补偿模块工作示意图；图3为本发明多层卷积神经网络模型示意图；图4为降采样层示意图；图5为分类器可视化训练示意图。具体实施方式下面结合附图与具体实施方式对本发明作进一步的说明。本发明公开了一种基于多层卷积神经网络的输电线路设备图像缺陷检测方法，如图1所示，包括以下步骤：步骤1:对原始训练集图像模块化预处理。包括形态学模块化处理、几何视角模块化处理、光照补偿模块化处理。其中，形态学模块化处理，包括进行随机的形变、剪切、白化、直方图均衡、颜色干扰、提高对比度等操作。从而获得与实际运行环境相符合的训练数据库。首先将每一张图片调整到短边为256，长边的大小通过保持长宽比而得。然后从中间裁剪出一个256×256的图像。在该图像上再裁剪出来大小为224×224的子图作为该数据层的输出。在网络训练的阶段，裁剪的位置从256×256的图像上随机选择，只需要满足裁剪后的子图完全落在图像中即可。通过随机的方式，是因为相当于增加了额外的数据，能够缓解过拟合的问题。对于每一个像素做包括减去均值以及等比例缩放像素值使得像素值的分部基本在[-1,1]之间的操作。对于裁剪之后的原图，也会对图像进行归一化，相当于图像增强。对于每一个像素，随机选择rgb三个通道中的一个，然后在原像素值的基础上，随机添加一个从[-20,20]之间的数值。几何视角模块化处理，包括对原始训练集图像进行镜像干扰和旋转干扰；镜像干扰为在进行测试的时候，每一张256×256的图像中，裁剪10个子图:首先从中间裁剪一个，四个角落分别裁剪一个，然后对于这五张子图分别做横向的镜像，从而得到10张子图。光照补偿模块化处理，包括使用retinex算子对检测后的图像进行图像动态增强。光照补偿模块针对图像采集过程中因环境光照不佳或物体表面采光不均等原因造成的图像光照不均问题，使用retinex光照补偿方法，分别对中间和四周的局部区域进行高斯平滑函数估计亮度分布来压缩图像光照动态范围，得到补偿后的图像。如图2所示，设亮度图像为l(x，y)，反射图像为r(x，y)，原图像为i(x，y)，并记g(x，y)代表高斯卷积函数，则有转换至对数域中可有logr＝log(i/l)＝logi-logl＝logi-log(i*g)；r、i、l、g分别代表转换为对数域后的反射图像、原图像、亮度图像和高斯卷积函数。步骤2:将预处理后的图像送入多层卷积神经网络模型进行训练，通过信息融合，得到期望输出；多层卷积神经网络模型如图3所示，包括：输入层、卷积层、全连接层和输出层；具体过程如下：将经过预处理的图像送入卷积神经网络的卷积层进行卷积：其中f[x]为原始图像，g[x]为卷积核函数。f[x,y]和g[x,y]表示在二维尺度上对图像进行卷积操作。为了降低网络训练参数及模型的过拟合程度。需要在特征组合之后进行降采样(即池化)。池化/降采样的方式采用最大值池化:将池化窗口中的所有值组合，以最大值作为采样值。如图4所示。2*2的降采样窗口的池化结果为8，8，5，1。全连接层即通过投影矩阵以及阈值(该层的参数)通过随机梯度下降的方式更新优化。在输入为x输出为y的情况下。全连接层为：y＝wx+b其中w为参数矩阵，x是输入，b是偏置，y是最终输出。最终的输出层(即分类器)由欧式径向基函数单元组成(如下式所示)，每类自成一个单元。每个输出的rbf单元计算输入向量x和参数向量c之间的欧式距离。输入离参数向量越远，rbf输出的越大。取最大值作为最终输出结果。其中w为参数，h是rbf欧式距离的径向基函数单元。c是参数向量，r是径向半径。在层之间的数据前向传递的信息流形式为：xn＝fn(...(f2(f1(x0，w1)，w2)...)，wn)；其中f(.)为激活函数表达式。通过relu非线性激活函数f(x)＝max(0,x)，得到：分类器的输出层使用softmax误差函数作为代价函数：以上公式描述了样本n的训练误差，其中m为输出层节点的个数(通常就是最终的分类类别数目)，k是训练样本的正确结果，y＝k是网络训练的输出结果。图5为分类器可视化训练示意图，左边为实时的训练状态。其中accuracy为训练集精度，loss(train)为训练集损失函数(理论上应单调下降)，loss(val)为测试数据集损失函数。右边可以看出系统的硬件工作状态。本系统运行在笔记本计算机上，因此可以看出使用的显卡型号为geforcegtx960m，当前使用了1.6gb显存。原始数据输入经过前向传播传到最后一层，再从最后一层开始逐层的根据各层的反向传播推导得到各层参数需要调整权值的量。整个网络的权值更新采用的是随机梯度下降法(stochasticgradientdescent，sgd)和冲量(momentum)公式如下：ωi+1＝ωi+νi+1其中i表示的权值更新的第i次迭代，0.9是冲量单元的参数，冲量单元有助于在训练的过程中逃离局部最小值，0.0005是权值衰减参数，权值衰减是为了给误差函数添加一个惩罚项，主要是为了避免过拟合，α是权值的学习速率。当数据量比较多的时候，计算梯度的复杂度太高。因此随机梯度下降的做法是每次从所有的样本中随机选择一个样本。为了更好的利用计算资源，小批量随机梯度从所有的数据中随机选择少量的样本。在实际应用中，一种常见的做法是，首先随机排序所有的点，然后依次选择固定个数的点估计梯度。扫描一遍所有的数据之后，在重新按照原来的顺序进行选择。步骤3:对所得到的图像集，选择不同的训练集大小和训练参数在gpu上进行多次实验，并将分类准确率和效率进行对比分析，选出最优的训练参数(模型调优)，以获得最佳训练效果。算法参数设置的目的在于调优，使得网络能够对当前的数据集进行优化处理。这需要设计好需要优化的对象，以及用于学习的训练网络和用于评估的测试网络。再通过前馈和反馈bp迭代的进行优化来更新参数。再定期的评价测试网络，同时在优化和训练过程中显示模型和算法的状态。其中，每一步迭代的过程都是通过前馈计算网络的输出和损失函数loss，再通过bp算法计算网络的梯度。再根据梯度下降算法，利用梯度来对参数进行更新。最后根据实时的输出来更新当前模型的状态。步骤4:对所得到的检测网络(detector)的输出，通过基于环境结构和先验知识所构成的判别器(discriminator)进行过滤，更正误检与漏检信息，得到最终输出。具体过程为：对采集到的图像进行分割和特征提取，并把图像中每一区域的特征值输入到已训练好的多层卷积神经网络中进行识别，以确定该区域是待检测目标还是背景；进行图像分割，在得到分割出来的待检测目标之后，对其进行边缘轮廓提取；通过先验知识对轮廓区域提取亮度值进行模式匹配，对待检测目标进行是否存在破损缺陷的判定；同时，因为虚假信息的轮廓和标准目标的模式无法准确匹配，因此对轮廓区域的模式匹配也能够进行误检过滤。常见的缺陷检测系统因为手工特征选取的缘故不具备普适性与鲁棒性，因此在复杂多变的野外环境中会导致识别率大幅下降，同时误检率极大程度地上升。这主要是由于以下几个原因引起的：首先，对相互靠的很近的物体，还有很小的群体比如线上的鸟群或密集人群，计算机视觉检测效果总是不理想。这对于线上缺乏纹理特征而又自身属于密集型的绝缘子串来说影响很大。因为绝缘子串的瓷片彼此紧密相挨，加之自身缺乏纹理特征；其次，算法的自身定位误差是影响检测效果的重要原因。尤其是不同尺寸物体的处理上(如同一种类物体的不同尺寸检测或一大一小两类物体检测，小物体容易丢失)。这是因为通过降采样之后丢失了大量的目标图像尺度信息。在4000*3000的图片中320*240的物体缩放到224*224之后信息丢失不至于太多，而只有几十个像素的小物体缩放之后只有几个像素。算法无法对此进行有效检测。因此检测框出现的类属往往是随机的或直接丢失。针对此，安排了基于结构信息的判别器模块。该判别器模块基于先验知识和周边环境信息，无需训练学习，因此能够在在不增加额外计算量的基础上降低检测算法的误检率。工作原理如下：一旦在图像中找到待检测目标，就可根据特征区域的质心坐标和区域包围盒矩形的宽、高。进而将待检测目标从原图像中分割出来。定义参数组[u，v，width，height]为待检测目标的几何参数。其中，u,v是中心坐标参数。width和height是宽高参数。u＝centroid_u-0.5×heightv＝centroid_v-0.5×widthwidth＝boundingbox_width×coe_vheight＝boundingbox_height×coe_u其中，r为待检测目标区域；boundingbox_width和boundingbox_height分别是待检测目标特征区域包围盒矩形的宽、高；centroid_u和centroid_v分别是待检测目标特征区域质心的行、列坐标；coe_u和coe_v是根据待检测目标几何结构确定的比例系数，以绝缘子为例，coe_u和coe_v分别取4.6和1.65。在得到分割出来的待检测目标之后，对其进行边缘轮廓提取。通过先验知识知道线上电气设备均有对称性结构，因此完好的电气设备的边缘轮廓在不同视角的摄像机视平面上投影都将呈现规律的空间排列。对破损的线上电器设备而言，其边缘轮廓规则的规律性空间排列遭到几何性破坏，投影会出现缺口，因此无法得到完整且平滑的轮廓曲线。通过对轮廓区域提取亮度值进行模式匹配，可以对待检测目标进行是否存在破损缺陷的判定。同时，因为虚假信息的轮廓和标准目标的模式无法准确匹配，因此对轮廓区域的模式匹配也能够进行误检过滤。步骤5:将优化好的的网络整体部署到任何支持gpu并行计算的机器人本体上。为了检验本方法的可靠性和分类效率，本项目专门收集了约50000张图片作为输入数据图像集，共分为绝缘子、耐张线夹、防震锤、杆塔等4类。其中，针对绝缘子串的缺陷检测，专门设计了有缺陷的绝缘子串数据集和正常绝缘子串数据集。表1给出了本发明方法测试精度。表1测试精度迭代参数处理速度(cpu)处理速度(gpu)训练精度测试精度2000次5.5张/秒33.8张/秒100％81％4000次5.1张/秒33.5张/秒100％87％6000次4.7张/秒33.6张/秒100％83％8000次3.8张/秒33.6张/秒100％86％采用多层卷积神经网络模型进行分类的效果如表2所示，表2由表1和表2可以看出，本发明方法测试精度均在80％以上，分类准确率在95％以上，极大地提升了分类和预测的准确性，完全能够实现本发明的准确分类的目的。本发明首次实现了统一机器学习架构下的图像目标识别、检测、故障诊断与分类，从而极大的提升了工作效率。同时，本发明比传统手工提取的特征方法技术有着明显的优势，训练的收敛速度较快并有较高的准确率。上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。当前第1页12