基于改进全卷积神经网络的输电线路绝缘子状态识别方法与流程

本发明属于深度学习图像处理领域和电力缺陷识别领域，特别涉及一种基于改进全卷积神经网络的输电线路绝缘子状态识别方法。

背景技术：

高压输电线路中的绝缘子是输电线路中非常重要的部件，但是绝缘子长年暴露在野外，要遭受风雪雨雾以及人为因素的损害，是故障多发器件，如果绝缘子出现故障隐患，将极大地威胁高压电网的安全，且有可能造成难以估量的损失。然而，绝大部分输电线路都处于交通死区，无人区，导致巡视难度大、巡线周期长。随着高压输电线路的规模日益增大，人工巡线还会受到天气、地势等因素的影响，巡视绝缘子故障的任务日益繁重。

传统的输电线路绝缘子状态识别都采用传统的模式识别方法，首先将色调、色饱和度、亮度颜色空间等作为特征运用最大类间方差法分割图像，获取绝缘子前景连通区域；之后，结合直方图等统计特性来判断绝缘子的状态。该方法的缺点很多，首先，颜色空间容易受到光照的影响；其次，最大类间方差法需要手动设定阈值，但是输电线路背景复杂，阈值分割方法无法顺利地将绝缘子从背景中分割出来。

2012年起，深度学习引起了人们的广泛关注，并在图像识别与检测中取得了良好的识别效果。本发明研究了深度学习在输电线路绝缘子状态识别的应用。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种通过对标记好的绝缘子图片进行训练和参数调优，可以有效的对输电线路绝缘子状态进行识别，判断绝缘子是否存在爆裂，大幅提高巡线效率，降低巡线难度的基于改进全卷积神经网络的输电线路绝缘子状态识别方法。

本发明的目的是通过以下技术方案来实现的：基于改进全卷积神经网络的输电线路绝缘子状态识别方法，包括以下步骤：

s1、通过无人机采集输电线路绝缘子图片，并对采集到的图片进行预处理，将图片调成相同大小；

s2、通过目标检测网络fasterr-cnn对图片进行分类回归和位置回归，得到绝缘子存在于图片上的像素位置和其置信度；然后将得到的绝缘子像素位置进行裁剪，截取出单独的绝缘子图片；

s3、将绝缘子图片通过全卷积神经网络做语义分割，对图片进行像素级的分类，从背景中提取出绝缘子；

s4、通过全连接条件随机场对s3得到的语义分割结果进行精细化分割，增强边缘约束；

s5、运用形态学操作方法滤除图像中的噪点；

s6、通过深度学习分类网络对绝缘子分类，判断绝缘子状态。

进一步地，所述步骤s1中进行预处理后得到的图片的分辨率为3936*2624。

进一步地，所述步骤s2包括以下子步骤：

s21、将图片归一化到224*224大小；

s22、卷基层特征提取：通过16个卷积层，5次下采样，得到512个大小为14*14的特征图；然后对每一个特征图进行如下处理：通过3*3大小的卷积核在特征图上滑动，设置一种锚定(anchor)机制，即分别以每一个卷积核中心当成一个基准点，然后围绕这个基准点选取3个不同面积大小和3种不同尺寸比例，生成9个候选区域；

s23、去掉候选区域映射到原图中超出原图边界的候选框；

s24、对得到的候选区域映射到特征图上进行感兴趣区域采样，得到一个512维的特征向量，分别对512维特征向量进行分类回归和位置回归，结合步骤s1生成的原始图片大小进行计算，得到绝缘子存在于图片上的像素位置和其置信程度；

s25、对得到的绝缘子像素位置进行裁剪，截取出单独的绝缘子串。

进一步地，所述步骤s3包括以下子步骤：

s31、通过15个卷积层，5次下采样，分别获得原图和大小的特征图；

s32、对原图大小的特征图上采样放大2倍，然后和原图大小的特征图进行累加；

s33、将s32累加得到的特征图上采样放大2倍，然后和原图大小的特征图进行累加；

s34、对s33累加得到的特征图上采样放大8倍，最终然后将得到的特征图还原到输入图像大小；

s35、对s34得到的图片中的每个像素通过分类层进行像素预测，输出预测结果，得到每个像素点的标签值。

进一步地，所述步骤s4包括以下子步骤：

s41、根据步骤s35输出的预测结果，计算一元能量项：

其中，表示一元能量项，xi表示在像素i处的标签值，p(xi)表示在像素i处标签的概率；

s42、计算二元能量项：

其中，表示二元能量项；当i≠j时，μ(xi,xj)＝1，否则μ(xi,xj)＝0；也就是说当标签不同时，才有惩罚；σα、σβ、σγ为高斯核函数的宽度参数，用于控制函数的径向作用范围；pi、pj分别表示像素i、j的位置坐标；ii、ij分别表示像素i、j的rgb值；ω1、ω2为线性权重；

s43、全连接的条件随机场模型中，标签x的能量表示为：

s44、通过最小化能量，找到最有可能的分割，得到语义分割精修结果。

进一步地，所述步骤s5包括以下子步骤：

s51、对图像灰度化、二值化；

s52、对图像进行边缘检测；

s53、采用霍夫变换椭圆识别方法检测图像中的绝缘子，将图像中的噪点滤除。

进一步地，所述步骤s6包括以下子步骤：

s61、将步骤s5得到的去噪后的图片输入分类网络，将图片归一化为224*224的大小；

s62、通过卷积层、激活函数和下采样层，输出1*1的特征图；

s63、通过分类层对特征图进行分类，输出分类概率，判断绝缘子状态。

本发明的有益效果是：本发明提出用改进的全连接神经网络加分类网络的方法对绝缘子状态进行识别，设计了一个基于深度神经网络的绝缘子爆裂检测系统。首先，用无人机采集输电线路绝缘子图片；然后采用全卷积神经网络对绝缘子进行目标提取，并用全连接条件随机场精修提取结果，精细化边缘；再采用形态学操作方法将图片中的噪点滤除；最后设计分类网路，判断绝缘子的状态，完好还是爆裂。本发明采用改进的全卷积神经网络、形态学去噪和分类网络相结合的方式，通过对标记好的绝缘子图片进行训练和参数调优，可以有效的对输电线路绝缘子状态进行识别，判断绝缘子是否存在爆裂。避免了传统绝缘子状态识别中人为设定阈值的主观影响和人为提取特征的随机性，能够大幅提高巡线效率，降低巡线难度。

附图说明

图1为本发明的输电线路绝缘子状态识别方法的流程图；

图2为本发明实施例通过无人机采集到的绝缘子图片；

图3为本发明实施例去噪后得到的绝缘子图像；

图4为本发明实施例测试准确率曲线图。

具体实施方式

下面结合附图和具体实施例进一步说明本发明的技术方案。

如图1所示，基于改进全卷积神经网络的输电线路绝缘子状态识别方法，包括以下步骤：

s1、通过无人机采集输电线路绝缘子图片，并对采集到的图片进行预处理，将图片调成相同大小，预处理后得到的图片的分辨率为3936*2624；

s2、通过目标检测网络fasterr-cnn对图片进行分类回归和位置回归，得到绝缘子存在于图片上的像素位置和其置信度；然后将得到的绝缘子像素位置进行裁剪，截取出单独的绝缘子图片；包括以下子步骤：

s21、将图片归一化到224*224大小，并调用gpu加速计算；

s22、卷基层特征提取：通过16个卷积层，5次下采样，得到512个大小为14*14的特征图；然后对每一个特征图进行如下处理：通过3*3大小的卷积核在特征图上滑动，设置一种锚定(anchor)机制，即分别以每一个卷积核中心当成一个基准点，然后围绕这个基准点选取3个不同面积大小(128、256、512，对应到特征图分别为3、6、12)和3种不同尺寸比例(1:1、1:2和2:1)，生成9个候选区域；

s23、去掉候选区域映射到原图中超出原图边界的候选框；

s24、对得到的候选区域映射到特征图上进行感兴趣区域采样，得到一个512维的特征向量，分别对512维特征向量进行分类回归和位置回归，结合步骤s1生成的原始图片大小进行计算，得到绝缘子存在于图片上的像素位置和其置信程度；

s25、对得到的绝缘子像素位置进行裁剪，截取出单独的绝缘子串。

s3、将绝缘子图片通过全卷积神经网络做语义分割，对图片进行像素级的分类，从背景中提取出绝缘子；包括以下子步骤：

s31、通过15个卷积层，5次下采样，分别获得原图和大小的特征图；

s32、对原图大小的特征图上采样放大2倍，然后和原图大小的特征图进行累加；

s33、将s32累加得到的特征图上采样放大2倍，然后和原图大小的特征图进行累加；

s34、对s33累加得到的特征图上采样放大8倍，最终然后将得到的特征图还原到输入图像大小；

s35、对s34得到的图片中的每个像素通过分类层进行像素预测，输出预测结果，得到每个像素点的标签值。

s4、通过全连接条件随机场对s3得到的语义分割结果进行精细化分割，增强边缘约束；包括以下子步骤：

s41、根据步骤s35输出的预测结果，计算一元能量项：

其中，表示一元能量项，xi表示在像素i处的标签值，p(xi)表示在像素i处标签的概率；

s42、计算二元能量项：

其中，表示二元能量项；当i≠j时，μ(xi,xj)＝1，否则μ(xi,xj)＝0；也就是说当标签不同时，才有惩罚；剩余表达式是在不同特征空间的两个高斯核函数，第一个基于双边高斯函数基于像素位置p和rgb值i，强制相似rgb和位置的像素分在相似的label中，第二个只考虑像素位置，等于施加一个平滑项；σα、σβ、σγ为高斯核函数的宽度参数，用于控制函数的径向作用范围；pi、pj分别表示像素i、j的位置坐标；ii、ij分别表示像素i、j的rgb值；ω1、ω2为线性权重；

s43、全连接的条件随机场模型中，标签x的能量表示为：

s44、通过最小化能量，找到最有可能的分割，得到语义分割精修结果。

s5、运用形态学操作方法滤除图像中的噪点；包括以下子步骤：

s51、对图像灰度化、二值化；

s52、对图像进行边缘检测；

s53、采用霍夫变换椭圆识别方法检测图像中的绝缘子，将图像中的噪点滤除。

s6、通过深度学习分类网络对绝缘子分类，判断绝缘子状态；包括以下子步骤：

s61、将步骤s5得到的去噪后的图片输入分类网络，将图片归一化为224*224的大小；

s62、通过卷积层、激活函数和下采样层，输出1*1的特征图；

s63、通过分类层对特征图进行分类，输出分类概率，判断绝缘子状态。

下面通过具体实施例进一步说明本发明的技术方案。

本实施例采集到的输电线路绝缘子图片共计3980张，图片像素大小为3936*2624。随机选取2900张作为fasterr-cnn目标检测训练样本；截取像素大小为500*500的绝缘子图片450张制作语义分割的样本；设计基于深度卷积网络vgg16-net的目标检测模型fasterr-cnn，用选取的2900张图片作为训练样本训练模型，共计迭代60000次；设计基于全卷积神经网络的语义分割模型fcn-8s，共计迭代40000次，得到语义分割模型；设计基于深度卷积网络的分类模型googlenet，共计迭代20000次，得到判断绝缘子状态的分类模型。

测试阶段：

1)测试样本总共500张图片，首先收入目标检测模型，得到绝缘子目标的位置：输出置信度大于0.9的目标框，如图2所示，得到图中的两处带有绝缘子的方框，其中，两处绝缘子目标框的置信度分别为0.996和0.999，然后根据方框的位置截取出绝缘子串。

2)将绝缘子图片输入语义分割模型，得到绝缘子分割的图片；

3)然后通过全连接条件随机场，对分割结果进行边缘精修；

4)用霍夫变换的椭圆识别方法对图片去噪，得到的结果如图3所示，图3(a)和3(b)分别为图2中两个绝缘子串进行噪声滤除后得到的图像；

5)分类样本总共735张，其中397张缺陷样本，338张无缺陷样本，输入分类网络分类，最后的分类准确率为100％，如图4所示。图中，insulator表示绝缘子，caffe是本实施例依赖的框架，wj是本实施例使用的电脑的用户名。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。