基于层级区域特征融合学习的输电线路缺陷检测方法与流程

本发明涉及图像分析技术领域，特别是基于层级区域特征融合学习的输电线路缺陷检测方法。

背景技术：

输电线路作为远距离电能传输的载体，长期处在恶劣的野外环境中，容易受到风力、雨雪、动物和其它因素的破坏，严重时会引起大规模地停断电，经济损失不可估量。因此，对输电线路进行精细化巡检维护成了目前电力系统的重要任务。目前飞行器巡检已成为常规巡检方式，其效率高，经济成本较低。但巡检的主要痛点是快速大幅增长的航拍图像缺陷检测需求与人工检测精度、效率的相对低下之间的矛盾。基于深度学习的缺陷检测方法已成为研究热点。

然而利用深度学习检测方法对输电线路缺陷进行自动识别有以下两个难题：

(1)输电线路上部件较多，安全隐患的种类也复杂多样，因此急需一个能够有效提取图像中缺陷目标特征的多种类别缺陷的检测方法。

(2)输电线路分布广泛，每个地区的地理环境、季节气候差异较大，在数据有限的情况下，不同地区分布下图像中目标背景对检测结果的干扰尤其严重，因此在实际情况中模型检测性能会产生急剧下降。

深度学习的目标检测方法可分为两类：一是two-stage的检测方法，即将检测问题分为两个阶段，第一个阶段产生候选区域，第二阶段对目标进行分类和位置修正，主要的代表模型有区域卷积神经网络(regionwithcnn,r-cnn)，fastr-cnn，fasterr-cnn等；二是one-stage的检测方法，无需产生候选区域，直接估计目标的种类概率以及位置信息，典型代表有ssd(singleshotmultiboxdetector)模型和yolo(youlookonlyonce)模型。然而由于上述的两个原因，导致简单地将深度学习检测模型应用在输电线路缺陷检测上不能得到很好的效果，深度检测模型一般只关注于全局特征，其对局部区域特征不敏感，且深度学习研究中已存在的多尺度特征融合方法融合过程只是简单地相加或者级联，不能充分发挥深度模型自主学习的能力，在面对输电线路缺陷检测中复杂多样性和巨大背景差异性的挑战时性能下降严重。

在数据有限的实际情况下，有效地增强模型对目标特征的提取能力，通过对局部区域特征进行不同深度不同层级地学习，使模型对目标特征的理解更关注于局部感兴趣区域上。改进特征融合的方法，提出深度选择网络使模型不仅能够学习如何提取特征，还能学习如何有效地融合不同层级的特征，使学习到的融合特征在面对不同缺陷种类不同目标背景的情况时可以动态地调整，建立达到适应实际环境的输电线路多缺陷检测模型。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供基于层级区域特征融合学习的输电线路缺陷检测方法，解决现有输电线路缺陷检测中缺陷的复杂多样性和目标背景巨大差异性。

本发明的目的是通过以下技术方案来实现的：

基于层级区域特征融合学习的输电线路缺陷检测方法，包括：

构建和调取fasterr-cnn模型；

将主干网络提取的目标特征通过rpn网络回归得到目标区域；

通过对输入图像进行roipooling操作产生局部深浅层区域特征，通过深度选择网络产生特征融合所需要的权重将深层特征区域和浅层特征区域融合；并通过分类网络和回归网络产生最后的预测结果。

进一步的，其方法具体还包括：

s1、基于imagenet的网络预训练：

使用vgg16网络作为深度特征提取网络，在imagenet的数据集上进行预训练，预训练得到的权重值作为模型在输电线路缺陷数据集的初始参数值；

s2、锚点框生成：

预设置分别对应不同尺寸的不同比例anchor，提取图像中的特征点，由多个特征点组成特征图，特征图中每个特征点存在k个不同尺寸比例的anchor，模型anchor生成的总数量为k*w*h，w和h分别是卷积特征图的长度和宽度；

s3、提取局部深度特征感兴趣区域：

将预训练得到的权重作为模型特征提取网络的初始参数，通过在vgg16网络的前向传播过程，得到图像经过vgg16网络中第五组卷积层后的特征图；再将得到的特征输入rpn中，对步骤s2中生成的anchors进行回归预测，得到所需要的局部深层特征感兴趣区域；

s4、特征通道匹配：

由于深层特征和浅层特征的通道数目不一致，在深层特征区域和浅层特征区域融合前使用1×1的卷积核进行通道匹配；

s5、提取局部浅层特征感兴趣区域：

根据步骤s3中rpn网络产生边界框回归值，对原始输入图像的局部浅层特征进行提取，再通过roi池化层进行尺寸调整，得到局部浅层特征感兴趣区域，如：

yl是得到的感兴趣区域浅层特征，l指第l个子图，是最大池化计算；

s6、深度选择网络：

将局部深浅层特征分别通过全局池化操作将卷积特征图拉平，再由多层感知机分别得到特征融合需要的权重，如：

其中uc是输入卷积特征，c代表输入神经元的通道数，c/r是第二层神经元数量，α是感知机权重，β是感知机偏移量，多层感知机第一层神经元使用relu函数防止梯度弥散，第二层神经元使用sigmoid函数，将输出值规范在(0,1]区域之间；

通过深度选择网络得到的权重在训练过程中自主学习，学习得到的权重动态地调整，从而适应不同目标不同背景下的检测问题；

s7、层级区域特征融合：

由步骤s6分别产生区域深层特征和区域浅层特征融合的权重，进行加权和计算将两部分特征图融合；

s8、分类预测网络：

将融合后的局部特征输入分类网络，分类网络由全连接层和softmax层组合而成，每个anchors回归框部分生成n个softmax输出值，softmax输出值构成的类别分布作为最后的预测结果。

进一步的，在分类预测网络处理的同时，还包括回归预测网络：回归预测网络由一个全连接网络构成，输出为4×n个值，且属于线性激活。

进一步的，其还包括损失计算，具体包括：

使用交叉熵函数作为分类预测网络的损失函数，公式如下：

式中，pi是预测值，ui是真值；

在边界框回归上，使用smoothl1作为损失函数，公式如下：

其中，t^u是预测值，v是真值。

进一步的，其还包括训练数据集：

根据神经网络反向传播原理进行对输电线路缺陷数据集进行训练，设置训练集和测试集使用图像的数量比例为7：3，初始学习率为0.001，以及训练过程中的batchsize为128；获得模型提取特征所需的全部参数，得到训练好的深度学习模型，利用模型直接对输电线路巡检图像进行缺陷检测。进一步的，在步骤s3中，还具体包括：

对步骤s2生成的anchors进行回归预测，预测后得到的区域建议位置为：

x'＝x+w×px

y'＝y+h×py

w'＝w×e^pw

h'＝h×e^ph

式中，x’、y’、w’、h’分别为anchors回归后的中心坐标和长度宽度，x、y、w、h分别代表anchors的中心坐标和长度宽度，px、py、ph、pw代表rpn网络预测的回归值；

将回归得到的框通过roipooling层进行裁剪和尺寸重置裁剪后特征图尺寸为h×w，调整后尺寸为h’×w’，那么将裁剪后特征图分成h/h’×w/w’的子图，每个子图使用最大值池化，得到所需要的局部深层特征感兴趣区域。

进一步的，由卷积核进行特征通道匹配，具体还包括：

设定深层特征通道数为ch，由公式变换所得，

其中，xcl是vgg16网络提取到的浅层特征，k＝{1,2,……,ch}，是神经网络卷积计算。

进一步的，层级区域特征融合具体还包括：

由和通过y＝ffuse(y,weight)＝weightlyl+weighthyh进行融合；

其中，yh和yl分别是深层和浅层感兴趣区域特征，weight是步骤s7学习得到的权重，融合后局部特征分别传入分类和回归网络进行预测。

本发明的有益效果是：

本发明从图像局部特征出发，分别通过卷积神经网络和rpn网络提取到有效的局部深层特征和局部浅层特征，加强模型对不同层级特征的全面感知能力；

提出并建立深度选择网络，利用多层感知机产生自学习的局部特征融合权重，既节省调整参数的时间，提高效率，又使模型学习得到的融合特征能够较好地适应不同复杂背景下的缺陷检测任务；

深度学习模型使用区域层级融合特征进行预测，强化模型对目标局部区域的学习能力，在实际应用中减少了因输电线路缺陷图像的复杂背景和类间差异导致数据分布不一致产生的误检问题。

附图说明

图1为本发明的流程图；

图2为区域深浅层融合特征可视化结果图；

图3为巡检图像检测的缺陷结果图；

其中，(a)是绝缘子掉串缺陷，(b)是导线散股缺陷，(c)是鸟巢缺陷，(d)是盖板缺失缺陷。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，对本发明进行进一步说明。

在阐述本发明具体方案之前，对涉及的特殊名词进行解释，具体如下：

rpn：区域候选网络；roipooling：fasterr-cnn中的roipooling层；anchor:锚点框。

实施例1：

基于层级区域特征融合学习的输电线路缺陷检测方法，请参阅附图1所示，包括：构建和调取fasterr-cnn模型；将主干网络提取的目标特征通过rpn网络回归得到目标区域；通过对输入图像进行roipooling操作产生局部深浅层区域特征，通过深度选择网络产生特征融合所需要的权重将深层特征区域和浅层特征区域融合；并通过分类网络和回归网络产生最后的预测结果。

其具体步骤如下：

s1、基于imagenet的网络预训练：

使用vgg16网络作为深度特征提取网络，在imagenet的数据集上进行预训练，预训练得到的权重值作为模型在输电线路缺陷数据集的初始参数值；

s2、锚点框生成：

预设置分别对应不同尺寸的不同比例anchors，提取图像中的特征点，由多个特征点组成特征图，特征图中每个特征点存在k个不同尺寸比例的anchors，模型anchor生成的总数量为k*w*h，w和h分别是卷积特征图的长度和宽度；

s3、提取局部深度特征感兴趣区域：

将预训练得到的权重作为模型特征提取网络的初始参数，通过vgg16网络的前向传播过程，得到图像经过vgg16网络中第五组卷积层后的特征图；再将得到的特征输入rpn中，对步骤s2中生成的anchors进行回归预测，得到所需要的局部深层特征感兴趣区域；对步骤s2生成的anchors进行回归预测，预测后得到的区域建议位置为：

x'＝x+w×px

y'＝y+h×py

式中，x’、y’、w’、h’分别为anchors回归后的中心坐标和长度宽度，x、y、w、h分别代表anchors的中心坐标和长度宽度，px、py、ph、pw代表rpn网络预测的回归值；

将回归得到的框通过roipooling层进行裁剪和尺寸重置裁剪后特征图尺寸为h×w，调整后尺寸为h’×w’，那么将裁剪后特征图分成h/h’×w/w’的子图，每个子图使用最大值池化，得到所需要的局部深层特征感兴趣区域；

s4、特征通道匹配：

由于深层特征和浅层特征的通道数目不一致，在深层特征区域和浅层特征区域融合前使用1×1的卷积核进行通道匹配；

设定深层特征通道数为ch，由公式变换所得，

其中，xcl是vgg16网络提取到的浅层特征，k＝{1,2,……,ch}，是神经网络卷积计算。

s5、提取局部浅层特征感兴趣区域：

根据步骤s3中rpn网络产生边界框回归值，对经过特征匹配后的输入图像局部浅层特征进行提取，再通过roi池化层进行尺寸调整，得到局部浅层特征感兴趣区域，如：

yl是得到的感兴趣区域浅层特征，l指第l个子图，是最大池化计算；

s6、深度选择网络：

将局部深浅层特征分别通过全局池化操作将卷积特征图拉平，再由多层感知机分别得到特征融合需要的权重，如：

其中uc是输入卷积特征，c代表输入神经元的通道数，c/r是第二层神经元数量，α是感知机权重，β是感知机偏移量，多层感知机第一层神经元使用relu函数防止梯度弥散，第二层神经元使用sigmoid函数，将输出值规范在(0,1]区域之间；

通过深度选择网络得到的权重在训练过程中自主学习，学习得到的权重动态地调整，从而适应不同目标不同背景下的检测问题；

s7、层级区域特征融合：

由步骤s6分别产生区域深层特征和区域浅层特征融合的权重，进行加权和计算将两部分特征图融合；

具体由和通过y＝ffuse(y,weight)＝weightlyl+weighthyh进行融合；

其中，yh和yl分别是深层和浅层感兴趣区域特征，weight是步骤s7学习得到的权重，融合后局部特征分别传入分类和回归网络进行预测；

s8、分类预测网络：

将融合后的局部特征输入分类网络，分类网络由全连接层和softmax层组合而成，每个anchors回归框部分生成n个softmax输出值，softmax输出值构成的类别分布作为最后的预测结果。

s9、回归预测网络：回归预测网络由一个全连接网络构成，输出为4×n个值，且属于线性激活。

s10、损失计算：

使用交叉熵函数作为分类预测网络的损失函数，公式如下：

式中，pi是预测值，ui是真值；

在边界框回归上，使用smoothl1作为损失函数，公式如下：

其中，t^u是预测值，v是真值。

s11、训练数据集：

根据神经网络反向传播原理进行对输电线路缺陷数据集进行训练，设置训练集和测试集使用图像的数量比例为7：3，初始学习率为0.001，以及训练过程中的batchsize为128；获得模型提取特征所需的全部参数，得到训练好的深度学习模型，利用模型直接对输电线路巡检图像进行缺陷检测。

本实施例从图像局部特征出发，分别通过卷积神经网络和rpn网络提取到有效的局部深层特征和局部浅层特征，加强模型对不同层级特征的全面感知能力；提出并建立深度选择网络，利用多层感知机产生自学习的局部特征融合权重，既节省调整参数的时间，提高效率，又使模型学习得到的融合特征能够较好地适应不同复杂背景下的缺陷检测问题。

实施例2：

将巡检线路图像作为深度检测模型的输入，经过预训练完成的vgg16网络提取特征，深度模型产生不同尺寸的anchors(设置anchor的尺寸分别为(4×4)，(8×8)，(16×16)，(32×32)，长宽比分别为0.5，1，2)，通过rpn网络预测偏移量计算感兴趣区域，将vgg16网络产生的图像深层特征和特征通道匹配后的图像浅层特征分别送入roipooling层得到深层特征感兴趣区域和浅层特征感兴趣区域。由深度选择网络得到特征融合的权重，通过加权和的方法生成融合后的特征图并将特征图可视化得到区域层级融合特征图，如图2所示。

实施例3：

本实施例在实施例1和实施例2的基础上，将实施例2得到的融合特征分别作为分类网络和回归网络的输入，预测得到类别分数和边界框偏移量，由交叉熵损失函数和smoothl1损失函数计算损失值，通过反向传播进行学习，此时batchsize设置为128，学习率衰减设为0.001，迭代次数为40000次，候选框选择使用非最大值抑制法。训练完成后，将需要检测的巡检图像输入到深度模型，得到图3中标记有预测类别和预测边框的检测图像。

本发明在fasterr-cnn模型的基础上，将主干网络提取的目标特征通过rpn网络回归得到目标区域，通过对输入图像进行roipooling操作和特征通道匹配操作产生局部区域深浅层特征，由深度选择网络产生特征融合所需要的权重之后将深浅层区域特征融合，通过分类网络和回归网络产生最后的预测结果。深度学习模型利用区域层级融合特征进行预测，强化模型对目标局部区域的学习能力，同时由多层感知机构成的深度选择网络作为特征融合的方法，使模型的学习能力范围更广泛，动态的融合方式能够适应不同情况下缺陷特征，因此减少了模型在实际环境下因输电线路缺陷图像的复杂背景和类间差异导致数据分布不一致产生的误检问题。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。