一种输电线路销钉缺失自动检测神经网络集成方法

1.本发明属于电力巡检输电线路销钉缺失检测领域，具体涉及一种输电线路销钉缺失自动检测神经网络集成方法。


背景技术：

2.在输电线路中，螺栓和销钉作为紧固件广泛应用于各部件之间的连接，使整个结构稳定，但由于长期暴露在自然环境中，容易发生螺栓破损和销钉丢失的情况，造成大面积输电线路故障隐患。销钉缺失属于危急缺陷，因此，需要定期对输电线路进行巡检，及时检查和维修线路设备，保证电网安全稳定运行。目前，主要靠经验丰富的审核人员对无人机携带回的大量巡检图片做检查，这种方式耗费大量的人力，并且容易造成误检漏检。
3.近年来，深度学习发展迅速，在目标检测领域取得了极大的突破，通过算法在图像中自动并且准确的定位缺陷目标成为了可能，因此深度学习被越来越多的应用于电力巡检中，将目标检测算法引入输电线路器件缺陷检测的工作有很多，有采用分类网络和基于区域建议的fasterrcnn网络连接的方法识别绝缘子自爆，通过改进基于区域建议的fasterrcnn网络检测绝缘子、防震锤器件和缺陷目标。这些方法只能适应于大中规模的电力元器件的检测，销钉是一种极小的元器件，人类肉眼都难以分辨。电力巡检中缺损元器件的数据一直都难以收集，常规的目标检测算法很难克服销钉检测中目标太小；并且，数据集过少造成的检测精度过低的难题。
4.因此，本发明提出一种输电线路销钉缺失自动检测神经网络集成方法，该方法通过集成五种目标检测网络的检测结果来输出最终的检测结果，能提高小目标的检测精度；由于集成五种网络的输出，最终的检测精度无论是针对小目标还是普通规模的目标都能得到高于单个网络的检测精度。


技术实现要素：

5.本发明提出一种输电线路销钉缺失自动检测神经网络集成方法，该方法将5种目标检测网络进行集成，综合每个网络的输出结果进行销钉缺失的检测；5种目标检测网络为基于回归的ssd网络、基于回归的yolo网络、基于回归的efficientdet网络、基于区域建议的fasterrcnn网络和基于区域建议的级联网络；所述方法包含以下步骤：
6.步骤(1)：设计反映每个网络对于输电线路销钉缺失检测结果的数据指标和评价指标；对基于回归的ssd网络、基于回归的yolo网络、基于回归的efficientdet网络、基于区域建议的fasterrcnn网络和基于区域建议的级联网络用无人机航拍得到的输电线路销钉数据集进行训练，用同样的测试数据集对每个经过训练的网络进行测试，得到输出结果即每个网络检测结果的数据指标，通过对数据指标进行计算得到每个网络检测结果的评价指标；所述每个网络对于输电线路销钉缺失检测结果的数据指标有真正值tp、假正值fp和假负值fn；表达式如下：
[0007][0008][0009][0010]
式中，t是阈值，值为0.5；iou是交并比，用来衡量目标检测网络输出的预测框与真实边界框的重叠程度，实边界框的重叠程度，表示真实的标注的边界框集合中第i个真实的标注矩形框，表示检测出来的预测框集合中第j个检测出的预测框，i∈[1,n]，j∈[1,m]，n表示集合的元素数量，m表示集合的元素数量，表示边界框与边界框的交集，表示边界框与边界框的并集，|
·
|表示面积，是逻辑表达式，结果为1或0；
[0011]
所述每个网络对于检测性能的评价指标包括精准率p、召回率r、重合度q、检测质量评分s：
[0012][0013][0014][0015][0016]
式中，w1表示精准率和召回率的权重因子，w2表示重合度的权重因子；w1，w2∈[0，1]，w1+w2＝1；
[0017]
步骤(2)：采用两步集成方法对基于回归的ssd网络、基于回归的yolo网络、基于回归的efficientdet网络、基于区域建议的fasterrcnn网络和基于区域建议的级联网络这5种网络的输出结果进行集成，得到最终的输出；
[0018]
待输电线路销钉缺失自动检测神经网络集成方法检测的目标种类有两种：正常的销钉以及缺失的销钉；首先，对基于回归的ssd网络、基于回归的yolo网络、基于回归的efficientdet网络、基于区域建议的fasterrcnn网络和基于区域建议的级联网络这5种网络输出的正常销钉的检测结果进行步骤(2.1)处理，再对这5种网络输出的销钉缺失的检测结果进行步骤(2.2)处理；
[0019]
步骤(2.1)：采用投票法，少数服从多数的原则，如果至少有三个网络在图片的同一位置输出预测框，就这三个网络的输出预测框合并为一个预测框；
[0020]
(2.1.1)从五个网络中随机挑选三个网络，共有种选择，假设第一次挑选的组合为基于回归的ssd网络、基于回归的yolo网络、基于区域建议的fasterrcnn网络；
[0021]
(2.1.2)计算基于回归的ssd网络、基于回归的yolo网络、基于区域建议的fasterrcnn网络的输出预测框的交并比为：
[0022][0023]
其中，ai表示基于回归的ssd网络输出的预测框集合a＝{a1,a2,...,an}中的第i个检测出的预测框，bj表示基于回归的yolo网络输出的预测框集合b＝{b1,b2,...,bm}中第j个检测出的预测框，ck表示基于区域建议的fasterrcnn网络输出的预测框集合c＝{c1，c2,...，c
t
}中第k个检测出的预测框；t为集合c中元素的个数；公式(8)需要进行n
×m×
t次计算；
[0024]
(2.1.3)当iou(ai,bj,ck)≥t时，对基于回归的efficientdet网络输出集合进行计算：
[0025][0026]
其中ai、bj和ck为公式(8)中选取的特定预测框，ds为基于回归的efficientdet网络的输出预测框集合d＝{d1，d2，...，d
p
}中第s个检测出的预测框；p为集合d中元素的个数；如果将ds从基于回归的efficientdet网络输出的预测框集合d＝{d1，d2，...，d
p
}中删除，重新按照顺序排列下标后d变为d＝{d1，d2，...，d
p-1
}；
[0027]
(2.1.4)对基于区域建议的级联网络的输出集合进行计算：
[0028][0029]
其中ai、bj和ck为公式(8)中选取的特定预测框，eo为基于回归的efficientdet网络的输出预测框集合e＝{e1,e2,...,eq}中第o个检测出的预测框；q为集合e中元素的个数；如果将eo从基于区域建议的级联网络输出的预测框集合e＝{e1,e2,...,eq}中删除，重新按照顺序排列下标后e变为e＝{e1,e2,...,e
q-1
}；
[0030]
(2.1.5)将ai、bj和ck合并为一个框，合并方法：取ai、bj和ck中所有点中x坐标的最小值和y坐标的最小值组成点1,点1为集成预测框的最左上点；取ai、bj和ck中所有点中x坐标的最大值和y坐标的最大值组成合并框的点2，点2为集成预测框的最右下点；通过点1和点2构建集成预测框，该预测框对应的三种网络为基于回归的ssd网络、基于回归的yolo网络和基于区域建议的fasterrcnn网络。将得到集成预测框存入集合g中，将ai、bj和ck从预测框集合a、b和c中删除；
[0031]
(2.1.6)循环执行上述步骤(2.1.3)至步骤(2.1.5)，直到集合a、b和c中没有满足iou(ai,bj,ck)≥t的组合；
[0032]
(2.1.7)循环执行上述步骤(2.1.2)至(2.1.6)，直至步骤(2.1.1)中所述
种组合计算完毕；步骤(2.2)：
[0033]
对步骤(2.1)输出的集成预测框的置信度采用加权投票法进行计算，所述加权投票法采用式(11)计算：
[0034][0035]
其中，vi表示该预测框对应的三个网络中第i个网络对应权值，基于区域建议的级联网络对应权重为0.6；基于回归的efficientdet网络对应权重为0.5；基于回归的ssd网络对应权重为0.3；基于回归的yolo网络对应权重为0.3；基于区域建议的fasterrcnn网络对应权重为0.3；
[0036]
f(x)表示最终的投票结果输出，xi为五个网络输出的类别置信度，fi(xi)是五个网络的投票结果，其表达式为：
[0037][0038]
当f(x)为1时，保留预测框，预测框对应类别置信度的值计算方式为
[0039]
本发明相对于现有技术具有如下的优点及效果：
[0040]
(1)采用神经网络集成方法对输电线路销钉缺失进行检测，能提高检测销钉缺失的准确性，能减少漏检和错检的情况，且能提高检测区域与真实区域之间的重合度，能提升最终检测结果的性能；
[0041]
(2)对实现输电线路销钉缺失的自动检测功能有促进作用，在节省人力物力和减少维修人员的工作量的情况下，使得对销钉缺失的检测效果更具有客观性；
[0042]
(3)本发明不仅适应于输电线路销钉检测，还适应于电力巡检中其他电力元件的检测，比如绝缘子缺陷检测和防震锤检测，神经网络集成方法对非销钉的电力元件的检测取得的效果都高于单个网络的检测效果。
附图说明
[0043]
图1是本发明方法的整体框架图。
[0044]
图2是本发明方法的基于回归的ssd网络框架图。
[0045]
图3是本发明方法的基于回归的yolo网络框架图。
[0046]
图4是本发明方法的基于回归的efficientdet网络框架图。
[0047]
图5是本发明方法的基于区域建议的fasterrcnn网络的框架图。
[0048]
图6是本发明方法的基于区域建议的级联网络框架图。
[0049]
具体实施方法
[0050]
本发明提出的一种输电线路销钉缺失自动检测神经网络集成方法，结合附图详细说明如下：
[0051]
图1是本发明方法的整体框架图。输电线路销钉图片被输入五个网络，这五种网络是被选取用于集成方法的网络，选取的网络包括基于回归的ssd网络、基于回归的yolo网络、基于回归的efficientdet网络、基于区域建议的fasterrcnn网络和基于区域建议的级联网络；接下来对这五种检测网络的检测元理作如下：
[0052]
图2是本发明方法的基于回归的ssd网络框架图。基于回归的ssd网络是一阶段目标检测网络，该检测网络选取六个不同的卷积层，每个卷积层都会有不同大小感受野的特征图输出，检测网络在这些不同尺度的特征图上生成预测边界框，在生成预测边界框的时候，基于回归的ssd网络借鉴基于区域建议的fasterrcnn网络的锚框机制，在不同尺度的特征层上生成不同尺度的先验框，以先验框为基准预测边界框，减少训练时间。最后对预测的每个类别的边界框首先采用非极大值抑制处理，去掉多余的边界框，然后采用置信度筛选，去掉概率小的边界框，产生最终的检测结果。基于回归的ssd网络适应于检测不同尺寸目标的问题。
[0053]
图3是本发明方法的基于回归的yolo网络框架图。基于回归的yolo网络主要采用dbl模块和残差块对图像进行特征提取。dbl模块由卷积操作、批正则化和激活操作组成。残差块由一个零填充、一个dbl和n个残差单元顺序连接构成。残差单元由两个dbl顺序连接、一个残差连接和一个相加操作构成。基于回归的yolo网络没有采用锚框机制，基于卷积神经网络特征直接对位置和类别进行预测，然后经过非极大值抑制处理去掉多余的边界框，再经过置信度筛选，去除小概率边界框，最终生成预测结果。基于回归的yolo网络将目标检测作为一个回归问题，使用全连接层来产生预测结果，每个预测框都使用全局特征，不需要预先生成候选区域，正向生成目标区域，反向矫正目标区域，时间成本小，直接从完整图像预测目标的位置和类别，实现端到端的目标检测。
[0054]
图4是本发明方法的基于回归的efficientdet网络框架图。基于回归的efficientdet网络由3部分组成，第一部分由在图像网络数据集上预训练好的高效网络作为骨干网络；第二部分是双向特征金字塔结构，用来提取特征，它将骨干网络的三至七层特征层做多次上至下，下至上的特征融合；第三部分就是分类器和回归器；经过预处理的图片依次经过这三个部分，最终实现端到端的目标检测。
[0055]
图5是本发明方法的基于区域建议的fasterrcnn网络的框架图。基于区域建议的fasterrcnn网络是二阶段的目标检测网络，其主要由四个部分组成：区域建议网络、骨干网络、池化网络、分类器以及回归器。骨干网络将经过预处理的图片进行特征提取，输出为特征图；区域建议网络通过锚框机制以及卷积操作在该特征图上生成建议框；池化网络将区域建议网络生成的建议框对应在原图上的区域提取出来并进行卷积操作，输出为向量；最后分类器和回归器根据感兴趣区域池化网络生成的向量输出预测数值。
[0056]
图6是本发明方法的基于区域建议的级联网络框架图。基于区域建议的级联网络采用将两个不同的目标检测网络串联的思想，两个串联网络中的第一个网络为基于区域建
议的fasterrcnn网络，用于检测局部区域，第二个网络为基于回归的yolo网络，用于在局部区域中检测缺失的销钉与完好的销钉；将基于区域建议的级联网络中后一个网络输出的预测边界框信息映射回原始图像上，然后根据网络的评价指标检验网络的检测能力。本发明基于区域建议的级联网络采用基于区域建议的fasterrcnn网络和基于回归的yolo网络，基于区域建议的fasterrcnn网络在原图上检测出被设计有销钉的区域，基于回归的yolo网络在该区域上检测销钉位置以及是否缺失。在训练基于区域建议的级联网络时，需要制作两次标签，第一次标注有销钉的局部区域的标签，这些标签用于训练基于区域建议的级联网络中的基于区域建议的fasterrcnn网络；第二次标注缺失的销钉与完好的销钉，这些标签用于训练基于区域建议的级联网络中的基于回归的yolo网络。
[0057]
输电线路销钉图片经过上述五种网络的处理，每种网络都会输出一系列矩形框及每个矩形框对应的类别置信度。后续按照发明内容中的步骤2进行处理。