基于深度学习用于配电类设施开关检测识别算法的制作方法

1.本发明涉及识别算法技术领域，具体来说，涉及基于深度学习用于配电类设施开关检测识别算法。


背景技术：

2.电气设备是组成电力系统的基本元件，是保证供电可靠性的基础，而为了便于实现对电气设备的操控，往往需要在电气设备的控制面板上设置有若干控制按钮或旋钮开关。同时为了保证电气设备的顺利运行，需要对控制面板上的控制按钮或旋钮开关进行实时检测，从而来判断电气设备是否运行正常。
3.目前，传统的旋钮开关检测方法一般有以下几种方法：1、目测法，这种识别方法只适用于人眼实时观察，在缺乏人力及无人情况下无法完成任务，且人力成本相对较高。2、基于传统图像算法的旋钮开关识别方法，这种识别方法识别速度较慢，且不能准确识别旋钮开关的指向，又可能把设备上其他的物体识别成旋钮开关，准确率不高，且对图像的质量要求较高，算法鲁棒性较低，存在较多误检、漏检。
4.针对相关技术中的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.针对相关技术中的问题，本发明提出基于深度学习用于配电类设施开关检测识别算法，以克服现有相关技术所存在的上述技术问题。
6.为此，本发明采用的具体技术方案如下：
7.基于深度学习用于配电类设施开关检测识别算法，该算法包括以下步骤：
8.s1、收集待识别旋钮开关的照片，并对照片中的旋钮开关的位置进行标注；
9.s2、采用预设方法搭建深度学习神经网络，并对已标注的照片进行特征提取，保存训练的模型；
10.s3、利用训练好的深度学习神经网络模型对需要识别的图片进行识别，检测出旋钮开关及其旋转中心和指向点的位置。
11.进一步的，所述s1中的标注内容包括旋钮开关的位置对应关系和旋钮开关关键点的位置对应关系，且标注结果保存为xml文件，每个xml文件与照片一一对应；
12.其中，所述旋钮开关的位置x1、y1、x2、y2分别对应旋钮开关左上角的横纵坐标及旋钮开关右下角的横纵坐标；
13.所述旋钮开关关键点的位置centerx、centery、directx、directy分别对应旋钮开关的旋转中心的横纵坐标以及旋钮开关指向端的开关指向标志端点横纵坐标。
14.进一步的，所述s2中采用预设方法搭建深度学习神经网络，并对已标注的照片进行特征提取，保存训练的模型包括以下步骤：
15.s201、搭建深度学习神经网络，并对已标注的照片进行特征提取；
16.s202、基于旋钮开关分类损失、旋钮开关框回归损失及旋钮开关关键点回归损失
构建损失函数；
17.s203、使用标注好的数据对搭建的网络进行训练，采用所述损失函数对搭建好的网络参数进行反向推导，保存训练的模型。
18.进一步的，所述s201中深度学习神经网络的搭建包括backbone、neck及head三个部分。
19.进一步的，所述backbone部分采用cspnet实现跨阶段部分连接，并通过cspnet实现在不同图像细粒度上聚合形成图像特征，同时采用swish激活函数训练构建的深度学习神经网络，其中，swish激活函数的函数表达式为f(x)＝x*sigmoid(x)。
20.进一步的，所述neck部分采用bifpn用于生成图像金字塔，同时用于混合并组合图像特征；
21.其中，所述bifpn接受来自主干网络的level3
‑
7的特征{p3，p4，p5，p6，p7}，并重复应用自上而下和自下而上的双向特征融合，具体公式如下：
22.pout7＝conv(pin7)；
23.pout6＝conv[pin6+resize(pout7)]；
[0024]
...
[0025]
pout3＝conv[pin3+resize(pout4)]；
[0026]
式中，conv为卷积操作，resize为特征图上采样或下采样操作，用于保证不同level的特征图具有相同的分辨率。
[0027]
进一步的，所述head部分输出3个stage，下采样率分别为8、16、32，分别对应小、中、大的旋钮开关，输出通道中的数值分别对应旋钮开关的置信度、位置坐标值，同时添加关键点的分枝用于旋钮开关中心点及指向点的检测，对应输出为旋钮开关旋转中心点做标及旋钮开关指向端指向标志端点坐标；
[0028]
其中，在stride32上一个feature map对应原图的32*32的感受野，用来检测大的旋钮开关区域；
[0029]
在stride16上一个feature map对应原图的16*16的感受野，用来检测中等大小的旋钮开关；
[0030]
在stride8上一个feature map对应原图的8*8的感受野，用来检测小的旋钮开关。
[0031]
进一步的，所述s202中构建的损失函数的表达式如下：
[0032]
l＝lobj(pi,pi*)+λ1pi*lbox(ti,ti*)+λ2pi*lidms(li,li*)；
[0033]
其中，lobj为旋钮开关分类损失，采用二分类的softmax损失，pi表示预测anchor为旋钮开关的概率，pi*表示真值，正样本为1，负样本为0，lbox为旋钮开关框回归损失，采用smooth l1回归函数，ti和ti*表示正样本对应的预测框位置和真实标注框的位置，lldms为旋钮开关关键点回归损失，同样采用smooth l1回归函数，li和li*分别表示正样本旋钮开关上指针关键点的预测和真值，各包含两个关键点的坐标信息，λ1、λ2的值分别为0.25和0.1。
[0034]
进一步的，所述s203的训练过程中还包括采用包含但不限于mosaic、random scale的多种数据增强方法来提高模型的泛化能力。
[0035]
进一步的，所述s3中利用训练好的深度学习神经网络模型对需要识别的图片进行识别，检测出旋钮开关及其旋转中心和指向点的位置还包括以下步骤：对于拍摄角度比较
偏的旋钮开关需要进行投影变换，实现旋钮开关位置的矫正。
[0036]
本发明的有益效果为：
[0037]
1)、本发明公开了基于深度学习用于配电类设施开关检测识别算法，原理采用深度学习神经网络在相机拍摄的照片中提取旋钮开关特征，以及旋钮开关关键点，并根据旋钮开关中的特征和关键点的位置，计算出旋钮开关指针的指向，再根据预先设定好的开关正常状态进行比较得到结果。本发明可用于各种需要检测旋钮开关状态的场所，可实时检测旋钮开关的状态，并在状态异常时发出告警信息。
[0038]
2)、本发明可以对旋钮开关的位置进行矫正，对于一些畸变较大的相机，和一些拍摄角度不好的照片同样可以进行旋钮开关识别，并在准确率上大大提高，这样就使得不用每次拍摄旋钮开关的时候正对着拍摄，减少照片拍摄的次数，提高识别效率，即使是图片边缘的旋钮开关也能识别出来，对相机的畸变要求不高，降低购买相机的成本。
[0039]
3)、本发明可以在识别精度提升的同时，降低了算法算力要求，在算力不高的边缘设备上可以达到实时检测的效果，可以适当节省计算设备的成本。同时，本发明可以在图像质量较低的情况也可实现旋钮开关的准确识别，不需要在图像处理时循环往复的调节适应图片质量的参数，节省算法部署调试的时间。
附图说明
[0040]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]
图1是根据本发明实施例的基于深度学习用于配电类设施开关检测识别算法的流程图；
[0042]
图2是根据本发明实施例的基于深度学习用于配电类设施开关检测识别算法中cspnet的基本结构示意图；
[0043]
图3是根据本发明实施例的基于深度学习用于配电类设施开关检测识别算法中bifpn的结构示意图。
具体实施方式
[0044]
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
[0045]
根据本发明的实施例，提供了基于深度学习用于配电类设施开关检测识别算法。
[0046]
现结合附图和具体实施方式对本发明进一步说明，如图1
‑
3所示，根据本发明实施例的基于深度学习用于配电类设施开关检测识别算法，该算法包括以下步骤：
[0047]
s1、收集待识别旋钮开关的照片，并对照片中的旋钮开关的位置进行标注；
[0048]
其中，所述s1中的标注内容包括旋钮开关的位置对应关系和旋钮开关关键点的位置对应关系，且标注结果保存为xml文件，每个xml文件与照片一一对应；且照片数量越多，
标注的位置越准确越好，旋钮开关种类越多，识别的鲁棒性越强。
[0049]
具体的，所述旋钮开关的位置x1、y1、x2、y2分别对应旋钮开关左上角的横纵坐标及旋钮开关右下角的横纵坐标；
[0050]
所述旋钮开关关键点的位置centerx、centery、directx、directy分别对应旋钮开关的旋转中心的横纵坐标以及旋钮开关指向端的开关指向标志端点横纵坐标。
[0051]
s2、采用预设方法搭建深度学习神经网络，并对已标注的照片进行特征提取，保存训练的模型；
[0052]
其中，所述s2中采用预设方法搭建深度学习神经网络，并对已标注的照片进行特征提取，保存训练的模型包括以下步骤：
[0053]
s201、搭建深度学习神经网络，并对已标注的照片进行特征提取；
[0054]
具体的，所述s201中深度学习神经网络的搭建包括backbone、neck及head三个部分；
[0055]
所述backbone部分采用cspnet(cross stage partial network)实现跨阶段部分连接，cspnet可以提升cnn的学习能力，在对模型压缩及轻量话后依然可以保证较高对准确性，同时降低计算成本及内存占用，cspnet的基本结构图如图2所示，其中part1不进行操作直接concate，part2进行卷积操作，block由若干基本的卷积层及shortcut连接构成，transition layer代表过渡层，主要包含瓶颈层(1x1卷积)和池化层，通过cspnet实现在不同图像细粒度上聚合形成图像特征，为降低网络的计算量，适当的减少网络的深度及网络的通道数，并采用swish激活函数，swish激活函数的函数表达式为f(x)＝x*sigmoid(x)，相比于relu激活函数，swish激活函数更为平滑且非单调，可以训练出比relu更深的神经网络。
[0056]
所述neck部分采用bifpn用于生成图像金字塔，同时用于混合并组合图像特征；
[0057]
其中，所述bifpn的结构如图3所示，所述bifpn接受来自主干网络的level3
‑
7的特征{p3，p4，p5，p6，p7}，并重复应用自上而下和自下而上的双向特征融合，具体公式如下：
[0058]
pout7＝conv(pin7)；
[0059]
pout6＝conv[pin6+resize(pout7)]；
[0060]
...
[0061]
pout3＝conv[pin3+resize(pout4)]；
[0062]
式中，conv为卷积操作，resize为特征图上采样或下采样操作，用于保证不同level的特征图具有相同的分辨率。
[0063]
所述head部分输出3个stage，下采样率分别为8、16、32，分别对应小、中、大的旋钮开关，输出通道中的数值分别对应旋钮开关的置信度、位置坐标值，同时添加关键点的分枝用于旋钮开关中心点及指向点的检测，对应输出为旋钮开关旋转中心点做标及旋钮开关指向端指向标志端点坐标；
[0064]
其中，在stride32上一个feature map对应原图的32*32的感受野，用来检测较大的旋钮开关区域；
[0065]
在stride16上一个feature map对应原图的16*16的感受野，用来检测中等大小的旋钮开关；
[0066]
在stride8上一个feature map对应原图的8*8的感受野，用来检测较小的旋钮开
关。
[0067]
s202、基于旋钮开关分类损失(objectness score)、旋钮开关框回归损失(bounding box regression score)及旋钮开关关键点回归损失(landmark regression score)构建损失函数；
[0068]
具体的，所述s202中构建的损失函数的表达式如下：
[0069]
l＝lobj(pi,pi*)+λ1pi*lbox(ti,ti*)+λ2pi*lidms(li,li*)；
[0070]
其中，lobj为旋钮开关分类损失，采用二分类的softmax损失，pi表示预测anchor为旋钮开关的概率，pi*表示真值，正样本为1，负样本为0，lbox为旋钮开关框回归损失，采用smooth l1回归函数，ti和ti*表示正样本对应的预测框位置和真实标注框的位置，lldms为旋钮开关关键点回归损失，同样采用smooth l1回归函数，li和li*分别表示正样本旋钮开关上指针关键点的预测和真值，各包含两个关键点的坐标信息，λ1、λ2的值分别为0.25和0.1。
[0071]
s203、使用标注好的数据对搭建的网络进行训练，采用所述损失函数对搭建好的网络参数进行反向推导，保存训练的模型。
[0072]
具体的，所述s203的训练过程中还包括采用mosaic、random scale等多种数据增强方法以此来提高模型的泛化能力。
[0073]
s3、利用训练好的深度学习神经网络模型对需要识别的图片进行识别，检测出旋钮开关及其旋转中心和指向点的位置。
[0074]
其中，所述s3中利用训练好的深度学习神经网络模型对需要识别的图片进行识别，检测出旋钮开关及其旋转中心和指向点的位置还包括以下步骤：对于一些拍摄角度比较偏的旋钮开关需要进行投影变换，矫正旋钮开关的位置，以便把旋钮开关指向角度的计算更为准确。
[0075]
相比于现有技术方案，本发明具有以下特点：1)采用速度更快的神经网络，可在边缘设备上基于cpu事实运行，对旋钮开关的识别效率大大增加；2)对旋钮开关的识别和读数的识别更为准确，对与斜着拍摄的照片，以及畸变较大的相机拍摄出的照片依然有较好的识别效果；3)对需要识别的旋钮开关类型没有要求，不需要为了识别旋钮开关而特意更换指定的旋钮开关；4)对需要识别的旋钮开关的图像拍摄条件要求较低，可以在不同的光线亮度及色彩的条件下进行识别；5)采用关键点检测技术提取指针位置及角度，提高指针识别的精度。
[0076]
综上所述，借助于本发明的上述技术方案，本发明公开了基于深度学习用于配电类设施开关检测识别算法，原理采用深度学习神经网络在相机拍摄的照片中提取旋钮开关特征，以及旋钮开关关键点，并根据旋钮开关中的特征和关键点的位置，计算出旋钮开关指针的指向，再根据预先设定好的开关正常状态进行比较得到结果。本发明可用于各种需要检测旋钮开关状态的场所，可实时检测旋钮开关的状态，并在状态异常时发出告警信息。
[0077]
此外，本发明可以对旋钮开关的位置进行矫正，对于一些畸变较大的相机，和一些拍摄角度不好的照片同样可以进行旋钮开关识别，并在准确率上大大提高，这样就使得不用每次拍摄旋钮开关的时候正对着拍摄，减少照片拍摄的次数，提高识别效率，即使是图片边缘的旋钮开关也能识别出来，对相机的畸变要求不高，降低购买相机的成本。
[0078]
此外，本发明可以在识别精度提升的同时，降低了算法算力要求，在算力不高的边
缘设备上可以达到实时检测的效果，可以适当节省计算设备的成本。同时，本发明可以在图像质量较低的情况也可实现旋钮开关的准确识别，不需要在图像处理时循环往复的调节适应图片质量的参数，节省算法部署调试的时间。
[0079]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。