刀闸状态识别方法、装置、计算机设备和存储介质与流程

1.本技术涉及开关检测技术领域，特别是涉及一种刀闸状态识别方法、装置、计算机设备和存储介质。


背景技术：

2.刀闸是一种手动控制的电力设备开关，能够在检修设备与带电设备之间形成分闸点，保障电力设备检修施工人员的人身安全。在实际施工过程中，施工人员需要准确判断开关刀闸的分合状态，以保障施工安全。
3.目前主要通过人工观察相应传感器测量的数据判断的分合状态，但是由于室外变电站存在背景复杂、光照非线性变化等问题，刀闸的分合状态的判断结果受环境影响因素和人为影响因素较大，难以保证判断结果的准确度。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高刀闸状态判断结果的准确度的刀闸状态识别方法、装置、计算机设备、存储介质和计算机程序产品。
5.第一方面，本技术提供了一种刀闸状态识别方法，所述方法包括：
6.获取待检测图像；
7.对所述待检测图像进行目标分割，以获取目标区域，其中，所述待检测图像包括刀闸图像；
8.根据参考图像和所述目标区域确定所述待检测图像中刀闸的候选分合状态，其中，所述参考图像中的刀闸为闭合状态；
9.基于已训练好的刀头检测模型获取所述目标区域中刀闸的刀头间的接触状态；
10.根据所述接触状态和所述候选开合状态确定刀闸的分合状态。
11.在其中一个实施例中，所述根据参考图像和所述目标区域确定所述待检测图像中刀闸的候选分合状态，包括：
12.根据所述参考图像中的基准线确定所述待检测图像中的基准线，其中，所述参考图像中刀闸臂的所在直线为所述参考图像中的基准线；
13.确定出所述目标区域中刀闸臂的边缘线；
14.根据所述边缘线与所述待检测图像中的基准线的夹角确定所述候选分合状态。
15.在其中一个实施例中，所述对所述待检测图像进行目标分割，包括：
16.根据已训练好的第一图像分割模型对所述待检测图像进行图像分割，以获取第一候选区域；
17.根据预设的第二图像分割模型对所述待检测图像进行图像分割，以获取第二候选区域；
18.对所述第一候选区域和所述第二候选区域进行融合处理，以获取第三候选区域；
19.根据所述第三候选区域进行目标分割，以获取目标区域。
20.在其中一个实施例中，所述根据预设的第二图像分割模型对所述待检测图像进行图像分割，包括：
21.对所述待检测图像进行yuv颜色空间转换；
22.将yuv各通道进行分离，基于无监督聚类算法对y通道的图像进行聚类，分离出第一区域；
23.对所述第一区域进行二值化处理，以分割出第二区域；
24.对所述第二区域进行修复和割离处理，以获取所述第二候选区域。
25.在其中一个实施例中，所述对所述待检测图像进行目标分割，包括：
26.基于已训练好的目标检测模型对所述待检测图像进行目标检测；
27.根据目标检测的检测结果对所述待检测图像进行目标分割。
28.在其中一个实施例中，所述目标检测模型为基于yolox算法改进的深度学习模型，所述目标检测模型包括基于cspdarknet改进的基础特征提取网络、基于pafpn改进的特征融合网络和基于dynamic head改进的yolox的检测头。
29.第二方面，本技术还提供了一种刀闸状态识别装置。所述刀闸状态识别装置包括：
30.获取模块，用于获取待检测图像；
31.分割模块，用于对所述待检测图像进行目标分割，以获取目标区域，其中，所述待检测图像包括刀闸图像；
32.状态确定模块，用于根据参考图像和所述目标区域确定所述待检测图像中刀闸的开合状态，其中，所述参考图像中的刀闸为闭合状态。
33.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
34.获取待检测图像；
35.对所述待检测图像进行目标分割，以获取目标区域，其中，所述待检测图像包括刀闸图像；
36.根据参考图像和所述目标区域确定所述待检测图像中刀闸的候选分合状态，其中，所述参考图像中的刀闸为闭合状态；
37.基于已训练好的刀头检测模型获取所述目标区域中刀闸的刀头间的接触状态；
38.根据所述接触状态和所述候选开合状态确定刀闸的分合状态。
39.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
40.获取待检测图像；
41.对所述待检测图像进行目标分割，以获取目标区域，其中，所述待检测图像包括刀闸图像；
42.根据参考图像和所述目标区域确定所述待检测图像中刀闸的候选分合状态，其中，所述参考图像中的刀闸为闭合状态；
43.基于已训练好的刀头检测模型获取所述目标区域中刀闸的刀头间的接触状态；
44.根据所述接触状态和所述候选开合状态确定刀闸的分合状态。
45.上述刀闸状态识别方法、装置、计算机设备和存储介质，通过对所述待检测图像进行目标分割，分割出刀闸的不同部位，根据参考图像和所述目标区域确定待检测图像中刀
闸的候选分合状态，并基于已训练好的刀头检测模型获取所述目标区域中刀闸的刀头间的接触状态，综合候选分合状态和接触状态自动判断刀闸的分合状态，提高判断结果的准确度，避免人为因素影响，且避免由于环境因素影响造成的误判。
附图说明
46.图1为一个实施例中刀闸状态识别方法的应用环境图；
47.图2为一个实施例中刀闸状态识别方法的流程示意图；
48.图3为一个示例中确定刀闸状态的流程示意图；
49.图4为一个实施例中根据参考图像和所述目标区域确定所述待检测图像中刀闸的候选分合状态步骤的流程示意图；
50.图5为一个实施例中根据预设的第二图像分割模型对所述待检测图像进行图像分割步骤的流程示意图；
51.图6为一个实施例中基于目标检测模型的整体检测网络结构图；
52.图7为一个实施例中基于cspdarknet改进的特征提取网络的示意图；
53.图8为一个实施例中基于特征提取网络卷积结构部件的示意图；
54.图9为一个实施例中快速级联池化结构sppf的示意图；
55.图10为一个实施例中基于pafpn改进的特征融合网络的示意图；
56.图11为一个实施例中基于dyhead改进的yolox检测网络头的示意图；
57.图12为一个实施例中刀闸状态识别装置的结构框图；
58.图13为一个实施例中计算机设备的内部结构图。
具体实施方式
59.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
60.本技术实施例提供的刀闸状态识别方法，可以应用于如图1所示的应用环境中。其中，图像传感器102通过网络与处理终端104进行通信。图像传感器102传输待检测图像给处理终端104，处理终端104基于待检测图像确定刀闸状态。其中，处理终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。
61.在一个实施例中，如图2所示，提供了一种刀闸状态识别方法，以该方法应用于图1中的处理终端为例进行说明，包括以下步骤：
62.s201：获取待检测图像。
63.其中，待检测图像可以是图像传感器发送给处理终端的图像。
64.s202：对所述待检测图像进行目标分割，以获取目标区域，其中，所述待检测图像包括刀闸图像。
65.其中，目标分割可以是对刀闸区域和非刀闸区域的分割，以获取刀闸区域；进一步地，还可以是对刀闸的各部位的分割，以获取刀闸的各部位对应的图像区域。
66.s203：根据参考图像和所述目标区域确定所述待检测图像中刀闸的候选分合状态，其中，所述参考图像中的刀闸为闭合状态。
67.可以理解，由于参考图像中的刀闸为闭合状态，则通过比较参考图像和所述目标区域，可以确定待检测图像中刀闸与参考图像中刀闸的状态差异，基于刀闸的状态差异可以确定待检测图像中刀闸的状态，即刀闸的候选分合状态。
68.s204：基于已训练好的刀头检测模型获取所述目标区域中刀闸的刀头间的接触状态。
69.可以理解，刀闸包括多个刀闸臂，通过使多个刀闸臂的相对状态发生改变来改变刀闸的分合状态，在刀闸处于闭合状态和打开状态时，刀闸的刀头的接触状态不同，即刀闸臂的端部的接触状态不同。通过已训练好的刀头检测模型对目标区域或待检测图像进行分析，可以确定目标区域中刀闸的刀头间的接触状态，进而可以通过刀头间的接触状态辅助判断刀闸的分合状态。
70.s205：根据所述接触状态和所述候选开合状态确定刀闸的分合状态。
71.可以理解，在刀闸处于闭合状态时，刀头间的接触状态应对应闭合状态，候选开合状态应是闭合状态，在两者皆满足的调节下，才能判断刀闸处于闭合状态。通过所述接触状态和所述候选开合状态确定刀闸的分合状态，可以进一步提高判断结果的准确度。
72.在一个示例中，判断刀闸状态的过程可以如图3所示，获取待检测图像后，对所述待检测图像进行目标分割，以获取目标区域，检测目标区域内是否存在刀头和刀臂，在同时存在刀头和刀闸时，判断刀头间的接触状态和候选分合状态，在判定刀头间接触且候选分合状态为闭合时，判定刀闸处于闭合状态。若目标区域中只存在刀头和刀闸中的一者，则根据目标区域中存在的部位进行判定。例如，若只存在刀头，则刀头间接触时，判定刀闸处于闭合状态，否则，判定刀闸处于打开状态；若只存在刀臂，则候选分合状态为闭合状态时，判定刀闸处于闭合状态，候选分合状态为打开状态时，判定刀闸处于打开状态。若目标区域中既不存在刀头，也不存在刀闸，则重新获取待检测图像。
73.上述刀闸状态识别方法，通过对所述待检测图像进行目标分割，分割出刀闸的不同部位，根据参考图像和所述目标区域确定待检测图像中刀闸的候选分合状态，并基于已训练好的刀头检测模型获取所述目标区域中刀闸的刀头间的接触状态，综合候选分合状态和接触状态自动判断刀闸的分合状态，提高判断结果的准确度，避免人为因素影响，且避免由于环境因素影响造成的误判。
74.在一个实施例中，如图4所示，根据参考图像和所述目标区域确定所述待检测图像中刀闸的候选分合状态，包括：
75.s401：根据所述参考图像中的基准线确定所述待检测图像中的基准线，其中，所述参考图像中刀闸臂的所在直线为所述参考图像中的基准线。
76.其中，由于参考图像中刀闸处于闭合状态，则刀闸的各刀闸臂可以认为处于同一直线上，则根据刀闸臂的所在直线可以确定一条基准线。
77.s402：确定出所述目标区域中刀闸臂的边缘线；
78.其中，在待检测图像中分割出目标区域后，使用例如直线段检测算法(line segment detector，lsd)的边缘检测算法，可以获得所述目标区域中刀闸臂的边缘线。
79.s403：根据所述边缘线与所述待检测图像中的基准线的夹角确定所述候选开合状
态。
80.应用中，以刀闸臂所在直线为基准线，并在参考图像中确定出基准线位置；在待检测图像中，通过待检测图像与参考图像的图像配准可以得到基准线在待检测图像中的位置；而在待检测图像中分割出目标区域后，使用例如直线段检测算法(line segment detector，lsd)的边缘检测算法，可以获得刀闸臂边缘线。可以理解，在刀闸处于闭合状态时，刀闸臂边缘线应大致与基准线重合，刀闸臂边缘线与基准线的夹角应较小；而在刀闸处于打开状态时，刀闸臂边缘线与基准线的夹角应较大。因此，基于刀闸臂边缘线和基准线的夹角可以确定刀闸的候选开合状态。
81.具体地，可以获取各刀闸臂的边缘线与基准线的夹角，获取各夹角中的最大值，基于最大值来判断刀闸状态。进一步地，可以预设对应刀闸闭合状态的第一角度范围，对应刀闸虚合状态的第二角度范围，对应刀闸打开状态的第三角度范围，根据最大值所属的角度范围确定刀闸状态。例如，最大值属于第一角度范围，则可以判定刀闸的候选开合状态为闭合状态。
82.以对开式隔离开关为例，基准线a和第一刀闸臂边缘线b的夹角为α，直线a和第二刀闸臂边缘线c的夹角为β。取二者中大的那个角度来判断刀闸状态，θ＝max(α,β)。将角度θ《3
°
的刀闸状态判定为闭合状态，将角度θ≥3
°
andθ《15
°
的刀闸状态判定为虚合状态，而将左右刀闸臂间的角度θ》15
°
的刀闸状态判定为打开状态。
83.本实施例中，检测的特征点为刀头和刀闸臂，基于检测刀头出的特征点确定刀头的接触状态，基于各刀闸臂确定边缘线，根据所述边缘线与所述待检测图像中的基准线的夹角确定所述候选开合状态，从而在根据所述接触状态和所述候选开合状态可以准确确定刀闸的分合状态。以往的单一因素识刀闸别装置与算法，判据与判点及其容易受到干扰。而本技术基于多因素设备刀闸状态，可以提取刀闸的多个特征点，基于多个特征点进行设备，大大增加了远方刀闸状态的识别成功率与准确率。
84.在一个实施例中，所述对所述待检测图像进行目标分割，包括：根据已训练好的第一图像分割模型对所述待检测图像进行图像分割，以获取第一候选区域；根据预设的第二图像分割模型对所述待检测图像进行图像分割，以获取第二候选区域；对所述第一候选区域和所述第二候选区域进行融合处理，以获取第三候选区域；根据所述第三候选区域进行目标分割，以获取目标区域。
85.其中，第一图像分割模型可以为基于深度学习的图像语义分割模型；第二图像分割模型可以为非深度学习模型，采用基于颜色、纹理等底层特征对图像进行分割，例如图像色差法、基于yuv通道分离的分割方法等。候选区域可以是刀闸区域，目标区域可以是刀闸的各部位对应的区域。
86.示例性地，第一图像分割模型可以是基于mask r-cnn算法构建的深度学习模型，mask r-cnn是基于以往的faster r-cnn架构提出的深度学习图像分割网络，该方法在完成目标检测任务的同时完成了高质量的语义分割。其主要思路就是把原有的faster-rcnn进行扩展，添加一个分支对目标进行分割。同时，这个网络结构比较容易实现和训练，速度较快，泛化能力强。以mask r-cnn图像分割算法为例，刀闸各部件分割流程如下：
87.首先，收集大量刀闸图像，标注刀闸的mask(掩膜)；然后，基于mask r-cnn算法训练第一图像分割模型；最后，将待检测图像输入第一图像分割模型，采用rpn网络提取第一
候选区域。
88.在获取第一候选区域和第二候选区域后，融合第一候选区域和第二候选区域，得到第三候选区域，然后通过roi align操作提取第三候选区域的特征，完成目标分类、目标定位和目标分割的任务。
89.本实施例中，通过第一图像分割模型对所述待检测图像进行图像分割，获取第一候选区域，第二图像分割模型对所述待检测图像进行图像分割，获取第二候选区域，然后对所述第一候选区域和所述第二候选区域进行融合处理，获取第三候选区域，从而提供获取的候选区域的准确度，进而有利于提高获取的目标区域的准确度。
90.在一个实施例中，如图5所示，所述根据预设的第二图像分割模型对所述待检测图像进行图像分割，包括：
91.s501：对所述待检测图像进行yuv颜色空间转换。
92.具体地，由于待测检测图像一般为rgb图像，因此，先对待测检测图像进行yuv颜色空间转换。
93.rgb颜色空间：r、g、b分别为三种不同强度电子束使屏幕内发出的红光、绿光、蓝光，这种颜色空间表示方法称为rgb颜色空间。
94.yuv颜色空间：y、u、v分别表示亮度信号、色度信号、饱和度信号，其中，y与u、v是分离的。如果只有y信号分量而没有u、v信号分量，那么图像就呈现为黑白灰度图像。如果y信号分量融合了u、v信号分量，那么图像就呈现为彩色图像。因此，采用yuv颜色空间正是为了用亮度信号y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色电视信号。rgb颜色空间转yuv颜色空间，其公式为：
[0095][0096]
yuv颜色空间转rgb颜色空间，其公式为：
[0097][0098]
s502：将yuv各通道进行分离，基于无监督聚类算法对y通道的图像进行聚类，分离出第一区域。
[0099]
其中，无监督聚类算法可以根据图像信息(灰度值)自动学习到符合一定规则的像素点类簇，达到自动分割目标的目的。无监督聚类算法包括k-means、ap聚类、均值漂移、层次聚类、dbscan、brich、谱聚类、混合高斯等聚类算法。本实施例采用的无监督聚类算法可以为k-means聚类法，一般背景区域、立柱区域与其他区域较明显，采用k-means聚类法可以较容易得到聚类中心。
[0100]
k-means聚类法的具体公式如下：
[0101][0102]
其中，sse为代价函数，表示各个样本距离所属簇中心点的误差平方和，k表示聚类
簇数，x表示样本，ci表示第i个簇的聚类中心。
[0103]
s503：对所述第一区域进行二值化处理，以分割出第二区域。
[0104]
为了将感兴趣区域与背景进行分离，简化、加快后续处理的流程，本文采用二值化算法，实现刀闸开关、导线与无关的背景的分离目的。常用的二值化算法有灰度平均值法、百分比阈值法、迭代最佳阈值法、大津法、最大熵法、力矩保持法等，鉴于刀闸开关、导线像素值接近，刀闸开关、导线与无关的背景相差较大，本文选择较简单的灰度平均值法，可以快速将刀闸开关、导线与无关的背景进行分离。灰度平均值法具体公式如下：
[0105][0106]
其中，
[0107][0108]
g(x,y)表示二值化图像在点(x,y)的像素值，在f(x,y)表示灰度图像中点(x,y)的像素值，m、n表示灰度图像的宽度、高度，t表示图像的平均值，也是图像二值化的阈值。
[0109]
s504：对所述第二区域进行修复和割离处理，以获取所述第二候选区域。
[0110]
示例性地，具体过程可以如下：在对所述待检测图像进行yuv颜色空间转换后，再将yuv各通道进行分离，选择y通道进行无监督聚类算法处理。接着，将聚类结果二值化，将刀闸、立柱、导线等目标与背景进行分离，将立柱与其他部分进行分离。紧接着，采用形态学闭运算填补二值图连通区域内细小裂缝，采用形态学腐蚀算子断裂导线与刀闸或立柱的连接，采用移除小对象算法移除较小区域面积的导线部分，再采用形态学膨胀算子恢复刀闸与立柱的边缘区域(或采用形态学膨胀算子恢复立柱的边缘区域)。最后，利用区域填充算法进行刀闸与立柱区域内较大块面积的填充(或利用区域填充算法进行立柱区域内较大块面积的填充)，再利用刀闸与立柱二值图的差集、交集，分别得到分割后的刀闸区域(即第二候选区域)、立柱区域。
[0111]
其中，形态学算法作为重要的图像处理技术，采用一定形态的结构元素去提取图像中的形状结构，以达到对图像分析和识别的目的。形态学算法常用算子有腐蚀运算、膨胀运算、开运算、闭运算、孔洞填充、移除小对象等等，本文采用二值图像进行形态学处理，可得到分割后的刀闸本体。其具体公式如下：
[0112]
a、腐蚀运算：运算符为用结构元素b腐蚀图像a(即第二区域)，定义为
[0113][0114]
b、膨胀运算：运算符为用结构元素b膨胀图像a，定义为
[0115][0116]
上式中，集合与b集合关于原点对称。
[0117]
c、开运算：运算符为用结构元素b开运算图像a，定义为
[0118][0119]
d、闭运算：运算符为“·”，用结构元素b闭运算图像a，定义为
[0120][0121]
e、孔洞填充：运算函数“imfill”，对图像进行孔洞填充，定义为
[0122]a*
＝imfill(a)
[0123]
上式中，图像a进行连通域标记，填充边界闭合区域，得到结果图像a
*
。
[0124]
f、移除小对象：运算函数“bwareaopen”，移除图像中小对象，定义为
[0125]a*
＝bwareaopen(a,n)
[0126]
上式中，统计图像a连通域像素数量，移除数量小于n的连通域，得到图像a
*
。
[0127]
在一个实施例中，所述对所述待检测图像进行目标分割，包括：基于已训练好的目标检测模型对所述待检测图像进行目标检测；根据目标检测的检测结果对所述待检测图像进行目标分割。
[0128]
其中，目标检测模型可以基于二阶段检测器构建，例如：fast-rcnn、libra r cnn、faster-rcnn、cascade-rcnn等算法，也可以基于一阶段检测器构建，例如如retinanet、ssd、yolo及其改进系列等。
[0129]
在一个实施例中，所述目标检测模型为基于yolox算法改进的深度学习模型，所述目标检测模型包括基于cspdarknet改进的基础特征提取网络、基于pafpn改进的特征融合网络和基于dynamic head改进的yolox的检测头。
[0130]
具体地，第一部分基础特征提取网络用于提取输入图像的特征信息，cspdarknet通过融合深度可分离卷积引入“cspnet”网络结构，改进了原始yolo的darknet特征提取网络。本项目基于cspdarknet网络进一步改进了此网络结果，改进的特征提取网络的具体结构如图7所示。
[0131]
如图6和图7所示，改进的特征提取网络主要有“conv stem”图像输入卷积网络层和4个结构相似的卷积stage(darkn，n＝2，3，4，5)组成。对于网络输入“conv stem”层，本项目使用简单的卷积网络结构(如图8中的(1)所示)替换了原始yolox的focus stem层，避免了focus stem层的space-to-depth operation(空间到深度方向的转换操作)，减小了网络的flops(floating point operations)和复杂度；如图7所示，在每个darkn中的“downsampling layer”层，直接采用卷积核大小为2
×
2，步长为2的卷积层对上一个darkn的输出特征进行下采样，在每个darkn中的“cspconvnext layer”，采用convnext block(如图8中的(2)所示)残差结构重新设计了一种新的cspnet网络层，新的“cspconvnext layer”网络结构如图8中的(3)所示。
[0132]
如图8所示，其中(1)conv stem层由一个卷积核大小为6
×
6，步长为s＝2的卷积层组成，对输入为h
×w×
3的图像变换为h/2
×
w/2
×
64的特征层，然后使用layer norm和gelu激活函数对此卷积的输出特征层做归一化和非线性映射；(2)convnext block结构是嵌入到cspconvnext layer层的核心结构，convnext block分别由一个卷积核大小为7
×
7和两个卷积核大小为1
×
1的卷积层组成的反瓶颈残差结构。对输入为h
×w×
c的特征层，先使用1
×
1的卷积把通道数升为原先的4倍即h
×w×
4c，最后使用1
×
1的卷积降为同输入特征层相同的通道数c，这样能让信息在不同通道特征空间转换时避免压缩通道维度带来的信息
损失。(3)cspconvnext layer的核心结构即是由n个convnext block残差结构块堆叠而成，对于主干网络输入的特征层分别左右两部分网络中：一部分即是由n个convnext block残差结构块堆叠构成；另一部分可以看作一个大的残差边，大残差边的输出特征直接和另一部分的输出特征在通道维作拼接，最后经过1
×
1的卷积层调整通道和归一化输出。
[0133]
在特征提取网络的最后一个stage(即dark5)中，采用了一种具有较小flops的快速级联空间池化结构sppf，网络结构如图9所示。
[0134]
如图9所示，sppf主要是由3个相同大小池化核的最大池化层maxpool级联组成，通过最大池化进行特征提取，提高网络的感受范围。相比原yolox中使用的空间池化结构spp，实验表明使用sppf在保持检测精度不变的同时具有更快的速度。
[0135]
如图7所示，输入一张h
×w×
3的巡检图像，图像经由conv stem层空间尺度减半同时图像通道数变为64，即原图变换为h/2
×
w/2
×
64的特征层作为“dark2”的输入。“dark2”的输出特征层的通道数量可设置为任意通道数c，然后每经过一个“dark”层，空间尺度减半的同时特征通道维度c变换为原来的2倍。最后图像经过基础网络的特征提取，“dark3”，“dark4”和“dark5”的输出特征即可作为第二部分特征融合网络的输入。
[0136]
第二部分为基于pafpn改进的特征融合网络，用来融合不同尺度特征层的特征信息，用以提升不同尺度下的目标检测识别性能。如图10所示，pafpn在自顶向下的特征金字塔网络fpn的输出后连接了一个自底向上的路径增强金字塔网络。但无论是fpn还是pafpn，特征融合都是在跨层的不同尺度特征层间的融合，比如p5输出特征层和经过上采样的n4的特征层输出直接进行融合、n3输出特征层经过上采样直接和p4的输出特征层融合，跨层之间特征层的直接融合并没有充分利用不同尺度特征的信息。如图10所示，基于pafpn改进的特征融合网络对fpn不同尺度特征层(p5、p4、p3)的输出分别添加了自处理层“self-processing layer”,“self-processing layer”由n个级联的convnext block残差结构块构成，分别在每个fpn的输出特征层(p5、p4、p3)做自处理以进行信息的深度融合。
[0137]
第三部分为网络的分类和定位检测头，一般的一阶段目标检测网络的检测头都是直接在fpn特征融合网络的输出后堆叠多个普通的卷积层，然后在卷积层后分别连接一个回归卷积子网络和分类卷积子网络，在训练时分别用以计算目标框的定位回归损失和目标类别的分类损失，在检测时分别用于检测目标框的定位和目标的分类。本项目在改进的yolox的目标检测网络中重新引入了一种动态网络检测头框架dyhead，它通过在特征层间、特征层空间位置上和特征通道内引入注意力机制，分别用以目标检测任务的于尺度感知、空间位置感知和任务感知。如图11所示，三种感知模块可堆叠组成“dyhead block”，由“dyhead block”又可级联多次分别构建检测网络头的回归网络分支和分类网络分支。基于dyhead改进的检测网络头在不增加计算量的情况下显著的提升了目标检测头的表征能力。
[0138]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0139]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的刀闸状态识别方法的刀闸状态识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个刀闸状态识别装置实施例中的具体限定可以参见上文中对于刀闸状态识别方法的限定，在此不再赘述。
[0140]
在一个实施例中，如图12所示，提供了一种刀闸状态识别装置120，包括：获取模块1201、分割模块1202和状态确定模块1203，其中：
[0141]
获取模块1201用于获取待检测图像；
[0142]
分割模块1202用于对所述待检测图像进行目标分割，以获取目标区域，其中，所述待检测图像包括刀闸图像；
[0143]
状态确定模块1203用于根据参考图像和所述目标区域确定所述待检测图像中刀闸的开合状态，其中，所述参考图像中的刀闸为闭合状态。
[0144]
在一个实施例中，状态确定模块1203包括：第一确定单元、第二确定单元和第三确定单元；第一确定单元用于根据所述参考图像中的基准线确定所述待检测图像中的基准线，其中，所述参考图像中刀闸臂的所在直线为所述参考图像中的基准线；第二确定单元用于确定出所述目标区域中刀闸臂的边缘线；第三确定单元用于根据所述边缘线与所述待检测图像中的基准线的夹角确定所述候选分合状态。
[0145]
在一个实施例中，分割模块1202包括：第一分割单元、第二分割单元、融合单元和第一目标分割单元；第一分割单元用于根据已训练好的第一图像分割模型对所述待检测图像进行图像分割，以获取第一候选区域；第二分割单元用于根据预设的第二图像分割模型对所述待检测图像进行图像分割，以获取第二候选区域；融合单元用于对所述第一候选区域和所述第二候选区域进行融合处理，以获取第三候选区域；目标分割单元用于根据所述第三候选区域进行目标分割，以获取目标区域。
[0146]
在一个实施例中，第二分割单元还用于对所述待检测图像进行yuv颜色空间转换；将yuv各通道进行分离，基于无监督聚类算法对y通道的图像进行聚类，分离出第一区域；对所述第一区域进行二值化处理，以分割出第二区域；对所述第二区域进行修复和割离处理，以获取所述第二候选区域。
[0147]
在一个实施例中，分割模块1202包括：目标检测单元和第二目标分割单元，目标检测单元基于已训练好的目标检测模型对所述待检测图像进行目标检测；第二目标分割单元根据目标检测的检测结果对所述待检测图像进行目标分割。
[0148]
上述刀闸状态识别装置120中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0149]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统
和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种刀闸状态识别方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0150]
本领域技术人员可以理解，图13中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0151]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0152]
获取待检测图像；
[0153]
对所述待检测图像进行目标分割，以获取目标区域，其中，所述待检测图像包括刀闸图像；
[0154]
根据参考图像和所述目标区域确定所述待检测图像中刀闸的候选分合状态，其中，所述参考图像中的刀闸为闭合状态；
[0155]
基于已训练好的刀头检测模型获取所述目标区域中刀闸的刀头间的接触状态；
[0156]
根据所述接触状态和所述候选开合状态确定刀闸的分合状态。
[0157]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述参考图像中的基准线确定所述待检测图像中的基准线，其中，所述参考图像中刀闸臂的所在直线为所述参考图像中的基准线；确定出所述目标区域中刀闸臂的边缘线；根据所述边缘线与所述待检测图像中的基准线的夹角确定所述候选分合状态。
[0158]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据已训练好的第一图像分割模型对所述待检测图像进行图像分割，以获取第一候选区域；根据预设的第二图像分割模型对所述待检测图像进行图像分割，以获取第二候选区域；对所述第一候选区域和所述第二候选区域进行融合处理，以获取第三候选区域；根据所述第三候选区域进行目标分割，以获取目标区域。
[0159]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述待检测图像进行yuv颜色空间转换；将yuv各通道进行分离，基于无监督聚类算法对y通道的图像进行聚类，分离出第一区域；对所述第一区域进行二值化处理，以分割出第二区域；对所述第二区域进行修复和割离处理，以获取所述第二候选区域。
[0160]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于已训练好的目标检测模型对所述待检测图像进行目标检测；根据目标检测的检测结果对所述待检测图像进行目标分割。
[0161]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0162]
获取待检测图像；
[0163]
对所述待检测图像进行目标分割，以获取目标区域，其中，所述待检测图像包括刀
闸图像；
[0164]
根据参考图像和所述目标区域确定所述待检测图像中刀闸的候选分合状态，其中，所述参考图像中的刀闸为闭合状态；
[0165]
基于已训练好的刀头检测模型获取所述目标区域中刀闸的刀头间的接触状态；
[0166]
根据所述接触状态和所述候选开合状态确定刀闸的分合状态。
[0167]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述参考图像中的基准线确定所述待检测图像中的基准线，其中，所述参考图像中刀闸臂的所在直线为所述参考图像中的基准线；确定出所述目标区域中刀闸臂的边缘线；根据所述边缘线与所述待检测图像中的基准线的夹角确定所述候选分合状态。
[0168]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据已训练好的第一图像分割模型对所述待检测图像进行图像分割，以获取第一候选区域；根据预设的第二图像分割模型对所述待检测图像进行图像分割，以获取第二候选区域；对所述第一候选区域和所述第二候选区域进行融合处理，以获取第三候选区域；根据所述第三候选区域进行目标分割，以获取目标区域。
[0169]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述待检测图像进行yuv颜色空间转换；将yuv各通道进行分离，基于无监督聚类算法对y通道的图像进行聚类，分离出第一区域；对所述第一区域进行二值化处理，以分割出第二区域；对所述第二区域进行修复和割离处理，以获取所述第二候选区域。
[0170]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于已训练好的目标检测模型对所述待检测图像进行目标检测；根据目标检测的检测结果对所述待检测图像进行目标分割。
[0171]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0172]
获取待检测图像；
[0173]
对所述待检测图像进行目标分割，以获取目标区域，其中，所述待检测图像包括刀闸图像；
[0174]
根据参考图像和所述目标区域确定所述待检测图像中刀闸的候选分合状态，其中，所述参考图像中的刀闸为闭合状态；
[0175]
基于已训练好的刀头检测模型获取所述目标区域中刀闸的刀头间的接触状态；
[0176]
根据所述接触状态和所述候选开合状态确定刀闸的分合状态。
[0177]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述参考图像中的基准线确定所述待检测图像中的基准线，其中，所述参考图像中刀闸臂的所在直线为所述参考图像中的基准线；确定出所述目标区域中刀闸臂的边缘线；根据所述边缘线与所述待检测图像中的基准线的夹角确定所述候选分合状态。
[0178]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据已训练好的第一图像分割模型对所述待检测图像进行图像分割，以获取第一候选区域；根据预设的第二图像分割模型对所述待检测图像进行图像分割，以获取第二候选区域；对所述第一候选区域和所述第二候选区域进行融合处理，以获取第三候选区域；根据所述第三候选区域进行目标分割，以获取目标区域。
[0179]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述待检测图像进行yuv颜色空间转换；将yuv各通道进行分离，基于无监督聚类算法对y通道的图像进行聚类，分离出第一区域；对所述第一区域进行二值化处理，以分割出第二区域；对所述第二区域进行修复和割离处理，以获取所述第二候选区域。
[0180]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于已训练好的目标检测模型对所述待检测图像进行目标检测；根据目标检测的检测结果对所述待检测图像进行目标分割。
[0181]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0182]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0183]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0184]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。