基于Yolov7关键点检测的双柱刀闸状态判定方法及设备与流程

本发明涉及基于yolov7关键点检测的双柱刀闸状态判定方法及设备，属于刀闸状态判定领域。

背景技术：

1、双柱刀闸即变电站双柱水平旋转式刀闸，作为变电站常见隔离开关,大量应用于35kv、110kv等电压等级的变电站，可参见图5。但由于其长期暴露在室外，日晒雨淋，受环境影响比较大，此外，刀闸操作次数少，轴承、轴销等传动部位很少得到有效的保养，缺少润滑，从而使得倒闸操作时，出现传动机构卡涩现象，而长期多次的操作卡涩现象极易造成双柱水平旋转式刀闸旋转角度损耗，分合闸不到位，引起隔离开关接触不良，造成发热严重的安全隐患。因此，需要准确识别刀闸分合闸状态。

2、现有技术中大多利用网络模型识别刀闸，再通过帧差法和kcf目标跟踪算法，实时跟踪刀闸运行动态轨迹，进而计算刀闸的像素距离来判断开关的分合状态，识别准确度有待进一步提高。

3、公开号为cn114693974a的专利《一种gis设备刀闸本体开合视觉判断方法》公开了：利用cnns网络模型识别刀闸和绝缘子；根据刀闸区域与绝缘子区域的连通关系以及刀闸区域的长宽比，判断刀闸是否处于闭合状态。

4、公开号为cn110675452a的专利《一种实时跟踪的对开式刀闸状态的检测方法》公开了：对图像中刀闸进行定位并提取跟踪特征点；根据定位结果进行检测，计算左刀闸臂和右刀闸臂之间的初始夹角；对下一帧图像中刀闸臂进行跟踪定位，估算系统误差，确定下一帧图像中左刀闸臂和右刀闸臂之间的校正夹角，判断下一帧图像中刀闸的实时状态，直至检测到刀闸停止运动，验证视频中刀闸运动的最终状态。

5、现有技术中目标检测模型yolov7输出长度为sxsxbx(c+4+1)的预测向量；其中，s表示特征点(grid)数量；b表示每个特征点的瞄框数；c表示目标类别数，一般取值为80。预测向量包含sxsxbx4个标注框位置信息(即标注框中心点坐标(x、y)和标注框宽w、标注框高h)、sxsxb个目标置信度、sxsxc个类别概率，可参见图3。

技术实现思路

1、为了克服现有技术中存在的问题，本发明构建了基于yolov7关键点检测的双柱刀闸状态判定方法，构建并训练刀闸检测模型以识别刀闸位置和刀闸角点位置，根据刀闸角点位置，计算刀闸夹角，具有更高的可靠性；尤其在刀闸分合不到位的场景下，具有更高的检测精度且可以实时显示刀闸刀臂夹角。

2、为了实现上述目的，本发明采用如下技术方案：

3、技术方案一

4、基于yolov7关键点检测的双柱刀闸状态判定方法，包括以下步骤：

5、构建刀闸检测模型；

6、训练刀闸检测模型：构建样本集，样本的标注信息包括刀闸位置信息和若干关键点位置信息；所述若干关键点包括刀闸两侧刀臂的角点；将样本集输入至刀闸检测模型，得到预测结果；利用损失函数计算预测结果与标注信息之间的损失，所述损失包括目标置信度损失、刀闸定位损失和关键点定位损失；基于所述损失，迭代更新刀闸检测模型参数；

7、获取待处理图像；

8、输入待处理图像至刀闸检测模型，得到刀闸位置和若干关键点位置；

9、根据所述若干关键点位置，计算刀闸的刀臂夹角。

10、进一步地，所述损失函数以公式表达为：

11、loss＝λ1lossloc+λ2lossobj+λ3lossland

12、式中，λ1、λ2、λ3分别表示不同的损失系数；lossloc表示所有正样本的刀闸定位损失；lossobj表示所有正负样本的目标置信度损失；lossland表示所有正样本的关键点定位损失。

13、进一步地，所述关键点定位损失的计算公式如下：

14、

15、式中，a、b分别表示预测结果中关键点的横、纵坐标，和分别表示标注信息中关键点的横、纵坐标；wl(x)表示wing loss函数。

16、进一步地，所述计算刀闸的刀臂夹角，以公式表达为：

17、

18、

19、

20、式中，表示刀闸左侧刀臂边界的方向向量；表示刀闸右侧刀臂边界的方向向量；l1x、l1y分别表示刀闸左侧刀臂角点l1的横坐标和纵坐标；l3x、l3y分别表示刀闸左侧刀臂角点l3的横坐标和纵坐标；r1x、r1y分别表示刀闸右侧刀臂角点r1的横坐标和纵坐标，r3x、r3y分别表示刀闸右侧刀臂角点r3的横坐标和纵坐标；表示刀臂夹角。

21、进一步地，所述若干关键点包括：刀闸左侧刀臂边界的四个角点、刀闸右侧刀臂边界的四个角点；

22、若刀闸左侧刀臂上边界角点被遮挡，则根据刀闸左侧刀臂下边界角点和刀闸右侧刀臂边界角点，计算刀臂夹角；

23、若刀闸左侧刀臂下边界角点被遮挡，则根据刀闸左侧刀臂上边界角点和刀闸右侧刀臂边界角点，计算刀臂夹角。

24、进一步地，所述刀闸检测模型包括主干网络和头部网络；

25、所述主干网络用于提取待处理图像的浅层特征、中层特征和深层特征；

26、所述头部网络用于对待处理图像的浅层特征、中层特征、深层特征进行加强特征提取，得到三个不同尺度的特征图，并分别在三个特征图上进行预测，输出三个预测结果；预测结果包括目标置信度、预测框中心点坐标、预测框宽、预测框高、以及若干关键点坐标。

27、技术方案二

28、基于yolov7关键点检测的双柱刀闸状态判定设备，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如下步骤：

29、构建刀闸检测模型；

30、训练刀闸检测模型：构建样本集，样本的标注信息包括刀闸位置信息和若干关键点位置信息；所述若干关键点包括刀闸两侧刀臂的角点；将样本集输入至刀闸检测模型，得到预测结果；利用损失函数计算预测结果与标注信息之间的损失，所述损失包括目标置信度损失、刀闸定位损失和关键点定位损失；基于所述损失，迭代更新刀闸检测模型参数；

31、获取待处理图像；

32、输入待处理图像至刀闸检测模型，得到刀闸位置和若干关键点位置；

33、根据所述若干关键点位置，计算刀闸的刀臂夹角。

34、进一步地，所述损失函数以公式表达为：

35、loss＝λ1lossloc+λ2lossobj+λ3lossland

36、式中，λ1、λ2、λ3分别表示不同的损失系数；lossloc表示所有正样本的刀闸定位损失；lossobj表示所有正负样本的目标置信度损失；lossland表示所有正样本的关键点定位损失。

37、

38、

39、式中，fg表示前景框即正样本锚点；a、b分别表示预测结果中关键点的横、纵坐标，和分别表示标注信息中关键点的横、纵坐标；i表示关键点数量；wl(x)表示wing loss函数。

40、进一步地，所述计算刀闸的刀臂夹角，以公式表达为：

41、

42、

43、

44、式中，表示刀闸左侧刀臂边界的方向向量；表示刀闸右侧刀臂边界的方向向量；l1x、l1y分别表示刀闸左侧刀臂角点l1的横坐标和纵坐标；l3x、

45、l3y分别表示刀闸左侧刀臂角点l3的横坐标和纵坐标；r1x、r1y分别表示刀闸右侧刀臂角点r1的横坐标和纵坐标，r3x、r3y分别表示刀闸右侧刀臂角点r3的横坐标和纵坐标；表示刀臂夹角。

46、进一步地，所述若干关键点包括：刀闸左侧刀臂边界的四个角点、刀闸右侧刀臂边界的四个角点；

47、若刀闸左侧刀臂上边界角点被遮挡，则根据刀闸左侧刀臂下边界角点和刀闸右侧刀臂边界角点，计算刀臂夹角；

48、若刀闸左侧刀臂下边界角点被遮挡，则根据刀闸左侧刀臂上边界角点和刀闸右侧刀臂边界角点，计算刀臂夹角。

49、进一步地，所述刀闸检测模型包括主干网络和头部网络；

50、所述主干网络用于提取待处理图像的浅层特征、中层特征和深层特征；

51、所述头部网络用于对待处理图像的浅层特征、中层特征、深层特征进行加强特征提取，得到三个不同尺度的特征图，并分别在三个特征图上进行预测，输出三个预测结果；预测结果包括目标置信度、预测框中心点坐标、预测框宽、预测框高、以及若干关键点坐标。

52、与现有技术相比本发明有以下特点和有益效果：

53、1、本发明构建并训练刀闸检测模型同步识别刀闸位置和刀闸角点位置，根据刀闸角点位置，计算刀闸夹角，具有更高的可靠性；尤其在刀闸分合不到位的场景下，具有更高的检测精度且可以实时显示刀闸刀臂夹角。

54、2、现有技术中一般通过l1、l2或smooth-l1损失函数对坐标值进行回归，但经本技术技术人员实验发现上述损失函数对小误差并不敏感，其精度难以满足刀闸检测要求。本发明基于wing loss函数构建损失函数以训练刀闸检测模型，确保损失函数对小误差更加敏感，从而获取更高精度的刀闸角点坐标。