一种基于关键点检测的旋钮状态识别方法与流程

本发明涉及配电柜、开关柜等的旋钮状态的识别方法。

背景技术：

1、随着机器人技术和人工智能技术的蓬勃发展，采用巡检机器人替代人工成为产业发展的必然趋势，在电力系统、配电室等一些需要定时巡检，或有巡检操作需要工作要求也逐步的引入了智能的巡操机器人来替代传统的人工巡检，作用效果优异，但也还需不断的提升巡检识别、操作等的精度和适应性等。

2、如一些agv式复合配电室巡操机器人，是结合agv和机械臂的复合型机器人，通过携带高精度的视觉装置协同操作机械臂，代替人工进行高压配电柜的相关操作，以避免人员高危操作风险，减少带电设备对人员造成的伤害，并切实有效的保证设备的安全运行，由于配电柜面板一般带有多种型号的旋钮开关，现有公开一些旋钮的识别技术对电气控制柜面板多旋钮状态识别方法还存在着一些的问题，会影响到机器人操作的可靠进行。如中国发明专利cn112116540a一种用于旋钮开关的档位识别方法和系统，采用目标检测算法识别并分割出旋钮区域图像，利用二值化和去噪等处理方法对旋钮区域进行预处理，通过仿射变换对区域图像进行的矫正，在矫正图像的基础上进行旋钮轮廓提取，分别计算旋钮轮廓和标记轮廓的角度通过计算两个轮廓的角度差与预设阈值角度进行对比以实现对当前旋钮所处状态的判定，该系统方法在对旋钮区域进行变换矫正的时候采用仿射变换对边界框进行摆正，忽略了物体成像产生的畸变对旋钮轮廓及角度的影响。且在通过对比标记轮廓和旋钮轮廓角度差的方式进行状态判定过程中，对标记轮廓的干扰较多，准确提取的难度较大。

技术实现思路

1、本发明的目的在于提供一种不仅能够减少了识别成像畸变的影响，还能够达到较高识别旋钮手柄指向准确性的一种基于关键点检测的旋钮状态识别方法。

2、为实现上述目的，本发明的技术方案是：一种基于关键点检测的旋钮状态识别方法。

3、一种基于关键点检测的旋钮状态识别方法，方法步骤如下：

4、步骤1)、采集一定数量图像数据，所述图像数据包括带有旋钮的电气控制柜面板的图像数据和仅有旋钮区域的图像数据，并对图像数据进行标注，得到具有标注的图像数据集，该步骤中对图像数据进行关键点标注包括对电气控制柜面板的图像数据中旋钮类别、旋钮位置区域、旋钮状态标识板、旋钮状态标识板上的角点的标注以及对旋扭区域的图像数据中各个旋钮状态标识点、旋钮的手柄旋转中心、旋扭手柄的指向和旋扭手柄的尾部的关键点标注；

5、步骤2)、利用步骤1)的图像数据集分别训练旋钮类别、旋钮位置区域定位和旋钮状态标识板角点检测模型以及旋钮关键点检测模型，其中旋钮关键点检测模型的训练为基于openpose网络训练；

6、步骤3)、通过深度学习模型yolov5对需要检测识别的电气控制柜面板的图像数据的旋钮进行类别识别和定位，同时检测被类别识别和定位出的旋钮的旋扭状态标识板的四个角点，计算各个角点在对应的旋钮锚框上的相对坐标，并将旋钮锚框区域裁剪出得到旋钮区域图像；

7、步骤4)、对旋钮区域图像进行透视变换矫正，利用步骤3)检测到的旋钮状态标识板的四个x轴、y轴坐标为(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)的角点对旋钮区域图像进行透视变换矫正；

8、步骤5)、对透视变换矫正后的旋钮区域图像利用步骤2)训练好的openpose模型进行旋扭手柄关键点检测，得到旋扭手柄关键点，包括各个旋钮状态标识关键点、旋钮手柄指向关键点、手柄旋转中心关键点和手柄尾部关键点，通过旋扭手柄关键点得到旋钮指向点、旋钮旋转中心以及旋钮手柄尾部三个关键点；

9、步骤6)、基于利用openpose模型检测出的旋扭手柄关键点计算旋钮手柄指向直线方程，其中旋钮手柄的指向直线表达式如下：y＝kdx+b，其中kd为****，b为****；

10、步骤7)、计算各旋钮状态标识关键点到旋钮手柄指向直线的距离，取距离最小的旋钮标识关键点所对应的标识为该旋钮当前所处的状态。

11、步骤6)中通过对旋钮指向点、旋钮旋转中心以及旋钮手柄尾部这三个关键点进行两两组合的方式分别确定直线参数，计算三组直线参数的均值来计算旋钮手柄指向直线方程，其中kd和b两个参数的确定表达式如下：

12、其中i为****，j为****

13、其中n为旋钮手柄关键点的个数，c为****。

14、步骤7)中旋钮状态标识关键点到旋钮手柄指向直线的距离的计算方法为利用openpose模型检测到的旋钮状态标识关键点表示为(xs,ys)和计算得到的旋钮手柄指向直线方程y＝kdx+b，结合点到直线的距离计算方法即可得到各旋钮状态标识关键点到该直线的距离ls，其计算表达式如下：

15、

16、其中，ns为旋钮状态标识关键点个数，通过对比各个旋钮标识关键点的距离ls的大小，取ls最小的旋钮标识关键点所对应的标识为该旋钮当前所处的状态。

17、步骤4)中已知旋钮状态标识板的四个角点x轴、y轴的物理坐标关系为(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)，由此可以确定变换后目标图像中四个角点的坐标即为(u1,v1)，(u2,v2)，(u3,v3)，(u4,v4)，变换关系可表示为式如下：

18、

19、其中，从旋钮区域图像到目标图像的变换关系的变换矩阵表示式如下：

20、

21、取a33＝1，即变换关系的变换矩阵表示式如下：

22、

23、根据计算到的变换矩阵对旋钮区域图像实现透视变换矫正。

24、通过采用上述技术方案，本发明的有益效果是：。提供了一种基于关键点检测的旋钮状态识别方法。其中该方法主要包括几方面：1、旋钮识别及角点检测，利用深度学习yolov5模型进行种类识别、旋钮定位以及角点检测；2、旋钮区域图像矫正，利用旋钮角点实现对图像的透视变换矫正；3、旋钮关键点检测，通过openpose实现旋钮各个状态标识点及旋钮手柄关键点的检测；4、旋钮指向直线确定，利用旋钮手柄的关键点计算并得到准确的旋钮指向直线方程；5、旋钮状态判定，通过计算各个旋钮状态标识关键点到旋钮指向直线的距离，即距离最短的旋钮状态标识关键点所对应的状态标识为该旋钮当前所处的状态。该方法最终通过检测旋钮上各个旋钮状态标识关键点和旋钮手柄关键点，准确地计算旋钮各个标识关键点到旋钮手柄指向直线的距离，实现对旋钮所处状态的准确判定。

25、相比中国发明专利cn112116540a一种用于旋钮开关的档位识别方法和系统，本发明对裁剪的旋钮区域进行了透视变换的矫正，且在采用旋钮手柄三个关键点两两组合的方式求取旋钮手柄指向直线参数的均值，不仅减少了成像畸变的影响还确保了旋钮手柄指向的准确性。

技术特征：

1.一种基于关键点检测的旋钮状态识别方法，其特征在于：方法步骤如下：

2.如权利要求1所述的一种基于关键点检测的旋钮状态识别方法，步骤6)中通过对旋钮指向点、旋钮旋转中心以及旋钮手柄尾部这三个关键点进行两两组合的方式分别确定直线参数，计算三组直线参数的均值来计算旋钮手柄指向直线方程，其中kd和b两个参数的确定表达式如下：

3.如权利要求1或2所述的一种基于关键点检测的旋钮状态识别方法，步骤7)中旋钮状态标识关键点到旋钮手柄指向直线的距离的计算方法为利用openpose模型检测到的旋钮状态标识关键点表示为(xs,ys)和计算得到的旋钮手柄指向直线方程y＝kdx+b，结合点到直线的距离计算方法即可得到各旋钮状态标识关键点到该直线的距离ls，其计算表达式如下：

4.如权利要求1或2所述的一种基于关键点检测的旋钮状态识别方法，其特征在于，步骤4)中已知旋钮状态标识板的四个角点x轴、y轴的物理坐标关系为(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)，由此可以确定变换后目标图像中四个角点的坐标即为(u1,v1)，(u2,v2)，(u3,v3)，(u4,v4)，变换关系可表示为式如下：

5.如权利要求3所述的一种基于关键点检测的旋钮状态识别方法，其特征在于，步骤4)中已知旋钮状态标识板的四个角点x轴、y轴的物理坐标关系为(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)，由此可以确定变换后目标图像中四个角点的坐标即为(u1,v1)，(u2,v2)，(u3,v3)，(u4,v4)，变换关系可表示为式如下：

技术总结
本发明涉及配电柜、开关柜等的旋钮状态的识别方法技术领域，具体公开一种基于关键点检测的旋钮状态识别方法，步骤包括收集一定数量的带有旋钮的电气控制柜面板图像数据和仅有旋钮的区域图像，并对图像数据进行标注；利用标注好的数据集分别训练旋钮类别、区域定位及角点检测模型和旋钮关键点检测模型；通过深度学习模型Yolov5进行旋钮类别识别定位以及角点检测；对旋钮区域图像进行透视变换矫正；利用训练好的OpenPose模型进行关键检点检测；基于关键点的旋钮手柄指向直线方程计算；计算旋钮各状态标识关键点到旋钮手柄指向直线的距离。该方法不仅能够减少了识别成像畸变的影响，还能够达到较高识别旋钮手柄指向准确性。

技术研发人员：李洪,朱晨亮,刘宗茂,成仕强,黄维,邹炯斌,林海,林业桂
受保护的技术使用者：泉州通维科技有限责任公司
技术研发日：
技术公布日：2024/4/7