一种基于机器视觉的高空作业人员行为态势识别方法

本发明涉及安全施工管理领域，具体涉及一种基于机器视觉的高空作业人员行为态势识别方法。

背景技术：

1、电网作业常处于高空、高压等危险环境，此类环境常常为电力作业人员的安全带来威胁，因此行业内制定了一系列的规章来规范施工人员的操作行为。但是常常存在施工人员为了方便不佩戴安全帽、不按规定佩戴安全带、不按规定使用挂钩等行为。为了在一定程度上保障施工人员的安全，施工方通常会派遣巡视人员进行纠察。但是高空作业离地面较高，地面人员难以通过肉眼对高空人员进行监督，且人员来回巡视也浪费了人力资源，使得高空作业安全监管难成为了行业的一个隐患。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种基于机器视觉的高空作业人员行为态势识别方法解决了高空作业安全监管难的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、提供一种基于机器视觉的高空作业人员行为态势识别方法，其包括以下步骤：

4、s1、获取实时画面，通过深度学习网络识别出实时画面中作业人员、安全帽、安全带和安全带挂钩；

5、s2、判断安全帽和安全带是否均佩戴正确，若是则进入步骤s3；否则进行预警输出；

6、s3、判断安全带的挂接方式是否正确，若是则进入步骤s4；否则进行预警输出；

7、s4、判断安全带挂钩状态是否正常，若是则判定高空作业人员行为态势正常；否则进行预警输出。

8、进一步地，步骤s1中深度学习网络的构建方法为：

9、将yolov5网络的sppf模块替换为sppfcspc模块，将yolov5网络的耦合头替换为解耦头，并采用siou损失函数进行优化；其中sppfcspc模块包括并联的第一卷积单元和第二卷积单元；第二卷积单元依次连接第三卷积单元和第四卷积单元，第四卷积单元的输出端分别连接第一最大池化单元和第一融合单元；第一最大池化单元的输出端分别连接第二最大池化单元和第一融合单元的输入端；第二最大池化单元的输出端分别连接第三最大池化单元和第一融合单元的输入端；第三最大池化单元的输出端连接第一融合单元的输入端；第一融合单元的输出端依次连接第五卷积单元和第六卷积单元；第六卷积单元的输出端和第一卷积单元的输出端分别连接第二融合单元；第二融合单元的输出端连接第七卷积单元；第一卷积单元和第二卷积单元的输入端共同作为sppfcspc模块的输入端；第七卷积单元的输出端为sppfcspc模块的输出端。

10、进一步地，采用siou损失函数进行优化的具体方法包括以下步骤：

11、a1、将包含有安全帽、安全带和/或安全带挂钩的图像作为训练样本，获取训练样本的真实框；将训练样本输入深度学习网络，得到预测框；

12、a2、根据公式：

13、

14、

15、

16、获取深度学习网络的角度损失λ；其中ch为真实框中心点和预测框中心点的高度差；π为圆周率；σ为真实框和预测框中心点的距离；为真实框中心坐标；为预测框中心点坐标；max(·)表示取最大值；min(·)表示取最小值；

17、a3、根据公式：

18、

19、

20、

21、获取深度学习网络的距离损失δ；其中γ＝2-λ，ρx和ρy为中间参数，ρt＝{ρx,ρy}；xw和xh分别为真实框和预测框最小外接矩形的宽和高；

22、a4、根据公式：

23、

24、

25、

26、获取深度学习网络的形状损失ω；其中e为自然常数；w、h、wgt和hgt分别为预测框和真实框的宽和高；θ为常数；ww和wh均为中间参数，wt＝{ww,wh}；

27、a5、根据公式：

28、

29、获取深度学习网络的综合损失值losssiou；其中iou为预测框和真实框交集和并集的比值；

30、a6、根据深度学习网络的综合损失值losssiou对深度学习网络的参数进行优化，完成对深度学习网络的优化。

31、进一步地，步骤s2中判断安全帽和安全带是否佩戴正确的具体方法为：

32、获取识别出的作业人员所在区域r(xp)、安全帽所在区域r(xh)和安全带及安全带挂钩共同所在区域r(xs)，根据公式：

33、

34、获取安全帽和安全带是否均佩戴正确的判别值ioux；其中∩表示取交集；∪表示去并集；

35、判断ioux是否大于相应阈值，若是则判定安全帽和安全带均佩戴正确；否则进行预警输出。

36、进一步地，步骤s3中判断安全带的挂接方式是否正确的具体方法包括以下子步骤：

37、s3-1、获取包含安全带的识别框，并单独提取该识别框中的图片；

38、s3-2、对提取的图片进行二值化处理，得到二值图像；

39、s3-3、计算二值图像中安全带的中心坐标(x0,y0)，以及离该中心坐标距离最远的安全带像素的坐标(xe,ye)；

40、s3-4、根据公式：

41、t＝|y1-y2|/4

42、获取安全带的挂接方式判别阈值t；其中y1和y2分别为安全带识别框上下边界的纵坐标；

43、s3-5、若y0-ye<-t成立，则判定为高挂抵用，即安全；若y0-ye>t，则判定为低挂高用，即预警输出。

44、进一步地，步骤s3-2的具体方法包括以下子步骤：

45、s3-2-1、获取安全带所在rbg颜色空间的立方球的圆点ri和半径r0，及其rbg分量ai；其中i＝1,2,3；

46、s3-2-2、根据公式：

47、

48、对提取的图片进行彩色切片，得到彩色切片后的rbg分量bi；

49、s3-2-3、采用1表示白色、0表示黑色的方法将由rbg分量bi构成的图像进行二值化，得到彩色切片后的二值图像；

50、s3-2-4、通过形态学开运算去除彩色切片后的二值图像的毛刺孔洞，得到二值图像。

51、进一步地，步骤s4中判断安全带挂钩状态是否正常的具体方法为：

52、通过自拍构建安全带挂钩数据集对yolov5网络进行迁移学习，采用迁移学习后的yolov5网络识别安全带挂钩状态；其中安全带挂钩状态包括正常、挂细电线、挂斜线、卡扣未闭合和卡扣系线5类；

53、当安全带挂钩状态为挂细电线、挂斜线、卡扣未闭合或卡扣系线时，进行预警输出。

54、本发明的有益效果为：本发明在深度学习目标检测的基础上，同时融入场景识别技术、交并比、逻辑判断函数、色度学空间目标提取以及形态学处理技术，实现特定场景下电力作业的违规操作行为识别，并进行相应的预警输出，有效提高了高空作业的监管便利性。

技术特征：

1.一种基于机器视觉的高空作业人员行为态势识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于机器视觉的高空作业人员行为态势识别方法，其特征在于，步骤s1中深度学习网络的构建方法为：

3.根据权利要求2所述的基于机器视觉的高空作业人员行为态势识别方法，其特征在于，采用siou损失函数进行优化的具体方法包括以下步骤：

4.根据权利要求1所述的基于机器视觉的高空作业人员行为态势识别方法，其特征在于，步骤s2中判断安全帽和安全带是否佩戴正确的具体方法为：

5.根据权利要求1所述的基于机器视觉的高空作业人员行为态势识别方法，其特征在于，步骤s3中判断安全带的挂接方式是否正确的具体方法包括以下子步骤：

6.根据权利要求5所述的基于机器视觉的高空作业人员行为态势识别方法，其特征在于，步骤s3-2的具体方法包括以下子步骤：

7.根据权利要求1所述的基于机器视觉的高空作业人员行为态势识别方法，其特征在于，步骤s4中判断安全带挂钩状态是否正常的具体方法为：

技术总结
本发明公开了一种基于机器视觉的高空作业人员行为态势识别方法，其包括以下步骤：S1、识别出实时画面中作业人员、安全帽、安全带和安全带挂钩；S2、判断安全帽和安全带是否均佩戴正确，若是则进入步骤S3；否则进行预警输出；S3、判断安全带的挂接方式是否正确，若是进入步骤S4；否则进行预警输出；S4、判断安全带挂钩状态是否正常，若是则判定高空作业人员行为态势正常；否则进行预警输出。本发明在深度学习目标检测的基础上，同时融入场景识别技术、交并比、逻辑判断函数、色度学空间目标提取以及形态学处理技术，实现特定场景下电力作业的违规操作行为识别，并进行相应的预警输出，有效提高了高空作业的监管便利性。

技术研发人员：陈明举,兰中孝,熊兴中,宋竑森
受保护的技术使用者：四川轻化工大学
技术研发日：
技术公布日：2024/1/13