一种焊接人员和焊接环境监控方法和装置与流程

本发明属于监控领域，涉及一种焊接人员和焊接环境监控方法和装置。

背景技术：

1、目前，大部分制造业厂家对焊机的作业过程中焊接人员和焊接环境缺乏有效的安全监测手段，一般依靠人员自觉性以及管理人员人工监测，监测范围窄、效率较低。

技术实现思路

1、本发明为了克服现有技术的不足，提供一种焊接人员和焊接环境监控方法和装置。

2、为了实现上述目的，本发明采用以下技术方案：一种焊接人员和焊接环境监控方法,包括以下步骤：

3、步骤1：身份识别模块执行身份识别流程，判断焊接人员身份是否异常，若是，语音广播模块报警，提示焊接人员身份异常，进入待机模式，若否，执行步骤2；

4、步骤2：环境监测模块执行环境监测流程，判断焊机工位环境是否异常，若是，语音广播模块报警，提示环境异常，进入待机模式，若否，执行步骤3；

5、步骤3：焊接操作识别模块判断焊接人员是否进行焊接操作，若是，执行步骤5，若否，判定焊机处于待机状态，执行步骤4；

6、步骤4；焊机待机超时模块判断焊机待机是否超时，若超时，语音广播模块报警，提示待机超时，进入待机模式，若否，执行步骤5；

7、步骤5：运行监测模块执行焊接人员监测流程和操作环境监测流程；

8、步骤6：焊接操作识别模块判断焊机操作是否继续，若是，焊接人员继续执行操作，执行步骤5，若否，执行步骤7；

9、步骤7：判断进入关机模式或者待机模式，若是关机模式，执行关机流程，若是待机模式，执行待机流程；

10、步骤8：结束。

11、进一步的，所述步骤2包括以下步骤：

12、步骤2.1:监测摄像模块动态采集焊机工位的环境图像，基于环境图像执行环境安全监测流程，若环境正常，执行步骤2.2，若环境异常，语音广播模块报警，提示用户异常，进入待机模式；

13、步骤2.2:rfid识别模块识别焊机、灭火器和监测摄像模块的rfid标签获取信息，与设定的rfid标签信息进行比对，若比对一致，表示目前焊机工位的焊机、灭火器、监测摄像模块一一对应且未更换，执行步骤3，若比对不一致，语音广播模块报警，提示用户异常，进入待机模式。

14、进一步的，所述环境安全监测流程的具体步骤为：

15、步骤a1：监测摄像模块采集焊机工位的图像，根据背景环境模型判断当前焊机工位的图像的背景是否发生突变，若是，执行步骤a2，若否，认为焊机工位环境不变，焊机工位环境正常，执行步骤a2；

16、步骤a2：提取焊机工位的图像突变区域，将突变区域图像进行rgb转换成lab模型，分别生成l、a、b三张分量图像；

17、步骤a3：设定低灰度阈值范围，基于低灰度阈值范围将l分量图像进行二值化提取，获取烟雾区域图像；

18、步骤a4：根据烟雾区域图像，计算l、a、b，判断l＜ll，且a＜al，b＜bl，若是，认为烟雾区域图像中含有低亮度区域,标记为黑色浓厚区域s1以及黑色浓厚区域的位置p1，执行步骤a5；若否，认为烟雾区域图像不含有低亮度区域，当前焊机工位的环境正常；

19、ll为烟雾判断的亮度阈值，al和bl为烟雾判断的两个颜色通道阈值；

20、步骤a5：设定高灰度阈值范围，基于高灰度阈值范围将l分量图像进行二值化提取，获取亮度区域图像；

21、步骤a6：根据亮度区域图像，计算l、a、b，判断l＞lh，且a＞ah，a＞b，ah＞64，若是，认为亮度区域图像中含有高亮区域,将高亮生成火焰区域，标记火焰区域s2,计算火焰区域s2的最小外接位置p2，执行步骤a7；若否，认为高亮度区域不含有含有高亮、红黄区域，当前焊机工位的环境具有浓烟，但无火焰；

22、lh为火焰判断的亮度阈值，ah和bh为火焰判断的两个颜色通道阈值；

23、步骤a7：判断区域位置p1是否高于区域位置p2，若是，认为符合烟雾和火焰的分布，执行步骤a8，若否，认为不符合烟雾和火焰的分布，需重新检测区域位置p1和区域位置p2，执行步骤a4；

24、步骤a8：计算火焰面积变化率di，判断di是否大于dh，若是，认为火焰为火灾火焰，执行步骤a9；若否，认为火焰为稳定光源的火焰；

25、

26、s2＝s(n')，s(n')为第n'火焰区域面积；n'为采集的第n'张目标区域图像，n′+1采集的第n′+1张目标区域图像，dh为火灾面积变化率阈值；

27、步骤a9：计算监测摄像模块连续采集的第n′+1张目标区域图像中的s1、s2和di，判断s2、di以及s2/s1是否逐渐变大，若是，认为火灾的火焰变大，执行步骤a10，若否，认为火灾火焰还未变化；

28、步骤a10：提取图像中r(x,y)>g(x,y)>b(x,y)、r(x,y)>190的区域，标记为火焰区域s3，取火焰区域s2和火焰区域s3的并集s4，判断s4是否大于火焰区域阈值st，若是，认为火灾面积超出阈值，人机交互界面显示焊机工作区域的灭火器位置，语音广播模块报警且启动应急广播，进入待机模式；若否，语音广播模块报警，进入待机模式，r(x,y)、g(x,y)、b(x,y)为图像红、绿、蓝三个通道的颜色值。

29、进一步的，所述焊接操作的判断流程具体包括以下步骤：

30、步骤3.1：基于轻量级神经网络模型pp-pico-det，采集头盔、面罩、焊棒数据集对其进行训练以及优化识别，获得目标监测模型det1；

31、步骤3.2：监测摄像模块采集并处理焊机开机焊机工位图像，获得判断图像，判断图像输入目标监测模型det1；

32、步骤3.3：目标监测模型det1分割判断图像获取并识别头部区域和手部区域；判断头部区域是否存在头盔以及面罩，手部区域是否存在焊棒，若头盔、面罩以及焊棒其中之一不存在，语音广播模块报警，提示焊接人员头盔、面罩以及焊棒其中之一未配置，认为焊机处于待机状态，执行步骤4，若全部存在，执行步骤3.4；

33、步骤3.4：获取判断图像中焊棒的区域位置，提取焊棒尖端位置坐标；

34、步骤3.5：提取焊机开机后设定时间t1内监测摄像模块采集的焊机工位图像，将焊机工位图像转换灰度图，通过高斯滤波进行平滑降噪、二值化处理获得焊机工位的二值化图像；

35、步骤3.6：以焊棒尖端位置坐标为中心，以设定长宽分割二值化图像，获得焊棒尖端图像；

36、步骤3.6：判断焊棒尖端图像中是否有亮度值大于230的区域，若是，认为有电火花，判定焊接人员进行焊接操作，若否，认为没有电火花，判定焊接人员未进行焊接操作。

37、进一步的，所述步骤4中焊机待机是否超时通过焊接操作的判断流程进行判断，具体包括以下步骤：

38、步骤4.1：标记焊接操作的判断流程的判断结果，判断结果为1是指结果为焊接人员进行焊接操作，判断结果为0是指结果为焊接人员处于待机状态；

39、步骤4.2：执行焊接操作的判断流程，记录焊接操作的判断流程第一次判断结果为0的时间，标记为t2；

40、步骤4.3：设定待机时间阈值为t2；

41、步骤4.4：选取时间t2到t2+t2之间焊接操作的判断流程的判断结果，若判断结果是否均为0，若是，在时间t2内，认为焊机均处于待机状态，判定焊机待机超时，若否，在时间t2内，焊接人员有进行焊接操作，判定焊机待机不超时。

42、进一步的，所述操作环境监测流程具体包括以下步骤：

43、步骤d.0：监测摄像模块采集焊机工位的图像，根据背景环境模型判断当前焊机工位的图像的背景是否发生突变，若是，执行步骤d.1，若否，认为焊机工位环境不变，焊机工位环境正常，执行步骤6；

44、步骤d.1：提取图像中背景发生突变的目标区域图像，将目标区域图像转换为灰度图，高斯滤波进行平滑降噪，获得滤波特征图；

45、步骤d2：基于轻量级神经网络模型pp-pico-det，采集人、电火花、烟雾、火焰数据集对其进行训练以及优化识别，获得目标监测模型det2，将滤波特征图输入目标监测模型det2，获得人、电火花、烟雾、火焰在图像的区域位置，对其进行粗定位；

46、步骤d3：精定位电火花在图像的区域位置；

47、步骤d4：从目标区域图像中去除f2，生成图像f3；

48、步骤d5：根据图像f3，执行烟雾和火焰监测流程，判断焊机工位的环境是否异常，若是，进入待机模式，若否，执行步骤6。

49、进一步的，所述步骤d3中精定位电火花在图像的区域位置的具体步骤为：

50、步骤d3.1：建立gabor滤波器：

51、gabor滤波器公式为：

52、

53、

54、其中g(x,y,λ,θ,ψ,σ,γ)为二维的gabor滤波器，为调谐函数，为窗口函数，其中λ为直接影响涉波器的滤波尺度，θ为涨波器的方向，ψ为调谐数的相位偏移，ψ的取值-180到180；σ高斯浅波器的方差；γ为纵横比，决定滤波器的形状，γ取1时为圆形，通常取0.5，当γ小于1时，形状随着平行条纹方向而拉长；

55、步骤d3.2：gabor滤波器以8个方向与4种尺寸进行计算获得32个滤波器；

56、步骤d3.3：将获得的32个滤波器与步骤d2获得的图像区域进行卷积计算，得到32张特征图；

57、步骤d3.4：32张特征图进行灰度计算，选取灰度大于230以上图像作为图像高亮区域，从高亮区域中筛选区域长宽比大于10：1的区域，该区域为电火花区域；

58、步骤d3.5：计算电火花区域轮廓点集(xi，yi)，i＝0，1，…，n,n为轮廓点总数，逐一提取32张特征图中电火花区域的轮廓数据，重叠的区域做并集，获得目标轮廓数据集；

59、步骤d3.6：将直角系坐标下的焊棒尖端位置(xh，yh)进行极坐标转换，得到极坐标公式：

60、

61、目标轮廓数据集经过极坐标转换，获得线段在极坐标系中的分布以及极角υ，计算线段与90度之间的偏差角度q，q＝|υ-90|，设定偏差角度阈值q，q′为3度，判断q是否大于偏差角度阈值q′，若是，判定该线段不是电弧线，剔除该线段，若否，判定该线段为电弧线，将该线段归纳至电弧线集；

62、步骤d3.7：将电弧线集内所有线段叠加生成极坐标图像f1，将f1极坐标逆转换为直角系坐标图像f2，坐标图像f2为精定位后电火花在图像的区域位置。

63、进一步的，所述步骤d5中烟雾和火灾监测流程包括以下步骤：

64、步骤d5.1：将图像f3进行rgb转换成lab模型，分别生成l、a、b三张分量图像；

65、步骤d5.2：设定低灰度阈值范围，基于低灰度阈值范围将l分量图像进行二值化提取，获取烟雾区域图像；

66、步骤d5.3：根据烟雾区域图像，计算l、a、b，判断l＜ll，且a＜al，b＜bl，若是，认为烟雾区域图像中含有黑色浓厚区域,标记黑色浓厚区域s1以及黑色浓厚区域的位置p1，执行步骤d5.4；若否，认为烟雾区域图像不含有黑色浓厚区域，当前焊机工位的环境正常；

67、ll为烟雾判断的亮度阈值，al和bl为烟雾判断的两个颜色通道阈值；

68、步骤d5.4：设定高灰度阈值范围，基于高灰度阈值范围将l分量图像进行二值化提取，获取高亮度区域图像；

69、步骤d5.5：根据高亮度区域图像，计算l、a、b，判断l＞lh，且a＞ah，a＞b，ah＞64，若是，认为高亮度区域图像中含有高亮、红黄区域,将高亮、红黄区域生成火焰区域，标记火焰区域s2,计算火焰区域s2的最小外接位置p2，执行步骤d5.6；若否，认为高亮度区域不含有含有高亮、红黄区域，当前焊机工位的环境具有浓烟，但无火焰；

70、lh为火焰判断的亮度阈值，ah和bh为火焰判断的两个颜色通道阈值；

71、步骤d5.6：判断区域位置p1是否高于区域位置p2，若是，认为符合烟雾和火焰的分布，执行步骤d5.7，若否，认为不符合烟雾和火焰的分布，需重新检测区域位置p1和区域位置p2，执行步骤d5.3；

72、步骤d5.7：计算火焰面积变化率di，判断di是否大于dh，若是，认为火焰为火灾火焰，执行步骤d5.8；若否，认为火焰为稳定光源的火焰；

73、

74、s2＝s(n')，s(n')为第n'火焰区域面积；n'为采集的第n'张目标区域图像，n′+1采集的第n′+1张目标区域图像，dh为火灾面积变化率阈值；

75、步骤d5.8：计算监测摄像模块连续采集的第n′+1张目标区域图像中的s1、s2和di，判断s2、di以及s2/s1是否逐渐变大，若是，认为火灾的火焰变大，执行步骤d5.9，若否，认为火灾火焰还未变化；

76、步骤d5.9：提取图像中r(x,y)>g(x,y)>b(x,y)、r(x,y)>190的区域，标记为火焰区域s3，取火焰区域s2和火焰区域s3的并集s4，判断s4是否大于火焰区域阈值st，若是，认为火灾面积超出阈值，人机交互界面显示焊机工作区域的灭火器位置，语音广播模块报警且启动应急广播，进入待机模式；若否，语音广播模块报警，进入待机模式，r(x,y)、g(x,y)、b(x,y)为图像红、绿、蓝三个通道的颜色值。

77、一种焊接人员和焊接环境监控装置，基于所述的焊接人员和焊接环境监控方法制备的装置，包括焊机管理监测控制器(mcu)、人脸识别模块、rfid识别模块、监测摄像模块、语音广播模块和人机交互界面，人脸识别模块、rfid识别模块、监测摄像模块、语音广播模块和人机交互界面分别与焊机管理监测控制器连接；

78、焊机管理监测控制器用于控制各个模块之间的连接和交互，执行系统运行和调度，焊机管理监测控制器用于焊机的控制；

79、焊机管理监测控制器包括存储模块，设定的人脸图像与身份证信息存储至存储模块；

80、人脸识别模块用于采集以及识别人脸图像；

81、rfid识别模块用于识别焊机、灭火器、监测摄像模块上的rfid标签；

82、监测摄像模块用于在焊机运行过程中进行焊接人员监测、操作环境监测以及在焊机开机操作和待机时进行环境安全监测；

83、语音广播模块依据用于焊机工作状态和异常情况进行播报。

84、进一步的，还包括人脸比对模块，用于比对两组人脸图像是否一致；

85、还包括身份识别模块，身份识别模块用于识别以及判断当前焊接人员的身份是否正常；

86、还包括环境安全监测模块，用于监测焊机运行前、焊机待机和焊机关机状态时焊机工位的环境以及判断环境是否异常；

87、还包括焊接操作识别模块，用于识别焊接人员的工作姿态以及焊接操作识别模块判断焊接人员是否进行焊接操作；

88、还包括焊机待机超时模块，用于焊机待机超时模块判断焊机待机是否超时；

89、还包括焊接人员监测模块，用于监测并判断焊接人员是否符合操作规范以及是否离岗；

90、还包括操作环境监测模块用于对焊机运行过程中焊机工位环境进行监测，具体对焊机工位的电火花、烟雾以及火焰进行监测。

91、综上所述，本发明的有益之处在于：

92、1)本发明结合焊机管理监测控制器(mcu)、人脸识别模块、rfid识别模块、监测摄像模块、语音广播模块和人机交互界面，对焊机开机运行前、待机、关机以及运行过程中对焊机工位的焊接环境进行全过程自动化监测，同时对焊接人员的焊接操作以及离岗进行全过程自动化监测，并对监测的异常情况进行语音广播报警，保证焊接环境和焊接人员的安全。

93、2)本发明设置人机交互界面，人机交互界面支持查询历史数据，可在系统出现异常情况时及时向用户提供提示，通知异常情况；可向用户提供操作步骤或解决潜在异常的方法和步骤，帮助用户正常操作以及解决故障。