一种用于智能化管理焊机的图像处理系统和处理方法

本发明属于图像处理，涉及一种用于智能化管理焊机的图像处理系统和处理方法。

背景技术：

1、目前，大部分制造业厂家对焊机的作业过程以及作业环境缺乏有效的安全监测手段，一般依靠人员自觉性以及管理人员人工监测，监测范围窄、效率较低，且对因焊接不良导致的产品质量问题缺乏有效的追踪手段。

2、目前也存在通过监控器来监控焊机的手段，但需要人员实时的关注，存在监测信息单一，缺乏对焊机故障、焊接参数的预警，用户与系统的交互较少的问题。

3、针对上述问题，现亟需通过对采集的图像进行处理，根据处理结果自动管理焊机的一种用于智能化管理焊机的图像处理系统和处理方法。

技术实现思路

1、本发明为了克服现有技术的不足，提供一种用于智能化管理焊机的图像处理系统和处理方法。

2、为了实现上述目的，本发明采用以下技术方案：一种用于智能化管理焊机的图像处理系统,用于管理车间内的所有焊机，包括控制器、服务器、人脸图像识别模块、rfid识别模块、监控摄像模块、语音广播模块和人机交互界面，人脸图像识别模块、rfid识别模块、人机交互界面、服务器分别与控制器连接，语音广播模块和监控摄像模块分别与服务器连接，语音广播模块、监控摄像模块、控制器和服务器之间进行组网，服务器用于向控制器下发设定的操作人员身份信息以及接收控制器的数据和指令，数据用于显示焊机的工作情况和分析；指令包括语音广播模块播放指令、监控摄像模块操作指令，服务器接收控制器指令后向语音广播模块、监控摄像模块发指令，使语音广播模块、监控摄像模块执行相应任务，车间包括安全人行通道区域与焊机工作区域，将焊机工作区域和焊机编号，将编号输入服务器，一组焊机工作区域配置一台焊机，焊机工作区域和焊机编号一一对应。

3、进一步的，所述监控摄像模块包括工作摄像模块和场景摄像模块，工作摄像模块设置在焊机工作区域，其成像范围设置为焊机工作区域，场景摄像模块的成像范围为安全人行通道区域，工作摄像模块和场景摄像模块与服务器实时交互，通过工作摄像模块和场景摄像模块采集的车间内操作人员图像，工作摄像模块和场景摄像模块包含图像实时采集的摄像头和进行图像实时处理的图像处理模块。

4、一种用于智能化管理焊机的图像处理方法，基于所述用于智能化管理焊机的图像处理系统的处理方法，包括以下步骤：

5、步骤1：背景初始化；

6、步骤2：车间入口的图像采集模块采集待进入车间人员进出卡的卡图像，人脸图像识别模块采集待进入车间人员的人脸图像，人员进入车间身份识别模块对卡图像和人脸图像进行处理，判断待进入的人员是否为该车间允许的人员，若是，车间入口闸门打开，执行步骤3，若否，语音广播报警，提示有非法人员进入；

7、步骤3：根据步骤2获取人员的编号、焊机编号、焊机工作区域的编号和工作摄像模块的编号，控制器控制该编号的焊机上电开机，开机信息读取模块将服务器存储的信息进行内部比对以及将服务器和控制器存储的信息进行比对，判断比对是否异常，若异常，语音广播模块报警，提示信息异常，进入待机模式，若不异常，执行步骤4；

8、步骤4：启动对应编号的工作摄像模块，工作摄像模块采集当前焊机工作区域图像，将其记为第一图像；提取服务器中该编号的工作摄像模块采集的初始图像，初始图像为工作摄像模块采集无操作人员时的焊机工作区域图像，人员判断模块对第一图像和初始对象进行处理，判断操作人员是否进入焊机工作区域，若是，执行步骤5，若否，语音广播报警，提示操作人员进入焊机工作区域，进入待机模式；

9、步骤5：工作摄像模块动态采集焊机工作区域的环境图像，场景摄像模块动态采集安全人行道区域的环境图像，环境监测模块对环境图像进行图像处理，判断环境是否异常，若是，语音广播模块报警，进入待机模式，若否，执行步骤6；

10、步骤6：选择操作模式，操作模式包括信息录入模式、运行模式和关机/待机模式，若选择信息录入模式，执行信息录入流程，若选择运行模式，执行步骤7，若选择关机/待机模式，进入待机模式或关机模式；

11、步骤7：工作摄像模块采集焊机工作区域的图像，人员监测模块对图像进行处理，判断操作人员行为是否异常，若是，进入待机模式，若否，执行步骤8；

12、步骤8：工作摄像模块采集当前焊机工作区域图像，人员离岗判断模块对图像进行处理，判断操作人员离岗是否超时，若是，进入待机模式，执行步骤9，若否，进入待机模式，执行步骤7；

13、步骤9：场景摄像模块采集安全人行道区域的图像，场景监测模块处理图像对目标进行跟踪，判断目标操作人员是否离开车间，若是，语音广播模块报警进行提示；进入待机模式；若否，语音广播模块报警进行提示，执行人员判断流程；

14、步骤10：判断离岗的操作人员是否进入焊机工作区域，若是执行步骤7，若否，执行步骤9；

15、步骤11：判断进入关机模式或者待机模式，若是关机模式，执行关机流程，通过人脸图像识别模块识别关机人员是否为操作人员，若是待机模式，执行待机流程，通过人脸图像识别模块识别待机人员是否为操作人员；

16、步骤12：结束步骤。

17、进一步的，所述步骤1中背景初始化的具体步骤为：

18、步骤1.1：设定工作摄像模块和场景摄像模块的坐标；

19、步骤1.2：建立背景环境模型；

20、步骤1.3：将车间区域分割为安全人行通道区域与焊机工作区域。

21、进一步的，步骤1.2的建立背景环境模型包括以下步骤：

22、步骤1.2.1:场景摄像头和工作摄像头在一天中多个时刻分别采集无人车间图像，设定为初始化背景图像灰度值，；

23、为样本图像的总数量，为当前样本图像的序号，为当前序号为a的样本图像灰度值；

24、步骤1.2.2：处理样本图像获得图像灰度直方图，计算t时刻的直方图分布；图像灰度直方图的像素值取值范围为[0，255]，h(gk)=lk,h(gk)为像素值gk的元素的个数，gk为第k个像素值，k=0,1...255;lk为像素值gk的像素个数，l为像素总数:

25、对单张图像灰度直方图做归一化处理：

26、；

27、为像素值为gk在图像中出现的概率；即为单张图像的图直方图；

28、计算t时刻的直方图分布，；其中为在t时刻第a张图像的权重，a=1,2...n，为已知参数，为在t时刻第a张图像的图像直方图，根据单张图像灰度直方图的公式计算可得；

29、计算背景环境的直方图分布，；是通过n张图像灰度直方图的加权平均计算得到背景直方分布图；为已知参数；

30、步骤1.2.3：样本图像根据傅立叶频率变换成频谱图；通过图像傅里叶变换的通用公式获得和，为t时刻下的频率，为背景环境的频率，为设定值，u为显著频率，取不同频率值；

31、步骤1.2.4：计算每个u，，每个gk下的；当大于，或者大于，认为当前gk为变化巨大的灰度级，更新背景突变变化个数总数；判断是否大于，若是，认为背景环境突变，若否，认为背景环境正常；

32、其中为t时刻下的频率，为背景环境的频率；为频率变换阈值；其中为t时刻下的直方图分布，为背景环境的直方图分布；为直方图分布阈值；为背景突变变化个数设定阈值，为背景突变变化个数总数，为背景突变变化个数。

33、进一步的，所述步骤3中开机信息读取模块将服务器存储的信息进行内部比对以及将服务器和控制器存储的信息进行比对，判断比对是否异常，具体包括以下步骤：

34、步骤3.1：控制器向服务器发送开机数据获取命令；

35、步骤3.2：控制器接收服务器下发的操作人员人脸图像、身份证信息和rfid标签信息，图像提取模块提取服务器存储的身份证上的人脸图像获得身份证人脸图像，图像识别模块识别身份证人脸图像；

36、步骤3.3：人脸图像比对模块将操作人员人脸图像与身份证人脸图像进行图像比对，判断比对是否一致，若一致，判定无异常，若不一致，语音广播模块报警，提示信息异常，进入待机模式；

37、步骤3.4：控制器将内存的操作人员人脸图像、身份证信息和rfid标签信息与服务器下发的操作人员人脸图像、身份证信息和rfid标签信息一一比对，判断全部比对是否一致，若一致，判定无异常，若不一致，语音广播模块报警，提示信息异常，进入待机模式。

38、进一步的，所述步骤5具体包括以下步骤：

39、步骤5.1:工作摄像模块动态采集焊机工作区域的环境图像，场景摄像模块动态采集安全人行道区域的环境图像，环境安全监测模块对环境图像进行图像处理，并判断焊机工作区域以及安全人行道区域的环境是否正常，若是，执行步骤5.2，若否，语音广播模块报警，提示用户环境异常，进入待机模式；

40、步骤5.2:rfid识别模块识别焊机、灭火器和工作摄像模块的rfid标签获取信息，与信息录入的rfid标签信息进行比对，若比对一致，表示目前本工位的焊机、灭火器、工作摄像模块一一对应且未更换，执行步骤6，若比对不一致，语音广播模块报警，提示用户异常，进入待机模式。

41、进一步的，所述步骤7通过对工作摄像模块采集操作人员的图像进行处理，判断操作人员焊接操作、离岗，具体包括以下步骤：

42、步骤7.1：工作摄像模块采集操作人员的图像，操作身份识别模块对图像进行处理，判断当前操作人员身份是否异常，若是，语音广播模块报警，提示操作人员身份异常，进入待机模式，若否，执行步骤7.2；

43、步骤7.2：工作摄像模块采集操作人员的图像，焊接操作识别模块对图像进行处理；判断操作人员是否进行焊接操作，若是，执行步骤7.4，若否，判定焊机处于待机状态，执行步骤7.3；

44、步骤7.3：基于步骤7.2中焊接操作识别模块对图像的处理结果，焊机待机判断模块判断焊机待机是否超时，若是，语音广播模块报警，提示待机超时，进入待机模式，若否，执行步骤7.2；

45、步骤7.4：工作摄像模块采集操作人员的图像，操作人员行为监测模块对图像进行处理，判断操作人员的行为是否正常，若是，执行步骤7.5，若否，语音广播模块报警，提示操作人员行为异常，进入待机模式；

46、步骤7.5：工作摄像模块采集焊机工作区域的图像，操作环境监测模块对图像进行处理，判断操作环境是否正常，若是，执行步骤7.2，若否，语音广播模块报警，提示操作环境异常，进入待机模式。

47、进一步的，所述步骤8中人员离岗判断模块对工作摄像模块采集当前焊机工作区域图像进行处理，判断操作人员离岗是否超时的方法，具体包括以下步骤：

48、步骤8.1：工作摄像模块采集无操作人员的焊机工作区域图像，将其标记为初始图像，采集当前焊机工作区域图像，将其记为第一图像，控制器比对初始图像和第一图像，判断第一图像中是否有操作人员，若有，执行步骤7.4，若无，执行步骤8.2;

49、步骤8.2：标记第一图像的采集时间，并记为t1；

50、步骤8.3：设定离岗时间阈值为t；

51、步骤8.4：提取时间t1到t1+t之间工作摄像模块采集的焊机工作区域图像；

52、步骤8.5：将焊机工作区域图像依次与初始图像比对，判断任一焊机工作区域图像中是否有操作人员，若有，判定操作人员离岗未超时，语音广播模块报警进行提示，进入待机模式，若无，判定操作人员离岗超时，语音广播模块报警进行提示，进入待机模式,执行步骤9。

53、进一步的，所述步骤9中场景监测模块通过多相机联动监测目标是否在车间，场景监测模块通过位置敏感度、空间注意力、时间注意力调用场景摄像模块，用于监测操作人员是否在车间，具体包括以下步骤：

54、步骤9.1：设定场景摄像模块位置敏感度排序权重；

55、步骤9.2：设定场景摄像模块空间观测注意力权重；

56、步骤9.3：设定场景摄像模块时间观测注意力权重；

57、步骤9.4：预估操作人员的位置；

58、步骤9.5：根据预估的操作人员位置得到车间空间坐标系下的坐标，根据各焊机工作区域在车间空间坐标系下的坐标，以及操作人员向各焊机工作区域移动的概率，获得操作人员在t+1时刻的目标焊机工作区域；

59、步骤9.6：由步骤9.1-步骤9.3获得总权重，根据目标焊机工作区域调用场景摄像模块，监测操作人员是否在车间。

60、综上所述，本发明的有益之处在于：

61、1、 本发明在焊机的各个阶段通过图像处理系统采集焊机图像，通过对各阶段图像的处理获得焊机运行状态以及人员的状态，控制器根据图像处理结果自动控制各模块的运行，从而实现对焊机的智能化管理。

62、2、 本发明结合控制器（mcu）、人脸图像识别模块、rfid识别模块、监控摄像模块、语音广播模块和人机交互界面，将焊机的开机工作前、开机、运行、关机进行全过程监测，实现人、机、芯的全过程绑定和安全监测，从而保证焊机焊接过程的人、机、芯绑定，对焊机周边环境进行有效安全监测和智能广播，保证焊接环境和焊接人员的安全。

63、3、 本发明通过背景环境模型消除背景突变对于目标追踪的影响；通过预估操作人员的位置；通过场景摄像模块加权追踪目标；通过对人员区分过滤非目标人员，从而降低了背景突变对于目标追踪的影响，提高目标追踪的准确性和准确性，大大提高了目标的追踪效率。

64、4、 本发明设置人机交互界面，人机交互界面支持查询历史数据，可在系统出现异常情况时及时向用户提供提示，通知异常情况；可向用户提供操作步骤或解决潜在异常的方法和步骤，帮助用户正常操作以及解决故障。