基于非固定位置的多工序同时作业的视觉报工方法及系统与流程

本发明涉及图像处理，尤其涉及一种基于非固定位置的多工序同时作业的视觉报工方法及系统。

背景技术：

1、制造生产过程中，除了机加设备外，还存在大量无法进行自动化生产的任务需要由钳工进行手工作业。制造企业生产过程执行系统(manufacturing execution systemmes)为了对这部分任务进行管控通常会采用刷卡报工的形式让钳工刷卡操作。而钳工工作的随机性比较高，计划性较低，通常以小组为单位协调完成整项任务。协同工作时，每位钳工会频繁调整其工作内容以解决实际任务中的具体问题。

2、现有技术中，一种是强制规定每次任务变化后都要求钳工刷卡报工，需要钳工组长根据工作内容在任务分配初期根据任务的具体内容进行分解，为每个人员分配适当的工作，但这种方式对管理的要求非常高，需要钳工组长对任务有非常准确的判断，并且能够有效的约束钳工按时刷卡，如果任务分解的比较分散，会导致钳工频繁刷卡报工，影响工作效率；另一种是事后统计，通常以天为单位，每位钳工根据记忆统计当天完成的各项工作内容所花费的时间，但每天工作内容的统计过于凭借个人感官，通常存在较大误差。

3、因此，如何在非固定位置的多工序同时作业条件下快速识别用户身份信息及工作类别信息成为一个亟待解决的问题。

4、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供了一种基于非固定位置的多工序同时作业的视觉报工方法及系统，旨在解决如何在非固定位置的多工序同时作业条件下快速识别用户身份信息及工作类别信息的技术问题。

2、为实现上述目的，本发明提供了一种基于非固定位置的多工序同时作业的视觉报工方法，所述基于非固定位置的多工序同时作业的视觉报工方法包括：

3、通过场地的全局固定相机采集视频流，并对所述视频流进行单帧目标检测，以确定多个目标框；

4、通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标id；

5、基于变焦追踪策略从多个目标id中选取待追踪对象id；

6、对所述待追踪对象id进行变焦识别，获得用户身份信息；

7、获取所述用户身份信息对应的工作状态信息，对所述工作状态信息进行多相机识别结果融合处理，获得工作类别信息；

8、将所述用户身份信息与所述工作类别信息通过api接口上传至mes系统进行报工。

9、可选地，所述对所述视频流进行单帧目标检测，以确定多个目标框的步骤，包括：

10、对所述视频流进行单帧目标检测，获得多个待确认识别框；

11、分别确定各待确认识别框对应的置信度；

12、基于所述置信度从多个待确认识别框中确定多个目标框。

13、可选地，所述通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标id的步骤，包括：

14、通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得匹配分值结果；

15、根据所述匹配分值结果确定多个目标id。

16、可选地，所述基于变焦追踪策略从多个目标id中选取待追踪对象id的步骤，包括：

17、分别提取各目标id对应的帧图像的目标框数据；

18、根据所述目标框数据通过目标评分公式确定各目标id的评分结果；

19、基于各目标id的评分结果从多个目标id中选取待追踪对象id。

20、可选地，所述对所述待追踪对象id进行变焦识别，获得用户身份信息的步骤，包括：

21、将云台变焦相机的角度与焦距调整至预设位置拍摄待识别用户图像；

22、将所述待识别用户图像输入至目标检测模型中进行预测，获得预测结果目标框；

23、通过所述全局固定相机的追踪器获取历史目标框数据；

24、对所述历史目标框数据与所述预测结果目标框进行卡尔曼滤波分析，获得所述云台变焦相机视野内每个用户目标框的待检测对象id；

25、计算所述待检测对象id对应的用户目标框的位置与尺寸；

26、基于所述用户目标框的位置与尺寸驱动所述云台变焦相机调整拍摄方向与焦距；

27、基于调整后的拍摄方向与焦距识别出所述待检测对象id的用户目标框中的二维码或人脸信息，以获得用户身份信息。

28、此外，为实现上述目的，本发明还提出一种基于非固定位置的多工序同时作业的视觉报工系统，所述基于非固定位置的多工序同时作业的视觉报工系统包括：

29、处理模块，用于通过场地的全局固定相机采集视频流，并对所述视频流进行单帧目标检测，以确定多个目标框；

30、匹配模块，用于通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标id；

31、选取模块，用于基于变焦追踪策略从多个目标id中选取待追踪对象id；

32、识别模块，用于对所述待追踪对象id进行变焦识别，获得用户身份信息；

33、所述处理模块，还用于获取所述用户身份信息对应的工作状态信息，对所述工作状态信息进行多相机识别结果融合处理，获得工作类别信息；

34、传输模块，用于将所述用户身份信息与所述工作类别信息通过api接口上传至mes系统进行报工。

35、可选地，所述处理模块，还用于对所述视频流进行单帧目标检测，获得多个待确认识别框；

36、所述处理模块，还用于分别确定各待确认识别框对应的置信度；

37、所述处理模块，还用于基于所述置信度从多个待确认识别框中确定多个目标框。

38、可选地，所述匹配模块，还用于通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得匹配分值结果；

39、所述匹配模块，还用于根据所述匹配分值结果确定多个目标id。

40、可选地，所述选取模块，还用于分别提取各目标id对应的帧图像的目标框数据；

41、所述选取模块，还用于根据所述目标框数据通过目标评分公式确定各目标id的评分结果；

42、所述选取模块，还用于基于各目标id的评分结果从多个目标id中选取待追踪对象id。

43、可选地，所述识别模块，还用于将云台变焦相机的角度与焦距调整至预设位置拍摄待识别用户图像；

44、所述识别模块，还用于将所述待识别用户图像输入至目标检测模型中进行预测，获得预测结果目标框；

45、所述识别模块，还用于通过所述全局固定相机的追踪器获取历史目标框数据；

46、所述识别模块，还用于对所述历史目标框数据与所述预测结果目标框进行卡尔曼滤波分析，获得所述云台变焦相机视野内每个用户目标框的待检测对象id；

47、所述识别模块，还用于计算所述待检测对象id对应的用户目标框的位置与尺寸；

48、所述识别模块，还用于基于所述用户目标框的位置与尺寸驱动所述云台变焦相机调整拍摄方向与焦距；

49、所述识别模块，还用于基于调整后的拍摄方向与焦距识别出所述待检测对象id的用户目标框中的二维码或人脸信息，以获得用户身份信息。

50、此外，为实现上述目的，本发明还提出一种基于非固定位置的多工序同时作业的视觉报工设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于非固定位置的多工序同时作业的视觉报工程序，所述基于非固定位置的多工序同时作业的视觉报工程序配置为实现如上文所述的基于非固定位置的多工序同时作业的视觉报工方法的步骤。

51、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于非固定位置的多工序同时作业的视觉报工程序，所述基于非固定位置的多工序同时作业的视觉报工程序被处理器执行时实现如上文所述的基于非固定位置的多工序同时作业的视觉报工方法的步骤。

52、本发明首先通过场地的全局固定相机采集视频流，并对视频流进行单帧目标检测，以确定多个目标框，然后通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标id，之后基于变焦追踪策略从多个目标id中选取待追踪对象id，对待追踪对象id进行变焦识别，获得用户身份信息，最后获取用户身份信息的工作状态信息，对工作状态信息进行多相机识别结果融合处理，获得工作类别信息，将用户身份信息与工作类别信息通过api接口上传至mes系统进行报工。相较于现有技术中需要强制规定每次任务变化后都要求钳工刷卡报工，每位钳工根据记忆统计当天完成的各项工作内容所花费的时间，钳工组长根据工作内容在任务分配初期根据任务的具体内容进行分解，为每个人员分配适当的工作，导致工作效率较慢，而本发明中通过全局固定相机和云台变焦相机对图像进行变焦识别，可对用户移动状态进行持续的追踪，实现了快速精准的识别用户身份信息与工作类别信息，进而提高了工作效率。