一种人员把持扶梯识别方法、装置、电子设备及存储介质与流程

本发明涉及图像识别，尤其是涉及一种人员把持扶梯识别方法、装置、电子设备及存储介质。

背景技术：

1、在基础项目建设过程当中，人员的人身安全显得尤为重要，尤其是涉及到高空作业的人员，相关安保措施会更加严苛，但也会存在人员在高空作业过程中，由于疏忽而导致相关安保措施没有做到位的情况，例如，人员在高空扶梯攀爬过程中，出现人员手未把持扶梯的情况。

2、传统的人员把持扶梯识别方法是在扶梯区域安设一定数量的传感器，实时将反应现场情况的相关数据传回监控室，或者在扶梯附近安设价格高昂的图像采集设备进行实时监控。

3、但是，传统的人员把持扶梯识别方法，存在设备安装运维成本高的问题，同时存在受现场实时情况的影响，人员把持扶梯识别的精度低的问题。

技术实现思路

1、为了降低设备安设运维成本的同时，提高人员把持扶梯识别的精度，本发明提供一种人员把持扶梯识别方法、装置、电子设备及存储介质。

2、第一方面，本发明提供一种人员把持扶梯识别方法，采用如下的技术方案：

3、一种人员把持扶梯识别方法，包括：

4、确定目标图像，并基于所述目标图像确定人员目标关键点、扶梯区域以及手把持扶梯区域；其中，所述目标图像为单目摄像头获取的包含人员和扶梯的图像；

5、基于所述人员目标关键点以及所述扶梯区域，确定关键点像素距离信息；

6、基于所述扶梯区域确定扶梯截断数量；以及，

7、对所述手把持扶梯区域进行手把持扶梯分类，得到手把持扶梯分类结果；

8、基于所述关键点像素距离信息、所述扶梯截断数量以及所述手把持扶梯分类结果，生成手未把持扶梯的报警信息。

9、通过采用上述技术方案，确定包含人员攀爬扶梯的目标图像，并对该目标图像进行处理，从目标图像中确定出人员目标关键点、扶梯区域以及手把持扶梯区域，以人员目标关键点、扶梯区域以及手把持扶梯区域作为确定人员是否手把持扶梯的基础参数，后续基于人员目标关键点和扶梯区域，确定人员目标关键点对应的人员部位与扶梯的距离情况，即确定关键点像素距离信息；基于扶梯区域，确定出扶梯因人员部位的遮挡，导致扶梯出现截断的情况，并确定出扶梯截断数量；另外对手把持扶梯区域进行手把持扶梯分类，得到手把持扶梯分类结果；确定出的关键点像素距离信息、扶梯截断数量以及手把持扶梯分类结果都能不同程度的放映人员是否有手把持扶梯的情况，因此，在关键点像素距离信息、扶梯截断数量以及手把持扶梯分类结果满足一定条件的情况向下，判定人员手未把持扶梯，随即生成手未把持扶梯的报警信息，从而对人员起到警示作用的同时，降低设备安设运维成本，提高人员把持扶梯识别的精度。

10、根据一些实施例，所述人员目标关键点包含至少一个子人员目标关键点，所述扶梯区域包含至少一个子扶梯区域；所述基于所述人员目标关键点以及所述扶梯区域，确定关键点像素距离信息，包括：

11、确定所述至少一个子人员目标关键点对应的关键点坐标，以及确定所述至少一个子扶梯区域对应的扶梯关键点坐标集合；

12、对所述至少一个子扶梯区域分别对应的扶梯关键点坐标集合进行筛选，得到所述至少一个子扶梯区域对应的目标扶梯关键点；

13、计算所述至少一个子人员目标关键点与其对应的目标扶梯关键点之间的距离信息；

14、在所述距离信息不大于预设距离信息的情况下，将所述距离信息以及与其对应的子人员目标关键点保留，并将保留的所述距离信息作为关键点像素距离信息。

15、根据一些实施例，所述计算所述至少一个子人员目标关键点与其对应的目标扶梯关键点之间的距离信息之后，还包括：

16、在所述距离信息大于预设距离信息的情况下，将所述距离信息以及与其对应的子人员目标关键点舍弃，并生成人员未把持扶梯的报警信息。

17、根据一些实施例，基于所述扶梯区域确定扶梯截断数量，包括：

18、确定所述至少一个子扶梯区域对应的截断区域以及所述截断区域的数量；

19、在所述至少一个子扶梯区域对应的截断区域的数量大于第一预设数量的情况下，将所述至少一个子扶梯区域对应的截断区域的数量作为扶梯截断数量。

20、根据一些实施例，所述至少一个子扶梯区域为两个子扶梯区域；所述确定所述至少一个子扶梯区域对应的截断区域以及所述截断区域的数量之后，还包括：

21、在所述两个子扶梯区域分别对应的截断区域的数量均大于第一预设数量的情况下，将所述两子扶梯区域对应的截断区域的数量的总和作为扶梯截断数量。

22、根据一些实施例，所述确定关键点像素距离信息之后，还包括：

23、在所述关键点像素距离信息大于预设像素距离信息的情况下，生成手未把持扶梯的报警信息。

24、根据一些实施例，所述基于所述像素距离信息、所述扶梯截断数量以及所述手把持扶梯分类结果，生成手未把持扶梯的报警信息，包括：

25、在所述像素距离信息不大于预设像素距离信息、所述扶梯截断数量小于第二预设数量、所述手把持扶梯分类结果为手未把持扶梯的情况下，生成手未把持扶梯的报警信息。

26、第二方面，本发明提供一种人员把持扶梯识别装置，采用如下的技术方案：

27、一种人员把持扶梯识别装置，包括：关键点和区域确定模块、像素距离确定模块、扶梯截断数量确定模块、分类结果确定模块以及第一报警信息生成模块，其中，

28、关键点和区域确定模块，用于确定目标图像，并基于所述目标图像确定人员目标关键点、扶梯区域以及手把持扶梯区域；其中，所述目标图像为单目摄像头获取的包含人员和扶梯的图像；

29、像素距离确定模块，用于基于所述人员目标关键点以及所述扶梯区域，确定关键点像素距离信息；

30、扶梯截断数量确定模块，用于基于所述扶梯区域确定扶梯截断数量；

31、分类结果确定模块，用于对所述手把持扶梯区域进行手把持扶梯分类，得到手把持扶梯分类结果；

32、第一报警信息生成模块，用于基于所述关键点像素距离信息、所述扶梯截断数量以及所述手把持扶梯分类结果，生成手未把持扶梯的报警信息。

33、通过采用上述技术方案，关键点和区域确定模块确定包含人员攀爬扶梯的目标图像，并对该目标图像进行处理，从目标图像中确定出人员目标关键点、扶梯区域以及手把持扶梯区域，以人员目标关键点、扶梯区域以及手把持扶梯区域作为确定人员是否手把持扶梯的基础参数，后续像素距离确定模块基于人员目标关键点和扶梯区域，确定人员目标关键点对应的人员部位与扶梯的距离情况，即确定关键点像素距离信息；扶梯截断数量确定模块基于扶梯区域，确定出扶梯因人员部位的遮挡，导致扶梯出现截断的情况，并确定出扶梯截断数量；另外分类结果确定模块对手把持扶梯区域进行手把持扶梯分类，得到手把持扶梯分类结果；确定出的关键点像素距离信息、扶梯截断数量以及手把持扶梯分类结果都能不同程度的放映出人员是否有手把持扶梯的情况，因此，第一报警信息生成模块在关键点像素距离信息、扶梯截断数量以及手把持扶梯分类结果在满足一定条件的情况下，判定人员手未把持扶梯，生成手未把持扶梯的报警信息，从而对人员起到警示作用的同时，降低设备安设运维成本，提高人员把持扶梯识别的精度。

34、根据一些实施例，人员目标关键点包含至少一个子人员目标关键点，所述扶梯区域包含至少一个子扶梯区域；所述像素距离确定模块，具体还用于：

35、确定所述至少一个子人员目标关键点对应的关键点坐标，以及确定所述至少一个子扶梯区域对应的扶梯关键点坐标集合；

36、对所述至少一个子扶梯区域分别对应的扶梯关键点坐标集合进行筛选，得到所述至少一个子扶梯区域对应的目标扶梯关键点；

37、计算所述至少一个子人员目标关键点与其对应的目标扶梯关键点之间的距离信息；

38、在所述距离信息不大于预设距离信息的情况下，将所述距离信息以及与其对应的子人员目标关键点保留，并将保留的所述距离信息作为关键点像素距离信息。

39、根据一些实施例，所述人员把持扶梯识别装置，还包括：

40、未把持扶梯报警信息生成模块，用于在所述距离信息大于预设距离信息的情况下，将所述距离信息以及与其对应的子人员目标关键点舍弃，并生成人员未把持扶梯的报警信息。

41、根据一些实施例，所述人员把持扶梯识别装置，还包括：第三信息确定模块以及第四信息确定模块，其中，

42、第三信息确定模块，用于确定所述至少一个子扶梯区域对应的截断区域以及所述截断区域的数量；

43、第四信息确定模块，用于在所述至少一个子扶梯区域对应的截断区域的数量大于第一预设数量的情况下，将所述至少一个子扶梯区域对应的截断区域的数量作为扶梯截断数量。

44、根据一些实施例，所述至少一个子扶梯区域为两个子扶梯区域；所述人员把持扶梯识别装置，还包括，截断数量确定模块，其中，

45、截断数量确定模块，用于在所述两个子扶梯区域分别对应的截断区域的数量均大于第一预设数量的情况下，将所述两子扶梯区域对应的截断区域的数量的总和作为扶梯截断数量。

46、根据一些实施例，所述人员把持扶梯识别装置，还包括：第二报警信息生成模块，其中，

47、第二报警信息生成模块，用于在所述关键点像素距离信息大于预设像素距离信息的情况下，生成手未把持扶梯的报警信息

48、根据一些实施例，所述第一报警信息生成模块，具体用于：

49、在所述像素距离信息不大于预设像素距离信息、所述扶梯截断数量小于第二预设数量、所述手把持扶梯分类结果为手未把持扶梯的情况下，生成手未把持扶梯的报警信息。

50、第三方面，本发明提供一种电子设备，采用如下的技术方案：

51、一种电子设备，该电子设备包括：

52、处理器；

53、存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述人员把持扶梯识别的方法。

54、第四方面，本发明提供一种计算机可读存储介质，采用如下的技术方案：

55、一种计算机可读存储介质，包括：存储有能够被处理器加载并执行上述人员把持扶梯识别方法的计算机程序。

56、综上所述，本发明包括以下有益技术效果：

57、1、能够直接采用如单目摄像机等图像采集设备拍摄到的图像进行后续的人员把持扶梯识别，相比于传统的利用传感器进行识别或对采用价格高昂的图像采集设备拍摄到的图像进行识别，降低了人员把持扶梯识别系统的安装、部署以及维护的成本；

58、2、人员关键点与扶梯之间的距离情况、扶梯区域内的扶梯截断数量都能在一定程度上反映人员是否在把持扶梯，另外，对手把持扶梯进行分类检测也能够一定程度确定出人员是否在把持扶梯，因此，采用将人员关键点与扶梯之间的距离判断、扶梯区域内的扶梯阶段数量判断以及对手把持扶梯进行分类检测的检测结果判断的多条件联合判断的方式，能够保证准确的确定出目标图像中的人员是否在把持扶梯的结论，从而减少人员在把持扶梯时检测到人员未把持扶梯并误报警的情况发生，进而提高了人员把持扶梯识别的精度。