人员持刀识别方法、装置及电子设备与流程

本发明涉及计算机视觉图像处理，尤其涉及一种人员持刀识别方法、装置及电子设备。

背景技术：

1、随着社会的发展，各类犯罪事故威胁着每位市民的生命安全。机场、地铁站、火车站、学校、医院等公共场所的安全越来越受到关注。这些重点场所由于人口流动大、安防环境复杂，各类违法案件时有发生，其中，不乏持刀行为造成的恶性事件。本发明依托城市视频监控，利用图像识别智能化技术自动识别人员持刀行为,实时告警提醒安保人员关注和干预，减少此类事件的发生，保护市民生命财产安全。

2、公开号 cn111832450a的专利公开了基于图像识别的持刀检测方法，包括训练出行人检测模型和注意力持刀分类模型，接着将监控视频解码为图片，通过行人检测模型获得图片上的人形的位置信息并对位置进行扩展，然后根据扩展的位置截取图片，得到采样图片；将采样图片送入注意力持刀分类模型，以识别当前行人有无持刀，若有则报警。该方案采用人员检测、扩充裁剪以及人员小图分类的方式，通过基于注意力机制的分类网络隐式学习人员手部及持刀特征，但人员其他部位比如：人脸、肩膀、腿部等会干扰手部的隐式特征学习，进而会影响人员持刀识别的精度。

技术实现思路

1、本发明的目的在于提供一种人员持刀识别方法、装置及电子设备，以解决现有技术中人员其他部位比如：人脸、肩膀、腿部等会干扰手部的隐式特征学习，进而会影响人员持刀识别的精度的问题。

2、第一方面，本发明提供一种人员持刀识别方法，包括：

3、获取视频流数据；

4、对所述视频流数据进行预处理，得到目标图像；

5、利用目标检测网络对所述目标图像进行目标检测，输出目标图像中所有可能的人员和刀具的位置方框；

6、从目标图像中根据人员的位置方框裁剪得到人员小图；

7、利用人体关键点识别网络对所述人员小图进行人体关键点识别，得到人员的关节关键点信息，所述关节关键点信息包含左肩关键点、左手肘关键点、左手腕关键点、右肩关键点、右手肘关键点以及右手腕关键点的坐标位置；

8、以所述左手腕关键点、右手腕关键点的坐标位置为中心点，定位手部正方形区域；

9、将手部正方形区域的坐标通过裁剪比例关系映射回目标图像；

10、根据所述刀具的位置方框和映射回目标图像后的手部正方形区域，对人员持刀行为进行识别。

11、进一步地，对所述视频流数据进行预处理，得到目标图像，包括：

12、对所述视频流数据进行抽帧，得到图像帧；

13、对所述图像帧进行尺寸调整、通道调整以及归一化处理。

14、进一步地，利用目标检测网络对所述目标图像进行目标检测，输出目标图像中所有可能的人员和刀具的位置方框，包括：

15、将所述目标图像送入yolov5目标检测网络进行目标检测；

16、输出目标图像中所有可能的人员和刀具的位置方框；

17、对目标图像中所有可能的人员和刀具的位置方框进行进行非极大抑制操作，得到最终预测的人员和刀具的位置方框。

18、进一步地，从目标图像中根据人员的位置方框裁剪得到人员小图，包括：

19、对所述人员的位置方框的宽和高分别往外扩充5%；

20、从目标图像中根据扩充后的位置方框裁剪得到人员小图。

21、进一步地，以所述左手腕关键点、右手腕关键点的坐标位置为中心点，定位手部正方形区域，包括：

22、以所述左手腕关键点、右手腕关键点的坐标位置为中心点，根据手部两两关节相连的欧式距离的平均值确定手部正方形区域的边长，定位手部正方形区域。

23、进一步地，所述正方形区域的边长a计算方法如下：

24、；

25、其中，左肩、左手肘、左手腕的坐标位置分别表示为（x1，y1）、（x2，y2）、（x3，y3）；右肩、右手肘、右手腕的坐标位置分别表示为（x4，y4）、（x5，y5）、（x6，y6）；m默认为1.5。

26、进一步地，根据所述刀具的位置方框和映射回目标图像后的手部正方形区域，对人员持刀行为进行识别，包括：

27、计算刀具的位置方框和映射回目标图像后的手部正方形区域的交并比；

28、判断所述交并比是否大于交并比阈值；

29、如果所述交并比大于交并比阈值，判定该目标图像中存在人员持刀可能性。

30、进一步地，判定所述目标图像中存在人员持刀可能性之后，所述方法还包括：

31、判断是否连续n帧存在人员持刀可能性，n为连续帧数的阈值；

32、如果连续n帧存在人员持刀可能性，判定所述目标图像中存在人员持刀行为；

33、生成存在人员持刀行为告警；

34、告警后对持刀人员进行跟踪。

35、第二方面，本发明提供一种人员持刀识别装置，包括：

36、获取单元，用于获取视频流数据；

37、预处理单元，用于对所述视频流数据进行预处理，得到目标图像；

38、目标检测单元，用于利用目标检测网络对所述目标图像进行目标检测，输出目标图像中所有可能的人员和刀具的位置方框；

39、剪裁单元，用于从目标图像中根据人员的位置方框裁剪得到人员小图；

40、人体关键点识别单元，用于利用人体关键点识别网络对所述人员小图进行人体关键点识别，得到人员的关节关键点信息，所述关节关键点信息包含左肩关键点、左手肘关键点、左手腕关键点、右肩关键点、右手肘关键点以及右手腕关键点的坐标位置；

41、定位单元，用于以所述左手腕关键点、右手腕关键点的坐标位置为中心点，定位手部正方形区域；

42、映射单元，用于将手部正方形区域的坐标通过裁剪比例关系映射回目标图像；

43、人员持刀行为识别单元，用于根据所述刀具的位置方框和映射回目标图像后的手部正方形区域，对人员持刀行为进行识别。

44、第三方面，本发明提供一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以上所述方法的步骤。

45、本发明的有益效果：本发明提供的人员持刀识别方法、装置及电子设备，通过获取视频流数据；对视频流数据进行预处理，得到目标图像；利用目标检测网络对目标图像进行目标检测，输出目标图像中所有可能的人员和刀具的位置方框；从目标图像中根据人员的位置方框裁剪得到人员小图；利用人体关键点识别网络对人员小图进行人体关键点识别，得到人员的关节关键点信息，关节关键点信息包含左肩关键点、左手肘关键点、左手腕关键点、右肩关键点、右手肘关键点以及右手腕关键点的坐标位置；以左手腕关键点、右手腕关键点的坐标位置为中心点，定位手部正方形区域；将手部正方形区域的坐标通过裁剪比例关系映射回目标图像；根据刀具的位置方框和映射回目标图像后的手部正方形区域，对人员持刀行为进行识别；本发明采用目标检测定位人员和刀具的位置，并结合关键点检测算法定位手部位置，可准确判断是否为人员持刀，具有高精度的性能；根据人员手部关键点两两距离定位手部区域方框，可自适应距离摄像头远近不同的人员；通过手部区域方框和检测的刀具方框的iou判断持刀，能识别各种方向持刀；基于人员小图的关键点识别，避免了多人的关键点匹配流程，适用于公共场所人多的场景；本发明基于人体关键点检测、手部区域裁剪、手部小图分类，通过手部关键点直接定位手部区域，将手部小图送入分类网络，可显式学习手部及持刀特征，基本可以规避人员其他部位或背景变化对特征学习的干扰，理论上可以取得更高的精度。