一种人员背包拎包特征的识别方法、电子设备及存储介质

本发明属于计算机视觉图像处理，涉及对视频中行人的识别与关键点检测，行人所背、拎包特征的识别，为一种人员背包拎包特征的识别方法、电子设备及存储介质。

背景技术：

1、现如今摄录装置和计算机图像技术高速发展，安保机构常常在很多重要场所、人流密集区域部署监控摄像头。仅仅依靠人工的方式对视频中的人员外在特征属性进行识别和筛选，效率低下且不可靠。而针对行人外在特征中的背包、拎包状态等特征属性的识别，往往仅仅停留在检测双肩包、挎包等包本身的属性上，对是背着包还是拎着包关心不足，但这也是重要属性，仅仅对包类型的识别还不能满足检测识别需求。

技术实现思路

1、本发明要解决的问题是：在人流密集地区，通过识别行人特征属性进行监控和筛选，现有监测方案关于背包、拎包等状态特征关注不足。

2、本发明的技术方案为：一种人员背包拎包特征的识别方法，构建识别检测模型对实时视频图像进行人员背包或拎包特征的识别检测，所述识别检测模型包括包类物品检测模型和人体关键点检测模型，识别方法包括以下步骤：

3、step1：采集行人视频图片，对图片数据进行清洗，标注包的款式，形成数据集1；并且单独标注人体关键点，形成数据集2；

4、step2：构建包类物品检测模型，以yolov5s为基础检测网络，融入cbam注意力机制构成包类物品检测模型，使用数据集1训练包类物品检测模型；

5、step3：构建人体关键点检测模型，包括关键点检测网络和关键点跟踪网络，关键点检测网络首先改进blazeface网络输出层，采用融合策略对多个输出检测框进行加权求和平均得到人脸检测结果，依据人脸检测结果进行图片对齐，得到人体区域，对人体区域使用blazepose进行关键点检测；关键点跟踪网络使用卡尔曼滤波算法进行关键点预测跟踪；

6、对视频图像交替使用关键点检测网络和关键点跟踪网络进行检测及跟踪；使用数据集2训练构建的人体关键点检测模型；

7、step4：实时采集视频图像，基于包类物品检测模型和人体关键点检测模型检测图像中包类的位置及款式，以及人体的关键点实时位置，根据人体关键点的位置和包在图片中所处的位置进行判断，最终得出当前行人的包特征是背包还是拎包，以及包的款式。

8、进一步的，步骤step1具体为：

9、step1.1：图像数据清洗，根据设定的标准去除过于模糊、尺寸小的图像，以及没有背包和拎包的图像；

10、step1.2：数据标注，对清洗后的图像按照包的款式进行标注；对其中的人员进行关键点标注，每个点包含位置信息x和y，是否可见信息v；

11、step1.3：划分训练集和测试集，将标注后的图像按7：3的比例划分为训练集和测试集。

12、进一步的，步骤step2具体为：

13、step2.1：融入卷积注意力cbam模块，在yolov5s中neck输出部分添加注意力模块，依次添加3*3max poling层、global poling层、1*1*24的全连接层，1*1*24relu激活层、1*1*384全连接层及1*1*384sigmoid激活层；

14、step2.2：将step2.1的网络中sigmoid输出的一维矢量，进行平均池化和最大池化，将得到的结果进行拼接操作，随后经过7×7卷积融合通道信息和sigmoid函数生成空间注意力特征层，将通道注意力特征层和该模块输入的空间注意力特征层做乘法，得到最后的特征。

15、进一步的，中的关键点检测网络具体为：

16、step3.1以blazeface网络为基础，采用融合策略对网络输出层进行改进，对多个输出box进行加权求和平均得到人脸检测结果，依据人脸检测结果进行图片对齐，得到人体区域；

17、step3.2以blazepose网络为基础，采用特征金字塔技术、融合多尺度信息对人体区域进行特征提取，使用回归编码器网络进行检测，使用编码器-解码器热图的模型进行监督训练，输出层的全连接层为3*6，输出六个人体关键点检测结果。

18、进一步的，step4具体为：基于包类物品检测模型得到的包类检测框的位置，找到检测框的竖直对称轴l上最高点坐标(x,y)；计算人体关键点检测模型检测到的肩膀、手肘和手腕六个人体关键点位置到对称轴l的距离，筛选掉距离大于d的点，d为包宽的二分之一，对于符合距离要求的点(x′,y′)，分别与y进行判断：如果手肘或手腕的点满足|y-y′|≤d′，则判定为拎包；如果只有肩部的点满足|y-y′|≤d′，则判定为背包，如果都不满足则判定为其他人的包，d′为设定的距离阈值，用于判断包与关键点的距离。

19、本发明还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行，实现上述人员背包拎包特征的识别方法。

20、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或一段程序被执行时，实现上述的人员背包拎包特征的识别方法。

21、本发明与现有技术相比，具有以下优点：

22、第一、本发明将轻量级卷积注意力模块加入到yolov5目标检测网络中的neck模块，增加少量开销，提高网络在通道和空间上的特征图表征能力，提高包类检测网络的准确率。

23、第二、本发明以blazeface网络为基础，采用融合策略替换输出层非极大值抑制算法，对多个输出box进行加权求和平均得到最终结果，优化后的算法准确性提高了百分之六，有效降低了抖动。

24、第三、本发明以blazepose网络为基础，使用编码器-解码器热图的模型进行监督训练，使用回归编码器网络进行预测，更改输出层，实现对人体6个关键点的检测，并使用卡尔曼滤波算法进行预测，辅助blazepose网络，既保证关键点获取的准确性，也降低了数据处理的时间消耗。

25、第四、针对人员是背包、拎包或是其他人的包，优化判断逻辑，不再单纯通过图片中是否出现包，以及包的款式来得出背包、拎包状态的结论，而是依靠目标检测网络和关键点检测网络得到包的位置和人体关键点位置，进行逻辑判断，得到背包拎包的结论。

技术特征：

1.一种人员背包拎包特征的识别方法，其特征是构建识别检测模型对实时视频图像进行人员背包或拎包特征的识别检测，所述识别检测模型包括包类物品检测模型和人体关键点检测模型，识别方法包括以下步骤：

2.根据权利要求1所述的一种人员背包拎包特征的识别方法，其特征是步骤step1具体为：

3.根据权利要求1所述的一种人员背包拎包特征的识别方法，其特征是步骤step2具体为：

4.根据权利要求1所述的一种人员背包拎包特征的识别方法，其特征是步骤step3中的关键点检测网络具体为：

5.根据权利要求1所述的一种人员背包拎包特征的识别方法，其特征是步骤step4具体为：基于包类物品检测模型得到的包类检测框的位置，找到检测框的竖直对称轴l上最高点坐标(x,y)；计算人体关键点检测模型检测到的肩膀、手肘和手腕六个人体关键点位置到对称轴l的距离，筛选掉距离大于d的点，d为包宽的二分之一，对于符合距离要求的点(x′,y′)，分别与y进行判断：如果手肘或手腕的点满足|y-y′|≤d′，则判定为拎包；如果只有肩部的点满足|y-y′|≤d′，则判定为背包，如果都不满足则判定为其他人的包，d′为设定的距离阈值，用于判断包与关键点的距离。

6.根据权利要求5所述的一种人员背包拎包特征的识别方法，其特征是d′设置为同一只手上手腕到手肘距离的二十分之一。

7.一种电子设备，其特征是所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行，实现权利要求1-6任一项所述的人员背包拎包特征的识别方法。

8.一种计算机可读存储介质，其特征是所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或一段程序被执行时，实现如权利要求1-6任一项所述的人员背包拎包特征的识别方法。

技术总结
一种人员背包拎包特征的识别方法、电子设备及存储介质，构建识别检测模型对实时视频图像进行人员背包或拎包特征的识别检测，所述识别检测模型包括包类物品检测模型和人体关键点检测模型，对实时视频图像进行包类物品检测和人体关键点检测，根据获得的人体关键点的位置和包在图片中所处的位置进行判读，最终得出当前行人的包是背包状态还是拎包状态。本发明方法针对人员是背包、拎包或是其他人的包，不再单纯通过图片中是否出现包，以及包的款式来得出背包、拎包的结论，检测准确率高，检测速度快。

技术研发人员：阮雅端,邓强强,杨开兴,罗红轩,陈启美
受保护的技术使用者：南京大学
技术研发日：
技术公布日：2024/4/17