一种人员聚集行为识别方法及电子设备与流程

本发明涉及图像识别领域，特别是涉及一种人员聚集行为识别方法及电子设备。

背景技术：

1、人员聚集是公共安防行业中非常重要的一种技术，对于给定的图像或视频，通过计算机自动处理，分析出其中的人数，并判断是否发生人员聚集现象。如在公共安全管理中，通过公共视频监控，实时检测每个场景中的人数和聚集情况，对发生聚集的场景进行及时的报告，管理者及时反映，及时疏导。随着深度学习技术的发展和城市中各类监控摄像头大范围高密度的安装普及，对于性能卓越的人员聚集算法需求越来越大。要求算法通过深度学习算法和视频监控，快速检测区域人员聚集的违规行为并获取关键帧得到告警图片信息，从而利于相关机构部门进行排查追踪，更好的进行相关管理和执法。

2、随着技术的发展，当前已知的公开专利对于行人人员聚集行为检测，主要分为基于轨迹跟踪式、基于目标检测式和基于图像分割式的方法。

3、基于轨迹跟踪式的人员聚集检测算法是通过目标检测模型和多目标跟踪模型，对人员的行动轨迹进行结构化标定，并遍历人员信息划分聚集圈，判断人员是否发生聚集现象，如专利cn202210107678.4。这种方式的算法，其模型较为复杂，计算量较大，并且在发送遮挡等现象时，容易丢失目标，进而导致聚集判断的混乱。基于目标检测式的方法是通过传统图像处理或者深度学习的方式，提取行人特征进行目标检测，并判断图像中给定小区域内的人数，若人数达到阈值，则判断为发送人员聚集情况，产生报警，如专利cn202011196406.3。此方法速度较快，逻辑简单，但是只能判断给定区域内是否发送人员聚集，无法进行图像全局的检测与报警，在实际使用过程中具备较大的局限性。而基于图像分割式的方法是根据连续的视频图像进行监控区域的背景学习，并对视频帧进行逐像素背景差分操作和图像分割操作，据此得到目标分割图像，再对目标分割图像进行像素统计，进而判断是否存在人员聚集区域，如专利cn201510012881.3。

4、但是在摄像机拍照时，得到的图像通常包含远景和背景，使得图像呈现近大远小的特性，导致在图像的纵向方向上的每个像素表示的实际距离有较大的的差距，从而使得现有聚类方法中对于图像中人的间距判断会产生较大的误差，如会将远处距离较远的人判断为距离较近，近距离处距离较近的人判断为距离较近，导致其对于人员聚集行为判断较差。即这类算法没有对人员面积大小和摄像头的距离进行自适应，仅靠简单的分割图像面积进行聚集判断，容易造成远处人员聚集块的漏检或近处人员聚集块的误报；而且基于图像分割的方法计算量也较大，对检测设备有一定的要求。 此外，此类方法对背景和杂物较为敏感，在复杂背景中难以获得质量较高的分割图像，进而后续人员聚集判断容易产生歧义，即容易将背景和杂物判断为聚集人员。

技术实现思路

1、为解决上述技术问题，本发明提出了一种人员聚集行为识别方法及电子设备。本发明的目的通过以下技术方案实现：

2、一种人员聚集行为识别方法，包括如下步骤：

3、建立x-y轴坐标系，将摄像头拍摄的监控区域的图像沿y轴方向划分为a个区域，按自下向上按照a1，a2...aa的顺序编号；a≥3；y轴方向即图像的纵向方向；

4、预先得到若干a个区域的缩放比例组[s1, s2,... sa]，以及每个缩放比例组对应的最底部区域的人头平均宽度与最顶部区域的人头平均宽度的比值size_ratio；

5、抽取当前摄像头拍摄的视频流中的图像，并识别图像中各区域中的人头中心点以及人头宽度，形成各区域对应的人头中心点坐标集，直至各人头中心点坐标集中的数据数量均大于预设阈值，计算各区域人头平均宽度；

6、计算size_ratio，然后选择与计算的size_ratio对应的缩放比例组作为当前摄像头拍摄的图像的各区域的缩放比例；

7、设定人员聚集半径阈值，根据各个区域的缩放比例得到校正后的各区域人头之间的校正距离和校正后人员聚集半径阈值，根据校正距离和校正后人员聚集半径阈值对视频流中各图像中的人头中心点坐标分别采用聚类算法进行聚类，若某图像中聚类后某类的人数大于预设警戒值，则判断为发生人员聚集。

8、如上述所述的人员聚集行为识别方法， a=4。

9、进一步的改进，预先得到4组4个区域的缩放比例，且当size_ratio ＞7 时对应的缩放比例组为[1.2,1.4,1.8,2.3]，当5＜size_ratio≤7时对应的缩放比例组为[1.2，1.45，1.7,2]，当3＜size_ratio≤5时对应的缩放比例组为[1.2,1.4,1.6,1.8]，当size_ratio≤3时，对应的缩放比例组为 [1.15,1.3,1.5,1.7] 。

10、进一步的改进，设图像在y轴方向长度为1，则沿原点向上的方向4个区域的坐标范围分别为[[0，0.3），（0.3，0.48]，（0.48，0.6]，（0.6，1]]。

11、进一步的改进，根据各个区域的缩放比例得到各区域图像中人头中心点的校正后y轴坐标值：

12、；

13、其中，y为校正前人头中心点y轴坐标值；s1, s2, s3, s4分别为自下向上四个区域的缩放比例，y为视频流图像的y轴长度。

14、进一步的改进，各区域校正后人员聚集半径阈值获得方法如下：

15、；

16、r1、r2、r3和r4分别为a1、a2、a3、a4四个区域的索引值，用于将现实中的距离映射为图像中的像素。

17、进一步的改进，采用yolov7目标检测模型得到视频流的图像得到其中人头图像的最小外接矩形框坐标和中心点坐标。

18、进一步的改进，所述yolov7目标检测模型设置有小目标检测层，小目标检测层对应的特征图大小为160×160。

19、进一步的改进，预设阈值为20。

20、一种电子设备，其特征在于，存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述方法的步骤。

21、本发明的有益效果在于：

22、本发明采用yolov7模型作为人头检测算法，并且在yolov7原有的三个检测层基础上，增加小目标检测层，其对应的特征图大小为160×160，增大了目标检测范围，更适用于小目标的头部检测。并基于人头检测信息，对视频图像进行区域距离自适应计算，进而对人头距离信息进行自适应调整，对dbscan聚类算法中聚类半径进行参数自适应，增强了模型对人员聚集判断的精度。同时与已有发明相比，本发明基于优化人头检测模型、区域距离自适应聚类算法，对监控视频图像中人员聚集关键帧进行识别报警，减少了算法自定义的阈值定义，提高了算法的鲁棒性和算法精度。与基于轨迹跟踪的人员聚集算法相比，也减少了算法复杂度，计算量更小。

技术特征：

1.一种人员聚集行为识别方法，其特征在于：包括如下步骤：

2.如权利要求1所述的人员聚集行为识别方法，其特征在于：a=4。

3.如权利要求2所述的人员聚集行为识别方法，其特征在于：预先得到4组4个区域的缩放比例，且当size_ratio ＞7 时对应的缩放比例组为[1.2,1.4,1.8,2.3]，当5＜size_ratio≤7时对应的缩放比例组为[1.2，1.45，1.7,2]，当3＜size_ratio≤5时对应的缩放比例组为[1.2,1.4,1.6,1.8]，当size_ratio≤3时，对应的缩放比例组为 [1.15,1.3,1.5,1.7] 。

4.如权利要求2所述的人员聚集行为识别方法，其特征在于：设图像在y轴方向长度为1，则沿原点向上的方向4个区域的坐标范围分别为[[0，0.3），（0.3，0.48]，（0.48，0.6]，（0.6，1]]。

5.如权利要求4所述的人员聚集行为识别方法，其特征在于：根据各个区域的缩放比例得到各区域图像中人头中心点的校正后y轴坐标值：

6.如权利要求5所述的人员聚集行为识别方法，其特征在于：各区域校正后人员聚集半径阈值获得方法如下：

7.如权利要求1所述的人员聚集行为识别方法，其特征在于：采用yolov7目标检测模型得到视频流的图像得到其中人头图像的最小外接矩形框坐标和中心点坐标。

8.如权利要求7所述的人员聚集行为识别方法，其特征在于：所述yolov7目标检测模型设置有小目标检测层，小目标检测层对应的特征图大小为160×160。

9.如权利要求1所述的人员聚集行为识别方法，其特征在于：预设阈值为20。

10.一种电子设备，其特征在于，存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-9中任一项所述方法的步骤。

技术总结
本发明公开了一种人员聚集行为识别方法及电子设备，通过优化人头检测模型，针对性改善了小目标检测的问题，在DBSCAN聚类算法的基础上，增加了基于人头检测框的区域距离自适应模块，改进了由于摄像机透视变换所引起的近大远小问题，即距离摄像机较远的区域在图像上每个像素点对应的实际距离往往大于较近的区域；并且算法基于人头检测结果，自适应计算聚类算法参数，解决了现有发明方法中自定义阈值多、算法鲁棒性差的问题，提升了发明在实际使用过程中的精度。

技术研发人员：彭佳璟,闾凡兵,吴婷
受保护的技术使用者：长沙海信智能系统研究院有限公司
技术研发日：
技术公布日：2024/1/13