人员聚集的检测方法、装置及设备与流程

本发明涉及图像处理技术领域，具体涉及一种人员聚集的检测方法、装置及设备。

背景技术：

随着计算机科学技术以及图像处理技术的飞速发展，视频监控系统的普及化趋势越来越明显，并且正在逐步迈入高清化及智能化。智能监控系统可以用于众多领域，例如智能交通、智慧园区、平安城市等。随着智能监控系统的快速发展，对监控区域进行人员聚集的检测已经成为一个热点问题。人员聚集的检测是指检测摄像机抓取的画面里是否有人员聚集的场景，具有重要的应用价值，例如对一些敏感的监控区域，当出现人员聚集时，可能会增加对监控区域的管理风险和控制难度；在疫情防控期，对于街道社区中的人员聚集要及时预警。

目前对于人员聚集的检测，主流的方法是基于深度学习方法对卷积神经网络进行训练以拟合图像中的人员密度，适用于如500人以上的大规模人员聚集情况。而对于街道社区中局部区域的如4-5人的小规模人员聚集尚无有效的检测方法。虽然通过行人检测、人脸识别等方法可以从摄像机抓取的画面里检测出人员数量，但是单纯地通过人员数量检测人员聚集，无法准确的判断聚集程度，容易造成误检或者漏检。举例来说，若设置的判断是否发生人员聚集的人员数量为5，当从画面里检测到10个人时，判断发生了人员聚集，而当这10个人均匀的分散于画面中时，实际并未发生人员聚集，造成误检。

技术实现要素：

本发明实施例提供一种人员聚集的检测方法、装置及设备，用以解决现有对于小规模人员聚集的检测方法准确率低的问题。

第一方面，本发明实施例提供一种人员聚集的检测方法，包括：

通过摄像头获取目标区域的图像，并对图像进行行人检测，获得各个行人的位置信息；

以任一行人作为搜索中心，沿着行人密度增大的方向以预设大小的搜索区域进行搜索；

若搜索区域内的行人数量大于预设人数阈值，则确定该区域内存在人员聚集，预设人数阈值与搜索区域的大小正相关。

一种实施例中，以任一行人作为搜索中心，沿着行人密度增大的方向以预设大小的搜索区域进行搜索包括：

以任一行人作为搜索中心，根据各个行人的位置信息确定搜索区域内所有行人的中心点；

以中心点作为新的搜索中心，继续进行搜索直至收敛。

一种实施例中，以任一行人作为搜索中心，根据各个行人的位置信息确定搜索区域内所有行人的中心点包括：

根据如下公式确定搜索区域内所有行人与搜索中心的偏移向量：

其中，l0表示搜索中心的坐标，s0表示以l0为中心的搜索区域，k表示s0中行人的数量，lj表示s0中第j个行人的坐标，表示偏移向量；

根据如下公式确定搜索区域内所有行人的中心点：

其中，l1表示搜索区域内所有行人的中心点。

一种实施例中，以中心点作为新的搜索中心，继续进行搜索直至收敛包括：

以l1作为新的搜索中心，继续进行搜索，直至满足如下公式为止：

||ln-ln+1||2<ε；

其中，ε为常数，ln表示第n+1次搜索的搜索中心，ln+1表示第n+2次搜索的搜索中心。

一种实施例中，搜索区域的大小与摄像头和目标区域之间的距离负相关。

一种实施例中，所述方法还包括：对图像中所有存在人员聚集的搜索区域进行融合，获取目标区域的聚集区域。

一种实施例中，确定该区域内存在人员聚集之后，所述方法还包括：实时输出报警信息。

第二方面，本发明实施例提供一种人员聚集的检测装置，包括：

获取模块，用于通过摄像头获取目标区域的图像，并对图像进行行人检测，获得各个行人的位置信息；

搜索模块，用于以任一行人作为搜索中心，沿着行人密度增大的方向以预设大小的搜索区域进行搜索；

检测模块，用于若搜索区域内的行人数量大于预设人数阈值，则确定该区域内存在人员聚集，预设人数阈值与搜索区域的大小正相关。

第三方面，本发明实施例提供一种人员聚集的检测设备，包括：

至少一个处理器和存储器；

存储器存储计算机执行指令；

至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面任一项所述的人员聚集的检测方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面任一项所述的人员聚集的检测方法。

本发明实施例提供的人员聚集的检测方法、装置及设备，通过摄像头获取目标区域的图像，并对图像进行行人检测，获得各个行人的位置信息；以任一行人作为搜索中心，沿着行人密度增大的方向以预设大小的搜索区域进行搜索；若搜索区域内的行人数量大于预设人数阈值，则确定该区域内存在人员聚集。通过综合考量行人的位置信息和数量，而非单纯依靠行人数量进行检测，能够避免误检和漏检，提高人员聚集检测的准确性；进一步的，通过沿着行人密度增大的方向进行搜索，能够快速地确定目标区域中存在人员聚集的区域，提高了人员聚集的检测速度。

附图说明

图1为本发明一实施例提供的人员聚集的检测方法的流程图；

图2为本发明一实施例提供的人员聚集的检测过程的示意图；

图3为本发明又一实施例提供的人员聚集的检测过程的示意图；

图4为本发明又一实施例提供的人员聚集的检测方法的流程图；

图5为本发明提供的人员聚集的检测装置一实施例的结构示意图；

图6为本发明提供的人员聚集的检测设备一实施例的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

本申请提供的针对小规模人员聚集的检测方法，对于疫情防控、异常行为检测等场景具有重要的应用价值。以疫情防控为例，为了避免人员聚集而引起交叉感染，需要快速准确的判断是否发生人员聚集，以及发生人员聚集的区域。本申请为了解决现有单纯地通过人员数量检测人员聚集，无法准确判断聚集程度，易造成误检或者漏检，准确率低的问题，通过综合考虑目标区域中行人的数量及位置信息，对聚集程度进行准确判断，并沿着行人密度增大的方向进行检测，能够提高检测速度。下面通过实施例来对本申请提供的方法进行详细说明。

图1为本发明一实施例提供的人员聚集的检测方法的流程图。如图1所示，本实施例提供的人员聚集的检测方法可以包括：

s101、通过摄像头获取目标区域的图像，并对图像进行行人检测，获得各个行人的位置信息。

本实施例中的摄像头既可以是安装于固定位置处的摄像头，如社区内、街道中设置的监控摄像头；也可以是安装于无人机上随着无人机的飞行而移动的摄像头，如疫情防控期，通过无人机搭载摄像头进行视频监控。

本实施例中的目标区域为待检测区域，例如可以是社区内门厅、道路等公共区域。在获取目标区域的图像之后，通过对图像进行行人检测，获得各个行人的位置信息。本实施例中可以采用现有或者将来可能出现的行人检测方法对图像进行行人检测，本实施例对此不作限制。

在一种可选的实施方式中，对于各个行人的位置信息可以采用矩形表示。具体的可以采用矩形的左上坐标和右下坐标表示，或者可以采用左上坐标、矩形宽度和矩形高度表示。例如各个行人的位置信息可以表示为[xj,yj,wj,hj]，其中,xj,yj表示第j个行人在图像中包围人体的矩形的左上角坐标值，wj和hj分别表示第j个行人在图像中包围人体的矩形的宽度和高度。

s102、以任一行人作为搜索中心，沿着行人密度增大的方向以预设大小的搜索区域进行搜索。

本实施例中在获得各个行人的位置信息之后，可以选择其中任意一个行人，以该行人作为搜索中心。若位置信息采用矩形表示，可以将矩形的中心作为搜索中心。举例来说，若行人的位置信息表示为[xj,yj,wj,hj]，则搜索中心可以表示为：

其中，ch为搜索中心的横坐标，cv为搜索中心的纵坐标。

为了快速地确定目标区域中人员聚集的区域，本实施例中沿着行人密度增大的方向进行搜索。可以理解的是，行人密度越大的区域存在人员聚集的概率越高。因此，沿着行人密度增大的方向进行搜索，可以提高检测速度。

本实施例中搜索区域的形状例如可以是矩形、正方形或者圆形等，搜索区域的大小可以根据需要进行设置，以1080p的摄像头获取的图像为例，搜索区域可以设为边长为100个像素的正方形区域。

为了进一步提高人员聚集的检测精度，在一种可选的实施方式中，搜索区域的大小与摄像头和目标区域之间的距离负相关。众所周知，当摄像头和目标区域之间的距离越大时，视野越大，图像中一个像素对应的目标区域的实际面积越大。举例来说，在一种应用场景中，若规定当3平方米内行人数量大于等于5时确定存在人员聚集。当摄像头和目标区域之间的距离不同时，3平方米的目标区域在图像中对应不同数量的像素。当摄像头和目标区域之间的距离较远时，搜索区域可以设置的小一些；当摄像头和目标区域之间的距离较近时，搜索区域可以设置的大一些。

在一种可选的实施方式中，以任一行人作为搜索中心，沿着行人密度增大的方向以预设大小的搜索区域进行搜索可以包括：以任一行人作为搜索中心，根据各个行人的位置信息确定搜索区域内所有行人的中心点；以中心点作为新的搜索中心，继续进行搜索直至收敛。

请参考图2，图2中从左至右依次为第1次、第2次、……、第n次搜索的示意图。图中黑色实心原点用于表示图像中各个行人所处的位置，图中虚线所示的正方形用于表示搜索区域。如图2中第一幅图所示，在进行第1次搜索时，选取了左下角的行人作为搜索中心，此时搜索区域内共有5个行人。根据他们的位置信息，可以确定这5个行人的中心点，图中用灰色菱形表示。如图2中第二幅图所示，在进行第2次搜索时，以灰色菱形所处位置作为新的搜索中心继续进行搜索。

s103、若搜索区域内的行人数量大于预设人数阈值，则确定该区域内存在人员聚集，预设人数阈值与搜索区域的大小正相关。

本实施例中在确定搜索中心的位置以及搜索区域的大小之后，便可以根据行人的位置信息，确定搜索区域内行人的数量。当搜索区域内的行人数量大于预设人数阈值，则确定该区域内存在人员聚集。其中，预设人数阈值与搜索区域的大小正相关，搜索区域越大时，对应的预设人数阈值也越大。

本实施例提供的人员聚集的检测方法，通过摄像头获取目标区域的图像，并对图像进行行人检测，获得各个行人的位置信息；以任一行人作为搜索中心，沿着行人密度增大的方向以预设大小的搜索区域进行搜索；若搜索区域内的行人数量大于预设人数阈值，则确定该区域内存在人员聚集。通过综合考量行人的位置信息和数量，而非单纯依靠行人数量进行检测，能够避免误检和漏检，提高人员聚集检测的准确性；进一步的，通过沿着行人密度增大的方向进行搜索，能够快速地确定目标区域中存在人员聚集的区域，提高了人员聚集的检测速度。

在上述实施例的基础上，下面通过一个具体的示例对本申请提供的人员聚集的检测过程进行进一步说明。请参考图3，图中最外侧较大实线矩形框用于表示通过摄像头获取的目标区域的图像。图中12个实心原点用于表示从图像中检测到的行人所处的位置，例如可以是采用通用的目标检测方法yolov3得到的行人矩形框的中点位置，可以记为{(xj,yj),j＝1,2,3,…,12}。

在图3中，行人所处位置的灰度值设置为0，其他位置的灰度值设置为255。我们的目的是根据图像中的这些零点，找到目标区域中存在人员聚集的区域。例如可以设定一个搜索参数radius，用于表示有效地聚集搜索区域，对于圆形搜索区域来说则代表半径，对于正方形搜索区域来说则表示边长。在1080p的摄像头画面中，不妨设radius为100个像素。还可以再设定一个聚集阈值thresh，若在搜索区域中，行人的数量大于等于该阈值则表示该区域中存在人员聚集现象，不放设thresh＝4。

可以记所有待分析的位置点{(xj,yj),j＝1,2,3,…,n}为q，图3中n＝12。在q中随机选取一个位置点，如选取l0＝(x0,y0)，并以l0为中心确定一个搜索区域s0，如图3中实线正方形所表示区域，边长为上述的radius。根据如下公式确定搜索区域内所有行人与搜索中心的偏移向量：

其中，l0表示搜索中心的坐标，s0表示以l0为中心的搜索区域，k表示s0中行人的数量，lj表示s0中第j个行人的坐标，表示偏移向量，如图3中带箭头的直线所示。

根据如下公式确定搜索区域内所有行人的中心点，即下一个搜索区域的中心点：

其中，l1表示搜索区域内所有行人的中心点。

以l1作为新的搜索中心，确定搜索区域s1，如图3中虚线正方形所表示区域，继续进行搜索，直至满足如下公式为止：

||ln-ln+1||2<ε；

其中，ε为常数，ln表示第n+1次搜索的搜索中心，ln+1表示第n+2次搜索的搜索中心。不妨设ε＝radius/10。当搜索区域sm中的人数大于等于thresh时，sm则为人员聚集区域。

在q中排除上述已被搜索的位置点，然后在q中再随机选取一个位置点，重复上述步骤，直至所有的位置点全部被分析完，便可以快速搜索出目标区域中所有人员聚集的区域。

在上述任一实施例的基础上，为了更加清楚和直观地向工作人员显示存在人员聚集的区域，本实施例提供的人员聚集的检测方法还可以包括：对图像中所有存在人员聚集的搜索区域进行融合，获取目标区域的聚集区域。可以理解的是，在进行人员聚集的检测过程中，可能有多个存在人员聚集的搜索区域，这些区域之间可能存在交叠，若将其分别向工作人员进行显示，不便于工作人员后续开展相应的工作。以图3为例，假设s0和s1中均存在人员聚集，可以对s0和s1进行融合，例如可以求取s0和s1的并集，作为目标区域的聚集区域；还可以选取s0和s1最小的外接矩形或者外接圆形，作为目标区域的聚集区域。

在上述任一实施例的基础上，为了及时的进行告警，本实施例提供的人员聚集的检测方法，在确定该区域内存在人员聚集之后，还可以包括：实时输出报警信息。本实施例中可以通过声、光和电中的至少一种方式实时输出报警信息。以无人机搭载摄像头进行人员聚集检测，用于疫情防控的场景为例，当确定某区域内存在人员聚集之后，可以通过无人机搭载的扬声器播放相应的警示语音，还可以将存在人员聚集的区域进行突出显示，以及时提醒工作人员进行干预处理。

图4为本发明又一实施例提供的人员聚集的检测方法的流程图。如图4所示，本实施例提供的人员聚集的检测方法可以包括：

s401、通过摄像头获取目标区域的图像，并对图像进行行人检测，获得各个行人的位置信息。

s402、以任一行人作为搜索中心，沿着行人密度增大的方向以预设大小的搜索区域进行搜索。

s403、若搜索区域内的行人数量大于预设人数阈值，则确定该区域内存在人员聚集。

s404、实时输出报警信息。

s405、对图像中所有存在人员聚集的搜索区域进行融合，获取目标区域的聚集区域。

本实施例提供的人员聚集的检测方法，在上述实施例的基础上，进一步的通过实时输出报警信息和对图像中所有存在人员聚集的搜索区域进行融合，能够及时地进行告警，并且能够更加清楚和直观地向工作人员显示存在人员聚集的区域，提高了工作人员的工作效率及用户体验。

图5为本发明提供的人员聚集的检测装置一实施例的结构示意图。如图5所示，本实施例提供的人员聚集的检测装置50可以包括：获取模块501、搜索模块502和检测模块503。

获取模块501，用于通过摄像头获取目标区域的图像，并对图像进行行人检测，获得各个行人的位置信息；

搜索模块502，用于以任一行人作为搜索中心，沿着行人密度增大的方向以预设大小的搜索区域进行搜索；

检测模块503，用于若搜索区域内的行人数量大于预设人数阈值，则确定该区域内存在人员聚集，预设人数阈值与搜索区域的大小正相关。

本实施例提供的人员聚集的检测装置可用于执行图1对应的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

可选的，搜索模块502用于以任一行人作为搜索中心，沿着行人密度增大的方向以预设大小的搜索区域进行搜索具体可以包括：

以任一行人作为搜索中心，根据各个行人的位置信息确定搜索区域内所有行人的中心点；

以中心点作为新的搜索中心，继续进行搜索直至收敛。

可选的，搜索模块502用于以任一行人作为搜索中心，根据各个行人的位置信息确定搜索区域内所有行人的中心点具体可以包括：

根据如下公式确定搜索区域内所有行人与搜索中心的偏移向量：

其中，l0表示搜索中心的坐标，s0表示以l0为中心的搜索区域，k表示s0中行人的数量，lj表示s0中第j个行人的坐标，表示偏移向量；

根据如下公式确定搜索区域内所有行人的中心点：

其中，l1表示搜索区域内所有行人的中心点。

可选的，搜索模块502用于以中心点作为新的搜索中心，继续进行搜索直至收敛具体可以包括：

以l1作为新的搜索中心，继续进行搜索，直至满足如下公式为止：

||ln-ln+1||2<ε；

其中，ε为常数，ln表示第n+1次搜索的搜索中心，ln+1表示第n+2次搜索的搜索中心。

可选的，搜索区域的大小与摄像头和目标区域之间的距离负相关。

可选的，人员聚集的检测装置50还可以包括融合模块(图中未示出)，用于对图像中所有存在人员聚集的搜索区域进行融合，获取目标区域的聚集区域。

可选的，人员聚集的检测装置50还可以包括告警模块(图中未示出)，用于在确定该区域内存在人员聚集之后，实时输出报警信息。

本发明实施例还提供一种人员聚集的检测设备，请参见图6所示，本发明实施例仅以图6为例进行说明，并不表示本发明仅限于此。图6为本发明提供的人员聚集的检测设备一实施例的结构示意图。如图6所示，本实施例提供的人员聚集的检测设备60可以包括：存储器601、处理器602和总线603。其中，总线603用于实现各元件之间的连接。

存储器601中存储有计算机程序，计算机程序被处理器602执行时可以实现上述任一方法实施例提供的人员聚集的检测方法的技术方案。

其中，存储器601和处理器602之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线603连接。存储器601中存储有实现人员聚集的检测方法的计算机程序，包括至少一个可以软件或固件的形式存储于存储器601中的软件功能模块，处理器602通过运行存储在存储器601内的软件程序以及模块，从而执行各种功能应用以及数据处理。

存储器601可以是，但不限于，随机存取存储器(randomaccessmemory，简称：ram)，只读存储器(readonlymemory，简称：rom)，可编程只读存储器(programmableread-onlymemory，简称：prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，简称：eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，简称：eeprom)等。其中，存储器601用于存储程序，处理器602在接收到执行指令后，执行程序。进一步地，上述存储器601内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。

处理器602可以是一种集成电路芯片，具有信号的处理能力。上述的处理器602可以是通用处理器，包括中央处理器(centralprocessingunit，简称：cpu)、网络处理器(networkprocessor，简称：np)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图6的结构仅为示意，还可以包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件和/或软件实现。

需要说明的是，本实施例提供的人员聚集的检测设备既可以与图像采集装置如摄像头集成一体，例如具有人员聚集检测功能的监控摄像头；也可以是独立于图像采集装置的设备，包括但不限于：用户侧设备和网络侧设备。用户侧设备包括但不限于计算机、智能手机、平板电脑、数字广播终端、消息收发设备、游戏控制台、个人数字助理等。网络侧设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机。

本文参照了各种示范实施例进行说明。然而，本领域的技术人员将认识到，在不脱离本文范围的情况下，可以对示范性实施例做出改变和修正。例如，各种操作步骤以及用于执行操作步骤的组件，可以根据特定的应用或考虑与系统的操作相关联的任何数量的成本函数以不同的方式实现(例如一个或多个步骤可以被删除、修改或结合到其他步骤中)。

另外，如本领域技术人员所理解的，本文的原理可以反映在计算机可读存储介质上的计算机程序产品中，该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用，包括磁存储设备(硬盘、软盘等)、光学存储设备(cd-rom、dvd、bluray盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。