人群聚集检测方法、装置及存储介质与流程

本申请涉及智能视频图像监控领域，特别涉及一种人群聚集检测方法、装置及存储介质。

背景技术：

计算机技术的飞速发展为视频监控的应用提供了更大的展示舞台，智能化在数字安全防范领域也得到越来越多的应用。如果在视频监控中加入视频的智能分析，可以对所关注的视频源实时分析，有效避免信息遗漏，大大降低了人工管理成本，为城市管理提供了有效保障。目前，人群聚集事件分析在人流量较大的场景(如地铁、广场)，都会把正常出入的人群误判为人群聚集事件，从而无法准确判断人群聚集事件。

技术实现要素：

本申请实施例提供一种人群聚集检测方法、装置及存储介质，可以提高人群聚集事件判断的准确性。

本申请实施例提供了一种人群聚集检测方法，其包括：

获取目标视频连续的多帧预设图像；

根据人群密度，从每帧所述预设图像中获取行人区域；

从每帧所述预设图像中获取流动行人区域；

根据所述行人区域和所述流动行人区域，得到待确认区域；

当所述待确认区域内的预设目标在所述连续多帧预设图像中出现的次数达到阈值时，确认出现预设聚集事件。

本申请实施例提供了一种人群聚集检测装置，其包括：

预设图像获取模块，用于获取目标视频连续的多帧预设图像；

行人区域获取模块，用于根据人群密度，从每帧所述预设图像中获取行人区域；

流动行人区域获取模块，用于从每帧所述预设图像中获取流动行人区域；

待确认区域获取模块，用于根据所述行人区域和所述流动行人区域，得到待确认区域；

判断模块，用于当所述待确认区域内的预设目标在所述多帧每帧图像中出现的次数达到阈值时，确认出现预设聚集事件。

本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如上述所述的人群聚集检测方法。

本申请实施例提供的人群聚集检测方法、装置及存储介质中，先获取每帧预设图像的行人区域，然后获取每帧预设图像的正常流动行人区域，从而得到待确认区域，最后当待确认区域内的预设目标在连续多帧图像中出现的次数达到阈值时，确认出现预设聚集事件。可以准确的预测是否出现预设聚集事件。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的人群聚集检测方法的流程示意图。

图2为本申请实施例提供的行人区域获取的流程示意图。

图3为本申请实施例提供的流动行人区域获取的流程示意图。

图4为本申请实施例提供的人群聚集区域获取的流程示意图。

图5为本申请实施例提供的闭运算前示意图。

图6为本申请实施例提供的闭运算后示意图。

图7为本申请实施例提供的多目标跟踪处理过程示意图。

图8为本申请实施例提供的人群聚集检测装置示意图。

图9为本申请实施例提供的人群聚集检测装置另一示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请实施例提供的人群聚集检测方法的流程示意图，流程可以包括：

101，获取目标视频连续的多帧预设图像。(对视频中连续帧进行逐帧处理)。

本申请实施例是基于视频图像监控，视频图像包括连续的多帧预设图像，然后从一个视频图像的连续多帧预设图像中逐帧获取的每一帧预设图像。其中，视频图像可以为人流量较少的监控场景(如郊区)的图像，也可以是在人流量较大的场景(如地铁、广场)的图像。

102，根据人群密度，从每帧预设图像中获取行人区域。

可以对视频中连续多帧预设图像进行逐帧处理。

在一些实施例中，可以根据人群密度估计算法，从每帧预设图像中获取行人区域。

在一些实施例中，可以根据人群密度估计算法，从每帧预设图像获取人流密度图，其中，人流密度图中各像素点对应行人出现概率值；对各像素点进行二值化处理获取行人区域。

具体的，请参阅图2，该步骤基于预设图像，得到人流密度图和对应的行人区域。核心算法为人群密度估计算法，密度估计算法通常用来对整张预设图像进行人流计数，输入整张预设图像，经过人流密度算法处理可以获得整张预设图像的人流密度图，人流密度图中各像素点对应行人出现概率值，取值范围[0.0～1.0)，对人流密度图各像素点求和即可获得整张预设图像的人数，对各像素点进行二值化处理可获得行人区域。

其中，人群密度估计算法由训练过程、检测过程组成，训练过程为离线训练处理，在实际运行中不再重复训练，通过训练可以获得用于人群密度估计的的检测模型，在运行过程中则调用该检测模型输入图像处理，获取人流密度图，对密度图进行二值化处理可以获得行人区域。

其中训练过程，输入为图像样本及对应的标定信息，输出为人群密度估计模型。首先对现场采集视频，处理获得一定数量(例如3万张)样本，制定行人标定规则进行标定，再将图像标定数据转换为训练框架所要求数据格式；然后使用训练框架，读入样本数据和处理后获得的标签数据，通过循环迭代训练，平均每张样本被迭代训练50次，最终获得人群密度估计模型。

检测过程，输入为当前帧图像数据，使用密度估计算法调用密度估计模型对图像进行处理，输出为整张图的人流密度图。

行人区域提取过程，检测过程获得的人流密度图，各像素点对应行人概率值，非行人区域，概率值通常为0，以固定值0.0001为阈值，进行二值化处理，将高于该阈值像素点值置为255，将小于该阈值像素点值置位0，将属于行人区域的点组合起来即为行人区域。

103，从每帧预设图像中获取流动行人区域。

在一些实施例中，可以根据前景提取算法，从每帧所述预设图像、以及每帧所述预设图像的前第一预设帧数的预设图像中获取背景区域；根据每帧所述预设图像的背景区域，得到每帧预设图像的流动行人区域。

在一些实施例中，可以在根据前景提取算法的步骤之前，对预设图像进行高斯平滑、以及灰度化预处理。

具体的，请参阅图3，该步骤基于预设图像，获取流动行人区域。需要根据当前帧预设图像、以及结合过去预设帧数预设图像学习更新到的当前时刻背景图像。预设帧数可以为10帧、20帧，也可以为当前帧所有帧。可以首先对每帧预设图像进行高斯平滑、灰度化预处理，然后送入前景提取算法处理，获得流动行人区域。该步骤的核心算法采用混合高斯模型前景提取算法，具体过程包括：通过统计各坐标点像素值变化，为每一个点建立多个随机正态分布即背景模型，若该点像素值符合其中任意一个正态分布，则判断该点是背景点，并且更新背景模型，否则被认为流动行人区域，按照这种逻辑遍历图像每一个点，最终所有的属于流动行人区域的点组合起来即为流动行人区域。

104，根据行人区域和流动行人区域，得到待确认区域。

在一些实施例中，具体可以包括：

通过去除所述行人区域中的所述流动行人区域，获取所述待确认区域对应的第二人群密度图；

对所述第二人群密度图进行形态学处理，并提取轮廓；

提取所述轮廓的外接矩形得到待确认区域位置；

根据所述第二密度图获取所述待确认区域的总人数；

当所述待确认区域内总人数大于第一预设阈值时，确认所述待确认区域为人群聚集区域。具体的，请参阅图4，本步骤是基于步骤101获取的行人区域和步骤102获取的流动行人区域，获取待确认区域、以及聚集的行人区域的外接矩形位置。

步骤101获取的的行人区域包含当前场景所有的行人区域，不仅包含聚集的行人，也包含正常流动的行人，而步骤102通过前景提取的流动行人区域仅包含运动的行人区域(和其他运动物体的运动区域)，遍历行人区域图像各点，去除行人区域中的运动部分(像素值置0)，剩下的即为人群聚集区域；进一步对应人群聚集区域遍历密度图，将密度图对应点值做累加即可获得该聚集区域人总数。

当人总数高于设定的第一预设阈值t1则认为该区域为人群聚集区域，形态学处理并提取轮廓，再进一步提取轮廓的外接矩形即为人群聚集区位置，否则则认为该区域为正常区域不进行任何处理。对所有区域依次处理结束，将判定为人群聚集区位置(外接矩形)输出到下一步。其中形态学处理操作为进行一次闭运算。

其中本实施例采用的形态学处理为闭运算，闭运算会使物体的轮廓变得光滑，能消除狭窄的间断和细长的鸿沟，同时可以填充目标内部的小空洞和图像轮廓中的断裂。闭运算前如图5所示，闭运算后图6所示。

105，当待确认区域内的预设目标在连续多帧图像中出现的次数达到阈值时，确认出现预设聚集事件。

在一些实施例中，该步骤具体可以包括：获取每帧所述预设图像前第二预设帧数的预设图像中的至少一个待检测目标；

当所述人群聚集区域位置内的预设目标与所述待检测目标相同，且所述预设目标在所述第二预设帧数预设图像中出现的次数达到阈值时，确认出现预设聚集事件。

具体的，本步骤是基于步骤104获取的人群聚集区域位置(外接矩形)、以及上一帧图像的多目标跟踪结果，经过多目标匹配处理后，获得当前帧多目标跟踪结果，分析各目标区域连续一定帧数的聚集状态做出最终非法聚集事件判断。该模块采用iou匹配策略，由于人群聚集区域基本不移动，则认为同一个人群区域会出现在下一帧基本相同的位置，基于将目标分成不同目标类再按类处理，以相邻两帧处理为例说明，其他帧按此规则依次更新。

请参阅图7，在一些实施例中，通过将当前帧检测到的目标与上一帧多目标跟踪结果进行iou阈值匹配，可以将当前帧检测到的目标和上一帧多目标跟踪结果分别进行分类。获得的当前帧检测到的目标结果，可以分为两类：类①首次被检测到的目标；类②在之前就被检测到且已被跟踪，这一帧又被检测到。上一帧目标跟踪结果可以分为三种：类①在当前帧又被检测到的目标；类②在当前帧未检测到，但连续未被检测到次数没有达到丢弃阈值t2；类③在当前帧未检测到，且连续未被检测到次数达到目标丢弃阈值。

按类进行处理：将当前帧检测到的类①目标创建为新的跟踪目标进行跟踪，在下一帧一开始会首先进行跟踪预测出新目标位置；当前帧检测到的类②与上一帧目标跟踪结果中的类①是同一类目标，则利用当前帧检测结果对跟踪结果进行纠正，从而更新获得对应当前帧跟踪目标信息；上一帧目标跟踪结果中的类②由于未达到丢弃阈值，则认为该目标仍在监控区域只是未被检测到，使用单目标跟踪(本方案由于人群聚集区域不变则认为上一帧位置即为当前帧位置)的结果作为当前帧目标信息进行更新；上一帧目标跟踪结果中的类③由于连续多帧没有检测到达到了丢弃阈值t2，因此认为该目标已消失将其筛除不再跟踪。经过以上处理之后获得当前帧多目标跟踪结果。

进行非法聚集事件判断，多目标跟踪结果中记录有各目标在过去一段时间连续一定帧数t3出现聚集次数，这些信息是按帧顺序进行存储，当在过去连续t3帧出现聚集次数超过阈值t4则判断该嫌疑区域出现人群聚集事件，则进行非法聚集事件上报。

需要说明的是，本申请实施例中的算法配置包含多处阈值，需根据现场需求进行设置，若不设置内部会启用默认值。其中，t1为当人总数高于设定的阈值t1则认为该区域为人群聚集区域；t2为用于删除已经消失的聚集人群，当人群连续t2帧未再次出现则不在跟踪；t3为用于判断聚集事件所需追溯的帧数；t4为聚集事件在连续一定帧数月t3中出现聚集次数超过阈值t4则才认为出现非法聚集事件。

本申请实施例以机器视觉技术中的人流密度估计技术、前景提取技术、形态学处理技术、多目标匹配关联技术为基础，结合视频流中连续多帧人群区域的状态作最终判断来完成人群聚集事件检测功能。具体的，本申请实施例首先采用以深度学习技术为基础的人群密度估计算法，将大量行人样本按人群密度估计算法所设定规则标定转换，通过训练学习获得人群密度估计模型，利用调用该密度估计模型的检测器对监控区域图像进行人群密度估计获得人群密度估计图，进一步通过对该密度图二值化处理获得行人区域；与此同时，通过前景检测技术提取输入图中运动区域(流动行人区域)，进一步对获得的运动图二值化处理获得正常流动的行人区域；然后，通过行人区域与运动区域作差，消除行人区域中的运动区域(人群中正常流动部分)，剩下的即为真实聚集的人群区域，仅对聚集的行人区域通过扫描人群密度图计算人数，根据该区域人数来判断当前区域是否发生人群聚集，并提取该区域外接矩形为人群聚集区域；最后设计仅以位置为依据的多目标匹配关联技术，对各人群聚集区域进行时序上关联跟踪，动态监视，更新人群区域id信息并记录连续状态，从而根据人群区域时序上的状态信息作最终事件判断。本申请实施例切实可行，适应场景，且在实际监控视频中取得了非常的精度。

本申请实施例通过深度学习的人群密度估计算法提取行人区域，而不是单纯的计数。不同于以往的单帧判断，而是基于视频连续信息进行非法聚集事件判断，并且基于本申请实施例的多目标匹配关联算法，可以对各人群聚集区域进行时序上关联匹配，动态监视。准确率高，稳定性好。

请参阅图8，本申请实施例还提供一种人群聚集检测装置，人群聚集检测装置主要包括4个模块：人群密度估计模块、前景提取模块、人群聚集区提取模块和非法聚集事件判断模块。

其中，人群密度估计模块，采用以深度学习技术为基础的人群密度估计算法，将大量行人样本按人群密度估计算法所设定规则标定转换，通过训练学习获得人群密度估计模型，利用调用该密度估计模型的检测器对监控区域图像进行人群密度估计获得人群密度估计图，进一步通过对该密度图二值化处理获得行人区域。前景提取模块，通过前景检测技术提取输入图中运动区域，进一步对获得的运动图进行二值化处理获得正常流动的行人区域。人群聚集区提取模块，通过行人区域与运动区域作差，消除行人区域中的运动区域(人群中正常流动部分)，剩下的即为真实聚集的人群区域，仅对聚集的行人区域通过扫描人群密度图计算人数，根据该区域人数来判断当前区域是否发生人群聚集，并提取该区域外接矩形为人群聚集区域。非法聚集事件判断模块、设计仅以位置为依据的多目标跟踪技术，对各人群聚集区域进行时序上关联跟踪，动态监视，更新人群区域id信息并记录连续各帧状态，从而根据人群区域时序上的状态信息作最终非法聚集事件判断。

请参阅图9，本申请实施例还提供一种人群聚集检测装置300，人群聚集检测装置300包括预设图像获取模块310、行人区域获取模块320、流动行人区域获取模块330、待确认区域获取模块340和判断模块350。

其中，预设图像获取模块310用于获取目标视频连续的多帧预设图像；。

行人区域获取模块320用于根据人群密度，从每帧预设图像中获取行人区域。

流动行人区域获取模块330用于从每帧预设图像中获取流动行人区域。

待确认区域获取模块340用于根据行人区域和流动行人区域，得到待确认区域。

判断模块360用于当待确认区域内的预设目标在多帧预设图像中出现的次数达到阈值时，确认出现预设聚集事件。

在一些实施例中，行人区域获取模块320还用于根据人群密度估计算法，从每帧预设图像中获取行人区域。

在一些实施例中，行人区域获取模块320还用于根据人群密度估计算法，从每帧预设图像获取人流密度图，其中，人流密度图中各像素点对应行人出现概率值；对各像素点进行二值化处理获取行人区域。

在一些实施例中，流动行人区域获取模块330还用于根据前景提取算法，从每帧所述预设图像、以及每帧所述预设图像的前第一预设帧数的预设图像中获取背景区域；根据每帧所述预设图像的背景区域，得到每帧所述预设图像的流动行人区域。

在一些实施例中，流动行人区域获取模块330还用于对预设图像进行高斯平滑、以及灰度化预处理。

在一些实施例中，待确认区域获取模块340还用于通过去除所述行人区域中的所述流动行人区域，获取所述待确认区域对应的第二人群密度图；对所述第二人群密度图进行形态学处理，并提取轮廓；提取所述轮廓的外接矩形得到待确认区域位置；根据所述第二密度图获取所述待确认区域的总人数；当所述待确认区域内总人数大于第一预设阈值时，确认所述待确认区域为人群聚集区域。

在一些实施例中，判断模块360还用于获取每帧所述预设图像前第二预设帧数的预设图像中的至少一个待检测目标；当所述人群聚集区域位置内的预设目标与所述待检测目标相同，且所述预设目标在所述第二预设帧数预设图像中出现的次数达到阈值时，确认出现预设聚集事件。

本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的人群聚集检测方法，比如：获取目标视频连续的多帧预设图像；根据人群密度，从每帧所述预设图像中获取行人区域；从每帧所述预设图像中获取流动行人区域；根据所述行人区域和所述流动行人区域，得到待确认区域；当所述待确认区域内的预设目标在所述多帧预设图像中出现的次数达到阈值时，确认出现预设聚集事件。

在本申请实施例中，存储介质可以是磁碟、光盘、只读存储器(readonlymemory，rom)、或者随机存取记忆体(randomaccessmemory，ram)等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

需要说明的是，对本申请实施例的人群聚集检测方法而言，本领域普通测试人员可以理解实现本申请实施例人群聚集检测方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如应用程序管控方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

对本申请实施例的人群聚集检测装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例提供的人群聚集检测方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。