人群聚集的智能监控方法和系统与流程

本发明涉及视频监控技术领域，具体涉及一种人群聚集的智能监控方法和系统。

背景技术：

随着宽带网络的普及、计算机技术的发展以及图像处理技术的提高，视频监控技术正越来越广泛地渗透到教育、政府、娱乐、医疗、酒店等各种领域。尤其在安防领域，视频监控是协助公共安全部门打击犯罪、维持社会安定的重要手段。然而现有的视频监控分析方法只能基于所采集的监控视频进行事后的人工分析，无法根据对公共场所人群聚集情况的实时监控而实时采取相应的管控措施。因此，急需一种能够实时监控人群聚集的智能监控方式。

技术实现要素：

有鉴于此，本发明实施例提供了一种人群聚集的智能监控方法和系统，解决了现有技术中的视频监控方式无法实时监控人群聚集的问题。

本发明实施例提供的一种人群聚集的智能监控方法，包括：实时采集视频监控数据；提取实时采集的视频监控数据中的目标设施；实时提取所述视频监控数据中聚集在目标设施范围内人群的人群聚集特征信息；以及根据所述目标设施和聚集在目标设施范围内人群的人群聚集特征信息确定所述视频监控数据对应监控场景的人群聚集管控信息。

本发明实施例提供的一种人群聚集的智能监控系统，包括：环境感知装置，用于实时采集视频监控数据；地理标志分析装置，用于提取所述环境感知装置实时采集的视频监控数据中的目标设施；对象特征分析装置，用于实时提取所述视频监控数据中聚集在目标设施范围内人群的人群聚集特征信息；以及决策装置，用于根据所述地理标志分析装置提取的目标设施，以及对象特征分析装置实时提取的聚集在目标设施范围内人群的人群聚集特征信息确定所述视频监控数据对应监控场景的人群聚集管控信息。

本发明实施例提供的人群聚集的智能监控方法和系统，通过对视频监控数据中目标设施的提取，以及对聚集在该目标设施范围内人群的人群聚集特征信息的实时提取，实现了对人群聚集情况的实时监控、分析与判断。主要根据不同目标设施范围内人群聚集面积、聚集时间、人群运动方向及运动速度等特征实时判断当前监控场景下是否存在人群聚集/人群持续聚集的现象或者趋势，并根据不同聚集情况实时采取相应不同的管控策略，有效地缓解/防止了人群聚集现象或者人群持续聚集现象，为社会公共安全的维护工作提供了有效措施。

附图说明

图1所示为本发明一实施例提供的一种人群聚集的智能监控方法的流程图。

图2所示为本发明另一实施例提供的一种人群聚集的智能监控方法的流程图。

图3所示为本发明另一实施例提供的一种人群聚集的智能监控方法的流程图。

图4所示为本发明一实施例提供的一种人群聚集的智能监控系统的结构示意图。

图5所示为本发明一实施例提供的一种人群聚集的智能监控系统所基于的监控视频智能信息模型图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1所示为本发明一实施例提供的一种人群聚集的智能监控方法的流程示意图。如图1所示，该人群聚集的智能监控方法包括：

步骤101：实时采集视频监控数据。

该视频监控数据为前端视频采集设备所直接采集到的一些基本信息，直接作为后续进行进一步实时智能分析的基本资源数据。在本发明一实施例中，实时采集的视频监控数据也可直接发给监控中心的监控人员查看，使得监控人员能够实时监督整个人群聚集智能监控过程的自动进行。

在本发明一实施例中，该实时采集的视频监控数据可包括监控视频以及以下几项中的一种或多种：视频采集位置信息和视频采集时间信息。其中监控视频是后续进行目标设施和人群聚集特征信息提取的资源数据，视频采集位置信息和视频采集时间信息可作为附加的属性信息用于明确当前人群聚集监控场景的时间和地点。

步骤102：提取实时采集的视频监控数据中的目标设施。

该目标设施为待监控的场景设施，可由开发人员根据实际的监控需求设定，例如，如果监控人员所关注的为某火车站某层楼梯人群聚集的情况，可将目标设施设置为该火车站该层楼梯；如果监控人员所关注的为某商场某售卖柜台人群聚集的情况，可将目标设施设置为该商场该售卖柜台。对于该设定的目标设施，可基于图像对象提取技术直接从视频图像中提取出来。

步骤103：实时提取视频监控数据中聚集在目标设施范围内人群的人群聚集特征信息。

该目标设施范围也可根据目标设施以及监控人员的监控需求而做不同设定，例如，如果监控人员想监控某火车站某层楼梯人群聚集的情况，则可将整层楼梯设为目标设施范围，如果监控人员将某商场某售卖柜台设为目标设施，则目标设施范围可从该售卖柜台向四周或者一侧进行一定面积的扩大，具体扩大的范围也可根据实际的监控需求而设定，本发明对此不做具体限定。

在本发明一实施例中，人群聚集特征信息可包括以下几项中的一种或多种：人群聚集时间、人群聚集面积、人群运动方向和人群运动速度，用于进一步明确聚集在目标设施范围内人群的人群聚集特征。

步骤104：根据目标设施和目标设施范围内人群的人群聚集特征信息确定视频监控数据对应监控场景的人群聚集管控信息。

基于不同的目标设施和多样化的人群聚集特征信息可实现多样化的人群聚集管控策略。该人群聚集管控信息的确定过程可基于不同目标设施和人群聚集状态下人群聚集管控策略的机器描述的预训练所得模型实现。例如，设定当人群的聚集面积达到5m²以上时，即视为人群聚集现象，人群聚集现象所持续的时间达到15分钟以上时，即视为人群持续聚集现象。当目标设施为某商场的某售卖柜台时，而实时监控所得出的人群聚集面积已达到4m²且人群运动速度缓慢，此时可判断当前场景下存在人群聚集现象发生的趋势，为避免这种可能性，建议采取轻度人群聚集管控策略，如工作人员在监控现场进行相应的引导和指挥，防止人群聚集面积的持续扩大；当目标设施为某公园的某通道，而实时监控所得出的人群聚集面积达到8m²，持续时间已达到20分钟，且人群运动方向包括相反的两个方向，运动速度几乎为零，说明当前监控场景下的人群聚集现象已达到持续聚集程度，可能妨碍公共安全(如：可能发生踩踏等安全事件)，建议采取严格的人群聚集管控策略，比如可将其中一个方向的人群引导至另一通道的人群聚集管控策略。应当理解，人群聚集管控信息与目标设施和实时提取的人群聚集特征信息之间的具体对应关系也可由监控人员根据实际需要而调整，但无论怎样调整，这种对应关系都是可以基于预训练所得模型而建立起来的，本发明对该具体的对应关系并不做限定。

本发明实施例提供的人群聚集的智能监控方法和系统，通过对视频监控数据中目标设施的提取，以及对聚集在该目标设施范围内人群的人群聚集特征信息的实时提取，实现了对人群聚集情况的实时监控、分析与判断。主要根据不同目标设施范围内人群聚集面积、聚集时间、人群运动方向及运动速度等特征实时判断当前监控场景下是否存在人群聚集/人群持续聚集的现象或者趋势，并根据不同聚集情况实时采取相应不同的管控策略，有效地缓解/防止了人群聚集现象或者人群持续聚集现象，为社会公共安全的维护工作提供了有效措施。

在本发明一实施例中，该提取的目标设施以及实时提取的聚集在该目标设施范围内人群的人群聚集特征信息可被保存下来，以便于后续的查询。例如，通过接收以人群聚集特征信息、视频监控时段或目标设施为查询条件的查询指令；以及调取与人群聚集特征信息对应的所有视频监控时间段和目标设施，或调取与视频监控时段对应的所有目标设施和人群聚集特征信息，或调取与目标设施对应的所有视频监控时间段下的人群聚集特征信息。

图2所示为本发明一实施例提供的一种人群聚集监控方法的流程示意图。与图1所示的人群聚集监控方法不同，图2所示的方法进一步包括：

步骤201：基于提取的目标设施和实时提取的人群聚集特征信息生成语义分析结果。

再以上述为例，目标设施设置为某公园的某通道，实时监控所得出的人群聚集面积达到8m²，持续时间已达到20分钟，人群运动方向包括相反的两个方向，运动速度几乎为零，则该语义分析结果可表示为：某人群在某公园某通道持续聚集，其中人群运动方向包括相反的两个方向，运动速度几乎为零。

步骤202：基于语义分析结果以及不同目标设施和人群聚集特征信息所对应人群聚集管控策略的机器描述的预训练所得模型，实时确定视频监控数据对应监控场景的人群聚集管控信息。

例如，基于上面的语义分析结果，可确定的人群聚集管控信息可为：某公园某通道存在持续聚集现象，可能妨碍公共安全(如：可能发生踩踏等安全事件)，建议将其中一个方向的人群引导至另一通道。

图3所示为本发明另一实施例提供的一种人群聚集监控方法的流程示意图。与图2所示的方法不同，图3所示的人群聚集监控方法进一步包括：

步骤301：从视频监控数据中截取聚集在目标设施范围内的人群所处区域的区域视频监控数据。

步骤302：从该区域视频监控数据中实时提取聚集在目标设施范围内人群的人群聚集特征信息。

通过从视频监控数据中截取区域视频监控数据，去掉了与当前监控的聚集在目标设施范围内的人群无关的区域的视频监控数据，减少了后续提取人群聚集特征信息的计算量，减轻硬件分析资源的计算负担。

应当注意，本发明所述方法中的步骤编号仅用作该步骤的附图标记，并不表示执行顺序，因为一些动作可以按照与这里描述和标示的顺序不同的顺序出现，本发明要求保护的主题内容将不受这些动作的执行顺序所限制。另外，前述步骤的描述不排除该方法还可以包括可能取得附加效果的附加步骤。还应当理解，不同的实施方式或者流程中描述的方法步骤可以相互组合或者替换。

图4所示为本发明一实施例提供的一种人群聚集的智能监控系统的结构示意图。如图4所示，该人群聚集的智能监控系统包括：

环境感知装置401，用于实时采集视频监控数据；

地理标志分析装置402，用于提取环境感知装置401所采集的视频监控数据中的目标设施；

对象特征分析装置403，用于实时提取视频监控数据中聚集在目标设施范围内人群的人群聚集特征信息；以及

决策装置404，用于根据地理标志分析装置402提取的目标设施，以及对象特征分析装置403实时提取的聚集在目标设施范围内人群的人群聚集特征信息确定视频监控数据对应监控场景的人群聚集管控信息。

在本发明一实施例中，该人群聚集的智能监控系统进一步包括：

语义分析装置405，用于基于地理标志分析装置402提取的目标设施和对象特征分析装置403实时提取的人群聚集特征信息生成语义分析结果；

其中，决策装置404进一步用于：

基于语义分析装置405所生成的语义分析结果以及不同目标设施和人群聚集特征信息所对应人群聚集管控策略的机器描述的预训练所得模型，实时确定所述视频监控数据对应监控场景的人群聚集管控信息。

在本发明一实施例中，决策装置404进一步用于：

接收以人群聚集特征信息、视频监控时段或目标设施为查询条件的查询指令；以及调取与人群聚集特征信息对应的所有视频监控时间段和目标设施，或调取与视频监控时段对应的所有目标设施和人群聚集特征信息，或调取与目标设施对应的所有视频监控时间段下的人群聚集特征信息。

在本发明一实施例中，该人群聚集的智能监控系统进一步包括：

对象区域提取装置406，用于从视频监控数据中截取聚集在目标设施范围内的人群所处区域的区域视频监控数据；

其中，对象特征分析装置403进一步用于从该区域视频监控数据中实时提取聚集在目标设施范围内人群的人群聚集特征信息。

由此可见，本发明实施例所提供的人群聚集监控系统其实是基于一种监控视频智能信息模型实现的。该监控视频智能信息模型中的信息流可分为不同的层面提取，而且相邻的层面之间存在一定的依赖关系，如图5所示。在环境感知装置401采集视频监控数据的过程中，将视频和现场感知数据(如：声音、时间、相机的地理位置、温度、气象、相机位姿等)存入环境感知层，这些信息是传统视频监控和智能视频监控提供监控场景的基本要素，为顶层决策提供必要的支持。在前端处理过程中，将原始采集的视频监控数据进行初步处理(包括传统预处理，以及基于统计学习方法的前端智能分析等)，并将初步处理的结果存入特征层、地理标志层和对象层，分别对应对象特征分析装置403提取人群聚集特征信息的过程、地理标志分析装置402提取目标设施的过程以及对象区域提取装置406从原始采集的视频监控数据中截取区域视频监控数据的过程。在后端处理过程中，将根据不同的应用需要，综合前述的相应各层，利用机器学习技术进行分析和处理，将相关的处理结果存入语义层，对应语义分析装置405生成语义分析结果的过程。对于语义分析装置405中的语义分析结果，利用机器学习技术训练的判断模型可以给出不同的决策建议供监控人员参考；同时，监控人员还可以向系统发出指令，以查询监控数据中相应的内容，这些属于决策/理解层。其中的判断模型以及通过其判断得到的决策建议，属于决策范畴。监控人员在观察过程中，向监控系统发出某种指令以查询某一事件中，具备某类特征的目标，系统将其指令解释成符合本结构模型的描述方式，对其所掌握的数据进行检索，属于理解范畴。

应当理解，当人群聚集监控系统包括前端视频采集设备和后端视频分析设备时，环境感知装置401可设置在前端视频采集设备中，而地理标志分析装置402、对象区域提取装置406、对象特征分析装置403、语义分析装置405、决策装置404可分别设置在前端视频采集设备中或设置在后端视频分析设备中。只要人群聚集监控系统中的所有装置能够实现各自的分析提取功能以及信息流的逐步提取，以最终达到语义决策的目的即可。本发明对人群聚集监控系统中的装置具体设置在前端视频采集设备还是后端视频分析设备并不做限定。

本发明的教导还可以实现为一种计算机可读存储介质的计算机程序产品，包括计算机程序代码，当计算机程序代码由处理器执行时，其使得处理器能够按照本发明实施方式的方法来实现如本文实施方式所述的人群聚集监控方法。计算机存储介质可以为任何有形媒介，例如软盘、CD-ROM、DVD、硬盘驱动器、甚至网络介质等。

应当理解，虽然以上描述了本发明实施方式的一种实现形式可以是计算机程序产品，但是本发明的实施方式的方法或装置可以被依软件、硬件、或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的方法和设备可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的方法和装置可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

应当理解，尽管在上文的详细描述中提及了装置的若干模块或单元，但是这种划分仅仅是示例性而非强制性的。实际上，根据本发明的示例性实施方式，上文描述的两个或更多模块/单元的特征和功能可以在一个模块/单元中实现，反之，上文描述的一个模块/单元的特征和功能可以进一步划分为由多个模块/单元来实现。此外，上文描述的某些模块/单元在某些应用场景下可被省略。例如当硬件计算资源的计算能力不受限制时，也可不包括对象区域提取装置。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。