一种大规模人群视频分析系统和方法
【技术领域】
[0001] 本公开设及计算机视觉领域，特别是一种大规模人群视频分析系统和方法。
【背景技术】
[0002] 在人群比较容易密集的场所，比如火车站、汽车站、电影院、大型超市等，经常发生 由于人群踩踏引起的伤亡事件。虽然我国现有的视频监控系统已具备一定程度的规模，运 些视频监控系统在及时响应公共安全事件和治安保障中起着重要作用，且各种视频监控系 统被广泛地应用于各种场景中，但是现在大多监控依靠人工监控，亟需探索和研究智能视 频监控用于安防，帮助监控人员完成智能趋势预测、特征事件定位等任务，为突发事件预 防、可疑线索追查等提供有效帮助。
【发明内容】
[0003] 针对上述部分问题，本公开提供了一种大规模人群视频分析系统和方法。
[0004] -种大规模人群视频分析系统，所述系统包括人群密度计算模块、人群前景分割 模块、人群跟踪模块、人群状态分析模块、事件判定模块;其中：
[000引所述人群密度计算模块用于获取监控视频图像数据中某帖图像所覆盖视野范围 内的人群数量；
[0006] 所述人群前景分割模块用于获取监控视频图像数据中某帖图像所覆盖视野范围 内的前景和背景分割后、前景中的人群区域；
[0007] 所述人群跟踪模块用于获取监控视频图像数据中某帖图像所覆盖视野范围内的 人群运动方向与速度；
[0008] 所述人群状态分析模炔基于得到的人群数量、人群区域、人群运动方向与速度进 行处理分析，并将分析结果送入事件判定模块；
[0009] 所述事件判定模块用于判定人群事件是否异常；
[0010] 所述人群事件是指在监控区域内，达到一定规模的人群出现某种群体特征性行 为。
[0011] -种用于实现大规模人群视频分析系统的方法，所述方法包括下述步骤：
[0012] 本公开能够帮助监控人员完成智能趋势预测、特征事件定位等任务，为突发事件 预防、可疑线索追查等提供有效帮助。
【附图说明】
[0013] 图1本公开一个实施例中关于大规模人群视频分析系统数据处理流示意图；
[0014] 图2本公开系统的一个实施例中完全卷积神经网络的网络结构示意图；
[0015] 图3本公开方法的一个实施例中完全卷积神经网络的网络结构示意图。
【具体实施方式】
[0016] 在一个基础的实施例中提供了一种大规模人群视频分析系统，所述系统包括人群 密度计算模块、人群前景分割模块、人群跟踪模块、人群状态分析模块、事件判定模块；其 中：
[0017] 所述人群密度计算模块用于获取监控视频图像数据中某帖图像所覆盖视野范围 内的人群数量；
[0018] 所述人群前景分割模块用于获取监控视频图像数据中某帖图像所覆盖视野范围 内的前景和背景分割后、前景中的人群区域；
[0019] 所述人群跟踪模块用于获取监控视频图像数据中某帖图像所覆盖视野范围内的 人群运动方向与速度；
[0020] 所述人群状态分析模炔基于得到的人群数量、人群区域、人群运动方向与速度进 行处理分析，并将分析结果送入事件判定模块；
[0021] 所述事件判定模块用于判定人群事件是否异常；
[0022] 所述人群事件是指在监控区域内，达到一定规模的人群出现某种群体特征性行 为。
[0023] 在运个实施例中，所述系统能够为监控人员完成智能趋势预测、特征事件定位等 任务提供数据支持，为突发事件预防、可疑线索追查等提供有效帮助。所述图像数据可W直 接是一帖完整的视频截图，也可W是已处理成方便相应模块进行进一步处理的图像数据， 还可W是为方便传输进行压缩处理后的图像数据，然后在接收该图像数据的模块中进行相 应的解压缩处理，等等。在人群状态分析模块中，其进行的处理分析主要是基于得到的人群 数量、人群区域、人群运动方向与速度来分析确定监控区域的人群所处的人群事件是什么 类型的人群事件，进而将该人群事件的结论发送给事件判定模块，通过事件判定模块根据 制定的判断规则来判断该人群事件是否存在异常。所述人群事件的类型可能因不同系统对 人群事件的分类不同而不同。
[0024] 在一个实施例中，提供了人群密度计算模块计算人群数量的优选计算模型，即：所 述人群密度计算模块采用深度卷积神经网络（DCNN，Deep Convolutional Neural Network)模型来进行人群密度估计进而得到人群数量。
[002引所述深度卷积神经网络模型的学习目标为映射F:X 一 D，其中X表示训练集中图像 的像素特征，D表示人群密度图像。该模型具有如下特点：在学习人群特征上具有良好的有 效性和鲁棒性，不需要额外的标识工作，并且与图像前景分割是独立的，因此能够获得更合 理的计算结果。在人群密度计算模块使用该模型，可W为后续的分析提供可靠的数据支持， 进而在发生异常的人群事件时，能为监控者的决策提供帮助。
[0026] 在一个实施例中，提供了人群前景分割模块的优选分割模型，即：所述人群前景分 割模块采用完全卷积神经网络(FCNNJully Convolutional化ural化twork)模型来计算 人群区域。
[0027] 完全卷积神经网络相对传统的卷积神经网络，能够适用于图片尺度变化的情况， 使用更加灵活方便。
[0028] 在一个实施例中，提供了人群跟踪模块的优选计算人群运动方向与速度的方法， 良P :所述人群跟踪模块采用KLT算法化anade-Lucas-Tomasi)来得到人群运动方向与速度。
[0029] 虽然采用光流法进行运动物体检测的问题主要在于大多数光流法计算耗时，实时 性和实用性都较差，但是光流法的优点在于光流不仅携带了运动物体的运动信息，而且还 携带了有关景物Ξ维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出 运动对象。
[0030] 在一个实施例中，所述人群密度计算模块将人群密度图像映射表达式实现为一个 核屯、单元，即：所述人群密度计算模块包括人群密度图像映射单元，所述人群密度图像映射 单元的表达式为：
[0031]
[0032] 其中；
[0033] Di(p)为密度图像D中第i个人周围的点P;
[0034] Z为归一化参数；
[003引Pi为第i个标记的人；
[0036] Nh是作为头部模型的正规化的2D高斯核函数；
[0037] 扣为头部的位置；
[003引化为Nh的方差；
[0039] 化是作为身体模型的二元正态分布；
[0040] Pb为人身体的位置；
[0041 ] Σ为化的协方差矩阵。
[0042] 上述映射能够保证在一个密度映射中所有密度值在整体上是等于原图中人群数 量。
[0043] 在一个实施例中，对产生人群事件的群体特征性行为进行了划分，进一步明确本 公开系统要监测的人群行为，即：所述群体特征性行为包括人群密集、人群聚集、人群滞留、 人群跑动和人群逆行；
[0044] 所述人群密集指对过去的T1秒监控区域内的人数平均值超过设置的参数阔值； [004引所述人群聚集指监控区域内停留下来聚集在一起的人群区域内的人数超过设置 阔值；
[0046] 所述人群滞留指对监控图像中的人群特征点进行跟踪，所述人群特征点的运动距 离在时间T2内低于设置的阔值；
[0047] 所述人群跑动指监控区域内运动速度大于速度阔值V的人的数量超过数量阔值 N1;
[0048] 所述人群逆行指监控区域内的禁行区域内沿逆行方向运动的人的数量超过阔值 N2；
[0049] 其中，T1、T2、V、N1和N2为预设值或能够修改的自定义值。
[0050] 根据上述群体特征性行为的划分，本公开要监测的人群事件包括人群密集、人群 聚集、人群滞留、人群跑动和人群逆行，进而在系统中为了标识人群事件，可W为每个人群 事件分配事件ID。
[0051] 进一步地，通过该实施例，也暗含了在系统的事件判断模块如何判断人群事件异 常。
[0052] 对于人群密集事件，所述事件判定模块通过对过去T秒内区域内人数平均值进行 统计来，若超过设置的参数阔值，则判断区域内人群密集;其中τ为预设值或能够修改的自 定义值。在一个实施例中，所述Τ为10秒。
[0053] 对于人群聚集事件，所述事件判定模块通过对图像中停留下来聚集在一起的人群 区域内的人数进行统计，如果超过设置阔值，则判断区域内发生异常聚集。
[0054] 对于人群滞留事件，所述事件判定模块通过对图像中的人群特征点进行跟踪;一 段时间内运动距离越短的说明停留时间越久，当停留时间超过设置的阔值时，则说明区域 内有人群滞留。
[0055] 对于人群跑动事件，所述事件判定模块通过计算场景下跟踪特征点的运动速度， 统计运动速度大于阔值Τ1的特征点的个数，当特征点个数大于阔值Τ2时，表明场景下发生 了异常跑动;其中Τ1、Τ2为预设值或能够修改的自定义值。
[0056] 对于人群逆行事件，所述事件判定模块通过禁行区域内沿逆行方向运动的特征点 的个数进行统计，如果超过阔值Ν个，则判断区域发生逆行;其中Ν为预设值或能够修改的自 定义值，比如Ν为10。
[0057] 更优地，所述系统确定了在一段事件内连续监测到的人群事件是否为同一人群事 件的方法，即：所述群体特征性行为中的某种行为在连续多次出现时，若相邻两次的时间间 隔大于设定时间，则相邻两次出现的该种行为被认为是两次事件，否则相邻两次出现的该 种行为被认为是一次事件。比如，在人群密集事件中，若相邻的两次人群密集事件如果间隔 大于60秒，则判定为两次事件。在人群聚集事件中，若相覆盖区域内的两次人群密集事件如 果间隔大于60秒，则判定为两次事件。在人群滞留事件中，若相同滞留区域内发生的滞留事 件如果相隔10秒内，则判定为同一个滞留事件。在人群跑动事件中，若相邻的两次人群跑动 事件如果间隔大于60秒，则判定为两次事件。在人群逆行事件中，若相同逆行区域相邻的两 次人群逆行事件如果间隔大于60秒，则判定为两次事件。
[0058] 在一个实施例中，所述系统还包括实时监控模块，所述实时监控模块用于反映当 前时间点，某一路视频所对应场景内人群的情况，通过图示的方式来展示人群的密集程度。 其中，所述图示的方式所依据的图可W是基于监控视频中的图像。
[0059] 优选的，所述实时监控模块中使用的图包括人群停留染色图和人群分布热力图； 所述人群停留染色图按照停留时间长短，对场景中的人群进行Jet染色;所述人群分布热力 图按照人群疏密，W热力图的形式展现场景中人群的实时分布情况。
[0060] 进一步地，所述Jet染色为根据场景中人物停留的时间长短对目标进行染色，最大 值表现为红色，最小值表现为蓝色。其中：蓝色