一种人群聚集区域检测方法和装置制造方法

一种人群聚集区域检测方法和装置制造方法
【专利摘要】本发明公开了一种人群聚集区域检测方法和装置，属于视频处理【技术领域】。该方法包括：采样输入的视频图像并进行预处理，得到灰度图；利用预设的多尺度矩形窗口遍历灰度图，并采用分类器粗定位人群密集区域；当存在人群密集区域时，根据人群密度对人群密集区域进行精细定位人群聚集区域。采用本发明的检测方法和装置，能自动定位人群密集区域的位置，无需人工设定区域位置；同时，采用两层筛选机制对人群区域进行粗定位和精细定位，能精确获取人群聚集区域，此外，由于没有采用背景相减法，排除了外界各因素的影响，对于场景复杂的情况，也能精确检测到人群聚集事件。
【专利说明】一种人群聚集区域检测方法和装置

【技术领域】
[0001]本发明涉及安防领域，尤其涉及一种人群聚集区域检测方法和装置。

【背景技术】
[0002]随着社会经济的高速发展，我国的城市化进程不断推进，城市的人口数量越来越多，城市的公共交通、生活设施等区域经常会迎来短期的人流高峰，人群的高度拥挤带来了一些安全隐患，若不能得到及时有效疏散，容易造成重大事故，例如践踏等危险事故。同时，人口数量的急剧增长，也容易导致一些群体事件发生，例如聚众闹事，群殴打架等，对城市的治安造成较大的威胁。
[0003]为了及时发现突发的人群聚集事件，引入了视频监控系统。但是，传统的视频监控系统由人工轮岗来监视，由于监控点比较多，工作人员较少，使得很多人群聚集事件没有被及时发现。同时，人眼在长时间盯着监控屏幕后极容易导致视觉疲劳，使注意力下降。随着计算机视觉技术的不断发展和应用，已经可以利用计算机技术代替人眼和人脑，来自动分析人群聚集事件。
[0004]目前，利用计算机视觉技术的人群聚集区域检测方法有两种:(1)基于人群像素统计的方法，该方法通过背景相减的方法来提取运动的前景人群，并统计人群占据的像素数目来判断是否发生聚集事件，该方法的优点是方法简单、处理速度快，但是在人群拥挤时，存在非常严重的重叠现象，导致行人计数存在较大误差；并且，由于外面因素的干扰，要想获取一个稳定的背景非常困难，这直接影响到前景的精确提取；同时，如果场景中的人群没有运动，这直接导致背景获取失败，不能检测到人群聚集。(2)基于人群纹理信息的方法，该方法将人群分为低、中、高密度，低密度人群在纹理上表现为粗模式，高密度人群在纹理上表现为细模式，该方法在背景比较单一场景下效果较好，但在场景复杂、人群比较稀疏的情况下，误报较多，容易将其判为人群密集的情况。
[0005]此外，上述两种检测方法都需要人工在监控画面中设置固定区域来检测人群聚集，而不能自动检测人群聚集的位置。


【发明内容】

[0006]有鉴于此，本发明要解决的技术问题是提供一种人群聚集区域检测方法和装置，以解决需要人工在监控画面中设置固定区域、且误报较多的技术问题。
[0007]本发明解决上述技术问题所采用的技术方案如下:
[0008]根据本发明的一个方面，提供的一种人群聚集区域检测方法包括:
[0009]采样输入的视频图像并进行预处理，得到灰度图；
[0010]利用预设的多尺度矩形窗口遍历灰度图，并采用分类器粗定位人群密集区域；
[0011]当存在人群密集区域时，根据人群密度对人群密集区域进行精细定位人群聚集区域。
[0012]优选地，利用预设的多尺度矩形窗口遍历灰度图，并采用分类器粗定位人群密集区域进一步包括:
[0013]针对每一个预设尺度的矩形窗口，将其在灰度图上滑动，获取被矩形窗口覆盖的子图像的集合；
[0014]提取每个子图像的HOG特征；
[0015]采用Adaboost级联分类器对每个子图像的HOG特征进行分类，得到人群密集候选区域；
[0016]将人群密集候选区域进行融合，得到人群密集区域。
[0017]优选地，提取每个子图像的HOG特征进一步包括:
[0018]利用梯度算子提取子图像的水平方向和垂直方向的梯度；
[0019]计算每个像素的梯度大小和梯度方向；
[0020]将子图像分成至少两个单元格，在每个单元格内建立梯度方向直方图；
[0021]将相邻的单元格组成一个块，将一个块内所有单元格的特征向量串联起来，并进行归一化处理，得到该块的特征；
[0022]将该子图像的所有块的特征串联，得到该子图像的HOG特征。
[0023]优选地，根据人群密度对粗定位的人群密集区域进行精细定位人群聚集区域进一步包括:
[0024]根据人群密集区域的位置，从输入的彩色图像中截取对应的人群密集区图像；
[0025]将人群密集区图像缩放到预设的大小，并转换为灰度图像，得到人群密集区灰度图；
[0026]利用傅里叶变换将人群密集区灰度图转换到频率域，得到人群密集区傅立叶频谱图；
[0027]计算人群密集区傅立叶频谱图的傅立叶频谱特征，并采用分类器进行人群密度等级分类；
[0028]记录人群密度分类结果为高密度的区域位置，输出人群聚集区域。
[0029]优选地，计算人群密集区傅立叶频谱图的傅立叶频谱特征，并采用分类器进行人群密度等级分类进一步包括:
[0030]计算人群密集区傅立叶频谱图的熵特征、能量特征和极坐标傅立叶频谱特征描述子;
[0031]采用BP神经网络分类器对熵特征、能量特征和极坐标傅立叶频谱特征描述子进行人群密度等级分类。
[0032]优选地，计算极坐标傅立叶频谱特征描述子包括以下维度:
[0033]
s πs πRπ
ΣΣ F(p, θ)，^ Z F(p，θ)，...f Z ^F(p, β)，
,Ρ=0Θ=0P=J0 =QP =(s-l)*J9 =Q,
π/t R2*n/t RπR
ΣΣ F{p, Θ)， ΣΣ np，θ)，■■■，Z ZF(P，0)
、.沒=0/)=0B—njt p=00=(t—l)^n/t p=0J
[0034]其中，F(P, θ )为极坐标下的傅立叶频谱，P为极坐标的极径，Θ为极角，R为灰度图像宽度的一半，s表示极径P被均分的等级个数，t表示极角Θ被均分的等级个数。
[0035]根据本发明的另一个方面，提供的一种人群聚集区域检测装置包括:
[0036]预处理模块，用于采样输入的视频图像并进行预处理，得到灰度图；
[0037]粗定位模块，用于利用预设的多尺度矩形窗口遍历灰度图，并采用粗定位人群密集区域；
[0038]精细定位模块，用于当存在人群密集区域时，根据人群密度对人群密集区域进行精细定位人群聚集区域。
[0039]优选地，粗定位模块包括:
[0040]子图像提取单元，用于针对每一个预设尺度的矩形窗口，将其在灰度图上滑动，获取被矩形窗口覆盖的子图像的集合；
[0041]HOG特征提取单元，用于提取每个子图像的HOG特征；
[0042]HOG特征分类单元，用于采用Adaboost级联分类器对每个子图像的HOG特征进行分类，得到人群密集候选区域；
[0043]区域融合单元，用于将人群密集候选区域进行融合，得到人群密集区域。
[0044]优选地,精细定位模块包括:
[0045]人群密集区图像获取单元，用于根据人群密集区域的位置，从输入的彩色图像中截取对应的人群密集区图像；
[0046]人群密集区灰度图获取单元，用于将人群密集区图像缩放到预设的大小，并转换为灰度图像，得到人群密集区灰度图；
[0047]傅立叶频谱图获取单元，用于利用傅里叶变换将人群密集区灰度图转换到频率域，得到人群密集区傅立叶频谱图；
[0048]傅立叶频谱特征分类单元，用于计算人群密集区傅立叶频谱图的傅立叶频谱特征，并采用分类器进行人群密度等级分类；
[0049]输出单元，用于记录人群密度分类结果为高密度的区域位置，输出人群聚集区域。
[0050]优选地，傅立叶频谱特征分类单元具体用于:计算人群密集区傅立叶频谱图的熵特征、能量特征和极坐标傅立叶频谱特征描述子；采用BP神经网络分类器对熵特征、能量特征和极坐标傅立叶频谱特征描述子进行人群密度等级分类。
[0051]本发明提供的人群聚集区域检测方法和装置，与现有技术相比，通过多尺度矩形窗口遍历技术，能自动定位人群密集区域的位置，无需人工设定区域位置，同时，采用两层筛选机制对人群区域进行粗定位和精细定位，能精确获取人群聚集区域，而且，由于没有采用背景相减法，排除了外界各因素的影响，对于场景复杂的情况，也能精确检测到人群聚集事件。
[0052]此外，通过采用Adaboost级联分类器对HOG特征进行分类、以及BP神经网络对傅立叶频谱特征进行分类的两层筛选机制对人群区域进行粗定位和精细定位，能进一步精确获取人群聚集区域。

【专利附图】

【附图说明】
[0053]图1为本发明实施例提供的一种人群聚集区域检测方法的流程图；
[0054]图2为本发明实施例提供的一种人群密集区域粗定位方法的流程图；
[0055]图3为本发明优选实施例提供的一种人群密集区域粗定位方法的流程图；
[0056]图4为本发明优选实施例提供的一种人群聚集区域精细定位方法的流程图；
[0057]图5为本发明优选实施例提供的一种人群聚集区域检测装置的模块结构图。

【具体实施方式】
[0058]为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0059]实施例一
[0060]如图1所示，本发明实施例提供的一种人群聚集区域检测方法包括以下步骤:
[0061]S101、采样输入的视频图像并进行预处理，得到灰度图。
[0062]具体地，从视频采集设备中获取视频图像，对视频图像进行下采样，将下采样的彩色图像转化为灰度图像，并进行滤波去除噪声等预处理。
[0063]S102、利用预设的多尺度矩形窗口遍历灰度图，并采用分类器粗定位人群密集区域。
[0064]本步骤中，可以通过预设多个小尺度矩形窗口来分别遍历灰度图，比如预设的初始小尺度矩形窗口的尺度为100*100个像素,窗口移动步长选用2个像素,每遍历完一次图像后窗口的尺度放大1.1倍。还可以只预设一个小尺度矩形窗口，而将灰度图按预设的比例进行缩放，比如，图像的缩小倍数为1.1，通过该小尺度矩形窗口来分别遍历每次缩放后的灰度图。归根揭底来说，两种方式都是采用多尺度矩形窗口遍历灰度图。所述分类器可以采用Adaboost级联分类器。
[0065]请参阅图2,作为一种优选实施例,步骤S102进一步包括:
[0066]S1021、针对每一个预设尺度的矩形窗口，将其在灰度图上滑动，获取被矩形窗口覆盖的子图像的集合；
[0067]S1022、提取每个子图像的HOG特征。
[0068]在窗口滑动过程中，依次提取每个位置处被窗口覆盖的子图像的HOG特征。HOG特征是一种局部区域描述符，它通过计算局部区域上的梯度方向直方图来构成人群特征，能够很好地描述人群的边缘。同时，HOG特征能够适应光照变化和目标旋转。步骤S1022进一步包括:利用梯度算子提取子图像的水平方向和垂直方向的梯度；计算每个像素的梯度大小和梯度方向；将子图像分成至少两个单元格，在每个单元格内建立梯度方向直方图；将相邻的单元格组成一个块，将一个块内所有单元格的特征向量串联起来，并进行归一化处理，得到该块的特征；将该子图像的所有块的特征串联，得到该子图像的HOG特征。
[0069]S1023、采用Adaboost级联分类器对每个子图像的HOG特征进行分类，得到人群密集候选区域。
[0070]其中，人群Adaboost级联分类器是事先训练好的一个两类分类器，可以将图像分为人群密集和人群稀疏(或没有人的图像)。Adaboost级联分类器的核心思想是将许多的弱分类器组合起来，构成一些强分类器，然后，再将强分类器串联起来，构成最终的Adaboost级联分类器。其中，弱分类器的分类正确率大于50%就可以，Adaboost级联分类器通过提取人群图像的HOG特征进行训练得到，其训练过程为:首先，准备训练要用的样本，正样本为行人密集的图像，负样本为行人稀少或没有行人的图像，训练样本的个数越多越好；其次，将训练用的样本图像转化为灰度图，并缩放到规定的大小，本发明的实施例将样本图像缩放到50*50个像素；然后，提取正样本和负样本的HOG特征；最后，利用训练样本的特征开始训练Adaboost级联分类器，具体的训练方法可以采用现有的开源库opencv提供的工具来训练。本发明实施例中，设定Adaboost级联分类器的层数为20，弱分类器采用2层决策树。
[0071]具体地，将矩形窗口覆盖下的子图像的HOG特征送入人群Adaboost级联分类器进行分类，会先利用第一个强分类器对图像进行分类，如果该图像被判为行人密集，则继续利用第二个强分类器对其分类，依次类推，如果所有强分类器都将该图像分类为行人密集，则该图像的真实类型就是行人密集；如果该图像被其中一个强分类器判为行人稀疏，则直接退出，后续的强分类器不再对其进行分类。如此，最终分类结果为两类:行人密集和行人稀疏(或没有人的图像)，如果子图像被分类为行人密集，保存该区域的位置作为人群密集候选区域。
[0072]S1024、将人群密集候选区域进行融合，得到人群密集区域。
[0073]具体地，上述步骤得到的人群密集候选区域可能为一个或者多个，其中多个候选区域之间会相互重叠，故需要对多个人群密集候选区域进行融合，得到置信度最高的人群?集区域。
[0074]S103、当存在人群密集区域时，根据人群密度对粗定位的人群密集区域进行精定位人群聚集区域。
[0075]具体地，对步骤S102中粗定位到的人群密集区域进一步作精确的分类，分类标准根据人群密度分为低、中、高三个等级。人群密度等级可以根据固定区域中的人数来分，比如人群占总面积小于20%，为低密度；占总面积在20%到75%，为中密度；占总面积大于75%，为高密度。记录分类结果为高密度的人群密集区域为人群聚集区域。
[0076]综上所述，本发明提供的人群聚集区域检测方法，与现有技术相比，通过多尺度矩形窗口遍历技术，能自动定位人群密集区域的位置，无需人工设定区域位置；同时，采用两层筛选机制对人群区域进行粗定位和精细定位，能精确获取人群聚集区域，此外，由于没有采用背景相减法，排除了外界各因素的影响，对于场景复杂的情况，也能精确检测到人群聚集事件。
[0077]实施例二
[0078]如图3所示，本发明优选实施例提供的一种人群密集区域粗定位方法包括以下步骤:
[0079]S301、将矩形窗口从图像左上角开始遍历。
[0080]具体地，本步骤之前，对视频采集设备获取到的彩色图像进行下采样，将彩色图像下采样到预设的尺度(本发明实施例中采用320*240)后转换为灰度图像；然后利用高斯滤波器对灰度图像进行滤波，去除噪声。本步骤中，利用小尺度矩形窗口在灰度图中滑动，从左到右，从上到下滑动，当然，也可以沿着其他方向进行滑动，只要能遍历整副图像即可。本发明实施例中，矩形窗口的初始尺度为100*100个像素，窗口移动步长选用2个像素。
[0081]S302、提取窗口覆盖下的子图像的HOG特征。
[0082]具体地，首先利用梯度算子[_1，0，I]和[_1，0，1]τ提取图像的水平方向和垂直方向的梯度，再计算得到每个像素的梯度大小和梯度方向，梯度大小计算公式为
[0083]R(x, y) = J(I(x + l.y) — /(X — l,y))2 + (/(,y + I) — I(x,y — I))2
[0084]其中，R为梯度，I为图像灰度值，X和y为图像的像素坐标。
[0085]梯度方向计算公式为:
_] ang(x,y) = arctan ^/(χ + , y) _/(χ ? l y) j
[0087]其中，ang为梯度方向，I为图傢狄度值，x和y为图像的像素坐标。
[0088]然后，将图像分成若干个单元格，在每个单元格内建立梯度方向直方图。最后，将几个相邻的单元格组成一个块，这些块互有重叠，将一个块内所有单元格的特征向量串联起来，并归一化，就得到该块的特征。将所有块的特征串联，就得到该图像的HOG特征。本发明的实施例中，单元格的尺度为6*6个像素，4个相邻的单元格组成一个正方形区域作为块，梯度方向等分为9个等级来构建梯度方向直方图。
[0089]S303、采用Adaboost级联分类器对HOG特征分类。
[0090]将矩形窗口覆盖下的子图像的HOG特征送入人群Adaboost级联分类器进行分类，分类结果为两类:行人密集和行人稀疏(或没有人的图像)，如果子图像被分类为行人密集，保存该区域的位置。本发明实施例中，设定Adaboost级联分类器的层数为20，弱分类器采用2层决策树。
[0091]S304、保存分类为人群密集的区域位置。
[0092]S305、判断窗口是否滑到图像右下角，如果是，转至步骤S307，否则转至步骤S306。
[0093]S306、将窗口在图像上继续滑动，并转至步骤S302。
[0094]S307、扩大窗口尺度或者缩小图像尺度。
[0095]具体地，如果小尺度的窗口滑动到灰度图的右下角时，则扩大窗口的尺度，重新从灰度图的左上角开始滑动，并提取HOG特征，送入Adaboost级联分类器分类，保留人群密集区域位置。或者当矩形窗口滑动到图像右下角时，再缩小当前灰度图像的尺度，继续从子步骤S301开始，按从左到右，从上到下滑动窗口，并提取每个子图像的HOG特征，送入Adaboost级联分类器，来检测行人密集区域，同时保存行人密集区域。本发明实施例中，矩阵窗口的放大倍数和图像的缩小倍数都为1.1。
[0096]S308、判断窗口尺度或者图像缩小倍数是否达到上限，如果是，则执行步骤S309，否则转至步骤S302。
[0097]具体地，如果矩形窗口的尺度到达设定的上限时或者当图像总的缩小倍数到达规定的上限时，结束窗口的滑动操作，此时，先前的操作可能会有较多的子图像被Adaboost级联分类器判为行人密集区域，这些子区域可能会相互重叠，因此，还需要对这些子区域进行融合，获取可信度较高的人群密集区域，同时输出人群密集区域的位置。本发明实施例中，如果采用矩形窗口放大法，设定矩形窗口的尺度上限为200*200个像素，如果采用图像缩小法，则图像总的缩小倍数的上限为2。
[0098]S309、融合相互重叠的人群密集区域。
[0099]本步骤中，将寻找到的多个人群密集区域进行融合，得到置信度最高的人群密集区域。
[0100]S310、输出人群密集区域的位置。
[0101]本实施例中，通过多尺度矩形窗口遍历技术，能自动定位人群密集区域的位置，无需人工设定区域位置；同时，采用Adaboost级联分类器对HOG特征进行分类粗定位出人群密集区域的误报率小，由于没有采用背景相减法，排除了相机抖动，光照突变等外界各因素的影响，对于场景复杂的情况，也能精确检测到人群聚集事件。
[0102]实施例三
[0103]如图4所示，本发明优选实施例提供的一种人群密集区域精细定位方法包括以下步骤:
[0104]S1031、根据人群密集区域的位置，从输入的彩色图像中截取对应的人群密集区图像。
[0105]本步骤中，根据粗定位的人群密集区域的位置，从输入的彩色图像中截取这些位置的图像，作为候选的人群聚集区域。
[0106]S1032、将人群密集区图像缩放到预设的大小，并转换为灰度图像，得到人群密集区灰度图。
[0107]本步骤中，将候选的人群聚集区域彩色图像转化为灰度图像，并将灰度图像的尺度统一缩放到规定的大小，这样便于特征的提取。本发明实施例设定图像缩放后的大小为100*100个像素。
[0108]S1033、利用傅里叶变换将人群密集区灰度图转换到频率域，得到人群密集区傅立叶频谱图。
[0109]傅立叶变换可以将图像从空间域转换到频率域。图像的频率可以表示图像灰度变化剧烈的程度，对于人群密度较低的图像，图像灰度变化比较平滑，对应的频率较低；对人群密度较高的图像，图像灰度变化比较剧烈，对应的频率较高。二维图像的傅立叶变换公式为

M-1 N-1
[0110]FCu, V) = ^ ^ f(x, y^e-j2n(ux/M+vy/N)

χ=? y=0
[0111]其中，F (U，V)为傅立叶变换结果，是一个复数，M = N= 100，为图像的边长，f(x，y)为图像在点U，y)处的灰度值，X和y为图像空间域坐标，u和V为图像频率域坐标。
[0112]傅立叶频谱的计算公式为
[0113]\F(u, I?) I = JRz (u, v) + I2 {u, v)
[0114]其中，F(u, v)为点(u, v)处的频谱值，R(u，v)和I(u,v)分别为F(u，v)实部和虚部。
[0115]S1034、计算人群密集区傅立叶频谱图的傅立叶频谱特征，并采用分类器进行人群密度等级分类。
[0116]具体地，本步骤可以采用BP神经网络分类器、SVM分类器、随机森林分类器等对人群密集区傅立叶频谱图的傅立叶频谱特征进行人群密度等级分类。
[0117]优选地，步骤S1034进一步包括:计算人群密集区傅立叶频谱图的熵特征、能量特征和极坐标傅立叶频谱特征描述子；采用BP神经网络分类器对熵特征、能量特征和极坐标傅立叶频谱特征描述子进行人群密度等级分类。
[0118]其中，熵特征用于描述图像的平均信息量，计算熵特征之前，先将傅立叶频谱值规范化到O至255的范围，再计算直方图P，然后，熵特征的计算公式为:

255
[0119]H= -^Pi1gPi

i=0
[0120]其中，H为傅立叶频谱图的熵特征值，Pi为频谱图的直方图中第i个元素的值。
[0121]对于傅立叶频谱图的能量特征，先将傅立叶频谱值规范化到O至255的范围，然后，能量特征的计算公式为:
M-1 N-1
[0122]E — ΣΣ \F(u, v)\2
U=O v=0
[0123]其中，E为傅立叶频谱图的能量特征值，|F(u，v)|为傅立叶频谱值，u和V为图像频率域坐标，M = N= 100,为图像边长。
[0124]对于极坐标傅立叶频谱特征描述子的计算，先将直角坐标系下的傅立叶频谱利用极坐标表示，直角坐标到极坐标的转换公式为
[0125]P 二 -^u2 + V2

V
[0126]Θ = arctan —

u
[0127]其中，P为极坐标的极径，Θ为极角，u和V为图像频率域坐标。
[0128]计算极坐标傅立叶频谱特征描述子包括以下维度:
[0129]
(K2*-飞
s Tis nRπ
ΣΣ F〔P，Φ ΣΣ F(p, θ)，..., Z ^ F〔p，θ)，
ρ=Ο0=Ο0=0(, ι \β.θ =0
<fP=JP=^-O*J>
π/t R2*n/t RπR
ΣΣ F(P，θ) ΣΣ F(ρ，θ) ,...， ^ ^ F(ρ，θ)
<θ=0 P=Oθ—fi/t ρ=0ρ=?>
[0130]其中，F(P，θ)为极坐标下的傅立叶频谱，P为极坐标的极径，Θ为极角，R为灰度图像宽度的一半，S表示极径P被均分的等级个数，t表示极角Θ被均分的等级个数。本实施例中，R为50，极坐标下的极径P被均分为10个等级，极角Θ被均分为8个等级，因此，极坐标频谱特征描述子的维度为18。将傅立叶频谱图的熵特征、能量特征和极坐标傅立叶频谱的特征描述子三种特征组合，构建一个20维的纹理特征，作为人群密度等级分类的特征。
[0131]以BP神经网络分类器为例进行说明，BP神经网络分类器是先前训练好的分类器，举例来说，其训练步骤为:首先，准备三类人群密度等级的灰度图像，各300张，作为训练样本；其次，将训练样本图像缩放到100*100个像素大小；然后，对缩放后的灰度图像进行傅立叶变换，提取三类傅立叶频谱特征，作为样本特征；最后，利用样本特征对BP神经网络分类器进行训练，本发明实施例中，设定神经网络的层数为3层:输入层、隐含层和输出层，其中，输入层的节点个数为20，隐含层的节点个数为41，输出层的节点个数为3，隐含层的激活函数为对数S形函数，输出层的激活函数为线性函数。
[0132]S1035、记录人群密度分类结果为高密度的区域位置，输出人群聚集区域。
[0133]依据上一步得到的人群密度等级，进一步判断该区域是否存在人群聚集区域，如果该区域的人群密度被分类为高密度，则说明该区域发生人群聚集事件，同时记录发生人群聚集的具体区域位置并输出。
[0134]本实施例中，通过采用BP神经网络分类器对傅立叶频谱图的熵特征、能量特征和极坐标傅立叶频谱的特征描述子这三类非常适合人群密度的统计的特征进行分类，精细定位出人群聚集区域，精确度高。
[0135]实施例四
[0136]如图5所示，本发明实施例提供的一种人群聚集区域检测装置包括以下模块:
[0137]预处理模块10，用于采样输入的视频图像并进行预处理，得到灰度图。
[0138]具体地，对视频采集设备获取到的彩色图像进行下采样，将彩色图像下采样到预设的尺度(本发明实施例中采用320*240个像素)后转换为灰度图像；然后利用高斯滤波器对灰度图像进行滤波，去除噪声。
[0139]粗定位模块20，用于利用预设的多尺度矩形窗口遍历灰度图，并采用分类器粗定位人群密集区域。
[0140]粗定位模块20，可以通过预设多个小尺度矩形窗口来分别遍历灰度图，比如初始小尺度矩形窗口的尺度为100*100个像素,窗口移动步长选用2个像素,每遍历完一次图像后窗口尺度放大1.1倍。还可以只预设一个小尺度矩形窗口，而将灰度图按预设的比例进行缩放，比如，图像的缩小倍数为1.1，通过该小尺度矩形窗口来分别遍历每次缩放后的灰度图。归根结底来说，两种方式都是采用多尺度矩形窗口遍历灰度图。
[0141]精细定位模块30，用于当存在人群密集区域时，根据人群密度对粗定位的人群密集区域进行精细定位人群聚集区域。
[0142]具体地，对步骤S102中粗定位到的人群密集区域进一步作精确的分类，分类标准根据人群密度分为低、中、高三个等级。人群密度等级可以根据固定区域中的人数来分，比如人群占总面积小于20%，为低密度；占总面积在20%到75%，为中密度；占总面积大于75%，为高密度。记录分类结果为高密度的人群密集区域为人群聚集区域。
[0143]作为一种优选实施例，粗定位模块20进一步包括:
[0144]子图像提取单元201，用于针对每一个预设尺度的矩形窗口，将其在灰度图上滑动，获取被矩形窗口覆盖的子图像的集合。
[0145]HOG特征提取单元202，用于提取每个子图像的HOG特征。
[0146]具体地，首先利用梯度算子[_1，0，I]和[_1，0，1]τ提取图像的水平方向和垂直方向的梯度，再计算得到每个像素的梯度大小和梯度方向，梯度大小计算公式为
[0147]R(x,y)=、丨Q(x + I,y) -1(x - l,y))2 + (/Cy+ I) — I(x,y — I))2
[0148]其中，R为梯度，I为图像灰度值，X和y为图像的像素坐标。
[0149]梯度方向计算公式为:
//{x,y + I) -1(x, y - 1)\
[0150]ang(x,y) = arctan^/(x+iy)_/(x_iy)J
[0151]其中，ang为梯度方向，I为图像灰度值，x和y为图像的像素坐标。
[0152]然后，将图像分成若干个单元格，在每个单元格内建立梯度方向直方图。最后，将几个相邻的单元格组成一个块，这些块互有重叠，将一个块内所有单元格的特征向量串联起来，并归一化，就得到该块的特征。将所有块的特征串联，就得到该图像的HOG特征。本发明的实施例中，单元格的尺度为6*6个像素，4个相邻的单元格组成一个正方形区域作为块，梯度方向等分为9个等级来构建梯度方向直方图。
[0153]HOG特征分类单元203，用于采用Adaboost级联分类器对每个子图像的HOG特征进行分类，得到人群密集候选区域。
[0154]区域融合单元204，用于将人群密集候选区域进行融合，得到人群密集区域。
[0155]作为另一种优选实施例，精细定位模块30进一步包括:
[0156]人群密集区图像获取单元301，用于根据人群密集区域的位置，从输入的彩色图像中截取对应的人群密集区图像。
[0157]人群密集区灰度图获取单元302，用于将人群密集区图像缩放到预设的大小，并转换为灰度图像，得到人群密集区灰度图。
[0158]傅立叶频谱图获取单元303，用于利用傅里叶变换将人群密集区灰度图转换到频率域，得到人群密集区傅立叶频谱图。
[0159]具体的，傅立叶变换可以将图像从空间域转换到频率域。图像的频率可以表示图像灰度变化剧烈的程度，对于人群密度较低的图像，图像灰度变化比较平滑，对应的频率较低；对人群密度较高的图像，图像灰度变化比较剧烈，对应的频率较高。二维图像的傅立叶变换公式为

M-1N-1
[0160]F(u, V)— ΣΣ ^X)y^e-j2n(ux/M+vy/N)

x=0 y=Q
[0161]其中，F(u，v)为傅立叶变换结果，是一个复数，M = N= 100，为图像的边长，f(x，y)为图像在点U，y)处的灰度值，X和y为图像空间域坐标，u和V为图像频率域坐标。
[0162]傅立叶频谱的计算公式为
[0163]\F(u, I?) I = χ!R2 (u, v) + I2 (u, v)
[0164]其中，F(u, v) I为点(u, v)处的频谱值，R(u，v)和I (u, V)分别为F(u，v)实部和虚部。
[0165]傅立叶频谱特征分类单元304，用于计算人群密集区傅立叶频谱图的傅立叶频谱特征，并采用分类器进行人群密度等级分类。
[0166]具体地，傅立叶频谱特征分类单元304可以采用BP神经网络分类器、SVM分类器、随机森林分类器等对人群密集区傅立叶频谱图的傅立叶频谱特征进行人群密度等级分类。优选地，傅立叶频谱特征分类单元304具体用于:计算人群密集区傅立叶频谱图的熵特征、能量特征和极坐标傅立叶频谱特征描述子；采用BP神经网络分类器对熵特征、能量特征和极坐标傅立叶频谱特征描述子进行人群密度等级分类。
[0167]其中，熵特征用于描述图像的平均信息量，计算熵特征之前，先将傅立叶频谱值规范化到O至255的范围，再计算直方图P，然后，熵特征的计算公式为:

255
[0168]H= -了Pi1g Pi

i=Q
[0169]其中，H为傅立叶频谱图的熵特征值，Pi为频谱图的直方图中第i个元素的值。
[0170]对于傅立叶频谱图的能量特征，先将傅立叶频谱值规范化到O至255的范围，然后，能量特征的计算公式为:
M-1 N-1
[0171]E — ΣΣ \F(u, v)\2
u=0 ν=?
[0172]其中，E为傅立叶频谱图的能量特征值，|F(u，v)|为傅立叶频谱值，1!和V为图像频率域坐标，M = N= 100,为图像边长。
[0173]对于极坐标傅立叶频谱特征描述子的计算，先将直角坐标系下的傅立叶频谱利用极坐标表示，直角坐标到极坐标的转换公式为
[0174]ρ 二 + 172

V
[0175]Θ — arctan —

U
[0176]其中，P为极坐标的极径，Θ为极角，u和V为图像频率域坐标。
[0177]计算极坐标傅立叶频谱特征描述子包括以下维度:
[0178]
「一2*~ρ飞
sns πRπ
Θ), ^^F(p θ)，…Z ΙΗρ，Φ
<P=O 0=0ρ=Ηθ=0ρ =(,-1)40=0>
ττ/t R2*n/t RTTR
ΣΣ FiP，θ) ΣΣ F(ρ，θ) ,...， ^ ^ F(ρ，θ)
^θ=0 ρ=06=n/t ρ=0ρ=0>
[0179]其中，F(P，θ)为极坐标下的傅立叶频谱，P为极坐标的极径，Θ为极角，R为灰度图像宽度的一半，s表示极径P被均分的等级个数，t表示极角Θ被均分的等级个数。本实施例中，R为50，极坐标下的极径P被均分为10个等级，极角Θ被均分为8个等级，因此，极坐标频谱特征描述子的维度为18。将傅立叶频谱图的熵特征、能量特征和极坐标傅立叶频谱的特征描述子三种特征组合，构建一个20维的纹理特征，作为人群密度等级分类的特征。
[0180]输出单元305，用于记录人群密度分类结果为高密度的区域位置，输出人群聚集区域。
[0181]需要说明的是，上述方法实施例一、实施例二和实施三中的技术特征在本装置均对应适用，这里不再重述。
[0182]本发明提供的人群聚集区域检测装置，通过多尺度矩形窗口遍历技术，能自动定位人群密集区域的位置，无需人工设定区域位置；同时，采用两层筛选机制对人群区域进行粗定位和精细定位，能精确定位人群聚集。此外，由于没有采用背景相减法，排除了相机抖动，光照突变等外界各因素的影响，对于场景复杂的情况，也能精确检测到人群聚集事件。
[0183]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，如R0M/RAM、磁盘、光盘等。
[0184]以上参照【专利附图】

【附图说明】了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。
【权利要求】
1.一种人群聚集区域检测方法，其特征在于，该方法包括: 采样输入的视频图像并进行预处理，得到灰度图； 利用预设的多尺度矩形窗口遍历所述灰度图，并采用分类器粗定位人群密集区域； 当存在人群密集区域时，根据人群密度对所述人群密集区域进行精细定位人群聚集区域。
2.根据权利要求1所述的人群聚集区域检测方法，其特征在于，所述利用预设的多尺度矩形窗口遍历所述灰度图，并采用分类器粗定位人群密集区域进一步包括: 针对每一个预设尺度的矩形窗口，将其在所述灰度图上滑动，获取被所述矩形窗口覆盖的子图像的集合； 提取所述每个子图像的HOG特征； 采用Adaboost级联分类器对所述每个子图像的HOG特征进行分类，得到人群密集候选区域； 将所述人群密集候选区域进行融合，得到人群密集区域。
3.根据权利要求2所述的人群聚集区域检测方法，其特征在于，提取所述每个子图像的HOG特征进一步包括: 利用梯度算子提取所述子图像的水平方向和垂直方向的梯度； 计算每个像素的梯度大小和梯度方向； 将所述子图像分成至少两个单元格，在每个单元格内建立梯度方向直方图； 将相邻的单元格组成一个块，将一个块内所有单元格的特征向量串联起来，并进行归一化处理，得到该块的特征； 将该子图像的所有块的特征串联，得到该子图像的HOG特征。
4.根据权利要求1所述的人群聚集区域检测方法，其特征在于，所述根据人群密度对所述粗定位的人群密集区域进行精细定位人群聚集区域进一步包括: 根据所述人群密集区域的位置，从输入的彩色图像中截取对应的人群密集区图像； 将所述人群密集区图像缩放到预设的大小，并转换为灰度图像，得到人群密集区灰度图； 利用傅里叶变换将所述人群密集区灰度图转换到频率域，得到人群密集区傅立叶频谱图； 计算所述人群密集区傅立叶频谱图的傅立叶频谱特征，并采用分类器进行人群密度等级分类； 记录人群密度分类结果为高密度的区域位置，输出人群聚集区域。
5.根据权利要求4所述的人群聚集区域检测方法，其特征在于，所述计算人群密集区傅立叶频谱图的傅立叶频谱特征，并采用分类器进行人群密度等级分类进一步包括: 计算人群密集区傅立叶频谱图的熵特征、能量特征和极坐标傅立叶频谱特征描述子；采用BP神经网络分类器对所述熵特征、能量特征和极坐标傅立叶频谱特征描述子进行人群密度等级分类。
6.根据权利要求5所述的人群聚集区域检测方法，其特征在于，所述计算极坐标傅立叶频谱特征描述子包括以下维度:(RΛ s ns πRπΘ), ^ ^F(p, Θ)，..., ^ ^F(p, Θ)， p =0 Θ =0^ R Θ =0n—fc.1 Θ =0 < fP=jP={s-l)*jV π/t r2*n/t rπRΣΣ F(p ’ Θ)， ΣΣ F(β，Θ)，...， [ ^ F{p, Θ)<0=0 p=0θ—njt p=Q0=(t—l)*7r/t p=0 J 其中，F(p , Θ )为极坐标下的傅立叶频谱，P为极坐标的极径，Θ为极角，R为灰度图像宽度的一半，s表示极径P被均分的等级个数，t表示极角Θ被均分的等级个数。
7.一种人群聚集区域检测装置，其特征在于，该装置包括: 预处理模块，用于采样输入的视频图像并进行预处理，得到灰度图； 粗定位模块，用于利用预设的多尺度矩形窗口遍历所述灰度图，并采用分类器粗定位人群密集区域； 精细定位模块，用于当存在人群密集区域时，根据人群密度对所述人群密集区域进行精细定位人群聚集区域。
8.根据权利要求7所述的人群聚集区域检测装置，其特征在于，所述粗定位模块包括: 子图像提取单元，用于针对每一个预设尺度的矩形窗口，将其在所述灰度图上滑动，获取被所述矩形窗口覆盖的子图像的集合； H0G特征提取单元，用于提取所述每个子图像的H0G特征； H0G特征分类单元，用于采用Adaboost级联分类器对所述每个子图像的H0G特征进行分类，得到人群密集候选区域； 区域融合单元，用于将所述人群密集候选区域进行融合，得到人群密集区域。
9.根据权利要求7所述的人群聚集区域检测装置，其特征在于，所述精细定位模块包括: 人群密集区图像获取单元，用于根据所述人群密集区域的位置，从输入的彩色图像中截取对应的人群密集区图像； 人群密集区灰度图获取单元，用于将所述人群密集区图像缩放到预设的大小，并转换为灰度图像，得到人群密集区灰度图； 傅立叶频谱图获取单元，用于利用傅里叶变换将所述人群密集区灰度图转换到频率域，得到人群密集区傅立叶频谱图； 傅立叶频谱特征分类单元，用于计算所述人群密集区傅立叶频谱图的傅立叶频谱特征，并采用分类器进行人群密度等级分类；输出单元，用于记录人群密度分类结果为高密度的区域位置，输出人群聚集区域。
10.根据权利要求9所述的人群聚集区域检测装置，其特征在于，所述傅立叶频谱特征分类单元具体用于:计算人群密集区傅立叶频谱图的熵特征、能量特征和极坐标傅立叶频谱特征描述子；采用BP神经网络分类器对所述熵特征、能量特征和极坐标傅立叶频谱特征描述子进行人群密度等级分类。
【文档编号】G06K9/00GK104268528SQ201410508575
【公开日】2015年1月7日 申请日期:2014年9月28日 优先权日:2014年9月28日
【发明者】叶必锭, 吴金勇, 王军 申请人:深圳市科松电子有限公司