人群运动的检测方法及装置与流程

本发明涉及计算机图像处理技术领域，尤其涉及一种人群运动的检测方法及装置。

背景技术

人群信息可以为公共场所的管理和决策提供重要依据，交通枢纽、大型活动现场及大型商场等公共场所发生人群拥挤、人群拥堵等现象也越来越多，由于人群过度的拥挤拥堵造成的隐患也越来越多。而现实生活中对人群运动能够的准确信息，通常采用人工的方法，人工统计不但消耗了大量的人力物力，而且错误率较高。

视频监控大量的布置，给统计人群的详细息、智能预测、智能管理公共区域提供了基础，可以获得实时，准确的各种区域人群信息。可以基于视频监控对人群运动进行检测。

目前，基于视频监控对人群运动进行检测，通常可以采用人群图像特征结合神经网络方式进行。具体的，通过人群图像特征从监控视频采集的图像中识别出人群，并基于人群的图像特征识别人群中的人员数量。基于前后帧图像和人工确定的运动矢量对神经网络进行训练。待训练完成后，将从监控视频采集的前后帧图像输入到训练完成的神经网络，根据神经网络的输出结果检测人群运动。但上述方法存在如下问题：由于从监控视频采集的图像中利用图像的灰度特征检测人群数量规模，因此，需要进行大量的运算才可以得出人群数量规模，对于服务多个场景监控的服务器来说，难以承载对应的运算量；同时，对神经网络需要海量的不同场景的监控图像，未经过近似场景训练的神经网络对于不同背景的图像检测结果存在着一定的误差。

技术实现要素：

有鉴于此，本发明实施例提供了一种群运动的检测方法及装置，以解决现有技术中对利用监控视频对人群运动检测存在的运算量大和误差率较高的技术问题。

第一方面，本发明实施例提供了一种人群运动的检测方法，包括：

获取视频监控图像中的帧图像；

对所述帧图像进行傅里叶变换，得到所述帧图像对应的第一频谱图；

根据所述频谱图中的高频分量确定所述人群的规模；

在所述人群规模大于预设的规模阈值时，按照预设的规律抽取后续帧图像；

对所述后续帧图像进行傅里叶变换，得到所述后续帧图像的第二频谱图；

根据所述第一频谱图和第二频谱图确定能够人群运动的方位和距离。

进一步的，所述根据所述频谱图中的高频分量确定所述人群的规模，包括：

获取高频分量中的旁峰数量；

将所述旁峰数量与预设的人群规模旁峰数量进行比较，确定所述人群的规模。

进一步的，所述根据所述第一频谱图中的高频信号与第二频谱图中的高频信号之间的相位确定人群运动方位和距离，包括：

根据第一频谱图和第二频谱图计算互功率谱相位，并计算所述互功率谱相位的二维离散傅里叶逆变换；

基于所述二维离散傅里叶逆变换确定相位相关函数的最大峰值所在的位置，根据所述最大峰值所在的位置确定人群运动的位移和方向。

进一步的，述根据第一频谱图和第二频谱图计算互功率谱相位，包括：

利用如下公式互功率谱相位计算：

其中fk(x，y)为当前帧图像频谱图，fk+1(x，y)为后续帧图像频谱图，fk^*(ξ，η)为fk+1(ξ，η)的复共轭。

进一步的，所述根据所述频谱图中的高频分量确定所述人群的规模，还包括：

按照预设的规律抽取后续帧图像；

对所述后续帧图像进行傅里叶变换，得到所述后续帧图像的第二频谱图；

根据所述第一频谱图和第二频谱图确定能够人群运动的方位和距离；

根据所述后续帧图像与当前帧图像的时间间隔，确定所述人群的运动速度；

在所述运动速度超过预设的速度阈值时，确定所述人群规模小于预设的规模阈值。

进一步的，在根据所述第一频谱图和第二频谱图确定能够人群运动的方位和距离之后，所述方法还包括：

根据所述人群运动的方位和距离预测人群位置。

第二方面，本发明实施例还提供了一种一种人群运动的检测装置，其特征在于，包括：

获取模块，用于获取视频监控图像中的帧图像；

第一变换模块，用于对所述帧图像进行傅里叶变换，得到所述帧图像对应的第一频谱图；

规模确定模块，用于根据所述频谱图中的高频分量确定所述人群的规模；

抽取模块，用于在所述人群规模大于预设的规模阈值时，按照预设的规律抽取后续帧图像；

第二变换模块，用于对所述后续帧图像进行傅里叶变换，得到所述后续帧图像的第二频谱图；

运动确定模块，用于根据所述第一频谱图和第二频谱图确定能够人群运动的方位和距离。

进一步的，所述规模确定模块，包括：

根据第一频谱图和第二频谱图计算互功率谱相位，并计算所述互功率谱相位的二维离散傅里叶逆变换；

基于所述二维离散傅里叶逆变换确定相位相关函数的最大峰值所在的位置，根据所述最大峰值所在的位置确定人群运动的位移和方向。

进一步的，，所述运动确定模块，包括：

后续抽取单元，用于按照预设的规律抽取后续帧图像；

后续变换单元，用于对所述后续帧图像进行傅里叶变换，得到所述后续帧图像的第二频谱图；

确定单元，用于根据所述第一频谱图和第二频谱图确定人群运动的方位和距离；

速度确定单元，用于根据所述后续帧图像与当前帧图像的时间间隔，确定所述人群的运动速度；

规模阈值确定单元，用于在所述运动速度超过预设的速度阈值时，确定所述人群规模小于预设的规模阈值。

更进一步的，所述规模确定模块，包括：

获取单元，用于获取高频分量中的旁峰数量；

比较单元，用于将所述旁峰数量与预设的人群规模旁峰数量进行比较，确定所述人群的规模。

本发明实施例提供的人群运动的检测方法及装置，通过将监控视频图像进行傅里叶变换，获取所述图像的频谱图，并对频谱图进行分析，根据频谱图中的高频分量确定人群规模。并可将后续采集到视频图像进行傅里叶变换，并利用后续采集的视频图像对应的频谱图，结合两个频谱图中高频信号的相位可以确定人群的运动方位和距离。其运算相对简单，能够有效减少运算量，并且判断准确性更高。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施例一提供的人群运动的检测方法的流程示意图；

图2是本发明实施例二提供的人群运动的检测方法的流程示意图；

图3是本发明实施例三提供的群运动的检测装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的人群运动的检测方法的流程图，本实施例可适用于对视频监控图像中人群运动进行检测的情况，该方法可以由人群运动的检测装置来执行，并可集成于视频监控服务器中，具体包括如下步骤：

s110，获取视频监控图像中的帧图像。

目前，可以通过视频监控设备采集监控视频。通常监控视频由帧图像组成，示例性的，1秒钟的视频可以由30-60帧图像组成。因此，可以从监控视频中抽取帧图像。示例性的，按照预设的时间，例如从视频中抽取当前时刻对应的帧图像，或者也可以从视频中抽取指定时刻对应的帧图像。进一步的，可以将获取的帧图像作为首帧图像。

s120，对所述帧图像进行傅里叶变换，得到所述帧图像对应的第一频谱图。

频谱图是频率谱密度的简称，是频率的分布曲线。图像可以看作是二维的信号，一个二维傅里叶变换是一维傅里叶变换在每一个行扫描线和列扫描线上的傅里叶变换的叠加。傅里叶变换以前，图像是由对在连续空间(现实空间)上的采样得到一系列点的集合，我们习惯用一个二维矩阵表示空间上各点，则图像可由z＝f(x,y)来表示。从物理效果看，傅里叶变换是将图像从空间域转换到频率域，其逆变换是将图像从频率域转换到空间域。即将图像的灰度分布函数变换为图像的频率分布函数，傅里叶逆变换是将图像的频率分布函数变换为灰度分布函数。

示例性的，可以利用如下公式实现对图像的二维傅里叶变换：

其中，f(x,y)代表一幅大小为mxn的矩阵，其中x＝0,1,2,···,m-1和y＝0,1,2,···,n-1，f(u,v)表示f(x,y)的傅里叶变换。可以转换为三角函数表示方法，其中u和v可用于确定正余弦的频率。f(u,v)所在坐标系被称为频域，由u＝0,1,2,···,m-1和v＝0,1,2,···,n-1定义的mxn矩阵常称为频域矩阵。

利用上述公式可以对图像进行二维傅里叶变换，并根据上述变换生成所述帧图像的频谱图。并可将该频谱图作为第一频谱图。

s130，根据所述频谱图中的高频分量确定所述人群的规模。

图像中的低频分量，通常可以是图像强度变换平缓的地方，图像中的高频分量，可以是图像强度(亮度/灰度)变化剧烈的地方。示例性的,所述图像强度可以是图像亮度或者灰度。在监控视频图像，尤其是在室内监控视频图像中，通常背景图像由于亮度或者灰度相对比较近似，通常为低频分量。而图像中的人群由于与背景图像差异较大，其外围轮廓通常可以为高频分量。

图像的高低频是对图像各个位置之间强度变化的一种度量方法.低频分量:主要对整副图像的强度的综合度量。高频分量:主要是对图像轮廓的度量.如果一副图像的各个位置的强度大小相等,则图像只存在低频分量,从图像的频谱图上看,只有一个主峰,且位于频率为零的位置。如果一副图像的各个位置的强度变化剧烈,则图像不仅存在低频分量,同时也存在多种高频分量,从图像的频谱上看,不仅有一个主峰,同时也存在多个旁峰。如果人群数量较多，其轮廓相对较大，其中的高频分量的种类更多。相应的，如果人群数量较少，人群规模也较小，则频谱图中高频分量的种类较少。因此，可以根据视频监控图像对应的频谱图中的高频分量确定人群的规模。

示例性的，所述根据所述频谱图中的高频分量确定所述人群的规模，可以包括：获取高频分量中的旁峰数量；将所述旁峰数量与预设的人群规模旁峰数量进行比较，确定所述人群的规模。由于主峰在各种类型的图像对应的频谱图中都存在，因此，需要根据旁峰的数量来确定人群的数量。进而确定人群的规模。

在本实施例中，可以预先设定人群规模与旁峰数量的对应关系。示例性的，可以预设人群规模为5人以下规模对应的旁峰数量为13及以下；5-10人的人群规模对应的旁峰数量为27-50等。根据上述预设的对应关系，可以确定不同人群规模对应的人群规模旁峰数量，并进行比较，以确定人群的人数规模。

s140，在所述人群规模大于预设的规模阈值时，按照预设的规律抽取后续帧图像。

如果人群规模小于一定规模，例如，在5人以外，则不会产生拥堵和踩踏等恶性事件。因此，无需对人群进行运动检测。只有在人群规模大于一定规模时，才会人群进行运动检测。因此，在本实施例中，先将上述方法得到的人群规模.并将得到的人群规模与预设的规模阈值进行比较，在确定所述人群规模大于预设的规模阈值时，对人群的运动进行检测。

由于人群的运动需要后续图像才能够进行检测。因此，在本实施例中，可以按照预设的规律抽取后续帧图像。所述预设规律，可以按照时间间隔或者图像间隔抽取图像。示例性的，可以抽取2秒后的帧图像作为后续帧的图像，或者，也可以抽取自第一频谱图对应的图像后的第60帧图像作为后续帧图像。

s150，对所述后续帧图像进行傅里叶变换，得到所述后续帧图像的第二频谱图。

示例性的，仍然可以按照上述步骤中的方式对后续帧图像进行傅里叶变换。示例性的，仍然可以采用如下公式实现对图像的二维傅里叶变换：

其中，f(x,y)代表一幅大小为mxn的矩阵，其中x＝0,1,2,···,m-1和y＝0,1,2,···,n-1，f(u,v)表示f(x,y)的傅里叶变换。可以转换为三角函数表示方法，其中u和v可用于确定正余弦的频率。f(u,v)所在坐标系被称为频域，由u＝0,1,2,···,m-1和v＝0,1,2,···,n-1定义的mxn矩阵常称为频域矩阵。

利用上述公式可以对图像进行二维傅里叶变换，并根据上述变换生成后续帧图像的频谱图。

s160，根据所述第一频谱图和第二频谱图确定人群运动的方位和距离。

频谱图中具有丰富的信息。其中，不仅包括高频分量和低频分量，还包括振幅和相位等信息。由于在时域中的物体位移在频域中与相角相对应，因此可以根据相关的多张频谱图中的相位实现对物体运动的检测。

示例性的，所述根据所述第一频谱图和第二频谱图确定人群运动的方位和距离，可以包括：根据第一频谱图和第二频谱图计算互功率谱相位，并计算所述互功率谱相位的二维离散傅里叶逆变换；基于所述二维离散傅里叶逆变换确定相位相关函数的最大峰值所在的位置，根据所述最大峰值所在的位置确定人群运动的位移和方向。

由于第一频谱图和第二频谱图对应的视频图像帧具有关联关系，即图中的部分物体，即人群产生了相应的位移，二者图像可以通过f(x，y)＝f(x+ax，y+by)公式进行表达，对该公式两侧同时进行傅里叶变化，并通过求取互功率谱的傅立叶反变换,得到一个脉冲函数,再寻找函数峰值点对应的坐标,即可得到所要求得的位移矢量。实际运算中,两幅图像互功率谱相位的反变换,总是含有一个相关峰值代表两幅图像的配准点,和一些非相关峰值,相关峰值直接反映两幅图像间的位移矢量，即人群的移动距离和移动方向。

示例性的，所述根据第一频谱图和第二频谱图计算互功率谱相位，可以包括：

利用如下公式互功率谱相位计算：

其中fk(x，y)为当前帧图像频谱图，fk+1(x，y)为后续帧图像频谱图，fk^*(ξ，η)为fk+1(ξ，η)的复共轭。

本实施例提供的人群运动的检测方法及装置，通过将监控视频图像进行傅里叶变换，获取所述图像的频谱图，并对频谱图进行分析，根据频谱图中的高频分量确定人群规模。并可将后续采集到视频图像进行傅里叶变换，并利用后续采集的视频图像对应的频谱图，结合两个频谱图中高频信号的相位可以确定人群的运动方位和距离。其运算相对简单，能够有效减少运算量，并且判断准确性更高。

实施例二

图2为本发明实施例二提供的人群运动的检测方法的流程示意图。本实施例以上述实施例为基础进行优化，在本实施例中，将所述根据所述频谱图中的高频分量确定所述人群的规模，具体优化为：按照预设的规律抽取后续帧图像；对所述后续帧图像进行傅里叶变换，得到所述后续帧图像的第二频谱图；根据所述第一频谱图和第二频谱图确定人群运动的方位和距离；根据所述后续帧图像与当前帧图像的时间间隔，确定所述人群的运动速度；在所述运动速度超过预设的速度阈值时，确定所述人群规模小于预设的规模阈值。

相应的，本实施例所提供的直播内容的筛选方法，具体包括：

s210，获取视频监控图像中的帧图像。

s220,对所述帧图像进行傅里叶变换，得到所述帧图像对应的第一频谱图。

s230,按照预设的规律抽取后续帧图像，对所述后续帧图像进行傅里叶变换，得到所述后续帧图像的比较频谱图。

在视频采集过程中，如果人群距离视频采集装置，例如摄像头越近，其在采集的帧图像中所占的范围越大。相应的，如果只有一个人在距离视频采集装置较近的距离时，其所采集帧图像对应的频谱图中的高频向量越多。会产生人群规模较大的误判。为避免上述误判，在本实施例中，可以利用后续帧图像对人群规模进行判断。示例性的，，可以按照预设的规律抽取后续帧图像。所述预设规律，可以按照时间间隔或者图像间隔抽取图像。并将后续抽取到的图像进行傅里叶变换，生成后续帧图像的频谱图，即用于比较的比较频谱图。

s240,根据所述第一频谱图和第二频谱图确定人群运动的方位和距离,并根据所述后续帧图像与当前帧图像的时间间隔，确定所述人群的运动速度。

示例性的，可以通过上述实施例描述的方法确定人群运动的方位和距离，并且，由于后续帧图像和帧图像之间存在着时间差，利用所述时间差可以确定二者之间的间隔时间。对于按照帧数规律采集的图像，则可以按照监控视频采集装置设定的每秒采集的图像帧数，确定二者之间的间隔时间，基于位移和时间，可以确定图像中的人群的运动速度。

s250,在所述运动速度超过预设的速度阈值时，确定所述人群规模小于预设的规模阈值。

监控视频采集装置对于较近的人物的拍摄范围较小，因此距离较近的人物在图像中出现的时长较短。通常会在短时间内移动出图像采集的范围。其在速度表现上通常表现为速度较快。因此，可以根据速度判断人群规模是否由于距离过近产生误判。

示例性的，设定一个速度阈值，将按照上述方式确定的运动速度与所述速度阈值进行比较，在超过所述运动阈值时，可以判断人群规模由于距离过近产生误判。其中，所述速度阈值可以根据经验选取。示例性的，可以按照视频监控的最佳距离确定图像采集范围，并将图像采集范围中人群正常运动的的速度作为速度阈值。

s260,在所述人群规模大于预设的规模阈值时，按照预设的规律抽取后续帧图像。

s270,对所述后续帧图像进行傅里叶变换，得到所述后续帧图像的第二频谱图。

s280,根据所述第一频谱图和第二频谱图确定人群运动的方位和距离。

本实施例通过将所述根据所述频谱图中的高频分量确定所述人群的规模，具体优化为：按照预设的规律抽取后续帧图像；对所述后续帧图像进行傅里叶变换，得到所述后续帧图像的第二频谱图；根据所述第一频谱图和第二频谱图确定人群运动的方位和距离；根据所述后续帧图像与当前帧图像的时间间隔，确定所述人群的运动速度；在所述运动速度超过预设的速度阈值时，确定所述人群规模小于预设的规模阈值。可以有效避免由于人群距离视频采集装置过近造成的人员规模误判，提高了人群规模判断的准确性。

在本实施例的一个优选实施方式中，在根据所述第一频谱图和第二频谱图确定能够人群运动的方位和距离之后，所述方法还可增加如下步骤：根据所述人群运动的方位和距离预测人群位置。在判断人群规模和检测到人群运动后，需要对人群运动进行预测，以实现对后续可能是否会产生拥堵踩踏等进行风险预测。示例性的，可以通过如下方式进行预测，连续采集多帧图像，基于多帧图像得到人群运动线路，所述运动线路包括：方向和位移。基于得到的方向和位移为其建立svm分类器，并根据分类器后续的多帧图像对应的方向和位移对分类器中的权重参数进行调整，并根据调整后的权重参数对人群运动进行预测。示例性的y1＝a1x1+a2x2+……+anxn，y2＝b1y1+b2y2+……+bnyn其中，xn为第n张图像代表的位移，y1为位移预测量，an为运动权重参数，yn为第n张图像代表的运动方向，y2为方位预测量，bn为方位权重参数c为常数。可以有效实现对人群运动的预测，进而可以据此提出风险预警，有效减少人群拥堵带来的各种风险。

实施例三

图3是本发明实施例三提供的人群运动的检测装置的结构示意图，如图3所示，所述装置包括：

获取模块310，用于获取视频监控图像中的帧图像；

第一变换模块320，用于对所述帧图像进行傅里叶变换，得到所述帧图像对应的第一频谱图；

规模确定模块330，用于根据所述频谱图中的高频分量确定所述人群的规模；

抽取模块340，用于在所述人群规模大于预设的规模阈值时，按照预设的规律抽取后续帧图像；

第二变换模块350，用于对所述后续帧图像进行傅里叶变换，得到所述后续帧图像的第二频谱图；

运动确定模块360，用于根据所述第一频谱图和第二频谱图确定人群运动的方位和距离。

本实施例提供的人群运动的检测装置，通过将监控视频图像进行傅里叶变换，获取所述图像的频谱图，并对频谱图进行分析，根据频谱图中的高频分量确定人群规模。并可将后续采集到视频图像进行傅里叶变换，并利用后续采集的视频图像对应的频谱图，结合两个频谱图中高频信号的相位可以确定人群的运动方位和距离。其运算相对简单，能够有效减少运算量，并且判断准确性更高。

在上述各实施例的基础上，所述规模确定模块，包括：

根据第一频谱图和第二频谱图计算互功率谱相位，并计算所述互功率谱相位的二维离散傅里叶逆变换；

基于所述二维离散傅里叶逆变换确定相位相关函数的最大峰值所在的位置，根据所述最大峰值所在的位置确定人群运动的位移和方向。

在上述各实施例的基础上，所述规模确定模块模块，包括：

获取单元，用于获取高频分量中的旁峰数量；

比较单元，用于将所述旁峰数量与预设的人群规模旁峰数量进行比较，确定所述人群的规模。

在上述各实施例的基础上所述运动确定模块，包括：

后续抽取单元，用于按照预设的规律抽取后续帧图像；

后续变换单元，用于对所述后续帧图像进行傅里叶变换，得到所述后续帧图像的比较频谱图；

确定单元，用于根据所述第一频谱图和第二频谱图确定人群运动的方位和距离；

速度确定单元，用于根据所述后续帧图像与当前帧图像的时间间隔，确定所述人群的运动速度；

规模阈值确定单元，用于在所述运动速度超过预设的速度阈值时，确定所述人群规模小于预设的规模阈值。

本发明实施例所提供的人群运动的检测装置可执行本发明任意实施例所提供的人群运动的检测方法，具备执行方法相应的功能模块和有益效果。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。