本发明涉及一种公共安全领域中基于视频的人群密度与异常行为检测系统的分析方法，尤其涉及改进的基于像素点统计和纹理统计相结合的人群密度分级方法、基于像素点统计和角点检测结合的人数估计方法、提出并实现了一种基于平均动能变化倍率的人群异常行为检测算法，属于机器视觉与智能信息处理领域。
背景技术：
：近年来，随着经济的快速发展及人们社会活动的不断增加，交通枢纽、大型活动现场及大型商场等公共场所发生人流拥堵的现象越来越频繁，考虑人群过度拥挤造成的安全隐患越来越严重。因此，为了维护公共秩序，保障人群安全，越来越多的监控系统被投入使用。欧盟的advisor系统就是一个应用于公共交通的安全管理系统；它涵盖了个体行为分析，也包括群体行为分析，还对人机交互方面有了部分涉及。随着市场上对视频监控系统需求的爆炸性增大，开发出一套稳定、快速、多功能的智能监控系统迫在眉睫。基于视频的人群密度与异常行为检测系统的分析方法在技术实现上主要包括人群密度分级、人数估计与异常行为检测三个部分。首先，对视频中的人群密度分级。基于视频的人群密度分级方法大体可分为以下几类：基于像素点统计的人群密度分级方法，基于纹理特征的人群密度分级方法和基于个体特征的人群密度分级方法。基于像素点统计的分级方法实现简单，计算量较小，但由于人群之间相互遮挡而造成最后密度分级结果误差较大，该方法只适用于人群流量密度较低场景。基于纹理特征的分级方法能较好地处理人群之间存在相互重叠、遮挡现象，能取得较好的人群密度分级，但该方法由于提取的特征数量较多，计算量较大，对中低密度场景中人群密度分级误差较大，该方法只适用于人群流量密度较高场景。基于个体特征的方法因其计算复杂度较高，在实际应用场景中很难实现实时监控。其次，对视频中的人数估计。人数检测算法主要分为两类，一类是通过检测或者识别人群目标进行直接计算人数的算法，一类是通过提取人群的特征进行间接计算人数的算法。直接计算法又可以分为基于模型和基于轨迹聚类两种类型，基于模型的主要思路是将人分割出来，然后用人的模型或者形状进行匹配以便进行计数，基于轨迹聚类的算法是通过检测人群中相互独立的运动模式，根据运动模式分别进行计数。间接计算法主要包括基于像素特征的算法和基于特征点的算法。davie等人在1995年第一次提出运用图像处理技术来检测人群人数，其主要思路是，首先提取出视频图像的前景边缘图像并得到其总的像素数，然后将得到的像素数输入训练得到的线性回归方程计算人数，该方法算法复杂度较低，但是算法准确度不高。在人群密度较高的情况下，人群的拥挤会导致目标的重叠或者遮挡，这时基于像素特征的方法其准确性将大打折扣，故基于像素特征的算法只能在人群密度较低的情况下使用。基于特征点的算法主要思路是，首先提取特征点，如harris角点、sift角点、surf角点等，然后对角点进行跟踪，经过算法筛选得到随目标移动的点，根据环境训练系统需要的参数并获得回归方程，最后根据前景特征点的数目以及训练好的回归方程，得到总的人群人数。最后，对视频中的人群进行异常行为检测。人群异常行为检测属于群体行为识别的范畴，目前主要通过人群的运动速度和方向来判断是否有异常行为，不少学者也提出了一些针对人群异常行为检测的算法。andrade等人首先定义一种“正常群体运动”，然后采用隐马尔科夫模型(hiddenmarkovmodel,hmm)进行人群行为分析，但是该算法所采用的人群行为描述特征性能较差，故检测准确度较低。wang等人通过采用改进的时空体特征对群体行为进行描述，但该方法计算复杂度太高难以满足实时性要求。另外，hassner等人提出了一种基于全局光流信息的人群暴力行为检测算法，该算法检测准确度较高。liu等人提出用一系列基于主体运动的模型来发现群体运动轨迹，从而识别群体运动，该方法识别效果较好，但是处理速度过慢，不利于实际应用。技术实现要素：本发明的目的就在于为了解决上述问题而提供一种基于视频的人群密度与异常行为检测系统的方法。本发明通过以下技术方案来实现上述目的：(1)人群密度分级：将像素点统计和纹理特征相结合，首先用像素点统计法对人群进行预估计，当判断当前的人群密度过高时就采用纹理特征进行人群密度估计，该方法既利用了像素点统计法实现简单、速度快的优点，又能在高密度人群时利用纹理特征法进行进一步的密度分级。基于像素点统计的人群密度分级：(a)先对待处理图像转化为灰度图像，采用文献canny边缘检测算法对相邻两帧灰度图像进行边缘提取，得到边缘图像；(b)将两帧得到的边缘图像进行差分，并通过形态学膨胀和腐蚀操作消除干扰噪声，得到优化后的差分边缘图像；(c)再将当前帧的边缘图像和优化后的差分边缘图像进行与操作，得到运动前景边缘图像；(d)将前景边缘像划分很多个矩形框，计算出每个矩形框中的边缘像素点数，计算出边缘最终的总像素点数；(e)采用线性拟合的方法拟合出人群数量与人群前景边缘总像素点数之间的关系，估计出人群数量，进而估计出大概的人群密度。(f)当前人数是否大于阈值thr1，若否，则输出密度等级，低密度和中密度；若是，则采用基于纹理特征的人群密度等级分级，并输出高密度和极高密度。基于纹理特征的人群密度分级，由于图像中的纹理没有规律，大多服从统计分布规律，因此本文选取基于灰度共生矩阵(glcm)的纹理特征对高密度人群进行分析，并实现不同人群密度的分级。设i(x,y)为原图像，m×n为图像像尺寸为，m,n分别表示图像的宽度和高度，l表示图像灰度级别，根据一定空间关系，得出的灰度共生矩阵为：f(i,j)＝#{(x1,y1),(x2,y2)∈m×n|i(x1,y1)＝i,i(x2,y2)＝j}(1)式(1)中，i和j表示图像灰度值，#表示集合中的元素个数，f为l×l的矩阵，像素点(x1,y1)和(x2,y2)之间的距离为d，两像素点的连线与水平方向的夹角为θ，则生成的灰度共生矩阵为f(i,j|d,θ)，其意义是满足图像中出现灰度值分别为i、j，相距距离为d，方向为θ的两个像素点的次数，一般θ＝0°,45°,90°,135°。由灰度共生矩阵得到5种纹理参数：对比度、均匀性、能量、熵、相关性。对比度均匀性能量熵相关性其中，(2)人数估计：将像素点统计和前景角点检测相结合，首先用像素点统计法对视频中的人数预估计，当判断当前的人数高于阈值thr1时就采用前景角点检测对视频中的人数进行估计，具体步骤如下：基于像素点统计的人数估计如上(1)中所述。基于前景点角点检测的人数估计：(a)初始化参数，主要是初始化α、β的值，角点之间的最小距离dmin等。(b)角点检测，采用shi-tomasi算法获得视频图像的所有角点。(c)光流跟踪，采用金字塔lk光流法对获取的角点进行有效跟踪。(d)提取前景角点，通过计算每个角点处光流幅值剔除背景点，该处光流幅值大于阈值thr2时，即为前景点。(e)检测人群人数，根据前景角点数目，按照初始值和式(11)计算得到人群人数估计值nest。nest＝(αn+βn)/2(11)其中，视频图像中检测到的前景角点的数目为n，人群目标人数为n，为了减少图像中角度造成的影响，定义人群人数的下限值为αn,上限值为βn，α、β为适当正数，且α≤β根据大量数据统计发现，人群人数n一般不大于前景角点数目n,故有β≤1。α的大小与人群个体所占图像面积比重大小有关，所以一般地0.5＜α≤1。(3)异常行为检测一般来说，当人群出现异常行为时，人的运动动能的变化将比正常情况下剧烈得多，因此可以通过分析人体的运动动能的变化来判断人群的行为状态。而人的运动动能一般与其光流的幅值量呈正相关，因此可以用光流幅值来表征人的运动动能，根据某点的光流可以得到光流幅值，结合帧间的运动信息可以得到光流幅值变化量，于是我们可以计算人群的平均光流幅值，再根据帧间信息进而可以得到平均光流幅值变化的情况。假定视频图像中的某个像素点px,y在t时刻的光流向量为(ux,y,t,vx,y,t)，其中，ux,y,t、vx,y,t分别为t时刻px,y在x和y方向的光流分量，该点t时刻的光流幅值表示如下：求px,y处相邻帧间的光流幅值变化量，然后依据设定的阈值mean将其二值化，设二值化后的光流幅值变化量为bx,y,t，二值化规则表示如下：阈值mean为帧间光流幅值变化量的平均值，mean依据式(14)得到。其中，row、cols分别代表视频图像的行数和列数。接着计算同一像素点在不同时刻的二值化后的光流幅值变化量平均值，假定该像素点的二值化后的光流幅值平均变化量为依据式(15)得到。由以上论述可知，通过光流信息计算得到每一个像素点的光流幅值，进而可以计算每帧的光流幅值平均值。在这里设定当前帧的光流幅值平均值、动能平均值分别为为前一帧光流幅值平均值、动能平均值分别为用式(16)表示动能变化与光流幅值量变化的关系。其中，k为一般正数，λ表示平均动能变化的倍率，当λ超过阈值thr2时，当前人群运动有异常行为。综上，我们可以通过计算图像中每群人的平均动能变化倍率，再根据阈值thr2来判断当前人群是否有异常行为。如果有异常行为，保存第一帧异常帧的前一帧的平均光流幅值，以便求后续帧与该帧的平均动能变化倍率，从而判断后续帧是否有异常。本发明的有益效果在于：本发明设计了一种基于视频的人群密度与异常行为检测系统，针对较为突出的大型公共场所中聚集人群的视频，该系统能够检测出人群密度等级、估计出人数、检测人群状态正常与否，具有检测准确的优点，并且对于异常人群能实施报警，本发明方法易于在软件平台上实现且运算量小，实时性高。附图说明图1是本发明所述基于视频的人群密度与异常行为检测系统的整体流程图。具体实施方式下面结合附图对本发明作进一步说明：如图1所示，图中的流程是以下方法的主要过程简述，采用以下步骤对用于监测的视频图像进行分析：(1)人群密度分级：将像素点统计和纹理特征相结合，首先用像素点统计法对人群进行预估计，当判断当前的人群密度过高时就采用纹理特征进行人群密度估计，该方法既利用了像素点统计法实现简单、速度快的优点，又能在高密度人群时利用纹理特征法进行进一步的密度分级。基于像素点统计的人群密度分级：(a)先对待处理图像转化为灰度图像，采用文献canny边缘检测算法对相邻两帧灰度图像进行边缘提取，得到边缘图像；(b)将两帧得到的边缘图像进行差分，并通过形态学膨胀和腐蚀操作消除干扰噪声，得到优化后的差分边缘图像；(c)再将当前帧的边缘图像和优化后的差分边缘图像进行与操作，得到运动前景边缘图像；(d)将前景边缘像划分很多个矩形框，计算出每个矩形框中的边缘像素点数，计算出边缘最终的总像素点数；(e)采用线性拟合的方法拟合出人群数量与人群前景边缘总像素点数之间的关系，估计出人群数量，进而估计出大概的人群密度。(f)当前人数是否大于阈值thr1，若否，则输出密度等级，低密度和中密度；若是，则采用基于纹理特征的人群密度等级分级，并输出高密度和极高密度。基于纹理特征的人群密度分级，由于图像中的纹理没有规律，大多服从统计分布规律，因此本文选取基于灰度共生矩阵(glcm)的纹理特征对高密度人群进行分析，并实现不同人群密度的分级。设i(x,y)为原图像，m×n为图像像尺寸为，m,n分别表示图像的宽度和高度，l表示图像灰度级别，根据一定空间关系，得出的灰度共生矩阵为：f(i,j)＝#{(x1,y1),(x2,y2)∈m×n|i(x1,y1)＝i,i(x2,y2)＝j}(1)式(1)中，i和j表示图像灰度值，#表示集合中的元素个数，f为l×l的矩阵，像素点(x1,y1)和(x2,y2)之间的距离为d，两像素点的连线与水平方向的夹角为θ，则生成的灰度共生矩阵为f(i,j|d,θ)，其意义是满足图像中出现灰度值分别为i、j，相距距离为d，方向为θ的两个像素点的次数，一般θ＝0°,45°,90°,135°。由灰度共生矩阵得到5种纹理参数：对比度、均匀性、能量、熵、相关性。对比度均匀性能量熵相关性其中，(2)人数估计：将像素点统计和前景角点检测相结合，首先用像素点统计法对视频中的人数预估计，当判断当前的人数高于阈值thr1时就采用前景角点检测对视频中的人数进行估计，具体步骤如下：基于像素点统计的人数估计如上(1)中所述。基于前景点角点检测的人数估计：(a)初始化参数，主要是初始化α、β的值，角点之间的最小距离dmin等。(b)角点检测，采用shi-tomasi算法获得视频图像的所有角点。(c)光流跟踪，采用金字塔lk光流法对获取的角点进行有效跟踪。(d)提取前景角点，通过计算每个角点处光流幅值剔除背景点，该处光流幅值大于阈值thr2时，即为前景点。(e)检测人群人数，根据前景角点数目，按照初始值和式(11)计算得到人群人数估计值nest。nest＝(αn+βn)/2(11)其中，视频图像中检测到的前景角点的数目为n，人群目标人数为n，为了减少图像中角度造成的影响，定义人群人数的下限值为αn,上限值为βn，α、β为适当正数，且α≤β根据大量数据统计发现，人群人数n一般不大于前景角点数目n,故有β≤1。α的大小与人群个体所占图像面积比重大小有关，所以一般地0.5＜α≤1。(3)异常行为检测假定视频图像中的某个像素点px,y在t时刻的光流向量为(ux,y,t,vx,y,t)，其中，ux,y,t、vx,y,t分别为t时刻px,y在x和y方向的光流分量，该点t时刻的光流幅值表示如下：求px,y处相邻帧间的光流幅值变化量，然后依据设定的阈值mean将其二值化，设二值化后的光流幅值变化量为bx,y,t，二值化规则表示如下：阈值mean为帧间光流幅值变化量的平均值，mean依据式(14)得到。其中，row、cols分别代表视频图像的行数和列数。接着计算同一像素点在不同时刻的二值化后的光流幅值变化量平均值，假定该像素点的二值化后的光流幅值平均变化量为依据式(15)得到。由以上论述可知，通过光流信息计算得到每一个像素点的光流幅值，进而可以计算每帧的光流幅值平均值。在这里设定当前帧的光流幅值平均值、动能平均值分别为为前一帧光流幅值平均值、动能平均值分别为用式(16)表示动能变化与光流幅值量变化的关系。其中，k为一般正数，λ表示平均动能变化的倍率，当λ超过阈值thr2时，当前人群运动有异常行为。综上，我们可以通过计算图像中每群人的平均动能变化倍率，再根据阈值thr2来判断当前人群是否有异常行为。如果有异常行为，保存第一帧异常帧的前一帧的平均光流幅值，以便求后续帧与该帧的平均动能变化倍率，从而判断后续帧是否有异常。为了验证本发明提出的基于视频的人群密度与异常行为检测系统的有效性和可行性，下面通过实验进行详细的分析比较：由表1定义人群密度与人数的关系。本实验在公共视频grandcentral及自行拍摄的视频上进行了测试，密度等级分级准确性如表2所示，人数估计的平均相对误差如表3所示，异常行为检测的正检率、漏检率、虚警率如表4所示，本发明视频分析算法处理每帧视频的平均耗时如表5所示，从表2、表3、表4、表5可以看出采用本发明所提出分析方法能得到较好的结果，同时实验结果也验证了本发明所述分析方法的有效性和可行性。表1人群密度等级定义密度等级低密度中密度高密度极高密度人数0-2021-5051-150>150表2人群密度等级分级准确率密度等级本发明算法密度分级准确率低密度91.1％中密度90.2％高密度79.6％极高密度86.5％表3人数估计平均相对误差算法平均相对误差本发明人数估计算法16.82％表4异常行为检测正检率、漏检率与虚警率算法异常行为正检率异常行为漏检率异常行为虚警率本发明异常行为检测算法92.12％7.88％3.18％表5系统平均耗时(处理每帧)算法系统平均耗时本发明的视频分析方法101.84ms/frame当前第1页12