一种自适应群体异常行为分析方法
【专利摘要】本发明公开了一种自适应群体异常行为分析方法，用于对视频图像中的群体行为进行分析，包括以下步骤：对所述视频图像进行脉线计算；脉线流计算；异常行为检测；对异常群体行为的视频图像进行前景检测；自适应群体密度估计，包括基于像素点统计的密度估计和基于纹理分析的密度估计，最终划分为低等、中等、高等和超高等四个密度等级，从而完成异常群体行为分级。本发明引入脉线和脉线流的概念来分析视频图像中的群体是否异常，具有检测准确的优点，并自适应地实现对不同密度场景中的群体异常行为所包含的人群进行密度估计，再以密度估计结果为主要特征对检测出的群体异常行为进行分级，用于人群集中的公共场所异常行为（如群殴）的准确分级报警。
【专利说明】一种自适应群体异常行为分析方法
【技术领域】
[0001]本发明涉及一种公共安全领域中基于智能视频监控的群体异常行为的分析方法，尤其涉及一种基于脉线模型的自适应群体异常行为分析方法，属于机器视觉与智能信息处理领域。
【背景技术】
[0002]群体异常行为的发生将对社会公共安全构成危害，而不同等级的群体异常行为对社会公共安全产生的危害性也不尽相同，对应的关注度和敏感度也不同。当群体异常行为发生时，针对异常行为的不同等级，也应该采取不同的措施。比如当发生异常事件的场景中群体密度较低(或者群体数量较少)时，可以认为该事件的关注度和敏感度相对较低；但是，当发生异常事件的场景中群体密度较高(或者群体数量较多)时，对应的关注度和敏感度就应该迅速提升，因为该群体异常事件可能会对社会公共安全造成很大的威胁。基于这样的认识，对基于视频的群体行为进行分析、理解并对异常行为进行分级预警就显得十分必要。而目前国内外的视频监控系统中，鲜有此类成熟的产品。
[0003]群体异常行为的分级预警在技术实现上主要包括群体异常行为检测分析与群体异常行为分级分析两个部分。
[0004]首先，在对视频内容进行理解的过程中，需要根据视频内容判断出它是属于正常行为的视频还是异常行为的视频。对于正常行为视频，不需要给予特别的关注，我们主要关注那些包含异常行为的视频。这一部分实际上就是根据视频进行异常行为识别；而在群体场景中，由于严重的群体间相互遮挡、群体中个体的尺寸大小不一等因素的影响，使得群体异常行为识别本身就是一个具有挑战性的课题。在目前的一些群体异常行为识别方法中，主要有基于隐马尔可夫模型(E.Andrade, S.Blunsden, R.Fisher.Modeling Crowd Scenesfor Event Detection[C].1CPR2006, pp.175-178)、拉格朗日拟序结构(S.Ali, M.Shah.ALagrangian Particle Dynamics Approach for Crowd Flow Segmentation and StabilityAnalysis [C].CVPR2007, pp.1-6)、社会力模型(R.Mehranj A.0yamaj M.Shah.AbnormalCrowd Behavior Detection using Social Force Model[C].CVPR2009，pp.935-942)、马尔可夫随机场(J.Kim，K.Grauman.0bservelocally，inferglobally:A space-timeMRF for detecting abnormal activities with incremental updates[C].CVPR2009，pp.2921-2928)、混沌不变性(WuS，Moore B E，Shah M.Chaotic invariants oflagrangian particle trajectories for anomaly detection in crowded scenes[C].CVPRj 2010，pp.2054-2060)以及动力学特征(S.Alij M.Shah.Human action recognitionin videos using kinematic features and multiple instance learning [J].1EEE Transactions on Pattern Analysis and Machine Intelligence，2010，32)
(2):288-303.)等理论的异常行为检测方法，这些方法在某些指标上表现出了较好的性能。然而，当视频存在分辨率较低、抖动，或者视频中群体运动速度过快或过慢等因素时，这些方法就可能检测不出相应群体场景中的异常行为。2012年，Hassner等人发表在CVPRW(国际计算机视觉与模式识别研讨会)上的文章“Violent flows: Real-time detection ofviolent crowd behavior” 提出的基于暴力流描述子(Violenceflowsdescriptor)的异常行为识别方法对上述特点的视频集有较好的适应性，但是识别准确率有待提高。
[0005]其次，根据群体异常行为检测的结果，对于检测出的群体异常行为立即对其进行特征提取，并根据所提取出的反映群体异常行为规模程度的特征来对该群体异常行为进行分级并报警。通常采用的用于描述群体异常行为规模程度的特征主要是该群体异常行为场景中的人群密度特征。如果参与该群体异常行为的人越多，自然其对周围场景的安全影响的程度也就越大。目前提取群体场景中人群密度比较成熟的方法主要有基于像素统计的方法和基于纹理特征的方法。在基于像素统计的群体密度统计中，有许多学者提出了一些效果较好的方法，比如Davies等人发表在杂志“Electronics&Communication EngineeringJournal ” 上的文章 “Crowd monitoring using image processing” 首次提出利用图像处理技术进行人群监控，主要分析人群数量，进行人群运动估计。发表在“IEEE Conferenceon Cybernetics and Intelligent Systems，，上的文章 “On pixel count based crowddensity estimation for visual surveillance”以前景像素个数为特征估计群体密度，同时算法利用摄像机标定实现了投影修正。发表在“International Conference on PatternRecognition，，上的文章 “A viewpoint invariant approach for crowd counting，，利用前馈神经网络(Feed-forward neural network)训练特征量与前景人数的关系，并利用训练模型检测人群密度。在基于纹理特征的群体密度统计中，也有一些学者提出了效果不错的方法，如 Marana 等人发表在“IEEE International Symposium on ComputerGraphics, Image Processing, and Vision，，上的文章“On the efficacy of textureanalysis for crowd monitoring”分析比较了群体密度估计中的四种纹理分析方法,然后利用贝叶斯分类法来实现对不同密度群体的分类。发表在2008年CVPR (国际计算机视觉与模式识另 1J会议)上的文章“Privacy preserving crowd monitoring:Counting peoplewithout people models or tracking”利用均勻度、能量、熵等纹理特征,采用高斯过程回归分析训练来实现群体数量统计。发表在2009年ICCV (国际计算机视觉大会)上的文章“Bayesian Poisson regression for crowd counting”利用贝叶斯-泊松回归分析对纹理特征进行分析，得到群体密度估计。两类方法各有适用范围，前者主要适用于密度较低的群体场景，后者主要适用于密度较高的群体场景。但是，针对上述特点的视频集，目前尚没有更好地能够自适应分析不同密度群体场景的方法。
【发明内容】
[0006]本发明的目的就在于为了解决上述问题而提供一种基于脉线模型的自适应群体异常行为分析方法。
[0007]本发明通过以下技术方案来实现上述目的:
[0008]一种自适应群体异常行为分析方法，用于对视频图像中的群体行为进行分析，包括以下步骤:
[0009](I)对所述视频图像进行脉线计算:
[0010]脉线定义:假设在P点处有一个粒子a，按照光流场方向，粒子流每次移动一个步长，在下一个步长时刻，P点又被新粒子b初始化，然后，a和b两个粒子继续随流体方向移动，重复这一过程，在时间间隔ts内就得到经过P点处的一定数量的粒子位置，所述一定数量的粒子位置的连线便是脉线；
[0011]设(Λ/(0,0))为初始点P在t时刻第i帧的一个粒子位置，i, t=0, I, 2...ts，根
据光流方向，移动粒子流，重复初始化P点，脉线计算公式如下:
[0012]
【权利要求】
1.一种自适应群体异常行为分析方法，用于对视频图像中的群体行为进行分析，其特征在于:包括以下步骤: (1)对所述视频图像进行脉线计算: 脉线定义:假设在P点处有一个粒子a，按照光流场方向，粒子流每次移动一个步长，在下一个步长时刻，P点又被新粒子b初始化，然后，a和b两个粒子继续随流体方向移动，重复这一过程，在时间间隔ts内就得到经过P点处的一定数量的粒子位置，所述一定数量的粒子位置的连线便是脉线； 设(Λ-f (/))为初始点P在t时刻第i帧的一个粒子位置，i，t=0, 1，2...%，根据光流方向，移动粒子流，重复初始化P点，脉线计算公式如下:(1) 其中，U，V分别为光流速度矢量场；对所有的i，t=0, 1，2...ts，采用四阶龙格一库塔方程对式(I)作粒子平流。对流体中每个粒子，我们定义一个包含粒子位置和初始速度的额外粒子i与之对应:
Pi= (X^t)1Yi (t), Ui, vj (2) 其中，M1-=//(^^(/), r/'i/)-/), Vi ν?χ/'?η^ι/?/Ιη； (2)脉线流计算: 脉线流的定义为:Qs=(us，vs)τ，其中，τ代表转置，us、Vs分别表示脉线流速度矢量场； 设IMci], A= Iia1, a2, a3],`其中，C1f I ，对任一的i, p,在x方向上计算所有像素的脉线流，根据公式(I)可以得知粒子具有子像素级精度，对每个粒子，需要计算其最邻近三个像素点的相应值，在计算过程中，使用三邻近像素点的线性插值得到Ci,式子定义如下:
Ci=B1Us (Ii1) +a2us (k2) +a3us (k3) (3) 其中，kj为邻近像素点的标号，j=l, 2，3，Bj为第j个邻近像素的已知三角基函数，根据该粒子以及其相邻三个像素点，可以通过三角插值公式来求取us(kp，对U中所有数据点，采用公式(3)，便形成了如下的一组线性方程组: Aus=U (4) 采用最小二乘法对方程组(4)进行求解，得到us，Vs求解过程类似；再由Qs=(us，vs)T得到脉线流Qs ; (3)异常行为检测:采用基于径向基核函数的支持向量机进行分类，检测出视频图像中的正常群体行为和异常群体行为。
2.根据权利要求1所述的自适应群体异常行为分析方法，其特征在于:所述分析方法还包括异常群体行为分级，其步骤描述如下: ①前景检测:对所述步骤(3)检测出的异常群体行为的视频图像进行处理，获得群体运动前景； ②自适应群体密度估计:获得群体运动前景后，根据前景面积占整个图像面积的实际比例是否大于事先定义好的比例阈值来自适应地选择不同的方法进行密度估计:当该实际比例小于比例阈值时，表明此时前景目标面积较小，群体密度较低，则采用下述A方法对其密度进一步划分；反之，表明此时的群体密度较高，采用下述B方法对其密度进一步划分； A、基于像素点统计的密度估计算法:步骤如下: a、采用canny边缘检测算子对相邻两帧灰度图像提取边缘得到边缘图像； b、通过形态学膨胀和腐蚀操作消除干扰噪声； C、对两帧边缘图像差分，并将其与当前帧的边缘图像进行与操作，得到前景边缘图像； d、根据前景边缘图像计算出边缘的总像素数； e、采用线性拟合的方法拟合出人群人数和人群前景边缘的总像素数的关系，估计出大概的群体密度，并划分为低等和中等两个密度等级； B、基于纹理分析的密度估计方法: 首先，生成灰度共生矩阵:灰度直方图是对图像上具有某个灰度值的单个像素进行统计的结果，灰度共生矩阵是对图像上保持某一距离的两像素分别具有某灰度的状况进行统计得到，设f(x，y)为一幅二维数字图像，其大小为MXN，M，N分别代表图像的宽度和高度，图像灰度级别为L，则满足一定空间关系的灰度共生矩阵为:
P(m, η) = #{(χ1； Y1), (x2, y2) GMXNlf(X1J1) = m, f (x2, y2) = n} (5) 其中，#表示集合中的元素个数，m和η表示图像灰度值，从式(5)中可以看出，P为LXL的矩阵，若(Xl，yi) 与(x2，y2)的距离为d，两者与坐标横轴的夹角为q，则可以得到各种间距及角度的灰度共生矩阵P(m，η I d，Θ)，其表示图像中一个像素的灰度值为m，另一个像素的灰度值为n，并且相邻距离为d，方向为Θ的这样两个像素出现的次数，Θ =O。,45° ,90°，135。，(1取 I ; 然后，对生成的灰度共生矩阵进行如下特征提取:
3.根据权利要求2所述的自适应群体异常行为分析方法，其特征在于:所述步骤①中，采用三帧帧差法处理视频图像。
4.根据权利要求1所述的自适应群体异常行为分析方法，其特征在于:所述步骤(3)中，所述异常行为检测的方法为: 对输入的每帧视频，利用以下公式(11)计算每个像素点的脉线流幅度Rx，y，t:
【文档编号】G06K9/62GK103745230SQ201410016292
【公开日】2014年4月23日 申请日期:2014年1月14日 优先权日:2014年1月14日
【发明者】何小海, 汪晓飞, 吴晓红, 谢椿, 李昀, 滕奇志, 吴小强 申请人:四川大学