专利名称：人群流分割及人群流异常行为识别方法
技术领域：
本发明属于视频图像处理技术领域，具体地说，是涉及对视频中的人群流进行处理的技术，更具体地说，是涉及人群流分割及人群流异常行为识别方法。
背景技术：
视频监控场景一类是针对远距离的、人流密度比较大的场所，如城市广场、车站、繁华步行街等；另一类监控重点区域是较为偏僻的街道、已发生打架、抢劫等刑事案件的人流稀少的区域，可以较近距离监控。针对第一种低分辨率视频监控环境下的群体异常行为识别较为复杂，主要原因是人群往往不是单一的，而是自发结成的多组人群流区域，它们的行为属性各不相同。因此，要将视频监控中的异常行为识别出来，首先需要将不同的人群流定位分割出来，以便跟踪每个人群流，实现异常行为的检测和识别。目前，针对复杂视频监控场景中不同运动行为的人群分割，有人提出了下述方法:将高密度性的群体目标运动认作流体，用混沌动力学的方法处理，即基于视频粒子流和有限时间李亚普诺夫指数场(FTLE场)，实现人群运动分割。有限时间李亚普诺夫指数表示相近粒子间的混合和分离性，反映运动粒子间的分离程度，计算所有粒子的有限时间李亚普诺夫指数，则形成有限时间李亚普诺夫指数图像，根据拉格朗日相干结构(LCS)，设定阈值将该FTLE场图像进行二值化处理，实现人群流的分割。但是，该方法存在两方面的缺陷:一方面，该方法应用范围有限，更适合于求解诸如“围绕麦加克尔白天房朝圣的环流人群”，而对于非涡流的“直行道路”人群流，其分割时在FTLE场图像进行二值化处理中会出现多个“空洞”，使得分割结果“支离破碎”，导致分割结果过于零碎；另一方面，计算每个粒子的FTLE和LCS拉格朗日相干结构的运算量大，分割过程复杂，耗时长
发明内容
本发明的目的之一是提供一种人群流分割方法，该方法将人群流作为特殊的流体，采用脉线和倾向流作为人群流的底层特征作为聚类基础，实现人群流的分割，提高了人群流分割的精确度。为实现上述发明目的，本发明的人群流分割采用下述技术方案予以实现:
一种人群流分割方法，所述方法包括下述步骤:
al、获取视频流,采用Lucas-Kanade算法获得所述视频流中每一视频巾贞内运动粒子的二维速度场；
a2、根据所述二维速度场及流体力学中的脉线计算方法获得所述视频帧中的所有脉线及每条脉线的倾向流，将所述脉线及所述倾向流作为所述视频帧中人群流的底层特征；a3、采用聚类算法对所述脉线及所述倾向流进行聚类，形成若干子人群流，实现人群流的分割。如上所述的人群流分割方法，为进一步提高分割速度，所述步骤a3包括下述子步骤:a31、按照下述算法计算所有相邻的1、J两条脉线Si和Si的相似度:
按照下述算法计算妒的倾向流和#的倾向流的相似度:
H <^oL)— <zqi) I,
其中，为脉线妒的起始点与经过该起始点的第■个运动粒子所形成的向量，χ 为脉线妒的起始点与经过该起始点的第》 个运动粒子所形成的向量，<§为<和的夹角；< 是脉线妒在第^个运动粒子处的倾向流角度，< 是脉线於在第㈣个运动粒子处的倾向流角度，, 为脉线中的运动粒子数；
a32、计算上述步骤获得的脉线相似度足( ，力和倾向流相似度黾仏力加权求和值
Hm力’作为相邻两条脉线^!和#的总相似度，a和yj为权值，
#(0是第I.条脉线所有相邻脉线的集合；
a33、根据所述总相似度进行聚类，相似度大于设定阈值的脉线聚为一类，形成若干子人群流，实现人群流的分割。优选的，所辻α取值为0.8，所述岁取值为0.2。如上所述的人群流分割方法，所述聚类算法优选为分水岭分割算法。本发明的目的之二是提供一种人群流异常行为识别方法，该方法基于上述人群流分割方法，对分割后的子人群流提取特征向量，利用SVM分类器进行异常行为识别，提高了识别准确性。为实现上述技术目的，本发明的人群流异常行为识别采用 下述技术方案予以实现:
一种人群流异常行为识别方法，所述方法包括下述步骤:
bl、获取待识别的视频流，根据上述权利要求1至4中任一项所述的人群流分割方法对所述视频流中的每一视频帧内的人群流进行分割，获得若干子人群流；
b2、针对每个子人群流,根据Helmholtz分解算法计算其所含的每条脉线的势函数中的速度势及流函数；
b3、对所述速度势和所述流函数分别进行 奇异值分解，获得两个奇异值特征向量，将所述两个奇异值特征向量合并为一个向量，作为相对应的子人群流在当前帧中的势函数特征向量，该子人群流在所述视频流所有视频帧中的势函数特征向量构成识别样本特征向量；b4、采用训练好的人群流异常行为分类器识别所述识别样本特征向量，实现子人群流异常行为的识别，进而实现人群流异常行为的识别。如上所述的人群流异常行为识别方法，为简化识别过程，先对所述步骤b3获得的识别样本特征向量降维，再执行所述步骤b4，采用训练好的人群流异常行为分类器识别降维后的识别样本特征向量。如上所述的人群流异常行为识别方法，所述人群流异常行为分类器采用下述步骤训练:
Cl、获取正常行为若干视频流和包含异常行为的若干视频流，分别作为正样本集和负样本集；
c2、根据流体力学中的脉线计算方法计算所述正样本集中每个正样本所包含的每一视频帧及所述负样本集中每个负样本所包含的每一视频帧的脉线；
c3、根据Helmholtz分解算法计算每条脉线的势函数中的速度势及流函数；c4、对所述速度势和所述流函数分别进行奇异值分解，获得两个奇异值特征向量，将所述两个奇异值特征向量合并为一个向量，作为当前帧中的势函数特征向量，每个正样本或负样本所有视频帧中的势函数特征向量构成训练样本特征向量；
c5、多个所述训练样本特征向量及其对应的正常行为或异常行为构成训练样本特征向量集，训练分类器参数，生成人群流异常行为SVM分类器。如上的人群流异常行为识别方法，先对所述步骤c4获得的训练样本特征向量降维，再执行所述步骤c5，将降维后的训练样本特征向量及其对应的正常行为或异常行为构成训练样本特征向量集，训练分类器参数，获得人群流异常行为分类器。优选的，所述人群流异常行为分类器为SVM分类器。与现有技术相比，本发明的优点和积极效果是:
1、在进行人群流分割时，将人群流作为特殊的流体，采用人群流的脉线和倾向流作为人群流的底层特征，采用聚类算法对脉线及倾向流进行聚类来实现人群流的分割，分割准确性高，分割速度快，能够适应各种复杂监控视频的分割需求。
2、将脉线和 倾向流作为底层特征，计算脉线及倾向流在时空邻域内的相似度，利用两者相似度的加权求和值作为总相似度进行聚类，使得不同人群的特征更浓缩、更明显，进一步提高了人群流分割的准确性。3、对于每个分割出的子人群流，通过计算其速度势和流函数，并进行奇异值提取后构成子人群流的特征向量，利用SVM分类器进行异常行为识别，不仅可以准确、快速识别出视频帧中是否存在异常行为，还可以实现对异常行为在视频监控范围内的局部定位和跟
足示O结合附图阅读本发明的具体实施方式
后，本发明的其他特点和优点将变得更加清
λ.Μ
/E.ο
图1是本发明人群流分割第一个实施例的流程 图2是本发明人群流分割第二个实施例的流程 图3和图4是图2实施例中计算脉线相似度的示意 图5是本发明人群流异常行为识别方法一个实施例的流程 图6是图5中获得SVM分类器的流程图。
具体实施例方式下面结合附图和具体实施方式
对本发明的技术方案作进一步详细的说明。首先，简要介绍本发明的设计思路:为了对低分辨率视频监控环境中的人群流进行有效、准确地分割，可以将人群流作为一种特殊的流体，利用流体的处理方法对人群流进行分割。而且，在进行人群流分割时，考虑将人群流的脉线及其倾向流作为表征人群流的底层特征，可以获得明显、浓缩的人群特征，有利于对人群流的分割。在完成人群流分割之后，可以通过对每个子人群流进行识别来判断人群流是否发生异常行为，并能对特定子人群流进行定位和跟踪，提高了异常行为识别的速度和精确度。请参考图1，该图所示为本发明人群流分割第一个实施例的流程图。如图1所示，该实施例分割人群流的具体步骤如下:
步骤11:流程开始。步骤12:获取视频流,采用Lucas-Kanade算法获得视频流中每一视频巾贞内运动粒子的二维速度场。获取需要处理的视频流,对视频流采用Lucas-Kanade算法(金字塔光流算法)计算光流，并根据光流计算出每一视频巾贞内运动粒子的二维速度场(即运动光流场)。该计算过程为现有技术，在此不作详述。步骤13:计算视频帧中的所有脉线及每条脉线的倾向流，将脉线及倾向流作为视频帧中人群流的底层特征。获得运动粒子的二维速度场就得到了运动粒子的位置和速度，这些运动粒子构成脉线的基本组成单元，即延伸粒子。一定时间内流经同一像素空间位置的所有运动粒子的连线构成了以该像素空间位置为起始点的一条脉线，所以，利用这些运动粒子即可计算出视频帧中的所有脉线。脉线的具体计算过程如下:
假设点(<(4为运动粒子(i , Jff )在时`间1、初始位置在P点、在第q视频帧中的位置。在^点重复的初始化就意味着:
((办上伽)=(伽，伽)
粒子平移可以通过下述公式完成:
办+1) = 4(0+ (4(0, < 00,0
其中，是从光流中得到的速度场。运动粒子的定义如下:
八 111, Usr(O, (0,0 , V9 二O而脉线则是一定时间10GplA]内流经同一空间点的所有扩展粒子的集合，即PEiuJ。其中，, n内视频帧的数量。为了捕捉场景内容和群体动态在一个长的范围内变化,不能太短，但太长也会使脉线失真，该实施例优选取4为20视频帧的时间间隔，也即n = 30。
倾向流是脉线中每个粒子乓的速度场在时间上的积分，定义为!C^其中，A = j": 声，& 二 (vIffic,其中^f -1k , 是两帧之间的时间间隔，即&是该脉线时
间段ft為中的第§视频帧中粒子的时间点。倾向流封装的信息近似为观察窗口 ■%内的光流速度的均值信息，由于％时间较短，它也反映了这群粒子的局部信息，为分割提供基础数据。获得脉线及脉线的倾向流之后，将其作为视频帧中人群流的底层特征。由于脉线表征了群体运动在时间和空间上的变化，而倾向流更清晰地表征了群体运动在时间上的变化，所以，脉线和倾向流反映了不同人群流的特性，可以作为人群流聚类分割的基础数据。步骤14:采用聚类算法对脉线及倾向流进行聚类，形成若干子人群流，从而实现对人群流的分割。获得表征不同人群流特性的脉线和倾向流之后，采用聚类算法进行聚类，可以将具有相同脉线及倾向流的人群聚为一类，形成一个子人群流，不同脉线及倾向流的组合即可获得若干子人群流，进而实现 对视频范围内以运动行为为分割依据的人群流分割。聚类时，可以采用现有技术中常用的聚类方法，在此不作繁述。步骤15:分割流程结束。直接采用脉线及倾向流虽然能够实现人群流的分割，但是，聚类过程比较复杂，计算量大，聚类速度慢。为克服这些缺点，可以采用图2实施例的方法来执行。请参考图2，该图示出了本发明人群流分割第二个实施例的流程图。如图2所示，该实施例分割人群流的具体步骤如下:
步骤21:流程开始。步骤22:获取视频流,采用Lucas-Kanade算法获得视频流中每一视频巾贞内运动粒子的二维速度场。步骤23:计算视频帧中的所有脉线及每条脉线的倾向流，将脉线及倾向流作为视频帧中人群流的底层特征。上述步骤22及步骤23的具体处理过程与图1实施例相同，可参考上面对图1实施例的描述。步骤24:计算所有相邻的两条脉线的相似度及其倾向流的相似度。为简化聚类过程，该实施例采用脉线的相似度将相似的脉线进行聚类。在步骤23获得脉线及倾向流之后，计算所有相邻的两条脉线的相似度以及两条脉线所对应的倾向流的相似度。具体过程如下:
参考图3和图4的脉线相似度计算示意图所示意，设Sf和於是相邻的第i条和第』条脉线，每个附图中的圆圈代表运动粒子，长方形代表起始点，这些运动粒子的连线构成了该起始点处的脉线。以图3的脉线贫为例，起始点为JPi,在一定时间内经过起始点的运动粒
子分别为2η_2, Xil (与起始点只-重合)。而如图4所示，脉线p.的起始点为Pj ,在一定时间内经过该起始点的运动粒子分别为，…，XU , , xL, χ (与起始点P』-重合)。每个经过起始点的运动粒子都会与起始点形成一个向量，两条相邻脉线#和5〗的相似度定义为足( ，./)，该相似度是通过计算两条脉线中处于同一视频帧中的运动粒子与起始点形成的向量投影再求和得到。计算公式如下:
式中，为脉线女的起始点爲与经过该起始点的第》个运动粒子所形成的向量，为脉线少的起始点Pj与经过该起始点的第JB个运动粒子所形成的向量，m =OX J l, I为脉线中的运动粒子数,|!为和g的夹角。脉线妒的倾向流和脉线於的倾向流的相似度定义为式》&7)，该相似度用角度来表示，计算公八为:RaiUl H-ms(ZO^)I。上式中，是脉线Sf在第j 个运动粒子处的倾向流角度，是脉线少在第m个运动粒子处的倾向流角度。步骤25:将步骤24所获得的脉线相似度尾和倾向流相似度加权求和:将该加权求和值作为相邻两条脉线#和#的总相似
度，α和於为权值，为预先设定的值。在该实施例中，α取值为0.8於取值为0.2。在该实施例中，相邻两条脉线的含义为:脉线妒的相邻脉线是指以该脉线妒的起始点P,为中心的8个邻域位置为起始点所形成的8条脉线。应该理解，这里的8条脉线可能是实际各不相同的8条脉线；也可能会存在相互重合的脉线；也可能是少于8条脉线，也即起始点Pi的个别邻域位置未构成脉线。步骤26:根据总相似度进行聚类，将相似度大于设定阈值的脉线聚为一类，构成一个子人群流，最终形成若干子人群流，实现人群流的分割。聚类时可以采用·现有技术中的聚类算法，该实施例优选采用分水岭分割算法来聚类。采用分水岭分割算法进行聚类的过程为现有技术，在此不作复述。步骤27:流程结束。对视频监控范围内的人群流根据运动特征划分为若干个子人群流之后，可以对特定子人群流进行定位、跟踪、监控异常行为等。请参考图5，该图示出了本发明人群流异常行为识别方法一个实施例的流程图。该实施例在对人群流异常行为识别时，基于图1或图2人群流分割的实施例，也即是对应用图1或图2方法进行分割后的子人群流进行异常行为识别。如图5所示，该实施例对人群流异常行为进行识别的过程如下:
步骤51:流程开始。步骤52:获取待识别的视频流，对视频流中的每一视频帧进行人群流分割，获得若干子人群流。对于待识别的视频流，确切来说是一段视频流分解为长度一般为2-3秒(约为80帧)的子视频段，将子视频段作为待识别的视频流识别单元分别识别，目的是确定其在哪个具体时间点上出现群体异常行为。而且，为了防止漏检，前后两个子段视频可以有30帧的重叠。该步骤的具体实现过程可参考图1或图2及上述相应附图的描述。步骤53:针对每个子人群流，根据Helmholtz分解算法计算其所含的每条脉线的势函数中的速度势及流函数。由于对人群流进行分割的依据是人群流的脉线，所以，每个子人群流分割后，其所含有的脉线也是已知的。与倾向流类似，势函数也是脉线的一个属性，是表征群体运动在空间上变化的一个特征描述。势函数及其速度势和流函数的计算过程如下:
根据Helmholtz分解理论(霍尔姆兹分解理论)，势函数可以分解为不可压缩
部分α和不可旋转部分 ，即 =α +ft。其中， ,a。对气、\、!^及％分别沿着该脉线做空间积分，可以获得该势函数的速度势 和流函数:
权利要求
1.一种人群流分割方法，其特征在于，所述方法包括下述步骤: al、获取视频流,采用Lucas-Kanade算法获得所述视频流中每一视频巾贞内运动粒子的二维速度场； a2、根据所述二维速度场及流体力学中的脉线计算方法获得所述视频帧中的所有脉线及每条脉线的倾向流，将所述脉线及所述倾向流作为所述视频帧中人群流的底层特征；a3、采用聚类算法对所述脉线及所述倾向流进行聚类，形成若干子人群流，实现人群流的分割。
2.根据权利要求1所述的人群流分割方法，其特征在于，所述步骤a3包括下述子步骤: a31、按照下述算法计算所有相邻的1、J两条脉线Si和Si的相似度:
3.根据权利要求2所述的人群流分割方法，其特征在于，所述α取值为0.8，所述於取值为0.2。
4.根据权利要求1至3中任一项所述的人群流分割方法，其特征在于，所述聚类算法为分水岭分割算法。
5.一种人群流异常行为识别方法，其特征在于，所述方法包括下述步骤: bl、获取待识别的视频流，根据上述权利要求1至4中任一项所述的人群流分割方法对所述视频流中的每一视频帧内的人群流进行分割，获得若干子人群流； b2、针对每个子人群流,根据Helmholtz分解算法计算其所含的每条脉线的势函数中的速度势及流函数； b3、对所述速度势和所述流函数分别进行奇异值分解，获得两个奇异值特征向量，将所述两个奇异值特征向量合并为一个向量，作为相对应的子人群流在当前帧中的势函数特征向量，该子人群流在所述视频流所有视频帧中的势函数特征向量构成识别样本特征向量；b4、采用训练好的人群流异常行为分类器识别所述识别样本特征向量，实现子人群流异常行为的识别，进而实现人群流异常行为的识别。
6.根据权利要求5所述的人群流异常行为识别方法，其特征在于，先对所述步骤b3获得的识别样本特征向量降维，再执行所述步骤b4，采用训练好的人群流异常行为分类器识别降维后的识别样本特征向量。
7.根据权利要求5所述的人群流异常行为识别方法，其特征在于，所述人群流异常行为分类器采用下述步骤训练: Cl、获取正常行为若干视频流和包含异常行为的若干视频流，分别作为正样本集和负样本集； c2、根据流体力学中的脉线计算方法计算所述正样本集中每个正样本所包含的每一视频帧及所述负样本集中每个负样本所包含的每一视频帧的脉线； c3、根据Helmholtz分解算法计算每条脉线的势函数中的速度势及流函数；c4、对所述速度势和所述流函数分别进行奇异值分解，获得两个奇异值特征向量，将所述两个奇异值特征向量合并为一个向量，作为当前帧中的势函数特征向量，每个正样本或负样本所有视频帧中的势函数特征向量构成训练样本特征向量； c5、多个所述训练样本特征向量及其对应的正常行为或异常行为构成训练样本特征向量集，训练分类器参数，生成人群流异常行为SVM分类器。
8.根据权利要求7所述的人群流异常行为识别方法，其特征在于，先对所述步骤c4获得的训练样本特征向量降维，再执行所述步骤c5，将降维后的训练样本特征向量及其对应的正常行为或异常行为构成训练样本特征向量集，训练分类器参数，获得人群流异常行为分类器。
9.根据权利要求5至8中任一项所述的人群流异常行为识别方法，其特征在于，所述人群流异常行为分类器为SVM分类器。
全文摘要
本发明公开了一种人群流分割方法及人群流异常行为识别方法，所述人群流分割方法包括下述步骤获取视频流，计算视频流中每一视频帧内运动粒子的二维速度场；根据二维速度场及流体力学中的脉线计算方法获得视频帧中的所有脉线及每条脉线的倾向流，将脉线及倾向流作为所述视频帧中人群流的底层特征；采用聚类算法对脉线及倾向流进行聚类，形成若干子人群流，实现人群流的分割。基于人群流分割方法对人群流分割之后，可以对分割后的子人群流进行异常行为识别。本发明在对人群流进行分割时，将人群流作为特殊的流体，采用脉线和倾向流作为人群流的底层特征作为聚类基础，实现人群流的分割，提高了人群流分割的精确度。
文档编号G06K9/00GK103235944SQ201310178080
公开日2013年8月7日 申请日期2013年5月15日 优先权日2013年5月15日
发明者刘云, 王传旭, 闫春娟 申请人:青岛科技大学