专利名称：基于运动向量归类分析的异常行为检测方法
技术领域：
本发明涉及的是一种视频处理分析技术领域的方法，具体是一种基于运动向量归类分析的异常行为检测方法和装置。
背景技术：
异常行为检测是视频监控和视频分析中的重要内容，在社区安防、家庭护理、交通管理等方面有着广泛的应用。目前的异常行为检测算法主要是通过在视频中分割出目标并提取特征，并通过事先训练好的分类器或预设的判定条件来进行判别的。现有的大多数异常事件检测方法都是在像素域进行的。比如Him Zhong等人在 〈〈2004International Conference on Computer Vision and PatternRecognition)) (2004 年计算机视觉和模式识别会议集)第819到拟6页发表的“Detecting Unusual Activity in Video”(检测视频中的非正常行为)论文中提出从原始像素域视频中提取空间直方图 (spatial histogram) ^ /^ IS^fflil[njfifift, (vector quantization) ^MMlij 最终的原形特征(prototype features)来检测异常行为。然而，这些基于像素域的方法大多复杂度很高，往往难以达到实时性的要求。同时，由于实际生活中大多数视频都是以压缩域的格式进行存储，在处理这些视频时，像素域方法往往需要更大的复杂度。此外，也有一些基于变换域的检测方法提出。比如，Haowei Liu等人在《2010 International Symposium on Circuits and Systems〉〉(2010 年电路与系统会议集)第 3693 至Ij 3696 页发表的“Video activity detection using compressed domain motion trajectories for H. 264 videos”(在H. 264压缩域视频中使用运动轨迹进行行为检测) 论文中提出在压缩域视频中提取目标的运动轨迹，并以此来识别目标的异常行为。这些基于变换域的算法由于是从已有的压缩视频中提取特征，其运算复杂度可以显著降低。然而现有的压缩域方法提取的特征往往过于简单而达不到令人满意的性能。因此，需要考虑更有效的异常行为检测算法，同时在算法复杂度和性能上达到优化。
发明内容
本发明针对现有方法存在的上述不足，提出了一种基于运动向量归类分析的方法。该方法通过对视频中相邻帧之间的运动向量进行分类，从而提取出运动目标的有效信息，并基于此信息进行异常行为识别。本发明中所使用的运动向量信息可以从已有的压缩域视频中提取，从而大大降低运算复杂度；也可以从像素域中直接计算得到，从而方便地嵌入到现有的大多数像素域算法框架中。本发明是通过以下技术方案实现的，本发明包括以下步骤—种基于运动向量归类分析的异常行为检测方法，包括(1)从相邻帧之间提取当前帧的运动向量信息，相邻帧之间的运动向量信息是由多个运动向量所组成的场，其中每个运动向量对应一帧中的一个像素块或一个像素；(2)根据该些运动向量信息计算对应像素块或像素之间的时间和/或空间相关性；(3)根据步骤( 得到的时间和/或空间的相关性，对像素块或像素的特征进行分类，从中区分包括出不规则运动向量、规则运动向量、背景向量在内的向量信息；(4)选取分类至不规则运动向量类的像素块或像素，从中提取特征信息；(5)基于步骤(4)提取的特征信息与预先设定的域值比对，确定是否存在异常行为。本发明的原理是，由于目标的各种行为和动作往往会在运动向量之间的时空相关性上产生不同的影响，通过对运动向量时空相关性的分析和分类，就能提取出能有效区分正常和异常行为的特征信息，从而达到异常行为检测的目的。同时，由于现有的大多数已有的压缩域视频中都已包含运动向量信息，因此本发明在对压缩域视频进行检测时，只需很少的额外计算量就能有效地进行异常行为检测。与现有技术相比，本发明通过对运动向量进行分类提取特性信息进行行为识别，额外复杂度低，且既能在压缩域也能在像素域实施， 灵活性高。
图1是本发明方法的流程图；
具体实施例方式下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。实施例本实施例包括以下步骤第一步、提取相邻帧之间的运动向量信息，在本实例中，我们将当前帧图像分为 16X16大小且互不交叠的正方形像素块并对每个像素块分别求其运动向量，形成一个运动向量场。提取运动向量的基本方法与Liu文中提到的H. 264运动估计的算法一致。具体是指mvM = C0ST(J)其中，MV(x,y)是当前帧中处于(X，y)位置的像素块对应的运动向量(本实例中，我们用B(x，y)表示处于(x，y)位置的像素块，其中像素块位置指的是像素块中最左上角的像素在一帧中的位置)。(i，j)对应前一帧中像素块B(i，j)的位置，i和j的取值范围是以 χ和y为中心以r为半径一个矩形邻域，即x-r彡i彡x+r, y-r彡j彡y+r，在本实例中，r 取值为32 ；COST是当前像素块和前一帧像素块的代价函数，即
权利要求
1.一种基于运动向量归类分析的异常行为检测方法，其特征在于，包括(1)从相邻帧之间提取当前帧的运动向量信息，相邻帧之间的运动向量信息是由多个运动向量所组成的场，其中每个运动向量对应一帧中的一个像素块或一个像素；(2)根据该些运动向量信息计算对应像素块或像素之间的时间和空间相关性；(3)根据步骤( 得到的时间和空间的相关性，对像素块或像素的特征进行分类，从中区分包括出不规则运动向量、规则运动向量、背景向量在内的向量信息；(4)选取分类至不规则运动向量类的像素块或像素，从中提取特征信息；(5)基于步骤(4)提取的特征信息与预先设定的域值比对，确定是否存在异常行为。
2.如权利要求1所述的基于运动向量归类分析的异常行为检测方法，其特征在于，步骤(1)中从相邻帧之间提取当前帧的运动向量信息为利用下述两种方法之一实现的向量方法一直接利用压缩域视频中已有运动向量作为的向量，方法二 从像素域中利用包括运动估计或光流场在内方法生成的向量。
3.根据权利要求2所述的基于运动向量归类分析的异常行为检测方法，其特征在于，步骤(1)中利用运动估计生成运动向量的方法进一步包括 MVix v. = min COST(x -i,y- j)其中，MV(x，y)是当前帧中处于(x，y)位置的像素块对应的运动向量(本实例中，我们用B(x，y)表示处于(X，y)位置的像素块，其中像素块位置指的是像素块中最左上角的像素在一帧中的位置)。(i，j)对应前一帧中像素块B(i，j)的位置，i和j的取值范围是以 χ和y为中心以r为半径一个矩形邻域，即x-r < i < x+r,y-r ( j ( y+r，C0ST是当前像素块和前一帧像素块的代价函数。
4.根据权利要求3所述的利用运动估计生成运动向量的方法，在利用运动估计生成运动向量时使用的代价函数为C0ST(x-i, y-j) = SAD(x-i, y-j) + A · R(mv(x-i, y-j))其中，R(mv(X-i，y-j))是当前像素块B(x，y)和前一帧像素块B(i，j)之间向量长度的代价，λ是一个参数，R和λ的具体取值和算法与Liu文中提到的H. 264运动估计算法一致。SAD(x-i，y-j)是像素块之间的绝对差值和x+B,y+BSAD(x-i,y-j)= ￡| sfk, l]-c[k-(x-i),l-(y-j)]\k=xj=y其中，sR，l]是当前像素块(x，y)中的一个像素，(3&-0^-1)，1-(71·)]是前一帧像素块B(i，j)中的一个像素；B是像素块的大小。
5.根据权利要求1或4所述的基于运动向量归类分析的异常行为检测方法，其特征在于，步骤⑵中包括两种当前像素块B (X，y)的时间和空间相关性(1)COST(x, y)即当前像素块和其在前一帧中最匹配像素块MV(x，y)对应的块之间的代价函数值；(2)即当前像素块的空间预测运动向量和时间预测运动向量的差值；其中，是在前一帧中，位于(x，y)位置的像素块对应的运动向量；PMV(x，y)是对当前像素块B (X，y)运动向量的预测值。
6.根据权利要求5所述的基于运动向量归类分析的异常行为检测方法，其特征在于，提取出的运动向量计算各像素块之间的时间和空间相关性的方法，其中对当前像素块和其在前一帧中最匹配像素块之间的代价函数进一步包含下面三种形式由权利要求4中定义的代价函数方法计算得到的像素块之间的绝对差值和
7.根据权利要求5所述的基于运动向量归类分析的异常行为检测方法，其特征在于， 其中对当前像素块B (X，y)运动向量的预测值PMV (X，y)为
8.根据权利要求5所述的基于运动向量归类分析的异常行为检测方法，其特征在于， 步骤( 进一步包括
9.根据权利要求1所述的基于运动向量归类分析的异常行为检测方法，其特征在于 步骤( 进一步包括
10.根据权利要求1所述的基于运动向量归类分析的异常行为检测方法，其特征在于 步骤(5)中提取的特征信息与预先设定的域值比对，确定是否存在异常行为进一步为
全文摘要
一种基于运动向量归类分析的异常行为检测方法，包括(1)从相邻帧之间提取当前帧的运动向量信息，相邻帧之间的运动向量信息是由多个运动向量所组成的场，其中每个运动向量对应一帧中的一个像素块或一个像素；(2)根据该些运动向量信息计算对应像素块或像素之间的时间和空间相关性；(3)根据步骤(2)得到的时间和空间的相关性，对像素块或像素的特征进行分类，从中区分包括出不规则运动向量、规则运动向量、背景向量在内的向量信息；(4)选取分类至不规则运动向量类的像素块或像素，从中提取特征信息；(5)基于步骤(4)提取的特征信息与预先设定的域值比对，确定是否存在异常行为。本发明通过对运动向量进行分类提取特性信息进行行为识别，额外复杂度低，且既能在压缩域也能在像素域实施，灵活性高。
文档编号G06T7/20GK102254329SQ20111023715
公开日2011年11月23日 申请日期2011年8月18日 优先权日2011年8月18日
发明者乞炳诚, 林巍峣 申请人:上海方奥通信技术有限公司