专利名称：检测异常行为的方法和设备及生成检测器的方法和设备的制作方法
技术领域：
本发明涉及模式识别领域，尤其涉及检测视频中对象的异常行为的方法和设备， 以及生成用于检测视频中对象的异常行为的检测器的方法和设备。
背景技术：
随着技术的发展以及硬件设备价格的逐渐降低，大量的监控摄像头被安装到各种场合，特别是那些对安全要求敏感的场合，如机场、社区、银行、停车场、军事基地等。动态场景的视觉监控是近年来备受关注的前沿研究方向。视觉监控是从摄像机捕捉的图像序列中分析和理解运动目标的行为，并对异常行为进行报警的技术。异常行为检测是智能视觉监控的重要功能。因此，对异常行为检测的研究具有重要的意义。在 Hu 等人的文章“Anomaly Detection Based on Motion Direction”，ACTA AUTOMAT ICA SINICA, Vol. 34，No. 11, November，2008 (下文中简称为文献 1)中提出了提出了一种基于运动方向的异常行为检测方法。根据不同行为的运动方向具有不同的规律性的事实，该方法采用块运动方向描述不同的动作，并利用支持向量机对实时监控视频进行异常行为检测。在进行行为描述时，先提取相应视频段的所有前景帧的块运动方向，然后对这些运动方向进行归一化直方图统计得到该视频段的行为描述特征。
发明内容
本发明旨在提供一种检测视频中对象的异常行为的方法和设备，以及生成用于检测视频中对象的异常行为的检测器的方法和设备，以改进异常行为检测。本发明的一个实施例是一种检测视频中对象的异常行为的方法。根据该方法，从视频中获得具有预定长度的图像的序列。计算序列的每个图像的运动向量方向直方图。将序列的所有图像的运动向量方向直方图形成特征向量。将特征向量输入检测器，以检测对象的异常行为。在上述检测视频中对象的异常行为的方法的进一步实施例中，从视频中获得序列可以包括从视频中检测独立运动区域，以及从视频中的独立运动区域获得序列。在上述检测视频中对象的异常行为的方法的进一步实施例中，从视频中检测独立运动区域可以包括从视频的图像帧之一中检测出前景，检测前景中的独立连通区域，以及将覆盖独立连通区域的区域提取为独立运动区域。在上述检测视频中对象的异常行为的方法的进一步实施例中，还可以响应于检测器检测出对象的异常行为，检测序列的图像中非对象的运动物体的存在，以及在检测结果表明不存在非对象的运动物体的情况下，检测出对象的异常行为。在上述检测视频中对象的异常行为的方法的进一步实施例中，还可以将转换矩阵 Mapdxm乘以所形成的特征向量，以将相乘结果作为输入检测器的特征向量，其中m为相乘之前特征向量的维数，d为相乘之后特征向量的维数，并且d < m。本发明的一个实施例是一种检测视频中对象的异常行为的设备，包括提取装置、特征计算装置和检测装置。提取装置从视频中获得具有预定长度的图像的序列。特征计算装置计算序列的每个图像的运动向量方向直方图，并且将序列的所有图像的运动向量方向直方图形成特征向量。检测装置将特征向量输入检测器，以检测对象的异常行为。在上述检测视频中对象的异常行为的设备的进一步实施例中，提取装置可以包括运动区域检测装置和区域图像提取装置。运动区域检测装置从视频中检测独立运动区域。 区域图像提取装置从视频中的独立运动区域获得序列。在上述检测视频中对象的异常行为的设备的进一步实施例中，运动区域检测装置可以包括前景检测装置、连通区域分析装置和覆盖区域提取装置。前景检测装置从视频的图像帧之一中检测出前景。连通区域分析装置检测前景中的独立连通区域。覆盖区域提取装置将覆盖独立连通区域的区域提取为独立运动区域。在上述检测视频中对象的异常行为的设备的进一步实施例中，检测装置可以包括非对象检测装置和过滤装置。非对象检测装置响应于检测器检测出对象的异常行为，检测序列的图像中非对象的运动物体的存在。过滤装置在检测结果表明不存在非对象的运动物体的情况下，检测出对象的异常行为。在上述检测视频中对象的异常行为的设备的进一步实施例中，特征计算装置可以包括降维装置，其将转换矩阵Mapdxm乘以所形成的特征向量，并且将相乘结果作为要输入检测器的特征向量提供给检测装置，其中m为相乘之前特征向量的维数，d为相乘之后特征向量的维数，并且d<m。本发明的一个实施例是一种生成用于检测视频中对象的异常行为的检测器的方法。根据该方法，输入多个具有预定长度的图像的序列中的每个序列，其中每个序列包含的对象的行为的类型已被标记。计算序列的每个图像的运动向量方向直方图。将序列的所有图像的运动向量方向直方图形成特征向量。根据各个序列的相应特征向量和所标记的行为类型来训练检测器。在上述生成检测器的方法的进一步实施例中，形成特征向量可以包括利用降维方法计算将所形成的特征向量降维的变换矩阵Mapdxm，其中m为降维之前特征向量的维数，d 为降维之后特征向量的维数，并且d < m,以及将转换矩阵Mapdxm乘以所形成的特征向量， 以将相乘结果作为训练所根据的特征向量。本发明的一个实施例是一种生成用于检测视频中对象的异常行为的检测器的设备，包括输入装置、特征计算装置和训练装置。输入装置输入多个具有预定长度的图像的序列中的每个序列，其中每个序列包含的对象的行为的类型已被标记。特征计算装置计算序列的每个图像的运动向量方向直方图，并且将序列的所有图像的运动向量方向直方图形成特征向量。训练装置根据各个序列的相应特征向量和所标记的行为类型来训练检测器。在上述生成检测器的设备的进一步实施例中，特征计算装置可以包括变换矩阵生成装置和变换装置。变换矩阵生成装置利用降维方法计算将所形成的特征向量降维的变换矩阵Mapdxm，其中m为降维之前特征向量的维数，d为降维之后特征向量的维数，并且d<m。 变换装置将转换矩阵Mapdxm乘以所形成的特征向量，以将相乘结果作为训练所根据的特征向量。降维方法可以包括主成份分析方法、因子分析方法、单值分解(Singular Value Decomposition, SVD)、多维尺度分析(multi-dimensionalscaling，MDS)、局部线性
5嵌入(locally linear embedding, LLE)、等距映射(Isomap)、线性鉴别分析(Linear Discriminant Analysis,LDA)、局部切空间排列(local tangent space alignment,LTSA) 禾口最大方差展开(Maximum variance unfolding, MVU)。
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。在附图中不必依照比例绘制出单元的尺寸和相对位置。图1的框图示出根据本发明实施例的生成用于检测视频中对象的异常行为的检测器的设备的结构。图2是示出生成特征向量的过程的例子的示意图。图3A是示出根据本发明实施例的生成用于检测视频中对象的异常行为的检测器的方法的流程图。图:3B是示出图3A所示的方法中计算运动向量方向直方图并形成特征向量的步骤的一个例子的流程图。图4的框图示出根据本发明实施例的生成用于检测视频中对象的异常行为的检测器的设备400的结构。图5的框图示出了根据本发明实施例的检测视频中对象的异常行为的设备的结构。图6A是示出根据本发明实施例的检测视频中对象的异常行为的方法的流程图。图6B是示出图6A所示的方法中获得图像序列的步骤的一个例子的流程图。图6C是示出图6B所示的过程中检测独立运动区域的步骤的一个例子的流程图。图6D是示出图6A所示的过程中检测异常行为的步骤的一个例子的流程图。图7的框图示出了根据本发明实施例的检测视频中对象的异常行为的设备的结构。图8示出图7的运动区域检测装置的一个例子的结构。图9示出图7的检测装置的一个例子的结构。图10示出图7的特征计算装置的一个例子的结构。图11是示出其中实现本发明的计算机的示例性结构的框图。
具体实施例方式下面参照附图来说明本发明的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。图1的框图示出根据本发明实施例的生成用于检测视频中对象的异常行为的检测器的设备100的结构。如图1所示，设备100包括输入装置101、特征计算装置102和训练装置103。为生成用于检测视频中对象的异常行为的检测器，通常准备样本视频段。每个视频段中包含有特定行为类型的对象(例如人、动物、车辆等等)的行为，例如正常行走、聊天、打架、病倒等等。根据具体应用的检测目的，可以将这些行为类型中的一或多个类型划分为正常行为类型，而将其余行为类型划分为异常行为类型。对于包含正常行为类型的行为的视频段，将其标记为正常行为类型。对于包含异常行为类型的行为的视频段，将其标记为异常行为类型。针对每个这样的视频段，从中提取出行为描述特征，从而获得视频段的行为描述特征和相应行为类型。所有视频段的行为描述特征和相应行为类型形成训练数据集。于是能够使用相应训练方法根据训练数据集训练出检测器。例如，在文献1中提出了一种这样的方案。根据该方案，对于每个视频段，提取该视频段中每一前景帧的块运动向量方向。 然后，对该视频段的所有块运动向量方向做归一化直方图统计，得到该视频段的行为描述特征。根据该方案，采用支持向量机方法来训练出用于检测异常行为的检测器(也称分类器)O在图1所示的实施例中，输入装置101输入多个具有预定长度的图像的序列中的每个序列。这样的图像序列即为样本视频段，其具有预定长度。预定长度L可以用序列所包含的图像的帧数N来衡量，也可以用序列所占的时间T来衡量。可以理解，帧数N(例如 30)和时间T满足关系N = TXR，其中R为视频的帧速率。预定长度L的选择取决于要检测的完整对象行为通常所需的时间。所选择的预定长度L应保证图像序列能够基本包含所要检测的完整对象行为的过程，以便提供足够的信息来进行检测。出于训练的目的，每个序列包含某个行为类型的对象行为，并且此对象行为的行为类型已被标记。因而，当后续处理遇到一个序列时，能够得知此序列所包含的对象行为的行为类型。序列所包含的对象行为的行为类型可以是正常行为类型，或异常行为类型。当然，正常行为类型和异常行为类型可以分别包括一或多个具体的行为类型，但在本发明的实施例中将这些具体的行为类型归类为正常行为类型和异常行为类型。对于输入装置101输入的每个序列，特征计算装置102计算序列的每个图像的运动向量方向直方图。可选地，运动向量方向直方图可以是归一化的运动向量方向直方图。运动向量可以是像素运动向量，也可以是块运动向量。运动向量方向直方图的计算通常基于前景图像。可采用已知的方法来从序列的图像中提取出前景图像。已知的方法包括基于像素的前景检测算法和基于轮廓邻域信息的前景检测算法。基于像素的前景检测算法主要包括帧差法(Temporal differencing) 和背景法(Background subtraction)。例如在 Chris Mauffer 和 W. Ε· L. Grimson 的文章 "Adaptive backgroundmixture models for real-time tracking",1999 IEEE Computer SocietyConference on Computer Vision and Pattern Recognition(CVPR' 99)-Volume 2，pp. 2246,1999中描述了如何采用高斯混合模型对背景进行建模以及如何在图像中区分前景和背景的技术。可采用已知的方法来计算运动向量方向直方图。例如，在文献1中介绍了计算运动向量方向直方图的技术。运动向量方向直方图的方向区间的配置(即方向区间的宽度和数目)可以是任意的。可选地，也可以采用文献1的3.2. 1节中介绍的原则来确定配置。在一个具体实现中， 可以采用/8，π/8]、[O, π/4]、[π/8，3 π/8]、[π/4, π/2]、[3 π/8，5 π/8]、[π/2, 3 π/4], [5 π/8,7 π /8], [3 π /4, π ], [7 π /8, 9 π /8], [ ji , 5 π /4], [9 π /8,11 π /8], [5 π /4，3 π /2]、[11 π /8，13 π /8]、[3 π /2，7 π /4]、[13 π /8，15 π /8]、[7 π /4，2 π ]这样的
716个方向区间。对于每个序列，特征计算装置102将该序列的所有图像的运动向量方向直方图形成特征向量。假设运动向量方向直方图的方向区间的数目为K，序列中图像数目为N，则每个运动向量方向直方图包含数据&,」，其中1 < i <K，1 < j <Ν，χΜ表示针对序列中第j 个图像统计出的方向落在方向区间i的运动向量的数目(或归一化数目)。所形成的特征向量由所有的数据Xq构成。数据Xm在特征向量中的排列顺序可以是任意的。作为一个
例子，特征向量可以是(Xu ，xI,2'…，xI, N' X2，l，X2，2，…，X2，N，…，XK，1，ΧΚ,2'…，XK, N^ °图2是示出生成特征向量的过程的例子的示意图。如图2所示，输入装置101输入一个序列。该序列包含图像201-1、201-2、…、201-Ν。特征计算装置102计算序列的每个图像201-1、201-2、…、201-Ν的运动向量方向直方图202-1、202-2、…、202-Ν。运动向量方向直方图包含前面的例子中描述的16个方向区间。特征计算装置102将该序列的所有图像的运动向量方向直方图202-1、202-2，…、202-Ν形成特征向量203，即(Xl,^xlj2,…，
γνν· · · ν· · · νν· · · ν)
入1，Ν，入2，1，入2，2，，入2，Ν，，入 16，1，入 16，2，，入 16，N乂 °回到图1，训练装置103根据各个序列的相应特征向量和所标记的行为类型来训练检测器。可采用已知的训练方法来训练检测器。例如，可以像在文献1中描述的那样采用支持向量机来训练检测器。此外，可以采用基于概率分布模型的训练方法来训练检测器。假设从一个序列中提取的特征向量为Xm，其中m是特征向量的维数。从η个序列中提取的所有特征向量表示为矩阵Xmxn。可以基于所得到的矩阵Xmxn，计算概率分布模型，其中概率分布模型所基于的单概率分布模型对应于不同行为类型(即正常行为类型和异常行为类型)。也就是说，基于从包含正常行为的序列中提取的特征向量获得对应于正常行为类型的单概率分布模型，基于从包含异常行为的序列中提取的特征向量获得对应于异常行为类型的单概率分布模型。通过已知的方法，能够根据对应于每个行为类型的特征向量的集合，能够计算出相应的单概率分布模型(即模型参数)，进而能够计算出所有行为类型的单概率分布模型的概率分布模型(即模型参数)。适合使用的概率分布模型包括但不限于混合高斯模型、隐马尔科夫模型和条件随机场。在一个具体示例中，采用混合高斯模型。在这个示例中，对于特征向量X，假设特征 X满足概率分布公式
/ 、 Μp(x\e) = Yjp*N{x\ui,Zl),
i=\其中M为行为类型的数目，Ν(Χ|ι^，Σ 0为针对行为类型i的单高斯模型，即正态分布模型。Ui和1 i是正态分布模型的参数，P i表示针对行为类型i的单高斯模型在混合高斯模型中的权重。根据所有行为类型的特征集，通过已知的估计方法，例如期望最大化方法EM能够计算最优的Ρ^ιι^ΠΣ i，i = 1，…，Μ。图3Α是示出根据本发明实施例的生成用于检测视频中对象的异常行为的检测器的方法300的流程图。
如图3A所示，方法300从步骤301开始。在步骤303，输入具有预定长度的图像序列，其中该序列包含的对象的行为的类型已被标记。在步骤305，计算序列的每个图像的运动向量方向直方图。可选地，运动向量方向直方图可以是归一化的运动向量方向直方图。运动向量可以是像素运动向量，也可以是块运动向量。在步骤305，将序列的所有图像的运动向量方向直方图形成特征向量。假设运动向量方向直方图的方向区间的数目为K，序列中图像数目为N，则每个运动向量方向直方图包含数据Xi,」，其中1 < i < K，1 < j < N，Xi, j表示针对序列中第j个图像统计出的方向落在方向区间i的运动向量的数目(或归一化数目)。所形成的特征向量由所有的数据构成。数据Xi,」在特征向量中的排列顺序可以是任意的。作为一个例子，特征向量可以是在步骤307，确定是否还有要输入的序列。如果有，则返回步骤303。否则，执行步骤 309。在步骤309，根据各个序列的相应特征向量和所标记的行为类型来训练检测器。可采用已知的训练方法来训练检测器。例如，可以像在文献1中描述的那样采用支持向量机来训练检测器。此外，可以采用基于概率分布模型的训练方法来训练检测器。假设从一个序列中提取的特征向量为Xm，其中m是特征向量的维数。从η个序列中提取的所有特征向量表示为矩阵Xmxn。可以基于所得到的矩阵Xmxn，计算概率分布模型，其中概率分布模型所基于的单概率分布模型对应于不同行为类型(即正常行为类型和异常行为类型)。也就是说，基于从包含正常行为的序列中提取的特征向量获得对应于正常行为类型的单概率分布模型，基于从包含异常行为的序列中提取的特征向量获得对应于异常行为类型的单概率分布模型。通过已知的方法，能够根据对应于每个行为类型的特征向量的集合，能够计算出相应的单概率分布模型(即模型参数)，进而能够计算出所有行为类型的单概率分布模型的概率分布模型(即模型参数)。适合使用的概率分布模型包括但不限于混合高斯模型、隐马尔科夫模型和条件随机场。在一个具体示例中，采用混合高斯模型。在这个示例中，对于特征向量X，假设特征 X满足概率分布公式
权利要求
1.一种检测视频中对象的异常行为的方法，包括 从所述视频中获得具有预定长度的图像的序列；计算所述序列的每个所述图像的运动向量方向直方图； 将所述序列的所有图像的运动向量方向直方图形成特征向量；和将所述特征向量输入检测器，以检测对象的异常行为。
2.如权利要求1所述的方法，其中，从所述视频中获得所述序列包括 从所述视频中检测独立运动区域；和从所述视频中的所述独立运动区域获得所述序列。
3.如权利要求2所述的方法，其中，从所述视频中检测独立运动区域包括 从所述视频的图像帧之一中检测出前景；检测所述前景中的独立连通区域；和将覆盖所述独立连通区域的区域提取为所述独立运动区域。
4.如权利要求1至3中任何一个所述的方法，还包括响应于所述检测器检测出对象的异常行为，检测所述序列的图像中非对象的运动物体的存在；和在检测结果表明不存在非对象的运动物体的情况下，检测出对象的异常行为。
5.如权利要求1所述的方法，还包括将转换矩阵Mapdxm乘以所形成的特征向量，以将相乘结果作为输入所述检测器的所述特征向量，其中m为相乘之前所述特征向量的维数，d为相乘之后所述特征向量的维数，并且 d < m0
6.一种检测视频中对象的异常行为的设备，包括提取装置，其从所述视频中获得具有预定长度的图像的序列； 特征计算装置，其计算所述序列的每个所述图像的运动向量方向直方图，并且将所述序列的所有图像的运动向量方向直方图形成特征向量；和检测装置，其将所述特征向量输入检测器，以检测对象的异常行为。
7.如权利要求6所述的设备，其中，所述提取装置包括 运动区域检测装置，其从所述视频中检测独立运动区域；和区域图像提取装置，其从所述视频中的所述独立运动区域获得所述序列。
8.如权利要求7所述的设备，其中，所述运动区域检测装置包括 前景检测装置，其从所述视频的图像帧之一中检测出前景； 连通区域分析装置，其检测所述前景中的独立连通区域；和覆盖区域提取装置，其将覆盖所述独立连通区域的区域提取为所述独立运动区域。
9.如权利要求6至8中任何一个所述的设备，其中，所述检测装置包括非对象检测装置，其响应于所述检测器检测出对象的异常行为，检测所述序列的图像中非对象的运动物体的存在；和过滤装置，其在检测结果表明不存在非对象的运动物体的情况下，检测出对象的异常行为。
10.如权利要求6所述的设备，其中，所述特征计算装置包括降维装置，其将转换矩阵Mapdxm乘以所形成的特征向量，并且将相乘结果作为要输入所述检测器的所述特征向量提供给所述检测装置，其中m为相乘之前所述特征向量的维数，d为相乘之后所述特征向量的维数，并且d < m。
11.一种生成用于检测视频中对象的异常行为的检测器的方法，包括输入多个具有预定长度的图像的序列中的每个序列，其中所述序列包含的对象的行为的类型已被标记；计算所述序列的每个所述图像的运动向量方向直方图；将所述序列的所有图像的运动向量方向直方图形成特征向量；和根据各个序列的相应特征向量和所标记的行为类型来训练所述检测器。
12.如权利要求11所述的方法，其中，形成特征向量包括利用降维方法计算将所形成的特征向量降维的变换矩阵Mapdxm，其中m为降维之前所述特征向量的维数，d为降维之后所述特征向量的维数，并且d < m ；和将转换矩阵Mapdxm乘以所形成的特征向量，以将相乘结果作为所述训练所根据的所述特征向量。
13.如权利要求12所述的方法，其中所述降维方法包括主成份分析方法、因子分析方法、单值分解、多维尺度分析、局部线性嵌入、等距映射、线性鉴别分析、局部切空间排列和最大方差展开)。
14.一种生成用于检测视频中对象的异常行为的检测器的设备，包括输入装置，其输入多个具有预定长度的图像的序列中的每个序列，其中所述序列包含的对象的行为的类型已被标记；特征计算装置，其计算所述序列的每个所述图像的运动向量方向直方图，并且将所述序列的所有图像的运动向量方向直方图形成特征向量；和训练装置，其根据各个序列的相应特征向量和所标记的行为类型来训练所述检测器。
15.如权利要求14所述的设备，其中，所述特征计算装置包括变换矩阵生成装置，其利用降维方法计算将所形成的特征向量降维的变换矩阵 Mapdxm，其中m为降维之前所述特征向量的维数，d为降维之后所述特征向量的维数，并且d < m ；和变换装置，其将转换矩阵Mapdxm乘以所形成的特征向量，以将相乘结果作为所述训练所根据的所述特征向量。
16.如权利要求15所述的设备，其中所述降维方法包括主成份分析方法、因子分析方法、单值分解、多维尺度分析、局部线性嵌入、等距映射、线性鉴别分析、局部切空间排列和最大方差展开。
全文摘要
公开了检测异常行为的方法和设备及生成检测器的方法和设备。检测视频中对象的异常行为的设备包含提取装置，其从所述视频中获得具有预定长度的图像的序列；特征计算装置，其计算所述序列的每个所述图像的运动向量方向直方图，并且将所述序列的所有图像的运动向量方向直方图形成特征向量；和检测装置，其将所述特征向量输入检测器，以检测对象的异常行为。
文档编号G06T5/40GK102236783SQ20101016244
公开日2011年11月9日 申请日期2010年4月29日 优先权日2010年4月29日
发明者刘畅, 刘舟, 吴伟国, 王贵锦 申请人:清华大学, 索尼公司