专利名称：一种基于团块与轨迹特征的异常行为描述方法
技术领域：
本发明涉及视频信号处理、模式识别、智能监控领域，具体而言，本发明涉及一种基于团块与轨迹特征的异常行为描述方法。
背景技术：
异常行为描述在智能视频监控、视频注解、虚拟现实、人机交互，公共安全等领域中具有广阔的应用前景，在这些应用的推动下，异常行为描述已经成为计算机视觉和模式识别领域的研究热点。模板序列匹配法和特征序列匹配法是传统的异常行为描述方法，匹配类方法计算量较小，但对于目标的时间间隔敏感，而且异常行为样本稀少，只能描述简单异常行为，鲁棒性不高。混合高斯模型由于其正态分布，很难描述异常行为。根据图像特征的相关性，人们引入马尔可夫随机场MRF (Markov Random Field)模型来描述异常行为，MRF模型能融合利用异常行为多特征，但是实际中它采用了关于特征的条件独立假设，不具有联系上下文信息的能力，并且MRF模型将后验概率的建模转化为对先验概率和观测模型的建模，但异常行为的先验概率模型很难建立。CRF(Conditional Random Fields)模型直接对后验概率建模，不但能融合多个特征，还具有联系上下文信息的能力。但上述方法都是基于目标的底层状态空间特征，并没有考虑目标所处场景的影响。而且传统的状态空间方法，都是基于单帧图像或者几帧、几十帧图像，属于短时的行为，没有考虑长时间内的行为。有些异常行为在短时间段内并不能明显的表现出来。这就需要对目标进行长时间的描述
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，特别是在异常行为描述中结合了场景对异常行为描述的影响。为实现上述目的，本发明提出了一种基于团块与轨迹特征的异常行为描述方法，包括如下步骤:步骤(I)、利用特征提取方法提取场景特征，包括颜色特征、纹理特征、位置特征；步骤(2)、利用K-means算法对颜色特征、纹理特征、位置特征进行聚类，形成视觉单词；利用PLSA模型将视觉生成隐含语义的主题分布，利用CRF模型对主题分布进行建模，通过模型训练获取模型的参数估计，最终通过模型推断获取场景团块的描述；步骤(3 )、利用混合高斯模型对视频信息中的运动目标进行检测，获得运动目标区域，求取区域的质心，连接质心坐标生成目标的运动轨迹特征；步骤(4)、组合目标的运动轨迹特征和场景团块描述，生成组合特征向量；步骤(5)、利用HMM模型对组合特征向量建模，通过HMM模型的训练获得新的转移状态矩阵和混淆矩阵，通过评估问题获得测试视频序列的异常行为描述。其中，提取图像的颜色特征、纹理特征、位置特征，作为原始特征，将图像I分成互不重叠且大小为mXn的块,(m, η为正整数,根据图像I的大小而定,参考值为m = 16，η =16)，对每一块按照不同的算法求取颜色特征、纹理特征、位置特征如下:a)、颜色特征将图像从RGB空间转换到HSV空间，并将图像分成mXn大小的块(m，η为正整数，根据图像I的大小而定，参考值为m = 16，η = 16)，将块内的各个分量的均值作为颜色特征Bi = (hi； Si, Vi)。h表示色相，s表示饱和度，V表示亮度，i表示像素点个数。b)、纹理特征二维Gabor函数在空间域和频率域具有良好的局部性质和多通道、多分辨率特性，采用Gabor变换进行纹理特征提取，Gabor变换定义为:
权利要求
1.一种基于团块与轨迹特征的异常行为描述方法，其特征在于，包括如下步骤:步骤(I)、利用特征提取方法提取场景特征，包括颜色特征、纹理特征、位置特征；步骤(2)、利用K-means算法对颜色特征、纹理特征、位置特征进行聚类，形成视觉单词；利用pLSA模型将视觉生成隐含语义的主题分布，利用CRF模型对主题分布进行建模，通过模型训练获取模型的参数估计，最终通过模型推断获取场景团块的描述； 步骤(3)、利用混合高斯模型对视频信息中的运动目标进行检测，获得运动目标区域，求取区域的质心，连接质心坐标生成目标的运动轨迹特征； 步骤(4)、组合目标的运动轨迹特征和场景团块描述，生成组合特征向量； 步骤(5)、利用HMM模型对组合特征向量建模，通过HMM模型的训练获得新的转移状态矩阵和混淆矩阵，通过评估问题获得测试视频序列的异常行为描述。
2.如权利要求1所述的一种基于团块与轨迹特征的异常行为描述方法，其特征在于，提取图像的颜色特征、纹理特征、位置特征，作为原始特征，将图像I分成互不重叠且大小为mXη的块，m, η为 正整数，根据图像I的大小而定，参考值为m= 16，η = 16，对每一块按照不同的算法求取颜色特征、纹理特征、位置特征如下: a)、颜色特征 将图像从RGB空间转换到HSV空间，并将图像分成mXn大小的块，m，η为正整数，根据图像I的大小而定，参考值为m = 16, η = 16，将块内的各个分量的均值作为颜色特征Bi =(hi； Si, Vi), h表示色相，s表示饱和度，V表示亮度，i表示像素点个数； b)、纹理特征 二维Gabor函数在空间域和频率域具有良好的局部性质和多通道、多分辨率特性，采用Gabor变换进行纹理特征提取，Gabor变换定义为:G(X15J1) = ----exp[-1(^V + -^r)] ^[2π]Ψχι ] 2πσχ'σ 2 σ- σ; X1 =X1 cos 沒+ Vj sin 沒 [P1 二 -X1 sin <9 + Jji cos^ 其中，W为正弦光栅的频率，Θ为方向，σ为尺度，将图像分成mXn大小的块，m，η为正整数，根据图像I的大小而定，参考值为m= 16，n= 16, x, y为二维坐标,对每一块进行Gabor变换，并将均值和方差作为原始特征； I GG “二，其中，U表示均值，G表示Gabor变换，P为G的分布； Cj X CjG G ■ = ΣΣ(ζ.— P,，其中Var表示方差，G表示Gabor变换，P为G的分布； 二I 片 为了准确的描述场景的纹理信息，分别取Θ = {0°，45° ,90° , 135° }方向； C)、位置特征 为了提取位置特征，首先将图像分成mXn大小的块，参考值为m = 16，η = 16，然后，在原始图像上面生成W X W个的隐单元网格，参考值为W = 16,判断单元网格落在哪一个mX η的块里，从而利用单元网格的索引作为位置特征，最终的位置特征表示为:kP = W2其中kp表示位置特征，w表示隐单元网格。
3.如权利要求1所述的一种基于团块与轨迹特征的异常行为描述方法，其特征在于，提取的特征利用K-means聚类形成视觉单词，具体如下: 采用K-means聚类算法对原始特征进行聚类，形成视觉单词，K - means算法的目标是把输入的特征数据，聚成K类，算法首先随机选取K个点作为初始聚类中心，然后计算各个样本到聚类中心的欧式距离，把样本归到离他最近的聚类中心所在的类，对调整后的新类计算新的聚类中心，如果相邻两次的聚类中心没有变化，说明样本调整结束，算法步骤如下: 步骤I)、给定大小为N的数据集，令1=1，选取K个初始聚类中心，Zj(I)1J =1,2,3，…，K; 步骤2)、计算每个样本对象与聚类中心的欧氏距离:D(XilZj(I))1 i = 1,2, 3，...，N，j = 1,2, 3，...，K，如果满足 D (Xi, Zm(I)) = min{D (xi； Zj(I)), j = I, 2，3，…，N},则 Xi e wK ; 步骤3)、计算误差平方和准则函数J。:
4.如权利要求3所述的一种基于团块与轨迹特征的异常行为描述方法，其特征在于，所述的利用PLSA模型将视觉生成隐含语义的主题分布具体如下:pLSA 模型用 D = ((I1, d2,…，dn}表示文档，W = {wv w2, ---,WmI 表示单词，P(ZkIdi)Z =(Z1, Z2,…，ζκ}表示潜在的语义集合,N = InijInij = η (φ, Wj), i彡N, j彡Μ}表示文档和单词的共生矩阵，其中η (φ，Wj)表示单词Wj在文档Cli中出现的频度，WXD的联合概率可表示为:
5.如权利要求4所述的一种基于团块与轨迹特征的异常行为描述方法，其特征在于，所述CRF的参数需要进行估计CRF模型中，需要通过训练来确定CRF模型中的参数Θ ={w，V}，这里采用极大似然(ML)估计方法，假设训练图库包含M幅独立分布的训练图像，即{x, y} = {xm, ym, m = I,…，Μ}, ML估计选择使对数-似然极大化的参数，即:
6.如权利要求5所述的一种基于团块与轨迹特征的异常行为描述方法，其特征在于，所述CRF需要进行模型推断获得场景团块的描述，为了描述新的观测图像y，需要推断y的最优描述X，这里有两种方法从后验分布上推断描述，maximum a posteriori (MAP)和maximum posterior marginals (MPM)，准确的MAP对于高维的特征向量很难计算，因为MAP只考虑最大似然情况，忽略了与其它解的不同，所以在寻找近似解时过于保守，MPM算法采用后验概率最小致使误描述的数量最小，常常能获得比较好的结果； X* = arg max p(xt | Vj) xi 采用MPM算法来推断I的最优描述X。
7.如权利要求1所述的一种基于团块与轨迹特征的异常行为描述方法，其特征在于，所述的轨迹特征获取具体如下:提取轨迹特征，并且将场景的团块描述与轨迹特征进行组合； 为了获取运动目标的轨迹特征，需要对给定视频信息进行运动目标描述，采用混合高斯模型进行运动目标描述，获得运动目标区域，并求取每帧图像中运动目标的质心，连接质心生成目标的运动轨迹； 对于目标O，设第i帧图像中运动目标的质心坐标为(Xi，yi)，(5Xi, Syi)表示目标在i帧时刻的运动速度矢量，用一个流矢量序列描述目标的运动轨迹，其中流失量f是一个四元组，既表示运动目标的位置，也表示运动目标的速度:fi = (Xi, Yi, 5Xi, Syi),将流失量中的每个元组进行归一化，目标的运动轨迹可以表示为由η个流失量组合的集合:F。=If1, f2, - , fi；…，fj其中，η为视频数据包含的帧数； 为了将场景团块描述组合到目标的运动轨迹特征中，假设生成的场景团块为IT1J2,…，TJ，总共生成s个团块；根据实验需要，不同的场景，所生成的场景团块的数目s也不相同；在i时刻，目标的轨迹坐标为f\= (xi； Yi, δΧ , Syi),根据目标质心的坐标判断目标在I时刻，所属的场景团块T，并将场景团块T与目标质心坐标组合，实现轨迹特征与场景语义状态的组合，组合后的i时刻目标的轨迹坐标表示为://=Ix^yiiSxhSytJ) 其中T为i时刻目标所在的团块描述，最终组合后的特征向量为: 然后，采用HMM模型对组合特征向量进行建模。
8.如权利要求1所述 的一种基于团块与轨迹特征的异常行为描述方法，其特征在于，所述的HMM模型是一种用参数表示的用于描述随机过程统计特性的概率模型，是一个双重随机过程，由两个部分组成:马尔可夫链和一般随机过程，其中马尔可夫链用来描述状态的转移，用转移概率描述；随机过程用来描述状态与观察序列间的关系，用观察值概率描述； HMM模型有三类基本问题: ①、评估问题，给定观察序列O= O1CV-Ot和模型参数(π，A，B)，计算P (O I λ )，即给定模型和输出观察序列，如何计算从模型生成观察序列的概率，把它看作是评估一个模型和给定观察输出序列的匹配程度； ②、解码问题，给定观察序列O= O1O2-Ot和模型(π，Α，B)，求在某种有意义的情况下最优的相关状态序列Q = Q1Q2…％ ； ③、学习问题，如何调整模型参数U，Α，B)，对于一个给定的观察序列O= O1O2-Ot,使得P (O I λ )最大； 给定的同一场景下，有着不同类型的组合特征向量，对于每一种类型的组合特征向量产生一个HMM模型，从T2 — T4 — T2为一种类型，产生一个HMM模型；从T2 — T3 — T2为一种类型，产生一个HMM模型，依此类推，将产生一组HMM模型，这组HMM模型又被分为两类:一类为正常行为，另一类为异常行为，用来描述测试数据异常行为；具体的算法步骤为如下: A)、HMM模型训练 进行HMM训练时，将每种类型的全局特征向量视为观察序列，然后分别用Baum-Welch算法训练，得到一组HMM模型的参数集合；B)、HMM模型评估 在HMM评估时，给定测试全局特征向量，视为测试序列，采用向前向后算法，评估这个测试序列最有可能是那个HMM模型产生，从而确定测试全局特征向量是否为异常行为；通过HMM模型的评估，得 到正常行为和异常行为的描述。
全文摘要
本发明提出一种基于团块与轨迹特征的异常行为描述方法，利用特征提取方法提取场景的颜色特征、纹理特征、位置特征，利用K-means算法将这些特征聚类生成团块，并用条件随机场模型(CRF)对团块进行描述。利用混合高斯模型进行运动目标检测，并提取目标的轨迹特征，组合团块描述与轨迹特征，形成组合特征向量，用隐马尔科夫模型(HMM)对组合特征向量建模，用建立的HMM模型描述目标在场景内的异常行为，摘要附图
为本发明的原理框图。本发明基于团块与轨迹特征的异常行为描述方法不但考虑了场景对异常行为的影响，并且实现了对目标长时间的跟踪和描述。
文档编号G06K9/46GK103218628SQ20131009554
公开日2013年7月24日 申请日期2013年3月22日 优先权日2013年3月22日
发明者郭立, 赵龙, 刘皓 申请人:中国科学技术大学