基于环路图模型的视频异常检测方法
【专利摘要】本发明公开了一种基于LDA-HMM的环路图模型视频异常检测方法。现有的方法在HMM状态确定LDA主题特征的概率推理中，视频异常检测会受到概率拖尾问题和模型过度拟合或欠拟合问题的困扰。本发明首先选取正常场景的视频段作为训练数据，经过低层特征提取，LDA主题特征提取，通过环路模型参数推理，训练出一个LDA-HMM环路模型。异常检测时，将正常场景视频段和含异常事件视频段数据处理后分布送入已训练好的环路模型中，根据前向算法，得到每一帧的似然函数，当似然函数差大于某一阈值时，判断该帧出现异常。本发明很好地解决了概率拖尾及模型阶数需人为设定的问题，使视频异常检测达到更加精确的效果。
【专利说明】基于环路图模型的视频异常检测方法
【技术领域】
[0001]本发明属于计算机视觉【技术领域】，具体涉及一种基于环路图模型的视频异常检测方法。
【背景技术】
[0002]近年来，随着国民经济的快速增长和社会的迅速进步，银行、电力、交通、安检以及军事设施等领域对安全防范和现场记录报警系统的需求与日俱增，视频监控在生产生活各方面得到了非常广泛的应用。视频异常检测作为智能视频监控的重要应用，具有重要的理论意义和实际应用前景。已有的异常事件检测方法主要是基于异常事件建模的方法，即先从视频序列中提取图像特征，特征通常包括运动目标外形、颜色、运动等信息，然后，基于提取的特征通过人工或应用监督学习技术构建正常事件模型，为了检测异常事件，将视频与正常事件模型相匹配，不适合该模型的片段认为是异常。当前主要有两大主流的检测模型:一个是采用动态贝叶斯网络如隐马尔科夫模型(HMM)，另一个是基于概率主题模型，如LDA模型或其扩展。2007年Naohiko Suzuki等人用离散隐马尔科夫模型(DHMM)对人的轨迹进行建模，识别超市中正常购物者的行为和非正常购物的可疑行为；M.Brand, N.0liver等人用半监督-自适应隐马尔科夫模型，监控扑克牌游戏场景，来分析其场景中的违规行为。2009年R.Mehran, A.0yama等人提出了一种群体异常行为检测算法，检测阶段使用LDA检测算法，从视频中提取n*n*T的数据块作为单词，进行似文本分类。基于LDA和HMM的视频异常事件检测框架凭借其突出的描述能力在近几年备受关注。在该框架中，LDA抽取主题特征，HMM利用状态描述主题特征的演化，但在HMM状态确定LDA主题特征的概率推理中，视频异常事件检测会受到概率拖尾问题的困扰，此外，使用前人为设定HMM模型阶数会导致视频异常检测模型过度拟合或欠拟合问题。针对目前的不足，本发明提出基于LDA-HMM的环路图模型视频异常检测方法，建立HMM状态和LDA主题特征之间的“谐振”，即不仅HMM状态影响LDA主题特征，而且反过来LDA主题特征也会影响HMM状态，这样在视频异常事件检测过程中，不仅HMM模型中的异常状态演化将导致LDA模型关注于相应的异常主题特征，同时LDA模型中的异常主题特征也会影响HMM模型中的状态向异常状态的发展，从而解决概率拖尾及模型阶数需人为设定的问题，实现检测性能的提升。
【发明内容】
[0003]本发明针对现有技术的不足，提供了一种基于环路图模型的视频异常检测方法。
[0004]本发明基于环路图模型的视频异常检测方法，具体思路如下:对于某一个场景的异常事件检测，首先选取正常场景的视频段作为训练数据，接着通过SIFT算法，逐帧提取低层特征，并对这些特征进行聚类，构建成词袋的形式，再通过LDA提取数据的语义特征，将得到的语义特征视为iHMM的观测量，然后通过对LDA-HMM环路模型的参数推理，根据Beam采样和EM算法训练出一个LDA-HMM环路模型。异常事件检测时，将正常场景的视频段和含有异常事件的该场景的视频段分别进行低层特征提取，LDA主题特征提取，送入已训练好的LDA-HMM模型中，根据前向算法，可以得到不同视频段每一帧的似然函数。当某帧的似然函数差大于某一个阈值时，判断该帧出现异常。
[0005]为了方便描述本发明的内容，首先作一下术语定义:
[0006]定义I词汇
[0007]词汇一般定义是一篇文档或者语言里所有的词和固定短语的综合，本文定义是将视频段每一帧低层特征提取处理后得到的数据形式视为词汇。
[0008]定义2语义特征
[0009]语义特征是一篇文档中能够描述这篇文档主题分布的参数。本文定义为能够最佳表示视频每一帧信息数据的量。
[0010]定义3前向算法
[0011]前向算法是用来计算给定隐马尔科夫模型(HMM)后一个观察序列的概率，给定这种算法，可以直接用来确定对于已知的一个观察序列，在一些隐马尔科夫模型(HMMs)中哪一个HMM最好的描述了它一先用前向算法评估每一个(HMM)，再选取其中概率最高的一个。
[0012]本发明提出基于LDA-HMM的环路图模型视频异常检测方法，建立HMM状态和LDA主题特征之间的“谐振”，包括底层特征提取、LDA语义特征提取和HMM的动态评估、参数推理和学习等三项关键技术，具体处理步骤如下:
[0013]步骤一:底层特征提取
[0014]对已录制的视频，采用尺度不变特征变换算法(SIFT)对每一帧图像抽取二维图像位置信息(x，y)的特征。SIFT特征是图像的局部特征，其对旋转、尺度缩放、颜色变化保持不变性，对视角变化、噪声也保持一定程度的稳定性，独特性好，信息量丰富，即使少数的几个物体也可以产生大量的SIFT特征向量，能够得到好的检测效果。
[0015]SIFT算法主要分为五个步骤:
[0016]1.构建尺度空间，检测DOG尺度空间极值点，获得尺度不变性；
[0017]2.特征点过滤并进行精确定位；
[0018]3.为每个关键点赋予128维方向参数；
[0019]4.生成关键点的描述子；
[0020]步骤二:LDA语义特征提取
[0021]LDA是一个三层贝叶斯概率模型，包含词、主题和文档三层结构。LDA将每个文档表示为一个主题混合，每个主题是固定词表上的一个多项式分布。LDA假设文档由一个主题混合产生，同时每个主题是在固定词表上的一个多项式分布；这些主题被集合中的所有文档共享；每个文档有一个特定的主题混合比例，其从Dirichlet分布中抽样产生。作为一种生成式文档模型，用LDA提取文档的隐含语义结构和文档表征已经成功地应用到很多文本相关的领域。
[0022]生成一篇文档的具体步骤如下:
[0023]1.选择N, N服从Poisson ( ξ )分布，N表示每篇文档的词汇量；
[0024]2.选择θ，Θ服从Dirichlet(a )分布，Θ是主题发生的概率，α是Θ的先验分布；
[0025]3.选择主题 Zmn, Zmn 服从 Multinomial ( Θ )分布；[0026]4.选择词汇参数Wmn?，Wmn服从Multinomial(βZm)分布，其中βZm是主题词项分布矩阵。
[0027]LDA主题模型提供了一种介于观测变量和隐藏变量之间的联合概率模型，这样主题参数估计就等价于主题词的最大后验概率估计，或称之为主题模型的推理问题。主题模型的推理是生成文档的逆向过程，已知先验参数α和β，根据文档生成过程可以写出各种随机变量D、z和θ的联合概率，其中D= (W1, W2,...，WM},表示文档集合，z表示主题，W11W2,.......,wM表示各个词汇，其下标表示此词汇是第多少个词汇。
【权利要求】
1.基于环路图模型的视频异常检测方法，其特征在于该方法的具体步骤是: 步骤1.底层特征提取:对已录制的视频，采用SIFT算法对每一帧图像抽取二维图像位置信息特征，得到若干个特征点的128维方向参数，将这些特征点聚类，构建BOW词袋的形式； 步骤2.将视频帧序列的BOW词袋作为文档D，通过LDA模型进行主题语义特征的提取，获取得到表示每帧图像主题特征的主题特征矩阵Y ； 步骤3.将主题特征矩阵Y作为环路HMM-LDA模型的观测量进行环路HMM-LDA的上一部分的参数推理，通过引入辅助变量U，使得潜在状态轨迹中的状态数量为一有限值，利用动态规划的方法计算状态轨迹的条件概率并对整个轨迹进行采样； 采样U:在已知状态转移概率矩阵31、t-Ι和t时刻的轨迹状态Sg、St情况下，Ut服从条件分布
【文档编号】G06K9/00GK103530603SQ201310439344
【公开日】2014年1月22日 申请日期:2013年9月24日 优先权日:2013年9月24日
【发明者】郭春生, 徐俊, 沈佳, 张凤金 申请人:杭州电子科技大学