一种基于高斯混合模型的视频中异常行为在线检测方法
【专利摘要】本发明公开了一种基于高斯混合模型的视频中异常行为在线检测方法，首先从视频中提取原图像序列，对原图像序列中的每张图像执行步骤一至步骤四：步骤一，合成原图像的低分辨率图像；步骤二，分别计算原图像和低分辨率图像中的光流；步骤三，分别按照原图像和低分辨率图像各自的划分方法将这两种图像划分成图像块；步骤四，为原图像和低分辨率图像中每个图像块计算对应的高斯混合模型；步骤五，计算图像块序列的标准高斯混合模型；步骤六，将原图像序列的下一张图像作为待检测图像，按照步骤1至步骤4计算待检测图像中每个图像块的高斯混合模型；步骤七，判断待检测图像中每个图像块是否存在异常行为；步骤八，标记异常图像块并输出。
【专利说明】
【技术领域】
[0001] 本发明涉及一种视频流中异常行为在线检测方法，特别是将高斯混合模型应用到 对光流分布的建模中。 一种基于高斯混合模型的视频中异常行为在线检测方法
【背景技术】
[0002] 近年来，大量的研究人员对场景中异常行为检测问题进行了研究，并提出了一些 异常行为检测方法。这些方法大致可以分为两类：基于事件检测的方法和基于统计偏离的 方法。基于事件检测的方法对场景中每一个具体的异常行为进行建模，与某个异常行为相 匹配运动被检测为异常行为；而基于统计偏离的方法则对场景中正常的运动进行了建模， 与所有正常运动都不一致的运动被定义为异常行为。
[0003] 在基于事件检测的方法中，通常假设所有的异常事件或异常行为是已知的。基于 上述假设，该类方法的主要思路如下：首先，从场景数据中选取包含场景中典型异常事件的 训练数据。然后，根据相应的训练数据对每一中异常事件进行建模，创建一个由异常事件构 成的字典。该字典被认为包含了场景中所有可能的异常事件。接着，在字典中查找是否存 在与测试视频所包含的事件相匹配的异常事件。如果匹配成功，则该测试视频中包含匹配 项对应的异常事件；否则，该测试视频不包含异常行为。然而，基于事件检测的方法存在两 个重要的问题：
[0004] 1.需要对每一个异常事件建模，创建异常字典，这往往需要消耗大量时间用来建 立字典且准确度不高。
[0005] 2.这种方法的移植性差，对场景的依赖性强。
[0006] 针对这些问题，我们采用基于统计偏离的方法，该方法可以进一步分为两类，一类 是基于跟踪的方法，另一类是避免跟踪的方法。本专利中，采用避免跟踪的方法，与基于跟 踪的方法不同，本方法不用提前识别每个对象，检测的目标为图像块，这样可以避免对象识 别与跟踪错误导致的检测失败，在可以提高检测速度的同时保证了准确度。
【发明内容】
[0007] 发明目的：本发明所要解决的技术问题是针对现有的视频中异常检测技术的不 足，提供一种基于高斯混合模型的视频中异常行为在线检测方法，可以从视频中快速准确 的检测出异常。
[0008] 为了解决上述技术问题，本发明公开了一种基于高斯混合模型的视频中异常行为 在线检测方法，首先从视频中提取原图像序列，对原图像序列中的每张图像执行步骤一至 步骤四：
[0009] 步骤一，合成原图像的低分辨率图像，得到原图像和低分辨率图像两种不同分辨 率下的图像；
[0010] 步骤二，利用Lucas-Kanade算法分别计算原图像和低分辨率图像中的光流并对 得到的光流进行噪声处理； toon] 步骤三，分别按照原图像和低分辨率图像各自的划分方法将这两种图像划分成 MXN个图像块，M，N取值范围自然数；
[0012] 步骤四，为原图像和低分辨率图像中每个图像块计算对应的高斯混合模型：首先 对图像块中的光流聚类，得到K个聚类中心，然后设置该图像块对应的高斯混合模型所包 含的高斯分量数目为K，利用最大似然估计算法计算高斯混合模型中的最大似然估计值； 最后得到该图像块对应的高斯混合模型；
[0013] 步骤五，分别对原图像序列和低分辨率图像序列中相同位置处的图像块合成标准 高斯混合模型：首先聚类图像块序列对应的高斯混合模型序列，然后选择聚类结果中包含 高斯混合模型最多的聚类中心作为该图像块序列的标准高斯混合模型；
[0014] 步骤六，将原图像序列的下一张图像作为待检测图像，按照步骤一至步骤四计算 待检测图像中每个图像块的高斯混合模型；
[0015] 步骤七，判断待检测图像中每个图像块是否存在异常行为；
[0016] 步骤八，标记异常图像块并输出。
[0017] 本发明步骤一中，低分辨率图像Γ中像素点（X，y)的灰度值由原图像I中以像素 点（2x，2y)为中心的5X5邻域内的灰度值合成，首先将5X5邻域内每一行5个像素按照 1:4:6:4:1的比例合成出该行中间像素的灰度值：
[0018]
【权利要求】
1. 一种基于高斯混合模型的视频中异常行为在线检测方法，其特征在于，包括以下步 骤： 从视频中提取原图像序列，对原图像序列中的每张图像执行步骤一至步骤四： 步骤一，合成原图像的低分辨率图像，得到原图像和低分辨率图像两种不同分辨率下 的图像； 步骤二，利用Lucas-Kanade算法分别计算原图像和低分辨率图像中的光流并对得到 的光流进行噪声处理； 步骤三，分别按照原图像和低分辨率图像各自的划分方法将这两种图像划分成MXN 个图像块，M，N取值范围自然数； 步骤四，为原图像和低分辨率图像中每个图像块计算对应的高斯混合模型：首先对图 像块中的光流聚类，得到K个聚类中心，然后设置该图像块对应的高斯混合模型所包含的 高斯分量数目为K，利用最大似然估计算法计算高斯混合模型中的最大似然估计值，得到该 图像块对应的高斯混合模型； 步骤五，分别对原图像序列和低分辨率图像序列中相同位置处的图像块合成标准高斯 混合模型：首先聚类图像块序列对应的高斯混合模型序列，然后选择聚类结果中包含高斯 混合模型最多的聚类中心作为该图像块序列的标准高斯混合模型； 步骤六，将原图像序列的下一张图像作为待检测图像，按照步骤一至步骤四计算待检 测图像中每个图像块的高斯混合模型； 步骤七，判断待检测图像中每个图像块是否存在异常行为； 步骤八，标记异常图像块并输出。
2. 根据权利要求1所述的一种基于高斯混合模型的视频中异常行为在线检测方法，其 特征在于，步骤四包括以下步骤： 利用Mean Shift聚类算法对图像块中的光流聚类，得到K个聚类中心以及每个类别中 包含的光流数目； 使用高斯混合模型描述图像块中光流的分布，其中高斯混合模型表示为：
其中，K表示高斯混合模型中高斯分量的数目，值等于光流聚类中心的数量，参数k取 值1?K，c〇k表示高斯混合模型中第k个高斯分量的权重，初始化为第k个类别中包含光 流数目的比例，v表示光流，N k(v|uk，Σ,)表示第k个高斯分量，％和Σ,表示第k个高斯 分量的均值和协方差矩阵； 利用最大似然估计算法，学习得到K个高斯混合模型的参数c〇k，Uk，Σ,，最终得到。
3. 根据权利要求1所述的一种基于高斯混合模型的视频中异常行为在线检测方法，其 特征在于，步骤五包括以下步骤： 利用改进的Mean Shift聚类算法对步骤四得到的高斯混合模型聚类，聚类算法包括以 下步骤： 步骤51 :随机选取一个高斯混合模型为起点，计算以起点为中心的邻域内高斯混合模 型的中心，高斯混合模型邻域内的中心表示为在该高斯混合模型和其邻域内的高斯混合模 型构成的集合中，到其他高斯混合模型的距离之和最小的高斯混合模型； 步骤52 :以中心对应的高斯混合模型为起点，继续计算以起点为中心的邻域内高斯混 合模型的中心； 步骤53 :重复步骤51和步骤52,直至连续两个中心的距离小于设定阈值，停止迭代； 步骤54 :对每个未选取过的高斯混合模型，重复步骤51?步骤53,直至所有的高斯混 合模型都被选取过； 该聚类算法中，两个高斯混合模型的距离使用KL散度计算，KL散度计算公式为：
gl和g2为需要计算KL散度的两个高斯混合模型，Vi表示第i个光流，D a(gl，g2)为gl 和g2之间的KL散度，η表示在高斯混合模型中抽取的样本点个数； 高斯混合模型gl和g2的抽样过程分为两步：首先按照各自高斯混合模型中高斯分量的 权重为每个高斯分量分配样本点数目，然后再根据该高斯分量的高斯概率密度函数抽样样 本点； 通过高斯混合模型的聚类，得到若干个聚类中心，每个聚类包含若干个高斯混合模型， 将聚类结果中包含高斯混合模型最多的聚类中心作为图像块序列的标准高斯混合模型。
4.根据权利要求1所述的一种基于高斯混合模型的视频中异常行为在线检测方法，其 特征在于，步骤七包括以下步骤： 计算待检测图像中该图像块对应的高斯混合模型与标准高斯混合模型之间的差异得 分 Scorei :
F和:F分别表示两种分辨率下图像块的高斯混合模型，G与G分别表示两种分辨率下相 同位置处图像块序列的标准高斯混合模型，表示KL散度，其中，α =0.8; 计算图像块与邻接图像块之间的差异得分Sc〇re2 :
其中，^和;f分别表示两种分辨率下与图像块相邻的高斯混合模型集合，^_和$表示 对应集合中第j个高斯混合模型，Z表示与该图像块相邻的高斯混合模型个数，j取值1? Z ； 该图像块中存在异常行为的得分Score为： Score = β Scored (1- β ) Score2, 其中，β =0.5,当Score彡η,将该图像块标记为异常块，否则标记为正常，η为阈 值。
【文档编号】G06T7/20GK104156979SQ201410361276
【公开日】2014年11月19日 申请日期:2014年7月25日 优先权日:2014年7月25日
【发明者】路通, 秦龙飞, 马小林 申请人:南京大学