一种监控视频人物前景分割与分类的方法
【专利摘要】本发明公开了一种监控视频人物前景分割与分类方法，包括了以下步骤：1）提取监控视频的人物前景，采用了混合高斯模型的方法分割前景和背景，并将前景人物用包围盒表示，形成前景人物小视频。2）前景特征提取，对小视频提取关键帧，将前景占有面积比率适中，前景外形和颜色完整的帧，选择作为关键帧，对关键帧提取多个特征。3）特征融合并分类，根据特征将汽车等非人物前景分类出来，对于人物特征采用典型相关系数特征融合方法学习出子空间，将特征投影到具有更好的类特征的子空间，对投影后的特征采用不同的聚类方法，进而将外形颜色类似的前景人物分成同一类。
【专利说明】一种监控视频人物前景分割与分类的方法
【技术领域】
[0001]本发明涉及到一种监控视频人物前景分割与分类的方法，属于计算机视频、机器学习技术等领域。
【背景技术】
[0002]现代生活在带给人们便利的同时也带来了一些安全隐患，为了消除这些隐患采取了多种措施，各个角落的监控视频就是诸多措施中的一种，但是在发生不安全事件时，面对数量庞大的监控视频，检查人员往往需要花费很长的时间搜寻不安全目标，影响了消除不安全事件的效率，现在有一些手段可以从时间和空间两个角度缩短监控视频，缩短没有意义的部分所占视频的比重，这样做虽然能有效的减少浏览没有意义的视频的时间，但是还是需要在多个监控视 频中辨别出目标，而且目前很多对前景分类的研究主要围绕的是对前景的种类进行分类，而正常情况下各种不安全隐患是由人造成的，比如将前景分成各式车辆与人物、分成植物，动物与建筑等等，很少有对人物前景进行分类的研究，前景种类分类的研究主要采用的是监督方法，变换场景后通常还需要采集新场景数据训练耗费较大，而无监督的人物前景分类将会有力缩短搜索范围，大大减少查看监控视频的时间提高工作效率，监控视频前景人物分类研究成为一个有重大意义的研究问题。
[0003]传统的监控视频前景分类主要采用监督学习的方法划分前景的种类，适合用于范围较大的监控场景应用中，但是对于小范围的前景主要是人的监控场景分类则很少有相关研究，而且监督学习需要进行大量的学习准备工作较大，在本发明中采用了分割监控视频前景和背景并提取关键帧的多个特征并用无监督典型相关系数融合特征，采用最低秩聚类方法，给出视频的分类结果。
【发明内容】
[0004]发明目的:本发明所要解决的技术问题是针对现有研究的不足，提供一种监控视频人物前景的分类与分割方法，从而提高检阅监控视频的效率。
[0005]技术方案:本发明公开了一种监控视频人物前景分割与分类的方法，该方法的特征在于能够短时间内浏览同一人物不同场景中的视频，具体包括以下步骤:
[0006]1、分离监控视频的前景和背景:一般而言监控视频的前景指的是活动的事物，通常为人或车，而监控视频的背景指的是视频中静止的景物。采用混合高斯模型将监控视频的前景和背景分离出来，并将每个前景用能完全包围住前景的最小包围盒包围起来，形成独立的前景小视频。步骤I前景和背景分割的详细步骤如下:
[0007]步骤1-1，初始化高斯模型:读取视频的第一帧图像，为图像中每个像素点构建一个含有K个高斯模型的混合高斯模型，K取值范围3~5，像素j在时刻t取值\的概率
P(Xj)可以由这K个高斯模型表示:PO;) = 2^*#4,143^)，其中《^代表七时刻像素j的混合高斯模型中第i个高斯分量的权重，满足:YiI1 Ojj t = 1，和代表t时亥IJ像素j的第i个高斯分量的均值和协方差，N(xj,uij,t,∑ij,t)示高斯概率密度函数，表示如下:
[0008]
【权利要求】
1.一种监控视频人物前景分割与分类的方法，其特征在于，包括以下步骤: 步骤1，分离监控视频的前景和背景:采用混合高斯模型分离监控视频的前景和背景，并将每个前景用能完全包围前景的最小包围盒包围起来，形成独立的前景小视频； 步骤2，提取前景小视频的特征:将前景小视频提取一组关键帧，对每个前景记录面积和移动速度两个特征，进行人物分类之前先将汽车前景分类，对人物前景的关键帧进行膨胀和腐蚀操作后，对每个关键帧提取颜色直方图、局部二值特征和词袋特征； 步骤3，特征融合与分类:对得到的每个前景的面积和速度设置阈值，分类出汽车得到人物前景；对人物前景提取颜色直方图特征、局部二值特征和词袋特征，采用典型相关系数的方法对所述三个特征进行无监督的特征融合，得到一个区分不同类的空间T，将三个特征投影到空间T，对投影后的颜色直方图特征做最低秩子空间聚类，对投影后的LBP和BOW特征做K-means聚类，并根据聚类的结果对前景人物小视频进行分类。
2.如权利要求1所述的一种监控视频人物前景分割与分类的方法，其特征在于，步骤I包括以下步骤: 步骤1-1，初始化高斯模型:读取监控视频的第一帧图像，为图像中每个像素点构建一个含有K个高斯模型的混合高斯模型，K取值范围3~5，用K个高斯模型表示监控视频中每帧图像中每个像素j在时刻t的值X」，像素j在时刻t取值Xj的概率P(Xj)可以由下式确定:
3.如权利要求2所述的一种监控视频人物前景分割与分类的方法，其特征在于，步骤2包含下列步骤: 步骤2-1，提取人物前景的关键帧:固定选取人物视频中间F帧f\，f2，...，fF图像作为关键帧，F取20~40 ; 步骤2-2，提取颜色直方图信息:对F帧f\，f2，...，fF图像人物区域提取颜色特征直方图，设颜色直方图的柱状分区共有m。个，计算图像&中像素点ρ三个颜色通道RGB值对应的柱状分区id，i取I~F，R代表红色通道值，G代表绿色通道值，B代表蓝色通道值，公式如下:
4.如权利要求3所述的一种监控视频人物前景分割与分类的方法，其特征在于，步骤3包含下列步骤: 步骤3-1，设置前景面积和速度的阈值，面积阈值areattosh=800piXel，速度阈值speedthersh=25pixel/image, pixel表示像素，image表示图像,面积特征超过面积阈值的前景划分为汽车类别，面积特征没有超过面积阈值时，若前景速度特征超过速度阈值，前景划分为汽车类别，否则前景划分为人物类别； 步骤3-2，统一数据维度:将步骤2得到的对于F个图像的颜色直方图矩阵iXF，局部二值特征矩阵Hi1XF和词袋特征矩阵mbXF，调用主成分分析PCA方法，降低到统一维度m，所有的特征向量矩阵变为mXF ; 步骤3-3，特征融 :设存在矩阵T维度为mXn，三个特征向量矩阵M1' M2、M3投影到矩阵T所在空间中，同类的空间向量在矩阵T所在空间的投影距离近，不同类的空间向量在矩阵T所在空间中的投影距离很远的特性，初始化T为单位向量矩阵，迭代的更新矩阵T的内容，具体迭代过程如下: 3-3-1，对矩阵M1, M2, M3进行矩阵正三角分解并更新矩阵Mi: TrMi =φΑι, M- = Μ,-Αy1., 3_3-2，对每一对矩阵Μ, ,,W j进行矩阵奇异值分解:M;TTT.rMj = Qij A Qfp 3-3-3,求解矩阵 T:计算矩阵 A = Σ /c 1 = I Efc2 = l(^k I Qk, Ic2 — ^k2 Qk7) Qk l Ic2 ~计算矩阵A的特征向量汍}=1: Ati=Xti, λ为矩阵A中特征向量\的特征值，将\按照从大到小的顺序排序构成矩阵T，即TT It1, t2，...，tn}，这里矩阵A的不同特征向量个数确定了 η的大小； 重复步骤3-3-1~3-3-3直至T收敛为止，其中i取值范围I~3，Tt表示矩阵T的转置矩阵，M' i表示Mi的逆矩阵Mi^表示Mi的逆转置矩阵，Φ表示矩阵正三角分解后的正交矩阵，Ai则是矩阵正三角分解后的上三角矩阵，Δ—1表示Ai的逆矩阵，Qij表示矩阵奇异值分解的酉矩阵，T的列维度η由矩阵A确定； 步骤3-4，前景视频分类:将特征向量矩阵M1,M2,M3投影到T所在的空间中，即Mi=T1Mi,i取I~3，得到新的特征向量矩阵M1, M2, M3 ； 步骤3-5，颜色直方图特征聚类:颜色矩阵乂采用最低秩子空间聚类方法计算出每帧图像之间的相似度w，构造图1mage，将所有的前景图像作为结点，图像之间的相似度w作为权重，然后采用谱聚类Ncut方法对图1mage进行分割，从而完成对图像的分类，相似度w的计算方法如下: 3-5-1，初始化参数λ 0,相关性矩阵Ζ，相关性矩阵Z的等价矩阵J=0，Z=J,噪声纠正矩阵Ε=0，拉格朗日矩阵Y1=O, Y2=O,拉格朗日惩罚参数μ =IO-6,最大拉格朗日惩罚参数maXlJ=101(l，拉格朗日惩罚参数倍数Ptl=Ll,常数ε =10_8 ; 3-5-2，计算M1每列数据的相关性矩阵等价矩阵J:固定其他矩阵更新矩阵J，
【文档编号】G06T7/00GK103985114SQ201410108137
【公开日】2014年8月13日 申请日期:2014年3月21日 优先权日:2014年3月21日
【发明者】郭延文, 缪丽姬, 夏元轶 申请人:南京大学