本发明属于视频图像处理技术领域,特别涉及一种视频行为识别方法,可用于视频监控。
背景技术:
近年来,行为识别与视频分类日益重要的学术价值、经济效益和社会价值引起了众多学者的普遍关注,成为计算机视觉领域具有挑战性的研究课题,人体行为识别在智能视频监控、视频内容检索、新型人机交互、虚拟现实、视频编码与传输、游戏控制等多方面具有广阔的应用前景。随着视频行为识别领域研究工作的不断深入,研究者发现,底层特征对于复杂的视频行为描述能力非常有限,研究热点逐步从新底层特征的设计和提取,转移到高层语义的定义和分类模型的构建等。为此,众多学者致力于挖掘底层新特征,并在此基础上构建高层语义,取得了不菲的研究成果。
目前已提出的高层语义构建方法主要有:
(1)a.farhadi,i.endres,d.hoiem,andd.forsyth.describingobjectsbytheirattributes.incvpr,2009。该文章开创性的将识别任务由命名转向了描述,即将对象命名转变为描述对象的属性或性质,并将属性应用于对象的检测和分类,获得了较好的识别结果,但该方法未考虑对象的属性和行为类别间的一致性关系,使得对象的属性缺乏较好的判别能力,降低了行为识别的准确率。
(2)j.liu,b.kuipers,ands.savarese.recognizinghumanactionsbyattributes.incvpr,2011。该文章将高级语义概念引用到行为识别领域,以满足复杂的行为视频表示,同时还考虑了属性和视频中行为类别间的相关性。然而,该高层语义仅考虑了名词属性和形容词属性,描述能力仍然不足。
(3)yaob,jiangx,khoslaa,etal.humanactionrecognitionbylearningbasesofactionattributesandparts.iniccv,2011:1331-1338。该文章不仅将与行为相关的动词属性用于人体行为识别,还联合了与行为密切相关的对象和姿势部件,加入了更丰富的语义信息,获得了较高的行为识别准确率。然而对象和姿势的学习,需要额外学习对象检测器和姿势检测器,而对象检测器需要在精确检测对象的基础上实现,应用于复杂的人体行为比较困难。
技术实现要素:
本发明目的是针对上述已有技术的不足,提出基于混淆矩阵下高层语义的视频行为识别方法,以充分利用完备的人类高级知识,有针对性地纠正视频行为混淆,提高视频行为识别的准确率。
为实现上述目的,本发明的技术方案包括如下:
(1)对所有行为视频提取稠密轨迹,采用轨迹的方向梯度直方图hog和光流方向直方图hof对轨迹进行描述,并对该hog和hof分别采用主成分分析pca降维,得到行为视频的两个底层特征fhog和fhof;
(2)对两个底层特征fhog和fhof分别进行k-means聚类,再采用词袋模型bow分别编码,串接得到行为视频的底层特征向量m,将m作为线性svm分类器的训练样本,训练得到所有行为的svm分类器集合svm_low_set;
(3)采用步骤(2)训练得到的分类器集合svm_low_set,对行为视频进行分类,获取分类后的混淆矩阵h;
(4)针对混淆矩阵h,人工定义能够区分混淆行为的高层语义,获取所有行为类别的高层语义集合gset;
(5)将高层语义集合gset与行为类别相关联,获取完整的高层语义列表l;
(6)将高层语义列表l和行为视频训练集train_set相关联,获取所有高层语义的判别式分类器集合svm_dis_set;
(7)将行为视频测试集test_set中的每一个行为视频vn,依次输入到svm_dis_set中,将所有判别式分类器的判分输出结果串接,得到行为视频vn的高层语义特征向量gfeat(vn);
(8)将行为视频训练集train_set与测试集test_set进行交换,重复步骤(6)和步骤(7),得到所有行为视频的高层语义特征向量gfeat;
(9)利用行为视频分类器集合svm_low_set,获取各行为视频类别在其隶属类别分类器下的隶属度sco,并与行为视频的高层语义特征向量gfeat共同训练隐变量支持向量机lsvm分类器,测试时,将测试样本的隶属度和高层语义特征向量输入到训练好的lsvm中,获取视频行为分类结果。
本发明与现有技术相比具有以下优点:
1)本发明针对混淆矩阵,人工定义高层语义,能够有针对性地纠正混淆行为。
2)本发明将底层特征的隶属度和高层语义特征向量作为隐变量,能够描述语义特征与行为类别的相关性,最终提高了视频行为识别的准确率。。
附图说明
图1是本发明的实现流程图。
具体实施方式
下面结合附图,对本发明的实施做进一步详细描述。
参照图1,本发明基于混淆矩阵的高层语义视频行为识别方法,实现步骤如下:
步骤1,提取稠密轨迹,得到行为视频的底层特征。
对行为视频帧中的像素点进行稠密采样,并根据稠密光流进行特征点跟踪,提取稠密轨迹,用来表示行为的运动;
对稠密轨迹采用轨迹的方向梯度直方图hog和光流方向直方图hof进行描述,并对该hog和hof分别采用主成分分析pca降维,得到行为视频的两个底层特征fhog和fhof。
步骤2,获取所有行为类的svm分类器集合svm_low_set。
(2.1)设定聚类中心个数为n,分别对底层特征fhog和fhof进行k-means聚类,并用n个聚类中心构建码书;
(2.2)利用步骤(2.1)构建的码书,分别对fhog和fhof进行量化编码,统计量化编码后的码字直方图,作为该行为视频的两个底层特征描述子;
(2.3)将两个底层特征描述子进行串接,作为该行为视频的底层特征向量m,使用线性svm分类器进行训练,得到所有行为类别的svm分类器集合svm_low_set。
步骤3,获取混淆矩阵h。
采用步骤2训练得到的分类器集合svm_low_set,对行为视频进行分类,获取分类后的混淆矩阵h;
步骤4,根据混淆矩阵h,针对错分的行为类别,获取所有行为类别的高层语义集合gset。
(4.1)利用步骤(3)得到的混淆矩阵h,选择h中非对角线上的非零元素,将其作为行为视频中的混淆行为;
(4.2对混淆行为进行有针对性地纠正,列举混淆行为的所有属性,从该属性中选择能够区分混淆行为的属性,作为混淆行为视频的高层语义;
(4.3)对不同混淆行为执行步骤(4.2)的过程,得到所有行为类别的高层语义集合gset。
步骤5,将高层语义集合gset与行为类别相关联,获取完整的高层语义列表l。
(5.1)通过二进制方法获取各高层语义在所有行为类别下的二进制值:
若某类行为视频中包含某一个高层语义,则将该类行为视频的标签设置为1,并将该类行为视频作为正样本;
否则,将该类行为视频的标签设置为0,并将该类行为视频作为负样本;
(5.2)统计所有行为类别对应的二进制标签值,得到行为视频数据集完整的高层语义列表l。
步骤6,将高层语义列表l和行为视频训练集train_set相关联,获取所有高层语义的判别式分类器集合svm_dis_set。
(6.1)将行为视频数据集中的行为视频划分为训练集train_set和测试集test_set;
(6.2)利用步骤5获得的高层语义列表l,对于每一种高层语义,利用训练集train_set中的行为视频,对线性svm判别式分类器进行训练;
(6.3)针对所有的高层语义,逐一对线性svm判别式分类器进行训练,获取所有高层语义对应的判别式分类器集合svm_dis_set。
步骤7,将测试集test_set中的每一个行为视频vn,依次输入到判别式分类器集合svm_dis_set中,将所有判别式分类器的判分输出结果进行串接,得到行为视频vn的高层语义特征向量gfeat(vn)。
步骤8,获取所有行为视频的高层语义特征向量gfeat。
(8.1)将行为视频训练集train_set与行为视频测试集test_set进行交换,得到新的行为视频训练集train_set′和行为视频测试集test_set′;
(8.2)将高层语义列表l和train_set′相关联,获取所有高层语义的新判别式分类器集合svm_dis_set′;
(8.3)将test_set′中的每一个行为视频v′n,依次输入到判别式分类器集合svm_dis_set′中,将所有判别式分类器的判分输出结果进行串接,得到行为视频v′n的高层语义特征向量g′feat(v′n);
(8.4)通过步骤7和步骤(8.3)得到所有行为视频的高层语义特征向量gfeat。
步骤9,利用步骤2训练好的所有行为类的svm分类器集合svm_low_set,将所有行为视频分别输入到该svm_low_set中,获取其底层特征在隶属类别分类器下的隶属度sco。
步骤10,联合隶属度sco和高层语义特征向量gfeat,训练隐变量支持向量机lsvm分类器,进行行为识别。
(10.1)将隶属度sco和高层语义特征向量gfeat作为行为视频的隐变量;
(10.2)根据两个隐变量sco和gfeat,构建lsvm分类器的目标函数如下:
其中,fw(vn,k)表示任意行为视频vn的底层特征和高层语义在类别k的权系数向量下的判分,k=1,2,…,l,l表示所有行为类别的总数,w1表示隶属度的权系数,w2表示高层语义向量的权系数向量,sco(vn,k)表示行为视频vn的底层特征在类别k下的隶属度,gfeat(vn)表示行为视频vn的高层语义向量;
(10.3)利用如下权系数向量目标函数,学习第k类行为视频
其中,
(10.4)将行为视频测试样本的隶属度和高层语义特征向量,输入到训练好的lsvm分类器中,获取行为视频类别。
为验证本发明的有效性,在标准的人体行为数据库kth和ucf-sports上,利用本发明进行人体行为识别;
识别结果为:在数据库kth上的识别率为98.33%,在数据库ucf-sports上的识别率为97.33%。
以上描述仅是发明的一个具体实例,并未构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明的内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。