基于方向性共同发生特征的人体行为分类识别方法及系统的制作方法
【专利摘要】本发明涉及一种基于方向性共同发生特征的人体行为分类识别方法及系统。该方法包括：在视频序列中检测人体目标并提取时空兴趣点；提取HOG和HOF特征，对时空兴趣点聚类；统计具有不同类别标签的时空兴趣点对出现在相同帧时的方向信息；统计方向性时空点对特征直方图，得到针对输入视频的特征描述；将该词袋模型中的直方图特征换成方向性时空点对特征直方图，针对不同类别行为进行训练，得到对应的特征描述；提取得到输入的测试视频的特征描述，与不同类别行为的特征描述模板进行最近邻匹配，匹配度最高的即为该视频对应的行为类别。本发明通过描述局部特征点对之间的方向信息有效提升了人体行为分类和识别的准确率和鲁棒性。
【专利说明】基于方向性共同发生特征的人体行为分类识别方法及系统
【技术领域】
[0001]本发明属于机器视觉中的目标识别和智能人机交互【技术领域】，具体涉及一种鲁棒的基于方向性共同发生特征的人体行为分类识别方法。
【背景技术】
[0002]人体行为分析早在二十世纪三十年代就开始了。但早期较成功的研究还主要是集中于对刚体运动的研究上。五十年代左右，对非刚体的研究逐渐兴起。尤其是人体运动分析，其在智能视频监控、机器人控制、人机交互等方面具有广泛的应用前景，激发了世界范围内的广大工作者的研究兴趣。
[0003]在现实场景中，人体行为识别尤其是分类具有众多难点:人体运动的执行者经常是处于不同的年龄阶段、拥有不同的外表，同时，运动速度和时空变化程度都因人而异；不同的运动看上去有很大的相似性，即类间相似，这是与上面提到的类内多样性相对的一种困难情况；同时人体行为分类面临众多图像处理的经典难点问题，如人体遮挡，室外场景中存在阴影，光照变化以及人群拥挤等。面对这些困难，如何实现鲁棒的人体行为分类，从而应用于真实场景中的智能监控，具有重要的研究意义。
[0004]人体行为描述方法分为两大类:全局特征和局部特征。全局特征即将人体行为视为一个整体提取得到运动描述，是一种自顶向下的过程。全局特征描述是一种很强的特征，能编码运动的大部分信息。然而，全局特征对视角、遮挡、噪声都极其敏感，并且，提取全局特征的前提是能很好的分割运动前景。这对复杂场景下的人体行为描述要求的预处理过程极为苛刻。考虑到全局特征的不足，针对复杂场景下的人体行为描述，局部特征被提出，作为全局特征的补充。局部特征的提取是一种自底向上的过程:首先检测时空兴趣点，然后在这些兴趣点周围提取局部纹理方块，最后将对这些方块的描述结合起来组成最终描述子。由于词袋模型(bag of visual words model)参见J.C.Niebles, Η.Wang, and L.Fe1-Fei, “Unsupervised learning of human action categories usingspatialtemporal words, ”in BMVC, vol.3, pp.1249-1258，2006。)的提出，使得利用局部特征进行人体行为分类的框架被广泛采用。局部特征与全局特征不同，其对噪声和部分遮挡的敏感性较低，并且局部特征的提取不需要前景分割和跟踪的过程，因此能很好的适用于复杂场景中的人体行为分析。由于局部特征点忽略了点跟点之间的全局约束关系，因此需要更高一层的空间关系描述来提升现有的词袋模型分类效果。
【发明内容】
[0005]本发明针对上述问题，提出一种基于方向性共同发生特征的人体行为分类识别方法，使用局部特征点并通过描述特征点之间的空间结构关系来建立人体行为模型，最终实现人体行为分类和识别。本发明通过描述局部特征点对之间的方向信息有效提升了传统方法的准确率和鲁棒性。
[0006]本发明采用的技术方案如下:[0007]—种基于方向性共同发生特征的人体行为分类识别方法，其步骤如下:
[0008]I)在视频序列中检测人体目标；
[0009]2)对包含人体目标的时空域提取时空兴趣点；
[0010]3)提取时空兴趣点的HOG和HOF特征，并将时空兴趣点聚类成若干类别；
[0011]4)对于具有不同类别标签的时空兴趣点对，统计其出现在相同帧时的方向信息；
[0012]5)利用所述方向信息统计方向性时空点对特征直方图，得到针对输入视频的特征描述；
[0013]6)利用词袋模型将局部特征的个数直方图分布作为整体的特征表达，将该词袋模型中的直方图特征换成由步骤I)?5)得到的方向性时空点对特征直方图，针对不同类别行为进行训练，得到不同行为类别对应的特征描述；
[0014]7)当输入测试视频时，根据步骤I)?5)提取得到该视频的特征描述，然后与步骤
6)得到的不同类别行为的特征描述模板进行最近邻匹配，匹配度最高的即为该视频对应的行为类别。
[0015]更进一步，所述人体行为分类是针对视频中能够检测出的人体行为进行的，提取的时空兴趣点指的是时空域中灰度变换剧烈的点。
[0016]更进一步，时空兴趣点对的方向性指的是两点在空间中的上下或左右关系，并且优先考虑点对间的上下关系，当两点空间中的垂直距离小于一定阈值时，考虑左右关系；当两点空间中的水平距离也小于一定阈值时，在统计方向性时空点对特征直方图时舍弃该点对。
[0017]更进一步，使用均值聚类或其他聚类方法对时空兴趣点进行聚类，时空兴趣点的聚类个数优选为400?1000。
[0018]本发明还提出一种采用上述方法的基于方向性共同发生特征的人体行为分类识别系统，其包括:
[0019]视频输入端，包括可获取视频序列的摄像设备；
[0020]特征提取输出端，提取视频中人体行为对应的方向性时空点对特征描述；
[0021]离线训练分类器，在视频输入端获取的视频序列中检测人体行为目标，利用特征提取输出端输出的人体行为的特征描述，针对每个行为类别，将对应的多个视频的直方图特征取平均，并将平均的直方图特征作为该行为类别对应的特征；
[0022]匹配输出模块，对于输入的测试视频，利用离线训练分类器得到视频中人体行为对应的特征，并将其与多个行为类别对应的特征分类匹配，将匹配度最高的作为测试视频对应的行为类别，并输出该类别标签。
[0023]更进一步，所述视频输入端获取的视频序列为RGB图像序列。
[0024]本发明实现了鲁棒的基于方向性共同发生特征的人体行为分类识别方法和系统，即利用局部时空兴趣点对之间上下或者左右的相对方位关系编码局部时空兴趣点的空间结构特征，从而增加了不同行为类别之间的区分度。本发明属于对利用词袋模型和局部特征点做行为分类的框架的拓展。本发明的效果图如图3所示，可以看出与现有技术相比，本发明的人体行为分类效果最好。
【专利附图】
【附图说明】[0025]图1是本发明的基于方向性共同发生特征的人体行为分类识别方法的步骤流程图。
[0026]图2是本发明的视频描述子(即方向性时空点对特征直方图)提取流程图；
[0027]图3是本发明使用的数据库部分样例；
[0028]图4?图6是本发明的人体行为分类效果图；其中图3采用原始词袋模型和直方图特征，图4采用词袋模型和共同发生特征，图5采用词袋模型和本发明提出的方向性点对直方图特征。
【具体实施方式】
[0029]下面通过具体实施例和附图，对本发明做进一步说明。
[0030]本发明的基于方向性共同发生特征的人体行为识别方法，使用局部特征点并通过描述特征点之间的空间结构关系来建立人体行为模型，最终实现人体行为分类和识别。局部特征点的提取和描述参照"Evaluation of local spatio-temporal features foraction recognition" (2009)，H.Wang, Μ.M.Ullah, A.Klaser, 1.Laptev and C.Schmid; inProc.BMVC’ 09。
[0031]图1所示为本发明方法的步骤流程图，包括:1)在视频序列中检测人体目标；2)对包含人体目标的时空域提取时空兴趣点；3)提取时空兴趣点的HOG和HOF特征，并将时空兴趣点聚类成若干类别；4)对于具有不同类别标签的时空兴趣点对，统计其出现在相同帧时的方向信息；5)利用所述方向信息统计方向性时空点对特征直方图，得到针对输入视频的特征描述；6)利用词袋模型将局部特征的个数直方图分布作为整体的特征表达，将该词袋模型中的直方图特征换成由步骤I)?5)得到的方向性时空点对特征直方图，针对不同类别行为进行训练，得到不同行为类别对应的特征描述；7)当输入测试视频时，根据步骤I)?5)提取得到该视频的特征描述，然后与步骤6)得到的不同类别行为的特征描述模板进行最近邻匹配，匹配度最高的即为该视频对应的行为类别。
[0032]下面结合图2说明本发明的人体行为的视频对应的方向性点对直方图特征的提取步骤:
[0033]I)时空兴趣点的提取和描述
[0034]本发明使用文献“C.Schuldt, 1.Laptev, and B.Caputo, “Recognizing humanactions: a local svm approach, ”in ICPR, pp.32-36，2004”中使用的时空兴趣点检测器和描述子。时空兴趣点检测器的参数与上述文献中的参数保持一致。时空兴趣点描述子采用维数为90维的HOG特征和72维多HOF特征，两种特征串联起来组成162维的描述子。图2中A、B、C表示时空兴趣点。
[0035]2)时空兴趣点的聚类
[0036]本发明采用K均值聚类方法，针对实验中的不同数据库设定不同的聚类个数。实验米用 UT-1nteraction和 Rochester 两个数据库，分别由文献“M.S.Ryoo, Human activityprediction:Early recognition of ongoing activities from streaming videos, inICCV, pp.1036-1043，2011” 和 “R.Messing, C.Pal, and H.Kautz, Activity recognitionusing the velocity histories of tracked keypoints, in ICCV, pp.104-111，2009，，提出。对于UT-1nteraction数据库，聚类个数设为450 ;对Rochester数据库，聚类个数设为500。
[0037]3)方向性点对直方图特征提取
[0038]本发明关注具有不同类别且出现在相同帧上的时空兴趣点对之间的关系。假设变量S= {Si，..., Sk,..., SkI包含一个视频中提取到的所有时空兴趣点；Sk包含所有标签为k的时空兴趣点，其中k属于I到聚类个数K之间?冬)代表标签为i的时空兴趣点；且(\，^)分别代表该点的横纵坐标和所在的帧数。方向性点对直方图特征提取
的主要步骤如下:
【权利要求】
1.一种基于方向性共同发生特征的人体行为分类识别方法，其步骤包括: 1)在视频序列中检测人体目标； 2)对包含人体目标的时空域提取时空兴趣点； 3)提取时空兴趣点的HOG和HOF特征，并将时空兴趣点聚类成若干类别； 4)对于具有不同类别标签的时空兴趣点对，统计其出现在相同帧时的方向信息； 5)利用所述方向信息统计方向性时空点对特征直方图，得到针对输入视频的特征描述； 6)利用词袋模型将局部特征的个数直方图分布作为整体的特征表达，将该词袋模型中的直方图特征换成由步骤I)~5)得到的方向性时空点对特征直方图，针对不同类别行为进行训练，得到不同行为类别对应的特征描述； 7)当输入测试视频时，根据步骤I)~5)提取得到该视频的特征描述，然后与步骤6)得到的不同类别行为的特征描述模板进行最近邻匹配，匹配度最高的即为该视频对应的行为类别。
2.如权利要求1所述的方法，其特征在于:所述时空兴趣点是时空域中灰度变换剧烈的点。
3.如权利要求1所述的方法，其特征在于:所述时空兴趣点对的方向性是指两点在空间中的上下或左右关系。
4.如权利要求3所述的方法，其特征在于:当两点空间中的垂直距离小于一定阈值时，考虑左右关系；当两点空间中的水平距离也小于一定阈值时，在统计方向性时空点对特征直方图时舍弃该点对。
5.如权利要求1所述的方法，其特征在于:使用均值聚类方法对时空兴趣点进行聚类。
6.如权利要求5所述的方法，其特征在于:所述时空兴趣点的聚类个数为400~1000。
7.如权利要求1所述的方法，其特征在于，步骤5)使用如下方法提取方向性时空点对特征直方图: a)对具有不同类别标签的共发生点对，由公式(I)计算得到方向性点对特征，并由公式(2)计算得到阈值T ; b)由公式(3)得到整个输入视频中方向性共同发生特征的统计量N; c)由公式(4)和(5)得到基于统计量N的概率分布P； d)由公式(6)得到最终特征描述H，H由P级联组成； 其中公式(1)~(6)如下所示:
8.一种采用权利要求1所述方法的人体行为分类识别系统，其特征在于，包括: 视频输入端，包括可获取视频序列的摄像设备； 特征提取输出端，提取视频中人体行为对应的方向性时空点对特征描述； 离线训练分类器，在视频输入端获取的视频序列中检测人体行为目标，利用特征提取输出端输出的人体行为的特征描述，针对每个行为类别，将对应的多个视频的直方图特征取平均，并将平均的直方图特征作为该行为类别对应的特征； 匹配输出模块，对于输入的测试视频，利用离线训练分类器得到视频中人体行为对应的特征，将其与多个行为类别对应的特征分类匹配，将匹配度最高的作为测试视频对应的行为类别，并输出该类别标签。
9.如权利要求8所述的装置，其特征在于:所述视频输入端获取的视频序列为RGB图像序列。
【文档编号】G06K9/66GK103854016SQ201410119629
【公开日】2014年6月11日 申请日期:2014年3月27日 优先权日:2014年3月27日
【发明者】刘宏, 刘梦源, 孙倩茹 申请人:北京大学深圳研究生院