专利名称：基于时空梯度特征的分部位的人体运动识别方法
技术领域：
本发明属于图像处理技术领域，涉及人体运动识别方法，可用于虚拟视频、智能监控和姿态估计。
背景技术：
人体运动识别是近几年来计算机视觉领域的重大热点之一，人体运动识别在运动捕获，人机交互，视频监控等多领域获得了初步的应用，并具重大的应用前景。由于人体运动的多变性和多样性，背景的嘈杂以及光照条件，衣服纹理和自身遮挡等多方面的因素严重影响人体运动的识别效果，故从视频图像中准确估计人体姿态，实现人体运动识别是计算机视觉领域长期存在的问题。目前，人体运动识别的方法主要分为三大类基于模型的人体运动识别、基于学习的人体运动识别和基于表现的人体运动识别。第一种，基于模型的方法，利用人体结构的先验知识建立人体模型，然后提取图像底层特征匹配到模型中，并以运动规律加以约束。当前比较典型的方法如JuSun采用了基于SIFT描述子和基于Markov模型的识别方法；Hsuan_Sheng Chen等人采用了基于星形骨架描述轮廓信息的特征表述方法和基于HMM的动作识别方法。这种方法简单，容易实现，但是特征表征能力较弱，信息包含较少，识别性能低，准确率不高，且容易受遮挡和人体服装差异的影响，常作为一种辅助方法。第二种基于学习的人体运动识别方法该方法首先在训练的视频图像和目标视频图像数据库里提取精确的图像特征，通过机器学习从一系列训练数据中学习得到一个分类器，用该分类器来表示人体运动，然后利用该分类器对输入窗口进行分类及识别。如IvanLaptev等人采用的基于HOG和HOF的特征提取方法和基于KNN和SVM的识别方法；SomayehDanafar和Niloofar Cheissari在其论文中采用了基于光流的特征提取方法和基于SVM的运动识别方法，其中基于光流的特征是从图像序列的相邻帧中提取，另外还有Laptev andLindeberg采用的将Harris角点检测拓展到3D进行时空兴趣点检测实现运动识别的方法。该识别方法的优点与人体模型的方法和模板匹配的方法相比是比较鲁棒，检测结果较优，但是缺点是运动信息的计算过程缺乏对行为的全局分析，且计算特征的复杂度较高，需要很多训练数据，通常需要上万的数据。第三种基于表现的方法，无须对人体建模，直接提取图像中感兴趣区域的底层二维表观特征，然后找出区域特征与人体动作的对应关系进行匹配。如Bobick和Davis采用了基于轮廓表征的特征表示方法和基于MHI和MEI模板的识别方法。这种方法与基于模型的方法相比计算比较简单，缺点是提出的特征对环境的动态变化敏感，易受背景变化的影响，对纹理变化不够敏感，不能最优的表征图像边缘，同时由于人体姿态的复杂性，很难构造出足够的模板以处理不同的姿态，故正确率也不高
发明内容
本发明目的是针对上述第二种方法的不足，从人体的结构特性出发，提出的一种基于时空梯度特征的分部位的人体运动识别方法，以降低图像特征提取的复杂度，提高特征的表征能力，有效地提高人体识别的正确率。为实现上述目的，本发明的技术方案包括如下步骤:(I)取一个视频样本I,检测视频中的时空兴趣点；(2)根据Fischler和Elschlager提出的图结构模型将人体划分为头部、左上肢、左下肢、右上肢和右下肢部位；(3)在各人体部位中，提取基于时空兴趣点的时空块C，并计算该时空块C中各层的最大梯度Gm ；(4)对时空块C提取基于最大梯度Gm的统计梯度特征gi，作为该部位的运动特征fi = gi ;若某一部位包括多个时空块，则取所有时空块的统计梯度特征gi的均值作为该部
位的运动特征=77^,，其中，N表示部位中时空块的个数； N(5)检测视频中人体的重心G(XtlJ0)；(6)计算该视频样本I中人体运动的速度特征r:(7)将人体运动的各部位的运动特征&和速度特征;级联得到人体运动的最终特征，对于没有时空兴趣点的部位，用零补齐；(8)将Weizmann数据库按照8:1的比例划分为训练样本集X和测试样本集T ;按照上述步骤(1Γ(7)分别将训练样本集X和测试样本集T中的所有视频提取特征，获得训练样本特征集X’和测试样本特征集Τ’ ；(9)利用SVM算法对训练样本特征集X’进行训练学习得到分类器；将测试样本特征集Τ’输入到分类器，得到各类运动的分类结果。本发明与现有的技术相比具有以下优点:I)本发明利用人体分部位进行特征提取的方式，通过计算各个部位的特征进行人体运动识别的方法，特征的表征能力强，有效地提高了人体运动识别的正确率。2)本发明利用检测时空兴趣点的方式对时空块进行提取统计梯度特征，不需要对图像序列中的人体运动区域提取边缘特征等，较传统的图像描述方法维度低，在学习训练阶段能有效缩减时间和数据计算量。
图1是本发明的流程示意图；图2是本发明仿真使用的数据库的部分序列图像；图3是本发明对图2数据库中动作wavel视频进行时空兴趣点检测后的结果图；图4是本发明对图3中的时空兴趣点提取时空块的横向展开图；图5是本发明对图4中的时空块进行最大梯度计算后在极坐标内的显示图；图6是本发明对图2数据库进行仿真后的混淆矩阵图。
具体实施例方式参照图1，本发明的具体实现步骤如下:
步骤一，获取整个人体运动识别训练样本集X和测试样本集T。(Ia)从WEIZMANN人体数据库提取本发明试验所需的样本集，下载地址为http://www.wisdom, weizmann.ac.1l/ vision/SpaceTimeActions.html ；图 2 给出了数据库中的部分序列图像；(Ib)将WEIZMANN数据库中的视频按照8:1的比例构建训练样本集X和测试样本集T。步骤二，对训练样本集X中视频，检测视频中的时空兴趣点。(2a)对原始视频采用二维Gauss滤波器进行降噪，得到滤波后的视频数据L:L = I*g，其中，I表示原始视频数据，L表示滤波后的视频数据，g为高斯平滑核，g的计算公式为:
权利要求
1.一种基于时空梯度特征的分部位的人体运动识别方法，包括步骤如下: (1)取一个视频样本I，检测视频中的时空兴趣点； (2)根据Fischler和Elschlager提出的图结构模型将人体划分为头部、左上肢、左下肢、右上肢和右下肢部位； (3)在各人体部位中，提取基于时空兴趣点的时空块C，并计算该时空块C中各层的最大梯度Gm ； (4)对时空块C提取基于最大梯度Gm的统计梯度特征gi，作为该部位的运动特征A=gi ;若某一部位包括多个时空块，则取所有时空块的统计梯度特征gi的均值作为该部位的运动特征
2.根据权利要求1所述的人体运动识别方法，其中步骤(I)所述的检测视频中的时空兴趣点，是按如下方法进行: (Ia)对原始视频采用二维Gauss滤波器进行降噪，得到滤波后的视频数据L:L = I*g, 其中，I表示原始视频数据，L表示滤波后的视频数据，g为高斯平滑核，g的计算公式为:1-V" V2f(jr,.v，cr) = ^je:'7'，.其中，x，y为像素坐标，σ为空间维度的尺度参数； (Ib)在时间维度上进行一维Gabor滤波，得到视频数据L在时间维度上的响应数据R:
3.根据权利要求1所述的人体运动识别方法，其中所述步骤(3)中的提取基于时空兴趣点的时空块C，是提取以时空兴趣点为中心提取宽度为3*3、长度为19的视频时空块C。
4.根据权利要求1所述的人体运动识别方法，其中步骤(4)所述的计算人体各部位中时空块的基于最大梯度Gm的统计梯度特征gi，按如下步骤进行: (4a)对时空块C采用高斯平滑滤波进行去噪，并计算时空块中每一层图像的梯度G ； (4b)计算G中的最大梯度Gm并记录Gm的大小r和方向Θ ； (4c)在极坐标之内，显示时空块中所有最大梯度G111的大小r和方向Θ ； (4d)对于方向Θ，选择每30度作为一个区域，总共划分12个区域，分别统计每个区域内方向Θ的个数ne(i)； (4e)对于大小r，按照大小r值的大小划分为5个直方图区域，分别统计每个区域中大小r的个数nHj)； (4f)计算每个区域内大小r和方向Θ分布个数的百分比d&)和de(i):
5.根据权利要求1所述的人体运动识别方法，其中步骤(5)所述的检测视频中人体的重心GUtl, yj,按如下步骤进行: (5a)背景剪除:将视频的图像序列和背景图片进行差分处理，使用阈值法得到前景图像区域和背景图像区域，将前景图像区域的像素设为0，背景图像区域的像素设为1，获得原图像序列的前景二值图像m ; (5b)使用形态学中膨胀腐蚀的方法，对原图像序列的前景二值图像V填补坑洞， 修补缺失部分，获得理想的前景二值图像m’ ； (5c)利用光栅扫描法从前景二值图像m’中，获得人体的边界像素点坐标(Xi，yi)； (5d)利用人体边界像素点坐标(Xi，yi)，计算人体重心坐标G(X(l，yQ):
6.根据权利要求1所述的人体运动识别方法，其中所述步骤￠)中计算视频中人体的运动速度特征卩，按如下公式进行:
全文摘要
本发明提出了一种基于时空梯度特征的分部位的人体运动识别方法，主要解决现有技术中特征提取复杂、表征能力弱的问题。其实现步骤是(1)取一个样本视频I，检测视频中的时空兴趣点；(2)提取人体各部位的N个时空块；(3)计算时空块各层的最大梯度Gm；(4)在极坐标系中，将梯度Gm的大小r和方向θ进行区域划分，计算每个区域内大小r和方向θ的百分比dθ(i)和dr(j)，并级联为时空块的特征gi；(5)检测人体的重心G(x0,y0)并计算人体运动的速度特征(6)将各部位的运动特征和速度特征级联作为最终特征；(7)按上述步骤对训练集X和测试集T中所有样本提取特征，获得训练样本特征集X'和测试样本特征集T'，并进行学习训练，获得分类结果。本发明能准确识别人体运动，可用于视频监控、目标识别和运动识别的视频处理。
文档编号G06K9/00GK103077383SQ20131000797
公开日2013年5月1日 申请日期2013年1月9日 优先权日2013年1月9日
发明者韩红, 张红蕾, 谢福强, 韩启强, 李晓君, 顾建银 申请人:西安电子科技大学