专利名称：一种人体动作识别的方法
技术领域：
本发明属于计算机视觉与模式识别领域，具体地，涉及一种人体常见动作识别的方法。
背景技术：
在计算机视觉领域，人体动作识别是一个刚刚兴起但十分重要的分支，其目的主要是让计算机能够自动地判断和理解人体目前正在执行的动作。由于计算机本身并不具备类似于人的高层理解能力，因此计算机动作识别是一项极具挑战性的工作。然而动作识别的应用前景是十分广阔的，比如在人机交互、视频会议、视频检索、病人自主监护、智能安全监控等场合都能够发挥重要的作用。所以这方面的研究也是十分必要的。由于各方面的原因，现有的动作识别效果还远达不到人脑的识别能力，国际上也还没有一个比较完善的动作识别系统。但是近些年很多知名的国际期刊或会议都将动作识别作为重点发展的研究领域，国内外很多学者也在这方面做了大量的有益成果。近年来论文中的方法主要有:F.Lv等人在2006年率先使用Adaboost方法进行人体动作识别；M.Branda,A.Kale, V.Duong等分别在1994年、2004年和2005年使用马尔科夫或隐马尔科夫方法(HMM)进行动作识别；C.Sminchisescu和L.Wang和分别在2005和2007年使用了条件随机场(CRF) ；M.Ahmed等人在2005和2006年提出局部-全局光流对运动的人体进行描述；A.Efros等人在2006年提出了时空运动描述子；A.Bobick等人在2001年提出了运动历史图并用于人体动作识别；N.1kizler等在2007年建立人体骨架模型；A.0gale等人于2005年提取视频中的人体轮廓，并构建PCFG语法来识别人体动作。专利方面，申请号为CN200910110485.9的中国发明专利申请通过多个红外线传感器对人体手势动作进行了识别；申请号为CN200910002876.9的中国发明专利申请借助于后台数据库，开发了一种三维动作识别方法；申请号为CN200910077467.5的中国发明专利申请通过生成不同的特征文件，进而进行比对的方法进行动作识别；申请号为CN200810232110.5的中国发明专利采用三维伪Zernike矩进行比例不变、位移不变、旋转不变的特征描述，实现了与视角无关的动作识别；申请号为CN201210171624.0的中国发明专利公开了一种基于骨骼节点数据的动作识别方法；申请号为CN200910190443.0的中国发明专利涉及一种基于计算机的鼓乐动作识别方法；申请号为CN200810043513.5的中国发明专利基于有限自动机模型开发了一种新的动作识别方法；申请号为CN200910109019.9的中国发明专利涉及一种基于多跟踪点的人体动作识别方法。由于人在身高、体长及行为姿态上存在差异，因此不同的人对同一种动作都会有不同的表现方式，所以对于一个动作识别系统来说通过涵盖所有人的运动姿态来进行行为识别是不切实际的。故本发明希望通过较少的已知动作样本就能够使分类器具备较高的分辨能力。
发明内容
本发明的目的是提供一种视频序列中人体动作的识别方法，借助于人体运动的时间和空间信息，采用基于扩展拉普拉斯矩阵的半监督学习策略，通过较少的已知动作样本就能够使分类器具备较高的分辨能力，即用于分析一段视频序列中人体在各帧的动作类另IJ，主要包括起立、坐下、走、踢等常见动作，达到更好的识别效果。为实现上述目的，本发明采用的技术方案:本发明首先使用了一种包含时间和空间信息的特征来表达当前帧人体的运动状态，然后再通过一种图论半监督方法设计分类器，从而达到识别人体动作的目的。本发明将每帧的动作图像当做一个样本，采用机器学习领域半监督学习的策略训练分类器，进而通过分类的思想判断当前帧中的人体动作类别。半监督学习的主要思想是当少量的已标记样本和大量的未标记样本共存时，可以借助这些大量的未标记样本提升分类的准确率。典型的半监督学习方法大致可以归为多视角学习(Mult1-view Learning),直推向量机(Transductive Support Vector Machine)和基于图论的方法(Graph-basedMethods)0由于图模型能够直观地表现样本及样本之间的关系，所以本发明提出一种新的适合于动作识别的图论半监督方法，以达到更好的识别效果。具体地，本发明提供一种人体动作识别的方法，包括如下步骤:第一步，捕获运动人体的大致位置和轮廓。只有预先获得人体的位置，才能够对相关区域进行分析。这一步通过帧差法实现，首先将相邻的两帧图像转换为灰度图，然后作差。假设Ii和Ii+1是相邻的两帧图像，X为两帧中对应位置的像素值，那么它们的差定义为:
权利要求
1.一种人体动作识别的方法，其特征在于，如下包括步骤: 第一步，捕获运动人体的大致位置和轮廓； 第二步，计算运动人体的空间特征，获得前巾贞人体的轮廓直方图、横向即X方向及纵向即I方向的光流直方图，并把计算结果拼接成一个216维的特征向量； 第三步，计算运动人体的时间特征，将当前帧和其前、后各7帧放在一起组成一段长15中贞的片段，并米用局部线性嵌入法将I 5巾贞,6 10巾贞,及11 15巾贞的特征向量分别降至 50，100，50 维； 第四步，形成描述当前帧人体运动姿态的最终特征向量，即将第二、三步获得的特征进行组合得到最终的特征向量，共计416维； 第五步，建立图模型G:将待分类的动作序列切成一帧一帧的图片形式，并和已知动作图片放在一起建立K近邻图G ； 第六步，求解广义拉普拉斯矩阵t:根据图G的邻接矩阵W和相应的度矩阵D，计算广义拉普拉斯矩阵L ； 第七步，获得每一帧的标签向量F1:将广义拉普拉斯矩阵i代入预设的目标函数并进行求解，从而对于视频序列中的每一巾贞图片i都能获得一个标签向量Fi ； 第八步，识别结果输出:向量Fi中最大元素所在的列代表的动作类别即为第i帧中人体正在执行的动作。
2.根据权利要求1所述的人体动作识别的方法，其特征在于:所述第一步中，采用帧差法捕获运动人体的大致位置和轮廓，即用当前帧图像减去上一帧图像，再对得到的帧差图像进行去噪、腐蚀、膨胀处理获得`运动人体轮廓图像，并得到感兴趣的矩形区域民。
3.根据权利要求2所述的人体动作识别的方法，其特征在于:所述第二步，具体为:将第一步中得到的矩形区域Ri分成2X2的四个子区域，每一个子区域对应一个表征方向的饼状图，该饼状图的中心与子区域的中心重合，以X轴正半轴所在方向为0°角，每隔20°取一次值，则360°的圆盘被平均分成了 18份，于是每一份的区间分别为[1°，20° ]，[21° ,40° ]，…，[341° ,360° ]，通过统计轮廓走向落在这些区间的次数得到包含18个区间的轮廓统计直方图即18维的特征向量,光流特征的计算采用Lucas-Kanade方法,求解如下的关于光流(U，V)的约束方程:Ixu+Iyv+Ii=0 求得(U，V)后，再分别在X方向和y方向做中值滤波，采用轮廓统计直方图的获得方法，得到在X和y两个方向各18维的光流统计直方图，所以描述每个子区域的特征向量共有18X3=54维，Ri被分成了 2X2的四个子区域，所以第i帧的人体运动情形用54X2X2=216维的特征向量表示。
4.根据权利要求1所述的人体动作识别的方法，其特征在于:所述第三步，具体为:假设当前为第i帧，需要考察的片段组成为第i_7，…，1-1, i, i+1,…，i+7帧共15帧，将这15帧平均分为三段，每一段由216X5=1080维的特征向量进行表示，采用局部线性嵌入的方法分别将这三段对应的特征向量降至50，100, 50维，于是第i帧的时间信息由200维的特征向量来表示。
5.根据权利要求1所述的人体动作识别的方法，其特征在于:所述第五步，具体为:假设有很少量的已知动作类别的帧图像，它们构成I个已标记样本
6.根据权利要求1-5任一项所述的人体动作识别的方法，其特征在于:所述第六步，具体为:首先计算与图G有关的矩阵W和D，其中，W称为图G的邻接矩阵，它是一个ηΧη的方阵，它的第(i，j)个元素(W) U=Coij表示样本Xi和Xj的相似程度；D为一个ηΧη的对角阵，对角线上的元素为图G中各节点的度，于是，计算广义拉普拉斯矩阵为 L=1-17W + 2(D-1i 其中I为单位矩阵，α为待调参数,经验表明将α调小有利于提高动作识别率。
7.根据权利要求6所述的人体动作识别的方法，其特征在于:所述第七步，具体为:将第六步求得的广义拉普拉斯矩阵:L代入如下目标函数
全文摘要
本发明公开一种计算机视觉与模式识别领域的人体动作识别的方法，首先使用了一种包含时间和空间信息的特征来表达当前帧人体的运动状态，然后再通过一种图论半监督方法设计分类器，从而达到识别人体动作的目的。本发明在提取人体运动特征的过程中同时融合了过去、当前及未来时刻的轮廓及运动光流信息，因而能够更加准确地描述人体的动作姿态。另外，为了用较少的样本获得较高的识别率；基于广义拉普拉斯矩阵的图论半监督方法，并将其用于人体动作识别。实验证明本发明提出的方法在观察角度不同、人与人之间动作存在差异的情况下都能够对常见动作取得令人满意的识别率。
文档编号G06K9/00GK103164694SQ20131005481
公开日2013年6月19日 申请日期2013年2月20日 优先权日2013年2月20日
发明者宫辰, 傅可人, 杨杰 申请人:上海交通大学