专利名称：动态手势识别系统及方法
技术领域：
本发明关于一种动态手势识别系统及方法，特别是涉及一种基于不变性结构特征的动态手势识别系统及方法。
背景技术：
现有的手势识别方法主要有两种，一种是基于3D模型的手势模型方法，另一种是基于表观的手势模型方法。基于3D模型的手势模型是确定手掌的位置和关节角度，其能够反映手势的局部细节信息，一般是把三维模型映射到图像平面，对模型的运动参数进行搜索匹配。然而，由于3D模型具有很高的特征矢量维度，造成计算量过大，并且在跟踪的过程中会由于误差的不断积累导致跟踪的精度不高甚至丢失目标。基于表观的手势模型，可分为基于区域的跟踪、基于活动轮廓或变形模板的跟踪以及基于其他图像特征的跟踪方法， 它们都是完全基于图像表观的非模型方法，由于未能保证所跟踪的特征，如兴趣点、轮廓、2D区域等特征具有不变性，很容易受到遮挡或者条件变化等因素的影响。
发明内容
为克服上述现有技术的不足，本发明之目的在于提供一种动态手势识别系统及方法，其利用手势固有的形状结构特征进行手势分割，提取手势的尺度不变性、旋转不变性特征，再采用基于仿射变换的块匹配法对动态手势进行跟踪，以达到速度快、精度高的目的。为达上述及其它目的，本发明提出一种动态手势识别系统，用于对视频中动态手势进行识别，至少包括静态手势识别模组，检测视频帧内运动区域，得到肤色区域，并针对五指张开的手势，提取几何特征，采用手形的相对几何特征，利用SVM分类器进行分类，从而从肤色区域中定位出手势部分；以及动态手势跟踪模组，采用基于仿射变换的块匹配法，通过计算相邻帧的运动参数进行手势跟踪。进一步地，该静态手势识别模组包括运动区域检测模组，提取帧内运动区域，排除背景干扰，同时缩小检测区域；特征提取模组，针对五指张开的手势，提取几何特征，采用手形的相对几何特征，利用SVM分类器进行分类，从而从肤色区域中定位出手势部分；以及特征识别模组，选取若干幅人手正样本以及若干副样本作为训练样本，利用SVM分类器进行学习，再将学习后的分类器对视频帧进行手势识别选取。进一步地，该运动区域检测模组将相邻的图像帧之间的像素进行差分并阈值化，提取出图像中的运动区域。进一步地，该特征识别模组选取2000幅人手正样本以及2000副负样本作为训练样本。进一步地，该特征提取模组包括
掌心位置及大小计算模组，利用距离变换得到肤色分类器给出的手形区域中掌心位置及掌心大小；手指位置计算模组，利用手势凸包、外轮廓，计算手指位置以及最大缺陷的位置；以及
特征向量形成模组，根据手形特征构成特征向量。进一步地，该动态手势跟踪模组将手势区域作为跟踪对象，进行图像分块，通过将各个小块的运动参数累加，从而得到手区域在相邻两帧之间的运动向量为达到上述及其他目的，本发明还提供一种动态手势识别方法，用于对视频中动态手势进行识别，包括如下步骤步骤一，检测运动区域，得到肤色区域；步骤二，利用距离变换得到肤色分类器给出的手形区域中掌心位置及掌心大小；步骤三，利用手势凸包、外轮廓，计算手指位置以及最大缺陷的位置；步骤四，根据手形特征构成特征向量；步骤五，选取若干幅人手正样本以及若干副样本作为训练样本，利用SVM分类器进行学习，再将学习后的分类器对视频帧进行手势识别；以及步骤六，利用基于仿射变换的图像块匹配方法进行手形跟踪。进一步地，于步骤一中，将相邻的图像帧之间的像素进行差分并阈值化，提取出图像中的运动区域。进一步地，步骤三中，判断手指及缺陷坐标的规则如下I)从左至右遍历凸缺陷，寻找缺陷开始点，最大点以及缺陷结束点，并计算最大缺陷值，得到DO、Dl、D2、D3、D4、D5六个缺陷点坐标及最大缺陷值；2)当缺陷值大于设定阈值时，则判定该缺陷为手指间的缺陷。将缺陷的开始点、结束点分别标定位两手指坐标，缺陷位置为指间缺陷坐标；3)除大拇指以及小拇指以外，剩余指尖由于缺陷开始点及结束点不一定重合，则当不重合时，取两者的平均值作为指尖坐标，从而得到指尖坐标；4)将相邻最大缺陷点相连，线段的中点被认为是五指的指根坐标，从而通过指尖与指根可以计算出五指的长度。进一步地，于步骤四中，长度特征向量为指长与手掌半径的比值，角度特征向量为向量手指之间的夹角。与现有技术相比，本发明一种动态手势识别系统及方法通过利用手势固有的形状结构特征进行手势分割，提取手势的尺度不变性、旋转不变性特征，再采用基于仿射变换的块匹配法对动态手势进行跟踪，实现了快速、高精度动态识别手势的目的。
图I为本发明一种动态手势识别系统的系统架构图；图2为本发明较佳实施例中五指张开的手势模型示意图；图3为本发明较佳实施例中手形长度特征向量示意图；图4为本发明较佳实施例中手形角度特征向量示意图；图5为本发明较佳实施例中的块匹配示意图6为本发明一种动态手势识别方法的步骤流程图。
具体实施例方式以下通过特定的具体实例并结合
本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。图I为本发明一种动态手势识别系统的系统架构图。如图I所不，本发明一种动态手势识别系统，至少包括静态手势识别模组10及动态手势跟踪模组11。其中静态手势识别模组10利用帧间差分法，检测帧内运动区域，得到肤色区域，并针对五指张开的手势，提取几何特征，采用手形的相对几何特征(如指长与手掌半径的比值，相邻手指夹角)，再利用SVM (support vector machine支持向量机)分类器进行分类，从而从肤色区域中定位出手势部分。具体来说，静态手势识别模组10进一步包括运动 区域检测模组101、特征提取模组102以及特征识别模组103。运动区域检测模组101利用帧间差分法，提取帧内运动区域，排除背景干扰，同时缩小检测区域，有效提高运行速度。在本发明较佳实施例中，将相邻的图像帧之间的像素进行差分并阈值化，提取出图像中的运动区域。SfiU, y)为视频中第i帧，为fH(x，y)第i_l帧。帧间差分CliU,y)为d'(x,y)^\(I)
0,f (x,y)-f (Xv)I <r特征提取模组102，针对五指张开的手势，提取几何特征，采用手形的相对几何特征(如指长与手掌半径的比值，相邻手指夹角)，再利用SVM分类器进行分类，从而从肤色区域中定位出手势部分。在本发明较佳实施例中，手形的相对几何特征具有尺度不变形以及旋转不变性的特点。特征识别模组103选取若干幅人手正样本以及若干副样本作为训练样本，利用SVM分类器进行学习，再将学习后的分类器对视频帧进行手势识别选取。在本发明较佳实施例中，特征识别模组103选取2000幅人手正样本以及2000副负样本作为训练样本。在本发明较佳实施例中，特征提取模组102还包括掌心位置及大小计算模组301、手指位置计算模组302以及特征向量形成模组303。掌心位置及大小计算模组301利用距离变换得到肤色分类器给出的肤色区域中封闭区域的中心点以及该点到边界的平均距离，即掌心位置及掌心大小。对于手势区域而言，掌心是离背景点最远的位置，因此距离变换图像的最大值的点即为掌心。而掌心到边界的平均距离记为r，表示手掌的半径。设f(x，y)为一副二值图像，由前景A以及背景B两部分组成。则前景A中的像素P的欧式距离变换定义为D(p) = min {d (P，q) q e B}(2)其中d(p，q)为p，q两个像素点之间的欧式距离。手指位置计算模组302利用手势凸包、外轮廓，计算手指位置以及最大缺陷的位置。手势缺陷如图2所示I)从左至右遍历凸缺陷。寻找缺陷开始点，最大点以及缺陷结束点，并计算最大缺陷值，得到DO、Dl、D2、D3、D4、D5六个缺陷点坐标及最大缺陷值。2)当缺陷值大于设定阈值时，则判定该缺陷为手指间的缺陷。将缺陷的开始点、结束点分别标定位两手指坐标，缺陷位置为指间缺陷坐标。
3)除大拇指以及小拇指以外，剩余指尖由于缺陷开始点及结束点不一定重合。贝IJ当不重合时，取两者的平均值作为指尖坐标，从而得到指尖坐标FI、F2、F3、F4、F5。4)将相邻最大缺陷点相连，线段的中点被认为是五指的指根坐标，从而通过指尖与指根可以计算出五指的长度LI、L2、L3、L4、L5。特征向量形成模组303，根据手形特征构成特征向量，长度特征为指长与手掌半径r的比值Q/r，i = 1，2. ..5。角度特征为向量手指之间的夹角Θ ^ i = 1，2. . . 5。如图3及图4所示。动态手势跟踪模组11采用基于仿射变换的块匹配法，通过计算相邻帧的运动参数进行跟踪。对于动态手势识别而言，相邻两帧中所包含的手部区域可能由于运动、光照等影响而产生形变，因此本发明采用基于仿射变换的块匹配法，通过计算相邻帧的运动参数进行跟踪。图5为本发明较佳实施例中的块匹配示意图。图5中的图像块R为第f帧的图像块，由于相邻帧内存在相关性，因此将f_l帧R块周边的B*B邻域定为搜素区域。第f帧R块中像素P(x，y，z)与下一帧对应的像素P’(x’，y’，z’ )之间存在着公式(3)表示的仿射
变换关系。
权利要求
1.一种动态手势识别系统，用于对视频中动态手势进行识别，至少包括 静态手势识别模组，检测视频帧内运动区域，得到肤色区域，并针对五指张开的手势，提取几何特征，采用手形的相对几何特征，利用SVM分类器进行分类，从而从肤色区域中定位出手势部分；以及 动态手势跟踪模组，采用基于仿射变换的块匹配法，通过计算相邻帧的运动参数进行手势跟踪。
2.如权利要求I所述的动态手势识别系统，其特征在于，该静态手势识别模组包括 运动区域检测模组，提取帧内运动区域，排除背景干扰，同时缩小检测区域； 特征提取模组，针对五指张开的手势，提取几何特征，采用手形的相对几何特征，利用SVM分类器进行分类，从而从肤色区域中定位出手势部分；以及 特征识别模组，选取若干幅人手正样本以及若干副样本作为训练样本，利用SVM分类器进行学习，再将学习后的分类器对视频帧进行手势识别选取。
3.如权利要求2所述的动态手势识别系统，其特征在于该运动区域检测模组将相邻的图像帧之间的像素进行差分并阈值化，提取出图像中的运动区域。
4.如权利要求3所述的动态手势识别系统，其特征在于该特征识别模组选取2000幅人手正样本以及2000副负样本作为训练样本。
5.如权利要求2所述的动态手势识别系统，其特征在于，该特征提取模组包括 掌心位置及大小计算模组，利用距离变换得到肤色分类器给出的手形区域中掌心位置及掌心大小； 手指位置计算模组，利用手势凸包、外轮廓，计算手指位置以及最大缺陷的位置；以及 特征向量形成模组，根据手形特征构成特征向量。
6.如权利要求5所述的动态手势识别系统，其特征在于该动态手势跟踪模组将手势区域作为跟踪对象，进行图像分块，通过将各个小块的运动参数累加，从而得到手区域在相邻两帧之间的运动向量。
7.一种动态手势识别方法，用于对视频中动态手势进行识别，包括如下步骤 步骤一，检测运动区域，得到肤色区域； 步骤二，利用距离变换得到肤色分类器给出的手形区域中掌心位置及掌心大小； 步骤三，利用手势凸包、外轮廓，计算手指位置以及最大缺陷的位置； 步骤四，根据手形特征构成特征向量； 步骤五，选取若干幅人手正样本以及若干副样本作为训练样本，利用SVM分类器进行学习，再将学习后的分类器对视频帧进行手势识别；以及 步骤六，利用基于仿射变换的图像块匹配方法进行手形跟踪。
8.如权利要求7所述的一种动态手势识别方法，其特征在于于步骤一中，将相邻的图像帧之间的像素进行差分并阈值化，提取出图像中的运动区域。
9.如权利要求7所述的一种动态手势识别方法，其特征在于，于步骤三中，判断手指及缺陷坐标的规则如下 1)从左至右遍历凸缺陷，寻找缺陷开始点，最大点以及缺陷结束点，并计算最大缺陷值，得到DO、Dl、D2、D3、D4、D5六个缺陷点坐标及最大缺陷值； 2)当缺陷值大于设定阈值时，则判定该缺陷为手指间的缺陷。将缺陷的开始点、结束点分别标定位两手指坐标，缺陷位置为指间缺陷坐标； 3)除大拇指以及小拇指以外，剩余指尖由于缺陷开始点及结束点不一定重合，则当不重合时，取两者的平均值作为指尖坐标，从而得到指尖坐标； 4)将相邻最大缺陷点相连，线段的中点被认为是五指的指根坐标，从而通过指尖与指根可以计算出五指的长度。
10.如权利要求7所述的一种动态手势识别方法，其特征在于于步骤四中，长度特征向量为指长与手掌半径的比值，角度特征向量为向量手指之间的夹角。
全文摘要
本发明公开了一种动态手势识别系统及方法，该方法包括如下步骤检测运动区域，得到肤色区域；利用距离变换得到肤色分类器给出的手形区域中掌心位置及掌心大小；利用手势凸包、外轮廓，计算手指位置以及最大缺陷的位置；根据手形特征构成特征向量；选取若干幅人手正样本以及若干副样本作为训练样本，利用SVM分类器进行学习，再将学习后的分类器对视频帧进行手势识别；以及步骤六，利用基于仿射变换的图像块匹配方法进行手形跟踪，本发明可实现快速、高精度动态识别手势的目的。
文档编号G06K9/66GK102938060SQ201210521108
公开日2013年2月20日 申请日期2012年12月7日 优先权日2012年12月7日
发明者赵莹 申请人:上海电机学院