专利名称：一种基于手指高级特征的手势识别方法
技术领域：
本发明涉及一种手势识别方法，具体是一种基于手指高级特征的手势识别方法， 属于人机交互领域。
背景技术：
随着计算机技术的不断发展，人与计算机的交互活动逐渐成为人们日常生活的重要组成部分。在这种情况下，更加自然，更加符合人交流习惯的人机交互技术得到了较大的发展。这些技术包括手势识别、语音识别和视线跟踪等等。基于计算机视觉的手势识别技术提供了一种自然的人机交互接口。手势的图像特征提取是手势识别的重要组成部分，将直接影响识别的速度和鲁棒性。当前最常用的手势特征有(1)肤色，人体皮肤在一些颜色空间中具有高度的聚类特性，利用肤色来区分人手与背景是一种常用的粗略分割手势方法。(2)边缘，边缘特征受光照影响较小，能反映手势的结构，常被用作图像匹配，进而定位识别手势。(3)轮廓，指分割手势之后得到的手势外轮廓。轮廓特征既可以直接用于图像匹配以识别手势，也可以通过分析曲率等局部特性，得到指尖位置等高级特征。(4)指尖，即手指尖在图像中的位置。指尖特征可通过指尖模板匹配或对手势轮廓的曲率分析得到。指尖位置与数量可以直接反映手势。(5)手势中心位置，即手势在空间中的位置信息，中心位置的连续移动可用于定义动态手势。直接用手势剪影图的质心或轮廓点的质心来定位手势中心位置是一种常用的方法。但是这种方法受不同手势形状的影响较大。(6)手势的方向，即手势在空间中的方向信息，可用于定义指示性的手势。手势的方向可由手臂确定，但是图像序列中不一定能检测到手臂；手势的方向也可通过拟合手势外轮廓的椭圆长轴方向确定，但是并不适用于所有手势。由于手的形状比较复杂，即使是同一手势，随着位置和角度的不同以及手指夹角的细微变化，在图像中也会呈现较大区别。现有的手势识别方法存在如下不足(1)较准确的实时手势估计方法通常要求用户配戴颜色标记物，在实际应用中很不方便；(2)基于模板匹配的方法通常需要准备大量的模板，只能应用于有限数量手势的识别；(3)在高级特征方面，现有的手指检测方法一般只能检测伸出的手指，无法检测收起的手指，不利于整体手势的估计；(4)识别结果会受到裸露手臂区域干扰；(5)难以估计出准确的手势方向；(6)识别结果会受手指夹角变化、手旋转角度影响。
3G(d) =其中 N = 0.25Dfinger，Dfinger
发明内容
本发明的目的是克服现有技术存在的上述缺陷，提供了一种基于手指高级特征的手势识别方法。用户不必配戴任何标记物，也不必预先训练大量用于匹配的模板，即可实时提取手的掌心位置、手腕位置、手势方向、所有手指(包括伸出与收起手指)的位置等手势高级特征，进而识别手势。该方法具有旋转不变性和很好的实时性，而且不受裸露的手臂肤色区域影响。本发明通过如下技术方案实现一种基于手指高级特征的手势识别方法，包括如下步骤⑴手势粗分割；(2)手势边缘的提取；C3)手指中心区域提取；(4)手势高级特征提取；( 手势识别；其特征在于，所述手指中心区域提取根据手指两侧边缘的近似平行特征，利用设计的算子提取手指的中心区域；算子为各向同性的环形算子，可表示为
-K0<d<N
K2N <d<3N
0其他
为手指平均宽度，d表示到算子中心的距离，K为任意正数。对手势边缘采用该算子进行卷积，并进行阈值二值化，阈值的取值范围为 ^H-KDfmger-^KDfmger，对二值化结果进行膨胀运算，得到手指中心区域图；所述手势高级特征提取对手指中心区域图计算质心，作为手指中心点；利用手指中心点重新分割手区域，去除手臂部分，得到更准确的手区域；对分割出的手区域进行腐蚀运算，腐蚀结果的质心作为手掌中心；由手指中心和手掌中心可以确定手势方向；根据手掌中心、手势方向以及手掌半径，定位手腕位置；以手腕位置为极点，对提取的手指中心区域图进行以极径为加权系数的加权径向投影变换，得到一维手势特征序列；对该序列进行低通滤波并归一化处理，得到处理后的手势特征序列；提取该手势特征序列5个最大的局部极大值，在手势外轮廓上局部极大值对应的角度范围内搜索距离手腕位置最远的点， 作为5根手指的定位点；手腕位置到该点的向量角度作为手指角度特征；根据手腕位置到该点距离，判别手指是伸出还是收起；所述手势识别直接利用步骤(4)得到的手掌中心位置、手势方向、手腕位置、5根手指的定位点、5根手指的角度特征、5根手指的伸缩状态构成的手势高级特征，构造手势模型，得到手势识别的结果。步骤(1)所述手势粗分割采用基于YCbCr颜色空间的肤色分割，用于初步分离背景；采用形态学滤波，分割出手区域，并得到手势外轮廓。步骤( 所述手势边缘的提取由Carmy边缘检测算法初步提取手势边缘，通过对Carmy边缘上像素点的灰度值进行阈值判断，并根据收起手指的两侧边缘灰度值较低的特点，从Carmy边缘中提取出收起手指的两侧边缘，再与外轮廓进行并集运算，得到手势边缘。对于离散图像信号，所述环形算子是一个(6N+1) X (6N+1)的环形算子。
所述方法可以在计算机系统上通过软件实现，也可以在嵌入式系统、数字信号处理器和FPGA上通过固件实现。与现有技术相比，本发明具有下列优点和效果(1)用户不需要佩戴任何标记物；(2)不需要预先训练大量匹配模板就能有效识别多种手势；(3)能提取所有手指的特征，包括收起的手指；(4)能有效避免裸露手臂区域的干扰；(5)能准确提取手势方向特征；(6)不受手旋转角度以及手指夹角变化的影响；(7)算法简单，可以实时实现。
图1是本发明手势识别方法的流程图。图2是平行线中心区域环形检测算子示意图，图2(a)是连续信号的检测算子， 图2(b)是离散信号的检测算子(大小为7X7)，图2(c)是离散信号的检测算子(大小为 13X13)。图3是环形检测算子检测的平行线中心区域示意图。图4是去除手臂区域以及确定手指中心点、手势方向、手腕位置等特征的方法示意图。图5是手指定位方法示意图。
具体实施例方式下面结合附图对本发明具体实施方式
作进一步说明，但需要说明的是，实施例并不构成对本发明要求保护范围的限制。本发明具体实施方法流程如图1所示，主要步骤如下步骤1 手势粗分割本实施方式采用基于YCbCr颜色空间的肤色分割方法。对通过单目摄像头获取的 RGB颜色空间的彩色图像，采用公式(1)，将其转换到YCbCr颜色空间
权利要求
1.一种基于手指高级特征的手势识别方法，包括如下步骤(1)手势粗分割；( 手势边缘的提取；C3)手指中心区域提取；(4)手势高级特征提取；( 手势识别；其特征在于，所述手指中心区域提取根据手指两侧边缘的近似平行特征，利用设计的算子提取手指的中心区域；算子为各向同性的环形算子，可表示为-K0<d<NG{d) = \κ2Ν <d<3N0其他其中N = 0. 25Dfinger, Dfinger为手指平均宽度，d表示到算子中心的距离，K为任意正数。对手势边缘采用该算子进行卷积，并进行阈值二值化，阈值的取值范围为 Sn-KDfmgerSKDfmger，对二值化结果进行膨胀运算，得到手指中心区域图；所述手势高级特征提取对手指中心区域图计算质心，作为手指中心点；利用手指中心点重新分割手区域，去除手臂部分，得到更准确的手区域；对分割出的手区域进行腐蚀运算，腐蚀结果的质心作为手掌中心；由手指中心和手掌中心可以确定手势方向；根据手掌中心、手势方向以及手掌半径，定位手腕位置；以手腕位置为极点，对提取的手指中心区域图进行以极径为加权系数的加权径向投影变换，得到一维手势特征序列；对该序列进行低通滤波并归一化处理，得到处理后的手势特征序列；提取该手势特征序列5个最大的局部极大值，在手势外轮廓上局部极大值对应的角度范围内搜索距离手腕位置最远的点，作为5 根手指的定位点；手腕位置到该点的向量角度作为手指角度特征；根据手腕位置到该点距离，判别手指是伸出还是收起；所述手势识别直接利用步骤(4)得到的手掌中心位置、手势方向、手腕位置、5根手指的定位点、5根手指的角度特征、5根手指的伸缩状态构成的手势高级特征，构造手势模型， 得到手势识别的结果。
2.根据权利要求1所述的识别方法，其特征在于，步骤(1)所述手势粗分割采用基于 YCbCr颜色空间的肤色分割，用于初步分离背景；采用形态学滤波，分割出手区域，并得到手势外轮廓。
3.根据权利要求1所述的识别方法，其特征在于，步骤( 所述手势边缘的提取由 Canny边缘检测算法初步提取手势边缘，通过对Carmy边缘上像素点的灰度值进行阈值判断，并根据收起手指的两侧边缘灰度值较低的特点，从Carmy边缘中提取出收起手指的两侧边缘，再与外轮廓进行并集运算，得到手势边缘。
4.根据权利要求1所述的识别方法，其特征在于，步骤(3)中对于离散图像信号，所述环形算子是一个(6N+1) X (6N+1)的环形算子。
全文摘要
一种基于手指高级特征的手势识别方法，包括如下步骤(1)手势粗分割；(2)手势边缘的提取；(3)手指中心区域提取；(4)手势高级特征提取；(5)手势识别；直接利用步骤(4)得到的手掌中心位置、手势方向、手腕位置、5根手指的定位点、5根手指的角度特征、5根手指的伸缩状态构成的手势高级特征，构造手势模型，得到手势识别的结果。本发明直接利用5根手指的伸出/收起状态可以识别25＝32种不同手势，且与手的旋转角度无关。在需要考虑手势方向的应用场景中，可以利用获得的手势方向，识别更多用户手势。
文档编号G06K9/00GK102368290SQ20111025896
公开日2012年3月7日 申请日期2011年9月2日 优先权日2011年9月2日
发明者李映辉, 林耀荣, 江国来 申请人:华南理工大学