一种基于多特征融合和指尖检测的手势识别方法
【专利摘要】本发明公开了一种基于多特征融合和指尖检测的手势识别方法。包括训练过程和识别过程：训练过程中，针对复杂的手势，选择合理的手势特征，并利用多特征融合的特征提取算法，对手势进行支持向量机训练，形成训练模型。识别过程中，针对输入的视频图像序列，首先进行手势检测，再进行多特征提取和融合并输入到支持向量机中得到识别结果；同时，对手势进行基于缺陷的指尖检测，通过缺陷筛选器，定位到手指各指尖的位置，然后，将两次识别和检测结果进行综合，得到最终的手势识别结果。本发明方法能有效解决复杂场景下，手势识别率不高的问题，且满足实时性要求，可以较好地运用于人机交互。
【专利说明】一种基于多特征融合和指尖检测的手势识别方法
【技术领域】
[0001]本发明涉及一种手势识别的方法，涉及一种基于多特征融合和指尖检测的手势识别方法。
【背景技术】
[0002]随着计算机的发展在现代社会中应用越来越广泛和迅速，人机交互技术的需求在人类生活中也变得越来越高，在这些交互技术中，手势是一种自然且符合人的行为习惯的交互方式，它以其直观、方便、自然的特点受到了大家的关注，是作为新型人机交互技术的理想选择之一。而手势识别作为交互系统中最关键的步骤之一，其识别效果直接影响到人与计算机之间的沟通能力。
[0003]结合各类研究以及实际应用，可以分析出目前手势识别领域存在的主要技术难点在于系统实时性与手势识别率之间的矛盾。为了得到较高的手势识别率，通常研究者会选择保留尽可能多的特征去表征手势，用复杂的算法识别手势，而这样势必会降低识别的速率，系统的实时性得不到满足；而为了适用于实时系统，通常又只能通过减少特征的维度来减小计算量，而特征维度的减少会使噪声的影响增大，且对前期手势分割的结果有非常高的要求，手势的识别率随之降低，可被识别的手势种类变得单一化，缺乏一定的应用性。
【发明内容】
[0004]为了解决现有技术中的问题，本发明公开了一种基于多特征融合和指尖检测的手势识别方法，该方法通过选择合理的手势特征，包括Hu矩特征、缺陷特征和比例特征，利用多特征融合的特征提取算法，使特征的计算量小，有效性高，并结合基于缺陷的指尖检测方法，进一步提高识别的准确率。通过这种方式能有效解决复杂场景下，手势识别率不高的问题，且满足实时性的要求。
[0005]本发明采用以下技术方案:一种基于多特征融合和指尖检测的手势识别方法，包括以下步骤:
[0006]步骤I):训练过程:对复杂手势选择合理的手势特征，并利用多特征融合的特征提取算法，对手势进行支持向量机训练，形成训练模型；
[0007]步骤2):识别过程:对输入图像序列进行手势检测，对检测到的手势进行多特征提取和融合，并输入到支持向量机中得到SVM的识别结果；同时，对手势进行基于缺陷的指尖检测，综合两次结果输出最终的识别结果。
[0008]进一步地，步骤I)中所述的训练过程，对复杂手势选择合理的手势特征，并利用多特征融合的特征提取算法，对手势进行支持向量机训练，形成训练模型，其具体过程如下:
[0009]步骤1.1):Hu矩特征提取:
[0010]计算每个手势图像的Hu矩特征，并对其进行归一化处理，Hu矩特征可以用式表示:
[0011]Hu = (Φ!, Φ2, Φ3, Φ4, Φ5, Φ6, Φ7)
[0012]其中，(J)1?Φ7分别表示Hu矩特征的每一个分量。
[0013]步骤1.2):缺陷特征提取:
[0014]手势的缺陷部分就是手势凸包减去手势轮廓的部分。计算缺陷个数的方法如下:
[0015]通过八邻域搜索法得到手势的轮廓，判断该手势轮廓外围多边形是否为凸，若为凸，则该凸多边形即为手势凸包；再对手势凸包进行多边形近似平滑；根据手势轮廓、手势凸包计算手势的缺陷个数。每个缺陷包含三个点:起始点、结束点、深度点以及深度点和凸包之间的距离，分别定义为ptStart、ptEnd、ptFar和Depth。
[0016]步骤1.3):比例特征提取:
[0017]轮廓周长与面积比:
[0018]定义手势轮廓周长为ConLenght，定义手势轮廓面积为ConArea。定义手势的轮廓周长与面积比特征:
[0019]ConLA = C(mLenghl
ConArea
[0020]轮廓周长与外接矩形周长比:
[0021]定义手势的外接矩形周长RectLenght，定义轮廓周长与外接矩形的周长比特征:
,ConLenght
[0022]LenCR=-----—
Re CtLengnt
[0023]轮廓面积与外接矩形面积比:
[0024]定义手势的外接矩形面积为RectArea，轮廓面积与外接矩形面积比特征:
,ConArea
[0025]AreaC R =-
RcclArea
[0026]外接矩形宽高比:
[0027]定义外接矩形宽W，高为H，外接矩形宽高比:
J/J/
[0028]a =—
II
[0029]重心与外接矩形上下边界距离之比:
[0030]ο表示为手势的重心位置，HpH2分别表示手势重心到外接矩形上、下边界的距离，定义重心与外接矩形上下边界距离之比:
n //,
[0031]β = ηγ~
[0032]重心与外接矩形左右边界距离之比:
[0033]W1, W2分别表示手势重心到外接矩形左、右边界的距离，定义重心与外接矩形左右下边界距离之比:
W1
[0034]η = —
W2
[0035]步骤1.4):多特征融合:
[0036]将步骤1.1)?1.3)中提取的Hu矩特征、缺陷特征和六个比例特征融合为一个特征向量feature，用于表征手势图像的特征信息:
[0037]feature = {Hu, numDefects, ConLA, LenCR, AreaCR, α , β , η }
[0038]其中，numDefects为缺陷个数，Hu = ( Φ 1； Φ2, Φ3, Φ4, Φ5, Φ6, Φ7)。
[0039]步骤1.5):支持向量机训练:
[0040]将上述手势样本图像的特征向量feature和类别标注一起输入到支持向量机中进行训练，其中类别标注为手势种类的标注。
[0041]进一步地，步骤2)中所述的识别过程，对输入图像序列进行手势检测，对检测到的手势进行多特征提取和融合，并输入到支持向量机中得到SVM的识别结果；同时，对手势进行基于缺陷的指尖检测，综合两次结果输出最终的识别结果，其具体过程如下:
[0042]步骤2.1):手势检测:
[0043]对输入的视频图像序列进行基于时空信息改进的混合高斯背景建模，并结合基于多颜色空间的肤色检测结果，对两者综合结果进行滤波处理和形态学操作之后得到二值化的手势分割图像。
[0044]步骤2.2):特征提取:
[0045]对手势的二值图按照步骤1.1)?1.4)进行计算得到该手势图像的特征向量；
[0046]步骤2.3): SVM 识别:
[0047]将手势图像的特征向量输入支持向量机中，输出SVM识别结果。
[0048]步骤2.4):指尖检测:
[0049]指尖的个数就是手指的个数，对指尖的检测包括指尖个数以及指尖的位置信息。根据步骤1.2)得到手势缺陷和每个缺陷所包含的三个缺陷点ptStart、ptEnd、ptFar，这些缺陷点中包含了指尖点，所以建立一个有效缺陷点筛选器，筛选出有效的缺陷点即为指尖点。筛选器规则如下:
[0050]1.缺陷的起始点与深度点距离大于一定比例的手势外接矩形高H
[0051]Lenght (ptStart, ptFar) > αΗ,其中 α 为比例系数。
[0052]i1.缺陷的深度点与结束点距离大于一定比例的手势外接矩形高H
[0053]Lenght (ptEnd, ptFar) > α H
[0054]ii1.缺陷的起始点、深度点、结束点形成的夹角小于阈值Tangle
[0055]angle (ptStart, ptFar, ptEnd) < Tangle
[0056]iv.缺陷的起始点、深度点、结束点在手势外接矩形的一定范围内
[0057]Ybounding < YptStar < Ybounding+ ^ H
[0058]Ybounding〈 YptEnd〈 Ybounding+ ^ H
[0059]Ybounding〈 YptFar〈 Ybounding+ ^ H
[0060]其中β为比例系数，H为手势外接矩形高。
[0061]V.当缺陷点间距离小于Tdis时，两缺陷点近似重合，可判定为同一个缺陷点
[0062]Lenght (pti； ptj) < Tdis
[0063]当缺陷点同时满足以上条件时，则通过筛选器可判定为有效缺陷点，记录下有效缺陷点个数及其位置，即为指尖点。
[0064]步骤2.5):综合识别结果:
[0065]比较支持向量机输出的结果与指尖检测输出的指尖点个数，当两者一致时，则输出识别结果。
[0066]本发明采用以上技术方案与现有技术相比，具有以下技术效果:
[0067]I)采用多特征融合的特征提取方法，特征计算量小，各特征可从不同角度描述手势，能有效修正因单一特征误检带来的错误，在尽可能小的计算量下带来较高的识别率。
[0068]2)基于缺陷的指尖检测方法直观易懂，符合手势的先验知识和人类的认识习惯，计算量小，相比依赖于模板的模板匹配法、需要大量计算曲率、距离的轮廓分析法和涉及复杂细化过程的直观启发式法，基于缺陷的指尖检测方法可以以简单的方式快速定位到手势的指尖部分，在保证准确率的基础上进一步提高了系统的实时性。
[0069]3)将基于多特征融合的支持向量机识别结果与指尖检测结果结合，共同决定最终输出的识别结果，进一步提高了手势识别率，降低了单一识别方法带来的误检风险。
【专利附图】
【附图说明】
[0070]图1是本发明的手势识别的流程图；
[0071]图2是训练过程的流程图；
[0072]图3是指尖检测的流程图；
【具体实施方式】
[0073]下面结合附图并通过具体实施例，对本发明的技术方案做进一步的详细说明。
[0074]以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0075]实施例
[0076]本实施例对一段由Logitech C710网络摄像头拍摄的视频序列^40X480像素，30ftps)进行处理。该视频在室内场景中随机拍摄，场景中包含复杂的背景，有类肤色的背景物体出现，有光照的变化，手势的种类包含0、1、2、3、4、5、8七种手势。本实施例包含以下步骤:
[0077]步骤I):训练过程:所有手势样本图像逐个输入到训练数据库中，选择Hu矩特征、缺陷特征和比例特征，并利用多特征融合的特征提取算法，对手势进行支持向量机训练，形成训练模型；
[0078]在本实施例中，步骤I)所述的训练过程，图2为训练过程的流程图，其具体过程如下:
[0079]步骤1.1):训练样本准备:
[0080]将七种类别的手势样本图像以及其类别标注逐个输入到训练数据库中，数据库中共有1369幅手势样本图像，七种手势分别标记为0、1、2、3、4、5、8。
[0081]步骤1.2) =Hu矩特征提取:
[0082]计算每个手势图像的Hu矩特征，并对其进行归一化处理，Hu矩特征可以用式表示:
[0083]Hu = ( Φ 1； Φ 2，Φ 3，Φ 4，Φ 5，Φ 6，Φ 7)
[0084]其中，(J)1?Φ7分别表示Hu矩特征的每一个分量。
[0085]步骤1.3):缺陷特征提取:
[0086]手势的缺陷部分就是手势凸包减去手势轮廓的部分。计算缺陷个数的方法如下:
[0087]通过八邻域搜索法得到手势的轮廓，判断该手势轮廓外围多边形是否为凸，若为凸，则该凸多边形即为手势凸包；再对手势凸包进行多边形近似平滑；根据手势轮廓、手势凸包计算手势的缺陷个数。每个缺陷包含三个点:起始点、结束点、深度点以及深度点和凸包之间的距离，分别定义为ptStart、ptEnd、ptFar和Depth。
[0088]步骤1.4):比例特征提取:
[0089]轮廓周长与面积比:
[0090]定义手势轮廓周长为ConLenght，定义手势轮廓面积为ConArea。定义手势的轮廓周长与面积比特征:
[0091]ConLA = —_
ConArea
[0092]轮廓周长与外接矩形周长比:
[0093]定义手势的外接矩形周长RectLenght，定义轮廓周长与外接矩形的周长比特征:
,ConLenght
[0094]LenCR = -~
Re CtLenght
[0095]轮廓面积与外接矩形面积比:
[0096]定义手势的外接矩形面积为RectArea，轮廓面积与外接矩形面积比特征:
r n ,ConArea
[0097]AreaC R =-
RcciArea
[0098]外接矩形宽高比:
[0099]定义外接矩形宽W，高为H，外接矩形宽高比:
W
[0100]a =一
H
[0101]重心与外接矩形上下边界距离之比:
[0102]ο表示为手势的重心位置，HpH2分别表示手势重心到外接矩形上、下边界的距离，定义重心与外接矩形上下边界距离之比:
Γ //,
[0103]/)= —
[0104]重心与外接矩形左右边界距离之比:
[0105]W1, W2分别表示手势重心到外接矩形左、右边界的距离，定义重心与外接矩形左右下边界距离之比:
[0106]—
[0107]步骤1.5):多特征融合:
[0108]将步骤1.2)?1.4)中提取的Hu矩特征、缺陷特征和六个比例特征融合为一个特征向量feature，用于表征手势图像的特征信息:
[0109]feature = {Hu, numDefects, ConLAj LenCRj AreaCRj α，β，η }
[0110]其中，numDefects为缺陷个数，Hu = (Φ 1? Φ2，Φ3，Φ4，Φ5，Φ6，Φ7)。
[0111]步骤1.6):支持向量机训练:
[0112]将上述手势样本图像的特征向量feature和类别标注一起输入到支持向量机中进行训练。
[0113]步骤2):识别过程:对输入图像序列进行手势检测，对检测到的手势进行多特征提取和融合，并输入到支持向量机中得到SVM的识别结果；同时，对手势进行基于缺陷的指尖检测，综合两次结果输出最终的识别结果。
[0114]在本实施例中，步骤2)所述的识别过程，图1是本发明的手势识别的流程图，其具体过程如下:
[0115]步骤2.1):手势检测:
[0116]对输入的视频图像序列进行肤色检测，采用多颜色空间分量的肤色检测方法，建立一个新的颜色空间HLS-CbCr颜色空间，将图像转换到HLS-CbCr颜色空间上，通过事先提取的肤色样本建立肤色模型，根据在HLS-CbCr颜色空间上的肤色模型分布情况，检测出图像中的肤色区域；同时，进行基于时空信息改进的混合高斯背景建模，通过为每个背景像素建立一个混合高斯分布模型，判断出图像中的背景部分，从而进一步提取出前景区域。并根据肤色检测的结果设置检测区R(x，y)，为检测区和非检测区分配不同的学习率，并且记录每个像素被判定为背景次数，根据该次数分配不同的学习率，从而更快速地检测出图像中的前景区域；将两种检测结果综合进行滤波处理和形态学操作之后，得到二值化的手势分害_像。
[0117]步骤2.2):特征提取:
[0118]对手势的二值图按照步骤1.2)?1.5)进行计算得到该手势图像的特征向量；
[0119]步骤2.3): SVM 识别:
[0120]将手势图像的特征向量输入支持向量机中，输出SVM识别结果，识别结果为0、1、2、3、4、5、8七种手势的类型。
[0121]步骤2.4):指尖检测:
[0122]图3是指尖检测的流程图，指尖的个数就是手指的个数，对指尖的检测包括指尖个数以及指尖的位置信息。根据步骤1.3)得到手势缺陷和每个缺陷所包含的三个缺陷点ptStart、ptEnd、ptFar,这些缺陷点中包含了指尖点，所以建立一个有效缺陷点筛选器,筛选出有效的缺陷点即为指尖点。筛选器规则如下:
[0123]1.缺陷的起始点与深度点距离大于一定比例的手势外接矩形高H
[0124]Lenght (ptStart, ptFar) > αΗ,其中 α 为比例系数。
[0125]i1.缺陷的深度点与结束点距离大于一定比例的手势外接矩形高H
[0126]Lenght (ptEnd, ptFar) > α H
[0127]ii1.缺陷的起始点、深度点、结束点形成的夹角小于阈值Tangle
[0128]angle (ptStart, ptFar, ptEnd) < Tangle
[0129]iv.缺陷的起始点、深度点、结束点在手势外接矩形的一定范围内
[0130]Ybounding〈 YptStar〈 Ybounding+ ^ H
[0131]Ybounding〈 YptEnd〈 Ybounding+ ^ H
[0132]Ybounding〈 YptFar〈 Ybounding+ ^ H
[0133]其中β为比例系数，H为手势外接矩形高。
[0134]v.当缺陷点间距离小于Tdis时，两缺陷点近似重合，可判定为同一个缺陷点
[0135]Lenght (pti； ptj) < Tdis
[0136]当缺陷点同时满足以上条件时，则通过筛选器可判定为有效缺陷点，记录下有效缺陷点个数及其位置，即为指尖点。
[0137]步骤2.5):综合识别结果:
[0138]比较支持向量机输出的结果与指尖检测输出的指尖点个数，当两者一致时，则输出识别结果。
[0139]所有实验均在PC上实现，计算机参数为:中央处理器Intel(R)Core(TM)i5CPU750i2.67GHz,内存 4.0OGB0
【权利要求】
1.一种基于多特征融合和指尖检测的手势识别方法，其特征在于，包括以下步骤: 步骤1):训练过程:对复杂手势选择合理的手势特征，并利用多特征融合的特征提取算法，对手势进行支持向量机训练，形成训练模型； 步骤2):识别过程:对输入图像序列进行手势检测，对检测到的手势进行多特征提取和融合，并输入到支持向量机中得到SVM的识别结果；同时，对手势进行基于缺陷的指尖检测，综合SVM的识别结果和指尖检测的结果输出最终的识别结果。
2.根据权利要求1所述的一种基于多特征融合和指尖检测的手势识别方法，其特征在于，步骤1)中所述的训练过程，其具体过程如下: 步骤1.1):特征提取: 对手势图像进行特征提取，提取出手势的Hu矩特征、缺陷特征和比例特征，所述的比例特征包括以下六种特征:轮廓周长与轮廓面积比、轮廓周长与外接矩形周长比、轮廓面积与外接矩形面积比、外接矩形宽高比、重心与外接矩形上下边界距离之比、重心与外接矩形左右边界距离之比； 步骤1.2):多特征融合: 将步骤1.1)中提取的Hu矩特征、缺陷特征和六个比例特征融合为一个特征向量，用于表征手势图像的特征信息； 步骤1.3):支持向量机训练: 将上述手势样本图像的特征向量和类别标注一起输入到支持向量机中进行训练，其中类别标注为手势种类的标注。
3.根据权利要求1所述的一种基于多特征融合和指尖检测的手势识别方法，其特征在于，步骤2)中所述的识别过程，其具体过程如下: 步骤2.1):手势检测: 对输入的视频图像序列进行前景检测和肤色检测，将两者检测结果综合，再进行滤波处理和形态学操作，得到二值化的手势分割图像； 步骤2.2):特征提取: 对手势的二值图按照步骤1.1)?1.2)进行特征提取和融合得到该手势图像的特征向量; 步骤2.3):SVM识别: 将手势图像的特征向量输入支持向量机中，输出SVM识别结果； 步骤2.4):指尖检测: 采用基于手势缺陷的指尖检测方法，根据步骤1.1)得到手势缺陷和每个缺陷所包含的三个缺陷点ptStart、ptEnd、ptFar，建立一个有效缺陷点筛选器，筛选出有效的缺陷点即为指尖点；筛选器规则如下: .1.缺陷的起始点与深度点距离大于一定比例的手势外接矩形高Η Lenght (ptStart, ptFar) > αΗ,其中 α 为比例系数； ?.缺陷的深度点与结束点距离大于一定比例的手势外接矩形高Η Lenght(ptEnd, ptFar) > α Η ii1.缺陷的起始点、深度点、结束点形成的夹角小于阈值Tangle angle (ptStart, ptFar, ptEnd) < Tangle iv.缺陷的起始点、深度点、结束点在手势外接矩形的一定范围内
^bounding〈 YptStar〈 Ybounding+ ^ H
Ybounding〈 YptEnd〈 ^bounding+ ^ H
^bounding〈 YptFar〈 Ybounding+ ^ H 其中β为比例系数，H为手势外接矩形高； ν.当缺陷点间距离小于Tdis时，两缺陷点近似重合，可判定为同一个缺陷点 Lenght (pti； ptj) < Tdis 当缺陷点同时满足以上条件时，则通过筛选器可判定为有效缺陷点，记录下有效缺陷点个数及其位置，即为指尖点； 步骤2.5):综合识别结果: 比较支持向量机输出的结果与指尖检测输出的指尖点个数，当两者一致时，则输出识别结果。
【文档编号】G06K9/64GK104299004SQ201410568977
【公开日】2015年1月21日 申请日期:2014年10月23日 优先权日:2014年10月23日
【发明者】于慧敏, 盛亚婷 申请人:浙江大学