专利名称：三维手势识别方法和系统的制作方法
技术领域：
本发明涉及智能识别领域，具体地讲，涉及一种三维(3D)手势识别方法和系统。
背景技术：
基于虚拟现实的沉浸式(immersive)大型显示器需要人通过传统方式进行交互。但是，当前的计算机/用户交互采用的多是简单的交互方式，并存在交互障碍，因此消费者更愿意通过多媒体或虚拟现实的方式进行交互。例如，计算机键盘提供键盘交互性能，但该键盘交互不是直觉的，而电视遥控器会让用户感觉更直觉，但电视遥控器提供的交互性能有限。另外，一些柔性界面(例如，仪器防护服)既笨重又价格昂贵。当前，大多数现有的手势识别系统仅为ニ维(2D)手势识别，且限于ー些特定视角，另外，也难以对不同朝向的手势感知也非常困难。因此，需要ー种不限于特定视角和不受朝向影响的3D手势识别方法和系统。
发明内容
根据本发明示例性实施例的一方面，提供了ー种3D手势识别系统，所述3D手势识别系统包括特征提取単元，从输入的视频序列的当前帧中提取网格深度特征GDF特征，并提取水平设置瞬间LSM特征和/或曲率直方图HOC特征；匹配単元，将特征提取单元提取的GDF特征与通过离线进行视图聚类而获得的多个聚类模板中的GDF特征进行匹配，以获得当前帧中的手势的朝向信息；支持向量机SVM分类器，基于特征提取单元提取的LSM特征和/或HOC特征以及匹配单元获得的朝向信息来识别当前帧中的手势。所述3D手势识别系统还可包括时域确认单元，根据视频序列的多个先前帧的识别结果来计算当前帧属于特定手势的概率，并将概率最大的手势确定为当前帧的手势。时域确认单元可通过如下公式来确定当前帧的手势c = arg max (p (Ci))p(c) = ProMCri = Ci)/ Ctv1 = C1, . . . , Ti^n = cn)) = I, 2, . . . , N其中，Iv1. . . IVn表示多个先前帧的识别結果，Γ 表示当前帧的当前识别結果，Ci表示第i种手势，N表示手势的总数，η表示先前帧的数量，p(Ci)表示第i种手势的概率，ProbO表示用于获得概率的函数，c表示将与最大概率相应的手势作为当前帧的手势。匹配単元可通过下面的公式来计算表示提取的⑶F特征f和模板的⑶F特征Ti之间的相似度的距离
权利要求
1.一种3D手势识别系统，所述3D手势识别系统包括 特征提取单元，从输入的视频序列的当前帧中提取网格深度特征GDF特征，并提取水平设置瞬间LSM特征和/或曲率直方图HOC特征； 匹配单元，将特征提取单元提取的GDF特征与通过离线进行视图聚类而获得的多个聚类模板中的GDF特征进行匹配，以获得当前帧中的手势的朝向信息； 支持向量机SVM分类器，基于特征提取单元提取的LSM特征和/或HOC特征以及匹配单元获得的朝向信息来识别当前帧中的手势。
2.如权利要求I所述的3D手势识别系统，还包括时域确认单元，根据视频序列的多个先前帧的识别结果来计算当前帧属于特定手势的概率，并将概率最大的手势确定为当前帧的手势。
3.如权利要求2所述的3D手势识别系统，其中，时域确认单元通过如下公式来确定当前帧的手势c = arg max (p (Ci))P(Ci) = prob (= Ci)/ Ov1 = C1, . . . , Ti^n = cn)) = 1,2,——,N 其中，Iv1. . . ινη表示多个先前帧的识别结果，r,表示当前帧的当前识别结果，Ci表示第i种手势，N表示手势的总数，η表示先前帧的数量，p(Ci)表示第i种手势的概率，probO表示用于获得概率的函数，c表示将与最大概率相应的手势作为当前帧的手势。
4.如权利要求I所述的3D手势识别系统，其中，匹配单元通过下面的公式来计算表示提取的GDF特征f和模板的GDF特征Ti之间的相似度的距离 (HsifJi) = YjWn ·|/;, -Γ〃,| 其中，N是特征维数，Wn表示第η维特征的权重；fn表示第η维特征；Tin表示第i个模板的第η维特征。
匹配单元将距离最小的模板所标记的朝向确定为当前帧中手势的朝向，从而获得所述朝向信息。
5.如权利要求I所述的3D手势识别系统，其中，特征提取单元将当前帧均分成多个块，通过计算每个块中像素的深度的平均值来计算块的深度值，并对每个块的深度值进行归一化，以获得当前帧的GDF特征。
6.如权利要求I所述的3D手势识别系统，其中，特征提取单元计算当前帧的每一水平层的图像区域的不变矩特征，然后组合所有水平层的特征，以构成当前帧的LSM特征。
7.如权利要求I所述的3D手势识别系统，其中，特征提取单元计算边界像素的曲率值，对边界像素的曲率值进行直方图分析，从而获得当前帧的HOC特征。
8.如权利要求I所述的3D手势识别系统，其中，通过以下操作来获得SVM分类器 从视图样本数据库中的每个样本图像提取GDF特征； 通过K-medoids方法基于⑶F特征对视图样本数据库中的每个样本图像进行聚类，以获得朝向息； 通过朝向信息对视图样本做标记； 对做了标记的视图样本进行SVM训练，从而获得SVM分类器。
9.一种3D手势识别方法，所述3D手势识别方法包括以下步骤从待识别的当前帧中提取网格深度特征GDF特征，并提取水平设置瞬间LSM特征和/或曲率直方图HOC特征； 将提取的GDF特征与通过离线进行视图聚类而获得的多个聚类模板中的GDF特征进行匹配，以获得当前帧中的手势的朝向信息； SVM分类器基于提取的LSM特征和/或HOC特征以及获得的朝向信息来识别当前帧中的手势。
10.一种3D手势识别系统，所述3D手势识别系统包括 特征提取单元，从待识别的当前帧中提取网格深度特征GDF特征； 实际增强树RBT分类器，基于特征提取单元提取的GDF特征识别当前帧中的手势。
11.一种3D手势识别方法，所述3D手势识别方法包括以下步骤 从待识别的当前帧中提取网格深度特征GDF特征； 实际增强树RBT分类器基于提取的GDF特征识别当前帧中的手势。
12.如权利要求11所述的3D手势识别方法，所述3D手势识别方法还包括步骤根据视频序列的多个先前帧的识别结果来计算当前帧属于特定手势的概率，并将概率最大的手势确定为当前帧的手势。
13.如权利要求11所述的3D手势识别方法，其中，通过以下操作来获得RBT分类器从视图样本数据库中的每个样本图像中提取GDF特征，对提取的GDF特征加上类别标签来对视图样本数据库中的样本图像进行训练，以获得RBT分类器。
全文摘要
提供了一种3D手势识别方法和系统。所述3D手势识别系统包括特征提取单元，从输入的视频序列的当前帧中提取网格深度特征GDF特征，并提取水平设置瞬间LSM特征和/或曲率直方图HOC特征；匹配单元，将特征提取单元提取的GDF特征与通过离线进行视图聚类而获得的多个聚类模板中的GDF特征进行匹配，以获得当前帧中的手势的朝向信息；支持向量机SVM分类器，基于特征提取单元提取的LSM特征和/或HOC特征以及匹配单元获得的朝向信息来识别当前帧中的手势。根据本发明的3D手势识别方法和系统没有手朝向的限制，并且能够成功解决自身遮挡问题。
文档编号G06K9/46GK102855488SQ20111018653
公开日2013年1月2日 申请日期2011年6月30日 优先权日2011年6月30日
发明者王西颖, 任海兵, 张帆 申请人:北京三星通信技术研究有限公司, 三星电子株式会社