专利名称：互动系统中的动态手势识别方法
技术领域：
本发明涉及一种图像分析与识别技术领域，特别涉及一种互动系统中的动态手势 识别方法。
背景技术：
众所周知，传统的鼠标是人机交互的基本工具之一，人们通常必须借助外力才能 控制计算机，实现对计算机的操作。随着科技的逐渐发展，人机交互界面越来越向友好、便 捷的方向发展。近年来，各种新型的人机互动系统涌现在人们面前，例如触摸屏、数据手套、 遥控手柄以及徒手等等，其中，触摸屏，数据手套，遥控手柄等因为识别率高，实现简单，被 普遍的用在商业、游戏等领域。而通过识别普通摄像头采集的手势图像来进行徒手操作则 因为它成本低廉、操作人性化，逐渐成为众人瞩目的焦点，但与此同时，不得不承认的是，由 于环境的不确定性、操作者的随意性和手形的多样性等，徒手操作的识别率比较低，因此， 提高动态手势的识别率成为了需要解决的首要问题。现有技术中影响动态手势识别率的主要因素有手具有唯一性，不同人的同一种 手势的差别很大；手是三维空间中的物质，在二维图像中手势方向难以确定。因此，动态手 势识别的难度比较大。目前手势识别方法主要有几何特征法，神经网络法(ANN)和隐马尔可夫模型 (HMM)识别方法等。其中ANN和HMM由于算法复杂，实时性不高，并不适用于动态手势识别 中，而几何特征识别法则面临识别率不够高的问题。
发明内容
本发明的目的是提供一种互动系统中的动态手势识别方法，以克服以往算法中复 杂度高、实时性低、识别率不高的问题。该方法主要采用了根据手势重心和指尖的几何特征 进行分类识别的方法，具有实现简单，实时性好，识别率高的优点，能很好地应用于动态手 势识别中。为实现上述目的，本发明的整个识别过程主要包括以下几个步骤 第一步采集图像，经过去噪处理之后，得到当前图像帧；
第二步利用当前图像帧和参考图像帧做帧差，得到图像的运动区域，同时，结合肤色 检测法得到二值化图像；
第三步利用灰度投影法对二值化图像做手势分割，得到手势区域和重心位置； 第四步根据重心位置和指尖特征采用分类识别方法得到最终识别结果。具体每一步的技术细节如下
第一步，所述的采集图像为YCbCr图像，去噪处理为空域滤波法。第二步，由于互动系统中摄像头的角度和图像背景相对固定，为了简化算法，本发 明采用帧差法。同时，为了减少手势阴影对结果的影响，本发明在传统的帧差法基础上，结 合了肤色检测法来对图像进行二值化处理。其中帧差法和肤色检测法都是传统的图像处理方法。另外，这里参考图像使用的是固定背景图像，即当检测不到运动时，取若干帧之后的 图像作为参考图像。 第三步，利用灰度投影法对手势进行分割。所谓灰度投影法，就是沿X，Y方向对 二值化图像做灰度统计，从而得到两个方向的直方图。通过X方向的投影，可以得到Y方向 的范围(y_start，y_end)，通过Y方向的投影，可以得到X方向的范围(x_start，x_end), 从而可以确定手掌所在的矩形区域。之后，需要在矩形区域内寻找重心。假设重心位置为 (xr, yr),手势所在的矩形区域为(x_end-x_start, y_end_y_start),贝Ij
权利要求
1.一种互动系统中的动态手势识别方法，其特征在于包括以下步骤 第一步采集图像，经过去噪处理之后，得到当前图像帧；第二步利用当前图像帧和参考图像帧做帧差，得到图像的运动区域，同时，结合肤色 检测法得到二值化图像；第三步利用灰度投影法对二值化图像做手势分割，得到手势区域和重心位置； 第四步根据重心位置和指尖特征采用分类识别方法得到最终识别结果。
2.如权利要求1所述的互动系统中的动态手势识别方法，其特征在于第一步所述的采 集图像为YCbCr图像，去噪处理为空域滤波法。
3.如权利要求1所述的互动系统中的动态手势识别方法，其特征在于第四步所述的分 类识别方法的步骤为第一步通过多级菱形样板匹配法采集指尖位置点； 第二步通过指尖特征分类识别定义手势； 第三步当搜索完成，按照定义的规则识别手势。
4.如权利要求3所述的互动系统中的动态手势识别方法，其特征在于第一步所述的多 级菱形样板匹配法的菱形匹配分为三级第一级用1X1菱形样本(31)，第二级用5)(5菱形 样本(32)，步进T=2，第三级用13X13菱形样本(33)，步进Κ=3。
5.如权利要求3所述的互动系统中的动态手势识别方法，其特征在于第二步所述的分 类识别的规则为步骤一指尖的备选位置为第一个指尖点，那么在Y方向的投影图上 若该点离手势重心距离大于手势重心到食指指尖点的距离，表示该点为第一个有效指 尖点，返回至第一步，重新搜索下一个备选指尖；若该点离手势重心距离介于手势重心到食指指尖点的距离与手势重心到拳头前沿的 距离之间时，表示可能为拳头的前沿点，先假设该点为有效点，返回至第一步，重新搜索下 一个备选指尖；c)若该点离手势重心距离小于手势重心到拳头前沿的距离时，表示为拳头的前沿点， 返回指尖数量0;步骤二 指尖的备选位置为第二个指尖点，如果该点与前一有效指尖点的距离大于两 个有效指尖点间的距离时，则该点为有效指尖点，跳至步骤三，继续判断；否则，该点为误判 点，返回至第一步，重新搜索下一个备选指尖；步骤三看前后两个指尖点与重心是否满足一定的三角关系假设重心为圆心0，水平 向左OP为0°，计算指尖点A与重心连线的角度Z AOP (51)和长度(M)，以及指尖点 B与重心连线的角度Z BOP (53)和长度(55)，由右手的形状特点可以知道，有下述情况 出现时当A在以0为圆心，(54)为半径的圆上运动，B也在以0为圆心，(55)为半 径的圆上运动，同时，夹角Z AOB (52)在30° 120°之间，且在Z AOB (52)的平分线上，被 手势覆盖的像素点比较少，这时，表示拇指指尖已经找到，返回指尖数量2，否则，返回至第 一步，重新搜索指尖。
6.如权利要求3所述的互动系统中的动态手势识别方法，其特征在于第三步所述规则 为当整个手势区域搜索完成时，若始终没有找到第二个指尖点，而此时，若第一个指尖点 为拳头的可能前沿点，那么这时判断第一个指尖点是拳头的前沿点，返回指尖数量0;另一种可能，第一个指尖点是一个有效的指尖点，那么这时返回指尖数量1。
7.如权利要求3至5之一所述的互动系统中的动态手势识别方法，其特征在于定义了 三种手势，分别是右手食指伸出(21)，右手食指和大拇指伸出(22)，右手拳头(23)。
全文摘要
本发明公开了一种互动系统中的动态手势识别方法，具体有以下四个步骤采集图像，经过去噪处理之后，得到当前图像帧；利用当前图像帧和参考图像帧做帧差，得到图像的运动区域，同时，结合肤色检测法得到二值化图像；利用灰度投影法对二值化图像做手势分割，得到手势区域和重心位置；根据重心位置和指尖特征采用分类识别方法得到最终识别结果。这种方法的优点在于克服以往算法中复杂度高、实时性低、识别率不高的问题，具有实现简单，实时性好，识别率高的优点，能很好地应用于动态手势识别中；另外，本发明算法可以容忍定义手势的平移，尺度以及旋转角度的变换，具有很好的鲁棒性。
文档编号G06F3/01GK102063618SQ201110006619
公开日2011年5月18日 申请日期2011年1月13日 优先权日2011年1月13日
发明者朱丽娟, 薛亮, 贺东芹, 韩磊 申请人:中科芯集成电路股份有限公司