专利名称：一种手势动作识别方法和系统的制作方法
技术领域：
本发明涉及人机交互技术，具体地说，涉及一种手势动作识别方法和系统。
背景技术：
人机交互技术是近年来非常热门的研究领域，鼠标和键盘等是传统的人机交互设 备，近年来出现了诸如触控控制、声音控制、手势控制等各种新型的人机交互方式，在用户 体验的自然性和友好性方面进行改进。特别是以手势控制为代表的非接触式人机交互方 式，通过各类传感器设备，实时的或在较短时间内完成对手部动作的识别过程，并转化为计 算机等宿主设备能够识别的命令，是目前非常流行的一种人机交互方式。
手势动作识别方法可以分为基于数据手套的技术和基于机器视觉的技术两类，使 用数据手套的方式可以较为准确的感应和识别手部的细微动作，但是需要佩戴专门的数据 手套，目前主要用于科学研究、精细控制、机器人等特殊应用领域。这种手势动作识别方法 使用麻烦，用户体验非常不好，手势运动不灵活。
而基于机器视觉进行手势动作识别的方法，则因为要求对手部图像进行识别，所 以要求手部距离图像传感器较近，以便获取足够识别处理的图像画面。对于手部的识别通 常采用以颜色分布统计的色彩直方图为依据，因为皮肤颜色可以很容易的与其他部分分离 出来，但这种方法对于环境光照、衣服颜色等有比较高的要求。对于手部的识别还有一种方 法，就是使用特殊的颜色粘贴在手指的特定位置上，通过识别特殊色块图像来代替对手部 的识别，这样可以在一定程度上减少图像处理的工作量，但还是需要在用户手上进行特别 标识，使用起来也不方便。
传统的手势动作识别过程需要手势建模、手势分割、手势分析等多个复杂步骤和 过程。手势识别又可细分为静态手势识别和动态手势识别两类，静态手势对应手势模型参 数空间里的一个点，而动态手势则对应手势模型空间里的一条轨迹，因此要涉及时间和空 间上下文关系。特别是对于动态手势而言，不同的用户在进行手势动作的时候会存在速率 差异、轨迹差异、熟练程度的差异等，从而导致手势建模轨迹在时间轴上引起非线性波动， 而这种非线性波动的消除是非常困难和复杂的，所以传统的基于二维图像的动态识别率普 遍不够高。发明内容
本发明的主要目的在于克服现有技术的不足之处，公开一种手势动作识别方法和 系统，采用红外深度图像传感器和深度图像处理技术，大大提高动态手势识别效率，提升用 户体验。
本发明公开了一种手势动作识别方法，包括如下步骤A，向用户及其所在环境发射结构光平面；再通过光传感器接收用户及其所在环境反 射回来的结构光信号获取感应图像；然后通过深度图像处理单元获取感应图像中的深度信B,周期性地反复选择并记录所述深度信息中的最靠近结构光发射单元的信息，获取 手部运动轨迹信息；C，通过手势动作识别单元识别所述手部运动轨迹信息，判断出相应的用户手势动作 控制命令。
本发明公开的手势动作识别方法，还可以包括D，将所述用户手势动作控制命令转换为宿主设备能够识别的控制命令。
在所述步骤B中，开可以进一步包括根据设定的时间间隔，周期性地把原始轨迹 坐标保存在坐标数据缓存数组中，再将该原始轨迹坐标按照所述XY平面分割方向进行分 组，并将同组的相邻缓存数据去除，得到手部运动轨迹信息；然后在所述步骤C中，再顺序的按照分组标识匹配手部运动轨迹信息与手势动作模板。
本发明公开的手势动作识别方法，还利用插值算法，根据需要对所述手部运动轨 迹信息中补充因为跳帧或采集设备误差引起的分组数据不连续进行补充。
本发明还公开了一种手势动作识别系统，包括中央处理器单元，用于通过软件和 外围电路控制本系统协调工作；还包括结构光发射单元，用于向用户所在位置发射结构光平面；结构光传感器，用于接收用户反射回来的结构光信号构成的感应图像；深度图像处理单元，用于获取感应图像中的深度信息；手部目标跟踪单元，用于选择并记录所述深度信息中的最靠近所述结构光发射单元的 信息，即为手部运动轨迹信息；手势动作识别单元，用于识别所述手部运动轨迹信息，判断出相应的用户手势动作控 制命令。
本发明公开的手势动作识别系统，还可以包括控制命令转换单元，用于将所述用户手势动作控制命令转换为宿主设备能够识别的控 制命令。
在本发明公开的手势动作识别系统中，还包括用于存储坐标数据缓存数组的存储 器；所述手部目标跟踪单元根据设定的时间间隔，周期性地把原始轨迹坐标保存在所述存 储器中。
本发明公开的一种手势动作识别方法和系统，因为采用红外深度图像传感器和深 度图像处理技术，所以可以将用户的手部动作高效的从复杂背景中分离出来，并能够进行 实时的手部运动跟踪，进而通过手部运动轨迹和基于空间方向分割的手势识别模板，完成 手势动作识别过程，不需要进行事先的手势建模和学习，从而大大提高动态手势识别效率， 提升了用户体验。
图1为本发明的手势动作识别系统的一个实施例的电气结构框图。
图2为本发明的手势动作识别方法中使用的XY平面分割示意图。
图3为本发明的动态手势动作识别方法的一个实施例的流程图。
图4为本发明的动态手势动作识别方法的一个实施例的手势模板匹配流程图。
具体实施方式
下面结合附图和具体实施方式
对本发明作进一步详细说明。
本发明的手势动作识别方法基于红外深度图像传感器和深度图像处理单元，可以 将用户动态手部动作高效的从复杂背景中分离出来，并能够进行实时的手部运动跟踪，进 而通过手部运动轨迹和基于空间方向分割的手势识别模板，完成手势动作识别过程，不需 要进行事先的手势建模和学习，从而可以较好的避免传统手势动作识别中存在的问题，大 大提闻动态手势识别效率。
如图1所示为本发明的手势动作识别设备的一个实施例的电气结构框图，其主要 构成包括红外结构光发射单元用于向用户所在方向发射有编码的结构光平面。
红外结构光传感器单元也称为红外结构光感应单元，用于接收并感应经由用户 所在环境反射回来的红外结构光。
深度图像处理单元根据结构光编码技术原理,通过对比三维环境对象的结构光 编码和原始的平面结构光编码，来获取结构光传感器可视范围内的场景深度信息。
手部目标跟踪单元用于从环境背景中跟踪用户手部目标运动轨迹。不失一般性 地，我们假设用户在实际使用环境中相对于其他场景部分是运动的，在本发明中，我们将用 户手部动作范围都默认限定在用户身体前方，因此距离深度图像传感器距离最近的运动对 象像素位置即为用户的手部对象。所以，我们只需跟踪连续深度图像数据帧中，深度最小的 运动像素目标即可达到用户手部目标跟踪的效果。这里，深度图像数据帧是深度传感器识 别和保存的深度图像信息，每一个像素都是对应目标与传感器之间的距离值。
手势动作识别单元用于根据手部目标跟踪单元的用户手部运动轨迹跟踪结果， 与预定的基于空间方向分割的手势动作模板进行比对，并将比对结果作为手势动作识别结 果发送给控制命令转换单元。
控制命令转换单元用于将特定的手势动作指令转换为宿主系统能够识别的控制 命令，用于控制本发明的手势动作控制设备的工作状态。
如图2所示为本发明的手势动作识别方法中使用的XY平面分割示意图。不失一 般性，我们以垂直于地平面的与用户站立方向平行距离用户30公分的XY平面为例，我们把 这个XY平面，以用户单手平伸所形成的交点为坐标系原点，垂直于地面的为Y轴，平行于地 面的为X轴；在该平面上按照经过原点的X轴、Y轴、正负斜45度分割线为准，将该平面分 成8个部分，从正上方开始按照顺时针方向编号分别对应S1、S2、S3、S 4、S 5、S 6、S 7、S8,共计8个区域。
如图3所示为本发明的动态手势动作识别方法的流程图，作为本发明的一个实施 例，主要步骤包括1、红外结构光发射单元向用户所在方向发射经过编码的平面结构光。
2、红外结构光传感器单元接收并感应经由用户及其环境反射的红外结构光。
3、深度图像处理单元根据结构光编码技术原理，通过对比三维环境对象的结构光 编码和原始平面结构光编码获取感应图像的深度信息，并存储成连续的深度图像帧。
4、手部目标跟踪单元通过连续深度图像帧的处理结果，跟踪深度最小的运动像素部分目标，即用户手势动作轨迹。
5、手势动作识别单元根据用户连续的手势动作轨迹与预设的基于空间方向分割 的手势动作模板进行比对，识别用户手势动作。
这里，基于空间方向分割的手势动作模板是指，不失一般性地，定义不同的 手势动作模板，比如，向左挥手对应的动作模板为{S2-S1-S8-S1}，命名为Ml模板；向 右挥手对应的动作模板为{S7-S8-S1-S2}，命名为M2模板；顺时针旋转动作模板为 {S7-S8-S1-S2-S3-S4-S5-S6}，命名为 M3 模板，等等。
6、手势动作识别单元识别出的动作指令发送至控制命令转换单元，从而将特定的 手势动作指令转换为宿主系统能够识别的控制命令。
如图4所示为本发明的动态手势动作识别方法中的手势模板匹配流程图。作为本 发明的一个实施例，手势动作轨迹与模板对比的过程如下在设定的时间间隔内，比如每30毫秒内将手部目标跟踪单元的处理的轨迹坐标放置 在一个坐标数据缓存数组中，因为深度图像的分辨率一般很低，整个手部在深度图像中也 就几个像素的粒度，手部的运动在深度图像序列中就是对应少量相邻像素的运动，坐标数 据缓存数组中的原始轨迹坐标即为这几个像素对应位置的平均值。
然后将上述原始轨迹坐标按照所述XY平面分割方向进行分组，并将同组的相邻 缓存数据去除，再根据需要补充因为跳帧或采集设备误差等引起的分组数据不连续，一般 采用插值算法来补充平滑数据的不连续。
然后再顺序的将实际获得的手部目标轨迹分组标识与手势动作模板进行匹配，最 后得出匹配结果。从而根据模板得知用户的手势动作控制命令。
本发明通过基于红外深度图像传感器和深度图像处理单元，可以将用户动态手部 动作高效的从复杂背景中分离出来，并能够进行实时的手部运动跟踪，进而通过手部运动 轨迹和基于空间方向分割的手势识别模板，完成手势动作识别过程，不需要进行事先的手 势建模和学习过程，从而可以较好的避免传统手势动作识别中的存在的问题，大大提高动 态手势识别效率，提升用户体验。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种手势动作识别方法，其特征在于，包括如下步骤 A、向用户及其所在环境发射结构光平面；再通过光传感器接收用户及其所在环境反射回来的结构光信号获取感应图像；然后通过深度图像处理单元获取感应图像中的深度信息； B、周期性地反复选择并记录所述深度信息中的最靠近结构光发射单元的信息，获取手部运动轨迹信息； C、通过手势动作识别单元识别所述手部运动轨迹信息，判断出相应的用户手势动作控制命令。
2.如权利要求1所述的手势动作识别方法，其特征在于，还包括 D、将所述用户手势动作控制命令转换为宿主设备能够识别的控制命令。
3.如权利要求2所述的手势动作识别方法，其特征在于，在所述步骤B中进一步包括根据设定的时间间隔，周期性地把原始轨迹坐标保存在坐标数据缓存数组中，再将该原始轨迹坐标按照所述XY平面分割方向进行分组，并将同组的相邻缓存数据去除，得到手部运动轨迹信息； 在所述步骤C中，再顺序的按照分组标识匹配手部运动轨迹信息与手势动作模板。
4.如权利要求3所述的手势动作识别方法，其特征在于，还利用插值算法，根据需要对所述手部运动轨迹信息中补充因为跳帧或采集设备误差引起的分组数据不连续进行补充。
5.一种手势动作识别系统，包括中央处理器单元，用于通过软件和外围电路控制本系统协调工作；其特征在于，还包括 结构光发射单元，用于向用户所在位置发射结构光平面； 结构光传感器，用于接收用户反射回来的结构光信号构成的感应图像； 深度图像处理单元，用于获取感应图像中的深度信息； 手部目标跟踪单元，用于选择并记录所述深度信息中的最靠近所述结构光发射单元的信息，即为手部运动轨迹信息； 手势动作识别单元，用于识别所述手部运动轨迹信息，判断出相应的用户手势动作控制命令。
6.如权利要求5所述的系统，其特征在于，还包括 控制命令转换单元，用于将所述用户手势动作控制命令转换为宿主设备能够识别的控制命令。
7.如权利要求6所述的系统，其特征在于，还包括用于存储坐标数据缓存数组的存储器；所述手部目标跟踪单元根据设定的时间间隔，周期性地把原始轨迹坐标保存在所述存储器中。
全文摘要
本发明涉及一种手势动作识别方法和系统，通过红外结构光发射单元发射结构光平面；再通过红外结构光传感器接收用户反射回来的红外光信号构成的感应图像；然后通过深度图像处理单元获取感应图像中的深度信息；再通过手部目标跟踪单元选择并记录所述深度信息中的最靠近所述红外结构光发射单元的信息，即为手部运动轨迹信息；通过手势动作识别单元识别所述手部运动轨迹信息，判断出相应的用户手势动作控制命令。本发明将用户动态手部动作高效的从复杂背景中分离出来，和基于空间方向分割识别，完成手势动作识别过程，不需要进行事先的手势建模和学习过程，提升了用户体验。
文档编号G06F3/01GK102999152SQ201110160290
公开日2013年3月27日 申请日期2011年9月9日 优先权日2011年9月9日
发明者忻海辉 申请人:康佳集团股份有限公司