一种手势控制的人机交互方法及装置制造方法
【专利摘要】本发明涉及一种手势控制的人机交互方法及装置，人机交互装置获取人手区域信息，根据人手区域信息计算并设置开启人机交互手势的人手中心点，根据人手中心点在三维空间内的运动轨迹，以此确定人手动作为静态变化手势或动态变化手势，同时识别并获得与手势动作对应的控制指令，该控制指令用于控制终端设备，以使机器设备执行与控制指令对应的操作。该人机交互方法在传统的人机交互方法的基础上进行了改进，解决了传统人机交互方法中存在的手势识别度不高而带来的误操作、反复操作等问题。相比于传统的人机交互方法，该方法步骤设计更为合理有效，其作用更为明显，效果更为显著，具有更高的实用价值。
【专利说明】一种手势控制的人机交互方法及装置
【技术领域】
[0001 ] 本发明涉及一种手势控制的人机交互方法及装置，属于人工智能与图像处理【技术领域】。
【背景技术】
[0002]随着科技的发展，各种智能设备的应用越来越广泛。人与智能设备之间的人机交互也越来越多，人机交互方式有接触式和非接触式两种,接触式的人机交互方式较为成熟和完善，而非接触式的人机交互操作方式则处于研究起步阶段。近年来，非接触式的人机交互方式一直是人机交互方式中研究的热点和难点问题，研究好非接触式的人机交互方式具有很高使用价值，尤其是应用到一些特殊要求的场合下则意义更为重大。
[0003]手势是一种直观的、自然地交互方式，表达方式快捷，表达意义丰富，是人类互相交流信息的重要工具。手势识别是按照某种规则识别出手势表达的内容，具有很强的一致性和扩展性。在应用方面，手势识别系统可以实现聋哑人与正常人交流，也可以在应用软件中直接操作软件或虚拟对象。从手的结构来看，手势包含手指和手掌；从手在三维空间的移动来分，可以在水平，垂直，深度三个方向移动。不同数量的手指结合不同方向的移动再加上手掌的变化可以组合成不同的手势，可以实现控制，移动，等不同的运用。近年来，如何更有效对手势识别，达到更好的人与人或人机交互，是研究的热点和难点问题。
【发明内容】
[0004]为解决上述问题，本发明提供一种手势控制的人机交互方法，该方法能够更为精准得获取手势控制信息，实现更为有效的人机交互操作。
[0005]本发明还提供一种用于实现上述手势控制的人机交互方法的装置。
[0006]术语说明:
[0007]1、深度信息，是指深度图像具有的物体三维特征信息，深度图像不同与通常所处理的二维图像，深度图像中的像素代表了一个相对的深度信息，因此每个像素都包含了三维坐标系下各个坐标值的信息，深度图像数据反映了景物表面的三维信息。
[0008]2、图像形态学处理，是指将数字形态学作为工具从图像中提取对于表达和描绘区域形状有用处的图像分量，比如边界、骨架以及凸壳，还包括用于预处理或后处理的形态学过滤、细化和修剪等。
[0009]本发明的技术方案如下:
[0010]一种手势控制的人机交互方法，该方法包括，通过人手动作实现与人机交互装置的操作，所述人手动作包括静态变化手势和动态变化手势；
[0011]人机交互装置获取人手区域信息，所述人手区域位于人体与所述人机交互装置之间；
[0012]所述人机交互装置根据人手区域信息计算并设置开启人机交互动作的人手中心点，所述人手中心点作为人手区域在三维空间运动的参考基点；通过判断人手中心点在三维空间内的运动轨迹，来确定人手动作为静态变化手势或动态变化手势；
[0013]所述人机交互装置识别并获得与人手动作相对应的控制指令，所述控制指令用于控制终端设备完成相应操作。
[0014]优选的，所述人机交互装置获取人手区域信息的过程包括:
[0015]首先，所述人机交互装置获取人脸区域信息，然后根据获取的人脸区域信息计算并得到肤色特征，再根据人手深度信息和肤色特征获取人手区域信息，最后根据优化算法并结合图像形态学处理，对人手区域信息进行优化处理。
[0016]进一步优选的,所述优化算法为Blob labeling算法。
[0017]优选的，所述人手中心点设置为人手手掌的最大内切圆圆心或整个手的最小外接圆圆心。
[0018]优选的，所述人手中心点在三维空间内的运动轨迹，是通过判断人手中心点在三维坐标系内的位移与阈值的大小关系，确定人手动作是静态变化手势还是动态变化手势:人手中心点在三维空间内对应一个三维坐标，通过判断该人手中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量，若该组合位移向量的值小于预先设定的阈值，则人手动作为静态变化手势，若该组合位移向量的值大于预先设定的阈值，则人手动作为动态变化手势。
[0019]进一步优选的，所述静态变化手势包括识别手指伸缩个数的结合确定的手势、以手的轮廓与外接圆面积比参数确定的手势、以手的有效凸缺陷加有效凸缺陷特征角的个数确定的手势、以本征图像的一维特征向量确定的手势；所述动态变化手势包括单纯人手中心点的位移确定的动态变化手势、人手中心点的位移结合手势变化确定的动态变化手势。此设计的好处在于，动态变化手势除了包括单纯人手中心点上下、左右、前后的位移变化带来的手势控制，还包括结合人手中心点的位置变化和手指或手掌的姿态变化带来的手势控制，减少了手势识别的时间，增加了人机交互过程中人机交互装置操作的多样性。
[0020]优选的，所述人机交互方法还包括人机交互装置定时获取并更新肤色特征的过程。此设计的目的在于，在进行人机交互的过程中，人机交互装置的光照变化难免对肤色产生影响，通过设置定时提取图像装置，定时更新肤色特征，以便人机交互装置能够准确检测到人手区域的手势动作。
[0021]一种用于实现手势控制的人机交互方法的装置，包括依次连接的图像获取模块、手势处理模块、功能实现模块和终端设备；所述图像获取模块分别获取人脸区域信息和人手区域信息后，由手势处理模块根据人手区域信息计算并设置开启人机交互动作的人手中心点，手势处理模块通过人手中心点的运动轨迹结合手势判断来识别人手动作后传输给功能实现模块，功能实现模块加载有与该人手动作信息相对应的控制指令，该控制指令进行终端设备的操作。
[0022]优选的，该装置还包括定时提取模块，所述定时提取模块用以对图像获取模块获取的人脸区域信息定时获取并更新肤色特征。
[0023]本发明的有益效果在于:
[0024]1.本人机交互方法改变了传统单纯获取手势图像进行机器设备操作的方式，通过在人机交互过程中加入肤色特征这一因素，人机交互装置通过获取肤色能够进行更为精确地定位人手区域，解决了传统人机交互过程中手势识别度不高而带来的误操作、反复操作等问题。
[0025]2.本人机交互方法区别于传统人机交互装置对人手动作不进行区分识别的单一做法，在人机交互装置进行手势动作识别前，先对人手动作进行划分识别为静态变化手势还是动态变化手势，提高了人手动作识别的有效性；同时，静态变化手势或动态变化手势能够更容易分类定义不同手势下的操作动作，提高了人机交互装置的实用性和控制性。
[0026]3.本人机交互方法通过增加定时获取并更新肤色特征的设计，其目的是为了减少人机交互装置光照对肤色的影响，进而获得更为准确的人手区域，对手势动作的识别会更为准确无误。
[0027]4.本人机交互方法在传统的人机交互方法的基础上进行了改进，解决了传统人机交互方法中存在的问题；相比于传统的人机交互方法，该方法步骤设计更为合理有效，其作用更为明显，效果更为显著，具有更高的实用价值。
【专利附图】
【附图说明】
[0028]图1为人机交互过程中人机交互装置各部分的结构框图；
[0029]图2为人机交互过程中交互方法的流程示意图。
【具体实施方式】
[0030]下面通过实施例并结合附图对本发明做进一步说明，但不限于此。
[0031]实施例1:
[0032]一种手势控制的人机交互方法，该方法包括:
[0033]首先根据人机交互装置的图像获取装置获取的图像中锁定人脸区域，这一过程可根据生理学知识，比如人脸的长宽比范围(0.9，2.0)结合Adaboost算法，来获取较为可靠的人脸区域，然后根据获取的人脸区域得到肤色特征，此过程由图像获取装置后期处理来获得肤色特征。
[0034]其次，在实际操作过程中，人手区域位于人体与所述人机交互装置之间；根据深度信息结合肤色特征来获取人手区域信息，接着根据Blob labeling优化算法并结合图像形态学处理的操作，进行去噪处理，进一步得到更为精确的人手区域信息。
[0035]人机交互装置根据人手区域信息计算并设置开启人机交互手势的人手中心点，该人手中心点为手掌的最大内切圆圆心，以此人手中心点作为人手区域在三维空间运动的参考基点;
[0036]判断人手中心点在三维空间内的运动轨迹，通过判断人手中心点在三维坐标内位移与阈值M的大小关系，具体过程是:该人手中心点在三维空间内对应一个三维坐标，通过判断该人手中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量，若该组合位移向量的值小于预先设定的阈值M，则人手动作为静态变化手势，若该组合位移向量的值大于预先设定的阈值M，则人手动作为动态变化手势。
[0037]静态变化手势包括以手指伸缩个数的结合确定的手势，如伸出三个手指；或以手的轮廓与外接圆面积比参数确定的手势，如握拳；或以手的有效凸缺陷加有效凸缺陷特征角的个数确定的手势；或以本征图像的一维特征向量确定的手势；动态变化手势包括人手中心点的位移确定的动态变化手势，如人手左右移动或前后移动或上下移动；人手中心点的位移结合手势变化确定的动态变化手势，如人手左右移动的同时又伸出三根手指或人手前后移动的同时握拳。
[0038]动态变化手势除了包括单纯人手中心点上下、左右、前后的位移变化带来的手势控制，还包括结合人手中心点的位置变化和手指或手掌的姿态变化带来的手势控制，增加了人机交互过程中人机交互装置操作的多样性。
[0039]最终，人机交互装置识别并获得与人手动作相对应的控制指令，控制指令用于控制终端机器设备完成相对应的操作，如抓取、拿放、开关、启动、暂停等动作。人机交互装置将相应指令预先存储于数据库中，当展现某一人手动作时，人机交互装置识别并从数据库中调取与该动作相对应的控制指令，该控制指令控制机器设备实现特定的操作动作，其整个方法过程如图2所示。
[0040]实施例2:
[0041]一种手势控制的人机交互方法，其方法步骤如实施例1所述，其不同之处在于根据整个人手的最小外接圆圆心，以此圆心为人机交互手势的人手中心点。
[0042]实施例3:
[0043]一种手势控制的人机交互方法，其方法步骤如实施例1所述，其不同之处在于，该人机交互方法还包括人机交互装置定时获取并更新肤色特征的过程。在进行人机交互的过程中，人机交互装置的光照变化难免对肤色产生影响，通过设置定时提取图像装置，定时更新肤色特征，以便人机交互装置能够准确检测到人手区域的手势动作。
[0044]实施例4:
[0045]一种用于实现手势控制的人机交互方法的装置，包括依次连接的图像获取模块、手势处理模块、功能实现模块和终端设备；所述图像获取模块分别获取人脸区域信息和人手区域信息后，由手势处理模块根据人手区域信息计算并设置开启人机交互动作的人手中心点，手势处理模块通过人手中心点的运动轨迹结合手势判断来识别人手动作后传输给功能实现模块，功能实现模块加载有与该人手动作信息相对应的控制指令，该控制指令进行终端设备的操作。
[0046]该装置还包括定时提取模块，定时提取模块用以对图像获取模块获取的人脸区域信息定时获取并更新肤色特征。通过定时更新肤色特征，以便人机交互装置能够准确检测到人手区域的手势动作。
【权利要求】
1.一种手势控制的人机交互方法，该方法包括，通过人手动作实现与人机交互装置的操作，所述人手动作包括静态变化手势和动态变化手势； 人机交互装置获取人手区域信息，所述人手区域位于人体与所述人机交互装置之间； 所述人机交互装置根据人手区域信息计算并设置开启人机交互动作的人手中心点，所述人手中心点作为人手区域在三维空间运动的参考基点；通过判断人手中心点在三维空间内的运动轨迹，来确定人手动作为静态变化手势或动态变化手势； 所述人机交互装置识别并获得与人手动作相对应的控制指令，所述控制指令用于控制终端设备完成相应操作。
2.如权利要求1所述的手势控制的人机交互方法，其特征在于，所述人机交互装置获取人手区域信息的过程包括: 首先，所述人机交互装置获取人脸区域信息，然后根据获取的人脸区域信息计算并得到肤色特征，再根据人手深度信息和肤色特征获取人手区域信息，最后根据优化算法并结合图像形态学处理，对人手区域信息进行优化处理。
3.如权利要求2所述的手势控制的人机交互方法，其特征在于，所述优化算法为Bloblabeling 算法。
4.如权利要求1所述的手势控制的人机交互方法，其特征在于，所述人手中心点设置为人手手掌的最大内切圆圆心或整个手的最小外接圆圆心。
5.如权利要求1所述的手势控制的人机交互方法，其特征在于，所述人手中心点在三维空间内的运动轨迹，是通过判断人手中心点在三维坐标系内的位移与阈值的大小关系，确定人手动作是静态变化手势还是动态变化手势:人手中心点在三维空间内对应一个三维坐标，通过判断该人手中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量，若该组合位移向量的值小于预先设定的阈值，则人手动作为静态变化手势，若该组合位移向量的值大于预先设定的阈值，则人手动作为动态变化手势。
6.如权利要求5所述的手势控制的人机交互方法，其特征在于，所述静态变化手势包括识别手指伸缩个数的结合确定的手势、以手的轮廓与外接圆面积比参数确定的手势、以手的有效凸缺陷加有效凸缺陷特征角的个数确定的手势、以本征图像的一维特征向量确定的手势；所述动态变化手势包括单纯人手中心点的位移确定的动态变化手势、人手中心点的位移结合手势变化确定的动态变化手势。
7.如权利要求1所述的手势控制的人机交互方法，其特征在于，所述人机交互方法还包括人机交互装置定时获取并更新肤色特征的过程。
8.一种用于实现如权利要求1至7任一项所述的手势控制的人机交互方法的装置，其特征在于，包括依次连接的图像获取模块、手势处理模块、功能实现模块和终端设备；所述图像获取模块分别获取人脸区域信息和人手区域信息后，由手势处理模块根据人手区域信息计算并设置开启人机交互动作的人手中心点，手势处理模块通过人手中心点的运动轨迹结合手势判断来识别人手动作后传输给功能实现模块，功能实现模块加载有与该人手动作信息相对应的控制指令，该控制指令进行终端设备的操作。
9.如权利要求8所述的一种用于实现如权利要求1至7任一项所述的手势控制的人机交互方法的装置，其特征在于，该装置还包括定时提取模块，所述定时提取模块用以对图像获取模块获取的人脸区域信息定时获取并更新肤色特征。
【文档编号】G06K9/00GK104331158SQ201410597981
【公开日】2015年2月4日 申请日期:2014年10月29日 优先权日:2014年10月29日
【发明者】刘治, 尚蕾, 张海霞, 孙彬, 刘虹彤 申请人:山东大学