专利名称：一种基于手势识别的输入设备的制作方法
技术领域：
本实用新型涉及计算机技术领域，更具体地，涉及一种基于手势识别的输入设备。
背景技术：
随着社会的进步与信息爆炸时代的来临，人们越来越多依靠各式各样的消费电子设备(如移动终端、个人数字助理(PDA)等)获取各种信息。比如:打电话与别人沟通，浏览网页获取新闻和查看电子邮件等。目前广泛应用的人机交互包括依靠传统的键盘鼠标等硬件设备，以及近几年逐渐流行起来的触摸屏等。人们对于现存的人机交互方式并不满足，人们期望新一代的人机交互能像人与人交互一样自然、准确和快捷。在20世纪90年代，人机交互的研究进到了多模态阶段，称为人机自然交互(Human-Computer Nature Interaction, HCNI 或 Human-Machine NatureInteraction, HMNI)。近年来，人机自然交互受到广泛关注，对于人机自然手势识别技术研究也得到了长足的发展。随着以美国苹果公司Iphone、Ipad等设备为代表的平面触摸屏交互界面的发展，人们可以方便地对平面触摸屏幕上的交互内容进行直接触摸点击、拖动、图片放大缩小等手势交互操作。以微软公司的Kinect设备为代表，基于体感识别技术，用户可以通过自然地空间手势动作来控制屏幕上的交互内容。然而，目前现有的手势识别设备均只适用于特定设备以及特定的交互界面，并不是标准的输入输出设备，无法与其它设备相兼容，无法应用到各种普遍应用情形之中，也不便于独立携带。
实用新型内容本实用新型提出一种基于手势识别的输入设备，可以像鼠标或键盘一样成为一种标准输入设备，可以与其它设备相兼容，能够适用于各种普遍应用情形，而不仅适用于特定的设备以及特定的交互界面。本实用新型的技术方案如下:一种基于手势识别的输入设备，包括摄像模块、图像运算处理模块和通用接口模块，其中:摄像模块，其视野方向朝向用户前方，用于实时获取用户前方视野范围内含有景深信息的图像流数据；图像运算处理模块，用于接收摄像模块获取的所述图像流数据，从所述图像流数据中解析出所述景深信息，根据用户手的特征跟踪所述图像流数据中手型部分的区域位置，并结合所述景深信息实时获得用户手的空间三维位置信息和手指的动作状态；通用接口模块，用于将所述的用户手的空间三维位置信息和手指的动作状态输出到计算机主机。[0013]摄像模块，用于以至少每秒30帧的速率实时获取用户前方视野范围内含有景深信息的图像流数据。图像运算处理模块，用于根据用户手的特征，应用肤色检测算法与模版识别算法相结合的方式对所述图像流数据进行解析，以跟踪所述图像流数据中手型部分的区域位置。通用接口模块，用于通过有线数据接口或无线数据接口的方式，将所述的用户手的空间三维位置信息和手指的动作状态输出到计算机主机。所述有线数据接口为通用串行总线(USB)数据接口。所述无线数据接口为:蓝牙数据接口、红外数据接口或wifi数据接口。所述摄像模块、图像运算处理模块及通用接口模块集成在一起，以形成为独立的可佩戴设备。所述摄像模块、图像运算处理模块及通用接口模块集成在一起，构成为独立的可佩戴设备的功能单元。图像运算处理模块，用于应用模版识别算法将用户手实时识别为骨架模型，在该骨架模型中，手指由直线表征，手的关节由点表征。从上述技术方案可以看出，在本实用新型实施方式中，摄像模块，其视野方向朝向用户前方，用于实时获取用户前方视野范围内含有景深信息的图像流数据；图像运算处理模块，用于接收摄像模块获取的所述图像流数据，从所述图像流数据中解析出所述景深信息，根据用户手的特征跟踪所述图像流数据中手型部分的区域位置，并结合所述景深信息实时获得用户手的空间三维位置信息和手指的动作状态；通用接口模块，用于将所述的用户手的空间三维位置信息和手指的动作状态输出到计算机主机。由此可见，应用本实用新型之后，提出了一种通用的手势识别交互设备的解决方案，基于该解决方案所开发的设备将可以像鼠标和键盘一样成为一种标准输入设备，可以与其它设备相兼容，能够适用于各种普遍应用情形，而不仅适用于特定的设备以及特定的交互界面。而且，本实用新型可以集成为一个可佩戴设备，或集成为某可佩戴设备上的功能模块，可携带性非常好。另外，用户也可将本实用新型佩戴在头上、胸前、肩上等多个位置，可以适用于很多的场景。
图1为本实用新型的基于手势识别的输入设备与主机连接结构图。图2为人手骨架系统示意图。
具体实施方式
为使本实用新型的目的、技术方案和优点更加清楚，
以下结合附图对本实用新型作进一步的详细描述。本实用新型提出一种通用的手势识别设备，该设备将可广泛用于目前的人机交互界面，使人可以通过手势自然地进行人机交互。在一个实施方式中，该设备包括摄像模块，图像运算处理模块和通用接口模块。[0029]在物理上，摄像模块与图像运算处理模块及通用接口模块可集成在一起成为一个可佩戴设备。可选地，摄像模块与图像运算处理模块及通用接口模块可集成为某可佩戴设备上的功能模块。用户可将该佩戴设备或功能模块佩戴在头上、胸前、肩上等多个位置，其中摄像模块视野方向朝向人的前方，用户的手抬起后将进入摄像模块的视野范围。如，摄像模块示范性地以至少每秒30帧实时获取前方视野范围内含有景深信息的图像流数据，用于后续图像运算处理模块进行分析得到视野场景的景深信息并进一步获得视野中人手及手指的位置与运动信息。图像运算处理模块接收摄像模块得到的图像流数据，通过一定的软件算法获得摄像模块视野前方场景的景深信息，并根据人手的特征判断出人手在摄像模块的摄像头视野场景中的出现，并实时追踪人手及手指的位置与运动信息。图2为人手骨架系统示意图。在实际处理中，该软件算法中可以包括人手的骨架追踪系统，通过该算法将人手实时的识别为一个骨架模型(如图2所示)，其中手指由直线表征，手的关节由点表征，从而可实时得到人手的三维空间位置信息以及手指的动作状态。通用接口模块可以是通用的有线(如USB)或无线(如蓝牙，wifi等)多重数据接口。通过与主机相连，通用接口模块可以将图像运算处理模块得到的人手的三维空间位置信息以及手指的动作状态等数据实时地以特定的数据格式发送给主机。主机端安装有相应主机操作系统下的该设备或模块的驱动程序，该驱动程序将解析实时传输到主机的数据并转化为交互操作命令，其流程就像鼠标通过USB与电脑联机，电脑端安装了鼠标的驱动程序后，鼠标就可以控制电脑屏幕上的指针进行交互操作一样。图1为本实用新型的基于手势识别的输入设备与主机连接结构图。如图1所示，该基于手势识别的输入设备包括摄像模块、图像运算处理模块和通用接口模块。摄像模块，其视野方向朝向用户前方，用于实时获取用户前方视野范围内含有景深信息的图像流数据；图像运算处理模块，用于接收摄像模块获取的所述图像流数据，从所述图像流数据中解析出所述景深信息，根据用户手的特征跟踪所述图像流数据中手型部分的区域位置，并结合所述景深信息实时获得用户手的空间三维位置信息和手指的动作状态；通用接口模块，用于将所述的用户手的空间三维位置信息和手指的动作状态输出到计算机主机。在一个实施方式中，摄像模块，用于以至少每秒30帧的速率实时获取用户前方视野范围内含有景深信息的图像流数据。比如，摄像模块具体可以采用以色列Primesense公司研发的深度摄像传感装置。该深度摄像传感装置可以实时获得前方视场图像的深度信息，它通过从传感器投射出红外点阵图案，然后通过带红外滤波器的传统CMOS图像传感器检测叠加了红外点阵图案的前方视场，由于红外点阵图案会根据反射光线的物体的远近以及形状发生改变，集成在深度摄像传感装置中的芯片实时接收来自CMOS图像传感器的结果并根据红外点阵图案的变化分析计算出每个像素点的深度信息。[0044]在一个实施方式中，图像运算处理模块，用于根据用户手的特征，应用肤色检测算法与模版识别算法相结合的方式对所述图像流数据进行解析，以跟踪所述图像流数据中手型部分的区域位置。优选地，图像运算处理模块，用于应用模版识别算法将用户手实时识别为骨架模型，在该骨架模型中，手指由直线表征，手的关节由点表征。具体地，当摄像模块具体可以采用以色列Primesense公司研发的深度摄像传感装置时，图像运算处理模块接收来自深度摄像传感装置的一帧帧带有深度信息的图像数据，根据肤色检测算法与模版识别算法相结合的方法对接收到的图像数据进行分析跟踪图像中手型部分的区域位置，结合深度信息进而可以实时获得手点的空间三维位置和手指的动作状态。在一个实施方式中，通用接口模块，用于通过有线数据接口或无线数据接口的方式，将所述的用户手的空间三维位置信息和手指的动作状态输出到计算机主机。其中，有线数据接口具体可以包括通用串行总线(USB)数据接口 ；无线数据接口具体可以包括:蓝牙数据接口、红外数据接口或wifi数据接口，等等。优选地，可以将摄像模块、图像运算处理模块及通用接口模块集成在一起，以形成为独立的可佩戴设备。可选地，还可以将摄像模块、图像运算处理模块及通用接口模块集成在一起，构成为独立的可佩戴设备的功能单元。在一个实施方式中，可以将摄像模块与图像运算处理模块整体作为一个手势传感单元。该手势传感单元包括摄像模块与图像处理模块，而且摄像模块与图像处理模块的上述结合仅作为手势传感单元的一个具体实例。在这里，手势传感单元，用于实时感测跟踪传感模块视场中用户手的位置以及手的至少两种状态。综上所述，在本实用新型实施方式中，摄像模块，其视野方向朝向用户前方，用于实时获取用户前方视野范围内含有景深信息的图像流数据；图像运算处理模块，用于接收摄像模块获取的所述图像流数据，从所述图像流数据中解析出所述景深信息，根据用户手的特征跟踪所述图像流数据中手型部分的区域位置，并结合所述景深信息实时获得用户手的空间三维位置信息和手指的动作状态；通用接口模块，用于将所述的用户手的空间三维位置信息和手指的动作状态输出到计算机主机。由此可见，应用本实用新型之后，提出了一种通用的手势识别交互设备的解决方案，基于该解决方案所开发的设备将可以像鼠标和键盘一样成为一种标准输入设备，可以与其它设备相兼容，能够适用于各种普遍应用情形，而不仅适用于特定的设备以及特定的交互界面。而且，本实用新型可以集成为一个可佩戴设备，或集成为某可佩戴设备上的功能模块，可携带性非常好。另外，用户也可将本实用新型佩戴在头上、胸前、肩上等多个位置，可以适用于很多的场景。以上所述，仅为本实用新型的较佳实施例而已，并非用于限定本实用新型的保护范围。凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。
权利要求1.一种基于手势识别的输入设备，其特征在于，包括摄像模块、图像运算处理模块和通用接口模块，其中: 摄像模块，其视野方向朝向用户前方，用于实时获取用户前方视野范围内含有景深信息的图像流数据； 图像运算处理模块，用于接收摄像模块获取的所述图像流数据，从所述图像流数据中解析出所述景深信息，根据用户手的特征跟踪所述图像流数据中手型部分的区域位置，并结合所述景深信息实时获得用户手的空间三维位置信息和手指的动作状态； 通用接口模块，用于将所述的用户手的空间三维位置信息和手指的动作状态输出到计算机主机； 所述摄像模块、图像运算处理模块及通用接口模块集成在一起，以形成为独立的可佩戴设备或构成为独立的可佩戴设备的功能单元。
2.根据权利要求1所述的基于手势识别的输入设备，其特征在于， 摄像模块，用于以至少每秒30帧的速率实时获取用户前方视野范围内含有景深信息的图像流数据。
3.根据权利要求1所述的基于手势识别的输入设备，其特征在于， 通用接口模块，用于通过有线数据接口或无线数据接口的方式，将所述用户手的空间三维位置信息和手指的动作状态输出到计算机主机。
4.根据权利要求3所述的基于手势识别的输入设备，其特征在于，所述有线数据接口为通用串行总线(USB)数据接口。
5.根据权利要求3所述的基于手势识别的输入设备，其特征在于，所述无线数据接口为:蓝牙数据接口、红外数据接口或wifi数据接口。
专利摘要本实用新型提出了一种基于手势识别的输入设备。摄像模块，其视野方向朝向用户前方，用于实时获取用户前方视野范围内含有景深信息的图像流数据；图像运算处理模块，用于接收摄像模块获取的图像流数据，从图像流数据中解析出景深信息，根据用户手的特征跟踪图像流数据中手型部分的区域位置，并结合景深信息实时获得用户手的空间三维位置信息和手指的动作状态；通用接口模块，用于将用户手的空间三维位置信息和手指的动作状态输出到计算机主机。本实用新型可以像鼠标和键盘一样成为一种标准输入设备，而且自身可以集成为可佩戴设备或成为可佩戴设备上的功能模块，可携带性非常好。
文档编号G06F3/01GK203070205SQ201220299370
公开日2013年7月17日 申请日期2012年6月21日 优先权日2012年6月21日
发明者刘广松 申请人:乾行讯科(北京)科技有限公司