一种手势识别装置以及人机互动系统的制作方法

文档序号:15272771发布日期:2018-08-28 22:38阅读:199来源:国知局
本发明涉及计算机视觉识别
技术领域
,尤其涉及一种手势识别装置以及采用该手势识别装置的人机互动系统。
背景技术
:机器学习推动了人工智能的模式识别(patternrecognition)和计算机学习理论的研究。深度学习(deeplearning)是机器学习的一个分枝,其基于一系列的数学算法(algorithm),试图通过一个深度图表(deepgraph),多个处理层(processinglayers)以及多个线性和非线性转化,来模仿高水平的抽象数据(abstractionsindata)。随着技术的飞速发展,深度学习被广泛应用,例如云计算、医学、媒体安全以及自动交通工具。除了人工智能以外,虚拟现实(virtualreality)和增强现实(augmentedreality)也是目前蓬勃发展的技术。虚拟现实和增强现实使用户可以与现实中不存在而仅出现在机器头脑(mindofthemachines)的事物相互作用。开发者面临的共同问题是使用户和虚拟事物相互作用的途径。最简单和最传统的选择就是采用现有周边(actualperipheral),例如htcvive和oculusrift游戏控制器。虽然准确好精度高,但是采用物理致动器(physicalactuator)会使虚拟现实希望提供给用户的沉浸式体验感(immersiveexperience)下降或弱化。可选择地,声音激活命令可以被采用,但有许多不足。首先,为了适合世界上所有语言,一个简单的命令要求至少可以识别至少十种不同语言。其次,准确的将一个人的语音翻译成命令面临难以置信的困难,因为各种变化因素,例如音高、音调和韵律等都会影响机器的识别能力。最后,环境噪音也会减低机器识别各种语音的准确性。通过机器学习的手势输入识别方法,使得用户可以与采用虚拟现实和增强现实的机器相互交流,且无需任何物理装置的作用。该方法一般采用普通相机采集图像,然后用一个专门的神经网络判断图像中手的位置,然后再用另一个神经网络对那个区域做2d手势识别。然而,由于需要专门的神经网络判断图像中手的位置,该识别装置结构复杂,效率较低。技术实现要素:有鉴于此,确有必要提供一种简单有效的手势识别装置以及人机互动系统。一种手势识别装置,其包括:一控制模块;一手势感测模块,其用于采集用户手势的位置数据;一计算模块,其用于分析处理该用户手势的位置数据以及其他数据;以及一手势识别模块,其用于根据用户手势的位置数据对用户的手势进行识别;一通讯模块;其中,所述手势感测模块包括一3d感测装置。一种人机互动系统,其包括:一智能机器装置以及一手势识别装置;所述手势识别装置用于识别用户手势,并将手势识别结果发送给所述智能机器装置;所述智能机器装置根据该手势识别结果与用户进行互动;其中,所述手势识别装置为上述手势识别装置。相较于现有技术,本发明提供的手势识别装置,由于采用3d感测装置直接抓取手势位置,因此,无需从照片识别手势位置的神经网络,使得所述手势识别装置结构简单。而且,由于剩去了从照片识别手势位置的过程,使得所述手势识别装置的识别效率提高。附图说明图1为本发明实施例提供的人机互动系统的模块示意图。图2为本发明实施例1提供的手势识别装置的模块示意图。图3为本发明实施例1提供的手势识别装置的工作流程图。图4为本发明实施例1提供的手势识别装置判断用户手势是平面手势还是立体手势的工作流程图。图5为本发明实施例2提供的手势识别装置的模块示意图。图6为本发明实施例2提供的手势识别装置的工作流程图。图7为本发明实施例3提供的手势识别装置的模块示意图。图8为本发明实施例3提供的手势识别装置的工作流程图。图9为本发明实施例4提供的手势识别装置的模块示意图。图10为本发明实施例4提供的手势识别装置的工作流程图。图11为本发明实施例4提供的手势识别装置的步骤s30和步骤s31的工作子流程图。主要元件符号说明人机互动系统10手势识别装置11,11a,11b,11c控制模块110手势感测模块111计算模块112手势识别模块1132d识别模块11323d识别模块1133通讯模块114第一判断模块115第二判断模块116第三判断模块117第四判断模块118智能机器装置12具体实施方式下面将结合附图及具体实施例对本发明作进一步的详细说明。请参阅图1,本发明实施例提供一种人机互动系统10,其包括:一手势识别装置11以及一智能机器装置12。所述手势识别装置11用于识别用户手势,并将手势识别结果发送给所述智能机器装置12;所述智能机器装置12根据该手势识别结果与用户进行互动。所述智能机器装置12可以为一游戏引擎体(gameengineunity)、虚拟现实或增强现实装置等。所述智能机器装置12可以进一步包括图像采集装置和声音采集装置等感测装置。以下根据所述手势识别装置11的不同以及所述手势识别装置11的工作方法的不同,分不同实施例介绍本发明。实施例1请参阅图2,本实施例中,所述手势识别装置11包括:一控制模块110,一手势感测模块111,一计算模块112,一手势识别模块113以及一通讯模块114。所述手势感测模块111,计算模块112,手势识别模块113以及通讯模块114分别与所述控制模块110连接。所述控制模块110控制整个手势识别装置11工作。所述手势感测模块111用于采集用户手势的位置数据。所述手势感测模块111包括一3d感测装置。所述3d感测装置可以为任何3d感测装置,例如红外感测装置、激光感测装置或超声波感测装置。本实施例中,所述3d感测装置为leapmotion。所述计算模块112用于分析处理该用户手势的位置数据以及其他数据。所述手势识别模块113用于根据用户手势的位置数据对用户的手势进行识别。所述通讯模块114用于与所述智能机器装置12之间的通讯。可以理解,所述手势识别装置11还可以包括存储模块等模块。由于采用3d感测装置直接抓取手势位置,因此,无需从照片识别手势位置的神经网络,使得所述手势识别装置11结构简单。而且,由于剩去了从照片识别手势位置的过程,使得所述手势识别装置11的识别效率提高。优选地,所述手势识别装置11还包括一第一判断模块115。所述第一判断模块115用于判断用户手势是平面手势还是立体手势。所述手势识别模块113包括:一2d识别模块1132,其用于对用户的平面手势进行识别;以及一3d识别模块1133,其用于对用户的立体手势进行识别。由于将平面手势与立体手势分别采用2d识别模块和3d识别模块进行识别,可以简单有效的实现手势识别,提高用户的人机互动体验感。所述2d识别模块1132包括一个专门辨识2d手势的神经网络。所述3d识别模块1133包括一个专门辨识3d手势的神经网络。所述专门辨识2d手势及3d手势的神经网络属于同一种类型,只是专门辨识2d手势的神经网络的比较小,因为它只需要判断两轴的数据。所述专门辨识2d手势及3d手势的神经网络可以为经过深度训练学习以及向前和向后繁衍(forwardandbackwardpropagation)的神经网络,例如卷积神经网络(convolutionalneuralnetwork)或循环神经网络(recurrentneuralnetwork)。可以理解,采用2d识别模块1132可以对简单的输入进行快速识别,而采用3d识别模块1133则可以识别较复杂的手势,但是3d识别模块1133识别需要较高的处理能力和更多处理时间。采用采用2d识别模块1132识别,仅需要将宽度和高度方向的手势的位置数据(像素点)发送至2d神经网络的输入层(inputlayer)。采用采用3d识别模块1133识别,需要将宽度、高度和深度方向的手势的位置数据(像素点)发送至3d神经网络的输入层(inputlayer)。请参阅图3,本实施例中,所述手势识别装置11的工作方法包括以下步骤:步骤s11,采集用户手势的位置数据,进入步骤s12;步骤s12,判断用户手势是平面手势还是立体手势,进入步骤s13;以及步骤s13,根据步骤s12的判断结果选择2d识别模块或3d识别模块对用户手势进行识别。请参阅图4,所述步骤s12中,所述第一判断模块115判断用户手势是平面手势还是立体手势的方法包括以下步骤:步骤s121,计算用户手势的位置在深度方向的最大距离;以及步骤s122,判断该最大距离是否大于一阈值,如果是,判断为立体手势,如果否,判断为平面手势。步骤s121中,所述深度方向可以为3d感测装置的正面,由该3d感测装置定义。通常用户使用3d感测装置时,位于该3d感测装置的正面。当用户面向该3d感测装置时,用户的视野方向,就是该深度方向。步骤s122中,所述阈值可以根据需要设定。所述阈值可以为2厘米~5厘米。可以理解,所述步骤s13之后,还包括一将识别结果发送给所述所述智能机器装置12的步骤。所述智能机器装置12收到识别结果之后,根据该识别结果与用户互动。实施例2请参阅图5,本实施例中,所述手势识别装置11a包括:一控制模块110,一手势感测模块111,一计算模块112,一手势识别模块113,一通讯模块114,一第一判断模块115以及一第二判断模块116。本发明实施例2的手势识别装置11a与本发明实施例1的手势识别装置11结构基本相同,其区别在于,进一步包括第二判断模块116。所述第二判断模块116用于判断是否接收到手势输入开始指令或手势输入结束指令。所述第二判断模块116判断是否接收到手势输入开始指令或手势输入结束指令的方法可以为:判断该通讯模块114是否接收到外部遥控设备的指令,或通过判断该手势识别模块113是否检测到代表手势输入开始指令或手势输入结束指令的特定手势。例如,捏住手指为手势输入开始指令,伸展手指为手势输入结束指令。请参阅图6,本实施例中,所述手势识别装置11a的工作方法包括以下步骤:步骤s10,判断是否接收到手势输入开始指令,如果是,进入步骤s11,如果否重复步骤s10;步骤s11,采集用户手势的位置数据,进入步骤s12;步骤s12,判断用户手势是平面手势还是立体手势,进入步骤s13;以及步骤s13,根据步骤s12的判断结果选择2d识别模块或3d识别模块对用户手势进行识别,进入步骤s14;步骤s14,判断是否接收到手势输入结束指令,如果是,返回步骤s10,如果否,返回步骤s11。本实施例中,所述步骤s10中,判断是否接收到手势输入开始指令的方法包括以下步骤:步骤s101,采集用户手势的位置数据,进入步骤s102;步骤s102,对用户手势进行识别,进入步骤s103;步骤s103,判断步骤s102的识别结果是否为手势输入开始指令,如果是,进入步骤s11,如果否,返回步骤s101。所述步骤s102中,由于所述第二判断模块116已经知道与手势输入开始指令对应的预设手势为2d手势还是3d手势,可以直接采用2d识别模块1132或3d识别模块1133进行识别,而无需采用第一判断模块115进行判断。优选地,所述与手势输入开始指令对应的预设手势设置为2d手势,以节省检测和识别时间。所述步骤s14中,判断是否接收到手势输入结束指令的方法为:判断步骤s13的识别结果是否为手势输入结束指令,即判断步骤s13的识别结果是否为代表手势输入结束指令的手势。由于收到手势输入开始指令之后采集的手势都会经过步骤s13的识别,所以,步骤步骤s14可知直接将步骤s13的识别结果与代表手势输入结束指令的预设手势进行比对判断。实施例3请参阅图7,本实施例中,所述手势识别装置11b包括:一控制模块110,一手势感测模块111,一计算模块112,一手势识别模块113,一通讯模块114,一第一判断模块115,一第二判断模块116以及一第三判断模块117。本发明实施例3的手势识别装置11b与本发明实施例2的手势识别装置11a结构基本相同,其区别在于,进一步包括第三判断模块117,其用于判断手势输入模式是2d输入模式还是3d输入模式。所述第三判断模块117判断手势输入模式是2d输入模式还是3d输入模式的方法可以为:判断该通讯模块114是否接收到外部遥控设备的指令,或通过判断该手势识别模块113是否检测到代表手2d输入模式指令或3d输入模式指令的特定手势。例如,仅伸展食指和中指为2d输入模式指令,仅伸展食指、中指和无名指为3d输入模式指令。请参阅图8,本实施例中,所述手势识别装置11b的工作方法包括以下步骤:步骤s20,判断是否接收到手势输入开始指令,如果是,进入步骤s21,如果否重复步骤s20;步骤s21,判断该手势输入模式是2d输入模式还是3d输入模式,进入步骤s22;步骤s22,采集用户手势的位置数据,进入步骤s23;步骤s23,根据步骤s21的判断结果选择2d识别模块或3d识别模块对用户手势进行识别,进入步骤s24;步骤s24,判断是否接收到手势输入结束指令,如果是,返回步骤s20,如果否,返回步骤s22。本实施例中,所述步骤s20和步骤s24的方法可以与所述步骤s10和步骤s14的方法相同。所述步骤s21中,判断该手势输入模式是2d输入模式还是3d输入模式的方法为:判断该手势识别模块113是否检测到代表手2d输入模式指令或3d输入模式指令的特定手势。实施例4请参阅图9,本实施例中,所述手势识别装置11c包括:一控制模块110,一手势感测模块111,一计算模块112,一手势识别模块113,一通讯模块114,一第一判断模块115,一第二判断模块116,一第三判断模块117以及第四判断模块118。本发明实施例4的手势识别装置11c与本发明实施例3的手势识别装置11b结构基本相同,其区别在于,进一步包括第四判断模块118,其用于判断是否接收到手势输入模式切换指令。所述第四判断模块118判断是否接收到手势输入模式切换指令的方法可以为:判断该通讯模块114是否接收到外部遥控设备的指令,或通过判断该手势识别模块113是否检测到代表手手势输入模式切换指令的特定手势。例如,手心手背反转为手势输入模式切换指令。请参阅图10,本实施例中,所述手势识别装置11c的工作方法包括以下步骤:步骤s30,判断是否接收到手势输入开始指令,如果是,进入步骤s31,如果否重复步骤s30;步骤s31,判断该手势输入模式是2d输入模式还是3d输入模式,进入步骤s32;步骤s32,采集用户手势的位置数据,进入步骤s33;步骤s33,根据步骤s31的判断结果选择2d识别模块或3d识别模块对用户手势进行识别,进入步骤s34;步骤s34,判断是否接收到手势输入结束指令,如果是,返回步骤s30,如果否,进入步骤s35;步骤s35,判断是否接收到手势输入模式切换指令,如果是,进入步骤s36,如果否,返回步骤s32;步骤s36,切换手势输入模式,返回步骤s31。请参阅图11,本实施例中,所述步骤s30和步骤s31中,判断是否接收到手势输入开始指令和判断该手势输入模式是2d输入模式还是3d输入模式的方法包括以下步骤:步骤s301,采集用户手势的位置数据,进入步骤s302;步骤s302,对骤s301采集的用户手势进行识别,进入步骤s303;步骤s303,判断步骤s302的识别结果是否为手势输入开始指令,如果是,进入步骤s311,如果否,返回步骤s301;步骤s311,采集用户手势的位置数据,进入步骤s312;步骤s312,对步骤s311采集的用户手势进行识别,进入步骤s313;步骤s313,判断步骤s312的识别结果是否为2d输入模式或3d输入模式,如果是,进入步骤s32,如果否,返回步骤s311。所述步骤s34中,判断是否接收到手势输入结束指令的方法为:判断步骤s33的识别结果是否为代表手势输入结束指令的预订手势。所述步骤s35中,判断是否接收到手势输入模式切换指令的方法为:判断步骤s33的识别结果是否为代表手势输入模式切换指令的预订手势。本发明采用一个具有30个隐藏神经元的3层神经网络用来测试mnist手写数字资料(digitdata),准确率超过95%。采用leapmotion感测装置的捏手绘画(pinchdraw)也非常成功。另外,本领域技术人员还可以在本发明精神内做其它变化,这些依据本发明精神所做的变化,都应包含在本发明所要求保护的范围内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1