一种多模式动态手势识别系统、装置及方法与流程

本发明属于手势识别
技术领域：
，特别是涉及一种多模式动态手势识别系统、装置及方法。
背景技术：
：手势识别技术是人机交互领域内的一个重要分支，以其自然、简明、便捷的特点，在智能家居、自动驾驶、电子教学等各类交互系统中得到广泛应用。目前，在手势识别中常见的操作手势包括点击、滑动、摆动、旋转等等，这类涉及手部特征时序变化的操作通常称为动态手势。而根据手部活动的自由度，又可将动态手势进一步分为用于平面操作的二维手势和空间内的三维手势。区别于传统的交互模式，为了向用户提供良好的操作体验，将二维手势与三维手势进行有机结合是当下的发展趋势。现阶段，能够同时支持二维和三维动态手势识别的技术方案，从硬件实现方式上可大致分为基于穿戴设备、基于电磁感应和基于机器视觉三类。其中，基于机器视觉的方案作用范围大、硬件安装方式相对灵活、不为用户增加额外负担，是目前主流的技术方案，典型产品包括leapmotion控制器、微软kinect控制器及其相关应用程序等。该类方案通常将手势捕获与处理分离，首先利用摄像头等设备捕获用户手部图像，再传至上位机进行处理识别。另一方面，随着技术的不断发展，现今的交互系统逐渐向低成本、集成化、模块化的方向发展。部分小型系统的中控主机或上位机运算处理能力较弱；而对于不同的应用需求，系统架构、通信接口也千差万别。这都要求现阶段的手势识别设备具备一定的底层处理能力，同时能够对不同应用需求进行适配。现有技术中，光投影键盘及其类似方案无法识别三维动态手势；穿戴设备可能会为使用者增加额外负担。基于电磁感应的识别方案对安装位置有较高要求，由于其原理限制，当传感器表面有微弱电流或存在金属导体时，设备可能失效。leapmotion、kinect及类似设备采用深度成像技术，设备成本较高。另一方面，该类设备通常需要使用其配套sdk在上位机上进行二次开发，运行时也依赖上位机完成大量运算，对上位机操作系统、软件环境均有严格要求。其他基于机器视觉的手势识别装置，虽然有些有效控制了设备成本，但大多同样需要在上位机执行运算，集成度欠佳，模块化程度较低。此外，上述各类技术在接入交互系统时，其通信方式于通信协议往往根据功能定制，而非行业通用，且运行过程中大多不能从设备底层实时切换工作模式。对于一些低成本、高集成度、高度模块化的交互系统，可能会造成系统整体搭建及配置困难，并且在使用过程中可能存在功能限制。技术实现要素：本发明目的是为了解决现有技术中的问题，提供了一种多模式动态手势识别系统、装置及方法。本发明是通过以下技术方案实现的，本发明提出一种多模式动态手势识别系统，包括主控模块、手势识别模块、通信模块和外部拨码开关；所述主控模块用于初始化手势识别模块和通信模块，实时获取外部拨码开关的状态以调节系统工作模式，调用手势识别模块进行手势图像的获取以及识别，并根据当前系统的工作模式将识别结果进行处理分析映射为控制指令，通过通信模块将所述控制指令发送至上位机；所述手势识别模块用于对用户的二维和/或三维动态手势进行识别，并将识别结果发送至所述主控模块；所述通信模块用于将主控模块的电平转换为对应通信方式及协议所定义的电平，并根据当前工作模式切换通信方式与协议；所述外部拨码开关用于切换系统的工作模式。进一步地，所述外部拨码开关有两个或两个以上状态。进一步地，所述外部拨码开关具有0和1两个状态，当其状态为0时，系统工作于usb-hid鼠标模式；当其状态为1时，系统工作于扩展手势模式。进一步地，所述手势识别模块包括二维动态手势识别子模块和三维动态手势识别子模块，两个子模块可以分别独立运行，也可以协同工作，两个子模块中分别封装有二维动态手势识别方法和三维动态手势识别方法。进一步地，所述二维动态手势识别方法具体为：步骤a、输入捕获到的图像；步骤b、对输入图像进行阈值分割，得到包含手部信息的二值图像；步骤c、对步骤b所得图像进一步分析，得到手部位置和大小特征；步骤d、分析前序图像与当前图像特征差异，得到用户手势；步骤e、输出手势识别结果。进一步地，所述三维动态手势识别方法具体为：步骤f、输入捕获到的图像；步骤g、检测输入图像的灰度极值；步骤h、通过比较前序输入图像与当前图像极值检测结果的差异，得到用户手势；步骤i、输出手势识别结果。本发明提出一种多模式动态手势识别装置，包括主控芯片、手势识别装置、通信装置和外部拨码开关；所述主控芯片用于初始化手势识别装置和通信装置，实时获取外部拨码开关的状态以调节所述多模式动态手势识别装置的工作模式，调用手势识别装置进行手势图像的获取以及识别，并根据当前所述多模式动态手势识别装置的工作模式将识别结果进行处理分析映射为控制指令，通过通信装置将所述控制指令发送至上位机；所述手势识别装置用于对用户的二维和/或三维动态手势进行识别，并将识别结果发送至所述主控芯片；所述通信装置包括电平转换芯片和切换电路，用于将主控芯片的电平转换为对应通信方式及协议所定义的电平，并根据当前工作模式切换通信方式与协议；所述外部拨码开关用于切换所述多模式动态手势识别装置的工作模式。进一步地，所述手势识别装置包括二维动态手势识别装置和三维动态手势识别装置；两个装置可以分别独立运行，也可以协同工作。进一步地，所述二维动态手势识别装置包括红外一字线激光器及同一频带的红外窄带摄像头；红外一字线激光器沿操作平面方向发射平行一字光线，当用户手指按压操作表面时会反射发出的光线，并由带有红外滤光片的摄像头进行捕获，通过对捕获图像的处理得到用户手势命令；所述三维动态手势识别装置包括低功率红外点光源及同一频带的红外窄带摄像头；当用户在操作区域内做出手势时，点光源发出的光线经手部反射由摄像头捕获，通过对捕获图像的处理得到用户手势命令。本发明还提出一种多模式动态手势识别方法，所述主控模块初始化手势识别模块和通信模块，实时查询外部拨码开关的状态，选择相应的工作模式、通信方式及协议，调用手势识别模块对用户的二维和/或三维动态手势进行识别，并将识别结果发送至所述主控模块；所述主控模块根据当前系统的工作模式将识别结果进行处理分析映射为控制指令，并通过通信模块将所述控制指令发送至上位机。本发明的有益效果：本发明提出一种多模式动态手势识别系统，该系统包括主控模块、手势识别模块、通信模块和外部拨码开关四个主要组成部分，针对低成本、高集成度、模块化的应用需求进行了架构设计与优化；系统能够识别二维及三维动态手势，且手势识别所需运算处理均在系统内部进行，无需上位机参与处理；与此同时，系统具备多组工作模式及相应的通信方式与协议，可在使用过程中利用外部拨码开关实时切换，并且支持自定义通信协议，提高系统针对不同应用需求的适配性。本发明还提出了与所述系统相对应的多模式动态手势识别装置，该装置采用主动照明的单目摄像头模组实现二维及三维动态手势的捕获，并且具备底层处理能力，能够准确识别所捕获的手势动作；该装置具备包含usb-hid鼠标模式在内的多种工作模式，可通过外部拨码开关实时切换；该装置具备包含usb接口在内的多种接口，支持多种通信方式与协议，分别对应于各组工作模式，且支持自定义通信协议。本发明提出的系统及装置可用于任何支持usb或串口通信的交互系统中，支持裸板开发；手势识别部分集成于内部，无需在上位机进行二次开发；运行时无需上位机参与运算或复杂操作系统支持；成本低、集成度高、模块化程度高，便于调试安装，便携性好。附图说明图1是本发明所述的多模式动态手势识别系统框图；图2是二维动态手势识别方法流程图；图3是三维动态手势识别方法流程图；图4是所述的多模式动态手势识别系统总体工作流程图；图5是所述的多模式动态手势识别系统另一总体工作流程图。具体实施方式下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明提出一种多模式动态手势识别系统，所述系统由主控模块、手势识别模块、通信模块和外部拨码开关组成，各模块间关系如图1所示。系统能够识别二维及三维动态手势，具备多组工作模式及相应的通信方式与协议，并可通过外部拨码开关实时切换。所述主控模块是系统的中央处理与控制模块，功能上包括：1、初始化与主控模块连接的各个外设，使摄像头、手势识别模块、通信模块等设备能够正常运行；2、与手势识别模块通信，实时获取用户动态手势；3、根据应用需求，主控模块还可为手势识别模块提供运算处理功能，用户的手势数据通过手势识别模块捕获后，传入主控模块进行处理分析；4、实时获取外部拨码开关的状态以调节系统工作模式；5、根据当前工作模式，将识别到的用户手势映射为控制指令；6、根据当前用户手势及系统工作模式，调用通信模块向上位机发送控制指令。所述手势识别模块包括二维动态手势识别子模块和三维动态手势识别子模块两部分。两个子模块既可以分别独立运行，也可以协同工作。二维动态手势识别子模块支持包含单指、多指的点击、滑动、旋转在内的多种动态手势，并能够记录手指运动轨迹。该模块中封装有二维动态手势识别方法，方法流程如图2所示，具体步骤如下：步骤a、输入捕获到的图像；步骤b、对输入图像进行阈值分割，得到包含手部信息的二值图像；步骤c、对步骤b所得图像进一步分析，得到手部位置和大小特征；步骤d、分析前序图像与当前图像特征差异，得到用户手势；步骤e、输出手势识别结果。三维动态手势识别子模块能够识别包括手部滑动、摆动及指尖绕旋在内的多种三维动态手势。该模块中封装有三维动态手势识别方法，方法流程如图3所示，具体步骤如下：步骤f、输入捕获到的图像；步骤g、检测输入图像的灰度极值；步骤h、通过比较前序输入图像与当前图像极值检测结果的差异，得到用户手势；步骤i、输出手势识别结果。在实际使用中，二维和三维动态手势可进行有机融合，实现同一设备不同功能，或同一功能不同层级的操作。用户也可分别用双手协作操作，通过两个子模块分别识别。此外还可通过硬件结构将二维和三维动态手势操作区域重叠，当使用其中一个子模块进行操作时，利用另一个子模块辅助识别，以实现更高精度的控制。所述外部拨码开关用来切换系统的工作模式。对应于系统工作模式的数量，开关可有两个或更多状态，主控模块实时查询其状态，以切换系统工作模式。所述通信模块负责将主控模块的电平转换为对应通信方式及协议所定义的电平。对应于系统工作模式，通信模块支持包括usb通信和串口通信在内的多种通信方式及相应的通信协议，并根据当前工作模式切换通信方式与协议。此外，除了行业通用的通信协议外，系统还支持自定义通信协议。所述系统总体工作流程包括系统初始化、工作模式选择和动态手势识别三个主要部分，每部分包含相应子流程，如图4所示。具体步骤如下：步骤1、系统开机，初始化通信模块；步骤2、初始化手势识别模块；步骤3、查询外部拨码开关状态；步骤4、根据外部拨码开关状态选择系统工作模式及相应通信方式于协议；步骤5、捕获用户手部图像；步骤6、识别用户动态手势；步骤7、输出识别出的控制指令；步骤8、重复步骤3至步骤7直至系统结束运行。对应于上文所述系统，本发明提出一种多模式动态手势识别装置，其总体结构如图1所示。主控模块在硬件上由单片机及其外围电路组成，硬件上可采用stm32f767、nxpmimxrt1051dvl6b、microchipatsamv71j19或其他具备同等控制及数据处理能力的主控芯片。该模块与手势识别装置可通过csi及i2c总线通信，且主控芯片可为手势识别装置提供运算处理功能。主控模块根据外部拨码开关的状态控制装置的工作模式，根据当前工作模式将手势识别结果映射至相应控制指令，并调用通信模块向上位机发送。手势识别装置由二维动态手势识别装置和三维动态手势识别装置组成。其中：二维动态手势识别装置包含红外一字线激光器及同一频带的红外窄带摄像头。红外一字线激光器沿操作平面方向发射平行一字光线，当用户手指按压操作表面时会反射发出的光线，并由带有红外滤光片的摄像头进行捕获，通过对捕获图像的处理得到用户手势命令。三维动态手势识别装置采用低功率红外点光源及同一频带的红外窄带摄像头。当用户在操作区域内做出手势时，点光源发出的光线经手部反射由摄像头捕获，通过对捕获图像的处理得到用户手势命令。外部拨码开关具有一个或多个数位，通过各数位处开关位置的组合表示两种或多种状态。通信装置包含电平转换芯片及切换电路等相关电路，支持包括usb-hid和串口通信在内的多种通信方式。硬件上，对于usb-hid和串口这两种通信方式，可通过集成于stm32f767或类似主控芯片中的usb控制器实现。根据实际应用需求，装置可采用或附加额外的通信设备及协议，如蓝牙、wifi、zigbee等。此外，该装置还支持自定义通信协议。下面以usb-hid鼠标/扩展手势双模式手势控制器说明本发明的具体实施方式。装置所采用的主要硬件如表1所示。表1主要硬件列表其中，主控电路版搭载stm32f767芯片，该芯片具备控制及数据处理能力，并内置usb控制器，可支持usb及串口通信，同时可为二维动态手势识别子模块提供图像数据运算处理功能。红外窄带摄像头和红外一字线激光器用于捕获用户的二维动态手势，捕获图像经csi总线传至主控芯片进行处理。主控芯片中封装有二维动态手势识别方法，对图像进行处理分析后得到识别结果。三维动态手势识别子模块中集成有红外点光源、红外窄带摄像头和数模转换芯片。红外点光源和红外窄带摄像头用于捕获用户的三维动态手势，数模转换芯片对捕获信号进行处理分析得到用户手势，通过i2c总线传至主控芯片。区别于二维动态手势识别子模块，该模块中手势识别方法运算量较小，因此无需将图像传回主控芯片，从而可进一步降低硬件资源消耗。usb接口用于连接上位机进行通信。外部拨码开关具备0和1两个状态，当其状态为0时，系统工作于usb-hid鼠标模式；当其状态为1时，系统工作于扩展手势模式。系统总体工作流程如5所示。系统启动时，依次初始化usb接口、二维动态手势识别子模块、三维动态手势识别子模块。随后查询外部拨码开关状态，选择相应的工作模式、通信方式及协议。此时系统开始进行手势识别，同时调用二维和三维手势识别子模块对用户手势进行捕获与识别，识别结果经过主控模块融合分析，映射至相应的控制指令，最后通过usb接口发送至上位机。usb-hid鼠标模式下，装置以usb方式通信，在上位机枚举为usb-hid鼠标设备。以下的二维动态手势将会模拟鼠标操作：1、单指滑动手势模拟鼠标移动；2、单指点击手势模拟鼠标左键单击；3、双指点击手势模拟鼠标右键单击。扩展手势模式下，该设备会枚举成usb串口设备，将根据自定义的通信协议向上位机发送控制指令。自定义通信协议如表2：表2扩展手势模式通信协议headlenmodegesturecountx0y0x1y1chkend0xaaee110x55ee2bytes2bytes1bytes1bytes1bytes2bytes2bytes2bytes2bytes2bytes2bytes其中，gesture为手势类型表示位，上位机软件根据通信协议解析出用户手势并执行对应的功能。该位定义及相应功能如表3所示：表3gesture表示位定义及上位机对应功能取值手势功能1单指滑动在上位机软件上画出滑动轨迹2单指长按弹出扩展菜单3单击点击4放大放大图片5缩小缩小图片6顺时针旋转顺时针旋转图片30度7逆时针旋转逆时针旋转图片30度8三维手势左滑向左切换界面9三维手势右滑向右切换界面以上对本发明所提供的一种多模式动态手势识别系统、装置及方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。当前第1页12