一种基于图像识别配合图形手套的手势识别方法与流程

本发明涉及图像识别及图像处理技术领域中基于被识别体的形状、颜色对比度信息进行识别和处理的技术，特别是针对手势的识别，具体涉及一种基于带有辅助图案的弹性手套提高手势识别效率及精确度的方法研究及实现。

背景技术：

随着智能手机的普及，ar-增强现实技术走进了大众的生活，游戏、教育、增强现实技术是配合摄像头功能，识别特定图像后，调取已设定好的模型或视频等虚拟物体，在屏幕上呈现摄像头拍到的实景加虚拟物体同在一起的画面。它的识别技术是通过判断识别体中的颜色和对比度。一些特定条件下，需要以人的手来做识别体，但是人的手部各处颜色对比度很低，识别的极其不稳定，对于识别引擎的要求也很高。

手部动作数据提取(手势识别)作为一项较新技术应用于诸多领域，但由于识别稳定性不够高，目前主要还是用于游戏领域，其他领域如医疗、精加工、救援等领域如果能用手势控制的机械手来进行一些项目操作，将大大减少人力成本甚至完成一些不可能的操作。

依照感应方式与原理的不同，主要可分为三大类：惯性感测、光学感测以及惯性及光学联合感测。

具体应用方式有以下几种：

1)红外线摄像头感应，3d传感器可以感应空间三个轴向上的加速度变化。手柄前端的摄像头，通过红外发光条的两组基准光源，可准确捕捉空间二维坐标，实现精确瞄准功能，可以轻松地进行空中鼠标操作。

2)通过在人手安置相关的硬件设备，并通过硬件设备中的计算模块对人手的位置和速度等信息进行获取(传感器)，对于识别过程中的定位和跟踪均都具有良好的指导和保障作用。

3)直接通过摄像头捕捉图像，在后台的软件将图像进行处理，通过对比图像不同部分的对比度信息，来识别图像、判断图像位置，此技术多用于增强现实(augmentedreality，简称ar)

然而大多多操作方法的时间复杂度较高，红外线摄像头感应的方式对于硬件要求较高；传感器方式需要操作者穿戴繁琐且贵重的设备；摄像头直接捕捉并后台处理图像提取信息的方式，对于摄像头分辨率要求较高，同时识别手势很不稳定。那么如何使手势识别技术变得更稳定的同时降低成本便于推广使用是需要认真考虑的问题。

技术实现要素：

本发明提出一种以辅助手套配合增强现实引擎加三红外感应探头定位的双重判断的方式来实现更稳定的手势识别。

针对人的手部表面无明显色差，现有图像识别技术直接基于颜色对比度来判断手部动作信息的方式变得很不稳定且对摄像头精度要求极高，甚至在光源的影响下，手部出现的影子对颜色对比影响极大，因此，此方法基于图像识别的原理，特制了一种图形手套。根据人机工程学及图像识别特点，对于手套的特定位置添加了辅助识别图案。

一种基于图像识别配合图形手套的手势识别方法，其特征在于，

具体包括：

使用图案手套并将不同手势对应的图形一一编码存入数据库当中，通过前端程序预置图像识别软件识别手势，提取信息后与数据库编码对比，判断手势，且线图案辅助识别；

针对手部进行图像识别的专用手套，其中每个手指上的纵向图案纵向图案标注出每根手指的位置，大拇指、食指、小拇指上的横线标注出手部整体宽度边界信息；手掌中间有两条横线，靠上的一条横线是手部握拳时的基线，同时定义了手掌的宽度，遮挡此条线时说明手掌不是全展开状态；靠下的一条线在手握拳时也不会被遮挡；

在识别手势后向指定接口发送数据，改变数据库内存储的手势信息；使用了三个红外探头确定了手部运动的三维位置；

只有图像识别和红外探头感应手部动作指令重合时，才确认发出手势动作，否则默认手势未改变。

更进一步，

将每个手势图案预置在图像识别引擎的数据库表1；

给每个手势设定唯一编码放入数据库表2；

图像识别引擎判断带有图像手套的手势，与数据库表1图像做对比，若对比成功，则发送对应图像编号到后台，否则发送空数据；

红外线感应摄像头判断手部位置信息，向后台动态上传数据。

将从图像识别后的数据加红外感应的动态数据综合编码发送到后台与数据库表2的预设编码进行对比，完全一致时即发出手势变化信息。

每个手指上的纵向图案纵向图案标注出每根手指的位置，大拇指、食指、小拇指上的横线标注出手部整体宽度边界信息；手掌中间有两条横线，图中所示靠上的一条横线是手部握拳时的基线，同时定义了手掌的宽度，遮挡此条线时说明手掌不是全展开状态；靠下的一条线在手握拳时也不会被遮挡，助于握拳时的手势识别及定位图像(如图4所示)。

此方法在摄像头于人的手部之前加了这样一个手套作为信息传递的载体，极大提高了手势识别的稳定性，同时与传统的传感器传单设备相比，此图形手套的成本几乎可以忽略不计。此方式可以直接用于增强现实引擎，即使是识别度有限的引擎，或是摄像头分辨率较低的设备都可以直接进行识别工作，对于较好的识别引擎也进一步增强收拾的稳定性。

为进一步提高稳定性，在基于图像手套配合图像识别引擎使用的同时，增加红外手势传感模块，感应运动方向识别手势相配合图像识别软件引擎使用，双重确认手势。整合两方式为一个程序，程序中判断只有图像识别和红外感应手部动作指令重合时，才确认发出手势动作，否则默认手势未改变，提高在人体不穿戴传感器的情况下手势识别的精确度。

本发明主要有2方面的工作内容：

第一、增强现实图像识别引擎直接识别手势的方式对手势识别不够稳定，角度的改变可能对识别的影响很大，我们使用图案手套并将不同手势对应的图形一一编码存入数据库当中，通过前端程序预置图像识别软件识别手势，提取信息后与数据库编码对比，判断手势，且线图案辅助识别后让识别难度极大降低。

第二、红外感应探头判断手势精细程度不够，只能判断运动轨迹和粗略使用红外线感应探头，定位动作位置，我们使用了三个红外探头确定了手部运动的三维位置。

第三、本发明将上述2个主要问题进行了优化，并整合两方法，同时使用，叠加判断识别，有效的解决了上述2个问题。本方法得到的手势数据更加准确，并且加大提高了稳定性，无需穿戴传感器设备，直接带一个手套对着摄像头，甚至移动设备摄像头即可实现操控，为手势识别的相关领域提供了新的实现方法。

附图说明：

图1是增强现实原理说明图

图2是辅助识别手套线条。

图3是张开手时手套上的识别点测试图。

图4是握拳时手套上的识别点测试图。

图5是双重识别判定流程说明图。

图6是“8”字手势。

图7是“8”字手势识别成功出线手枪模型。

图8是“5”字手势。

图9是“5”字手势识别成功出线火焰模型。

图10是运行模式整体流程示意图。

具体实施方式：

将每个手势图案预置在图像识别引擎的数据库表1；

给每个手势设定唯一编码放入数据库表2；

图像识别引擎判断带有图像手套的手势，与数据库表1图像做对比，若对比成功，则发送对应图像编号到后台，否则发送空数据；

红外线感应摄像头判断手部位置信息，向后台动态上传数据。

将从图像识别后的数据加红外感应的动态数据综合编码发送到后台与数据库表2的预设编码进行对比，完全一致时即发出手势变化信息。此方法也就限定了必须两检测方式同时符合时才能发出对应的手势信号，双重判断提高精度。