手势识别方法及装置与流程

本发明涉及教育教学技术领域，尤其涉及手势识别方法及装置。

背景技术：

与身体的其它部位相比，手是最有效的人机交互工具。手势具有自然、直观和非接触的特点，因此，在人机交互领域有着广泛的应用。随着3d摄像头的问世以及3d摄像头识别精度的不断提高，手势在人机交互的应用研究中越来越受到重视。基于深度图像信息的手势识别技术通过获取手部的相关信息，并运用几何方法提取手势特征并分类，从而实现复杂环境下基于手势的人机交互。

在当今的多媒体教学中，教师需要通过鼠标和键盘来控制多媒体设备以辅助课堂教学，这种情况下，教师被束缚在讲桌前，因此，不能更好的与学生进行互动，这样，教师在课堂教学中不能灵活发挥作用，课堂教学也很无趣。

在实际的课堂教学中，很多教学手势中并没有大幅度的肢体动作，而是一些精确到手指的动作，因此，对课堂教学的动作识别主要是手指的识别。目前，主要是使用3d摄像头来提取教学动作中的三维关节点信息。现有的3d摄像头主要有2类，一类是近景摄像头，一类是远景摄像头。3d摄像头能提供手部22个关节点信息，包括二维、三维坐标、关节旋转角度和速度等，而且，精度高。而realsensesdk中自带的手势，特别是部分手势定义过于复杂，例如，左、右、上、下挥手，手在挥出去后还要返回等，人们做挥手时一般挥出不再返回，这样更简单，更符合人们的动作习惯，并不适合将这些手势应用于课堂教学中。

综上，目前关于在课堂教学中无法有效识别教学手势的问题，尚无有效的解决办法。

技术实现要素：

有鉴于此，本发明实施例的目的在于提供了手势识别方法及装置，通过对用户手势进行划分等，实现了对用户手势的有效识别。

第一方面，本发明实施例提供了手势识别方法，包括：

将用户手势进行划分；

为划分后的用户手势提取对应的特征向量；

运用预先设定的模板计算分类后的用户手势在网格中与标准模板手势的路径距离；

当路径距离小于预先设定的阈值时，将用户手势识别为模板中的手势。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，将用户手势进行划分还包括：

将用户手势分为挥手类手势和非挥手类手势。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，为划分后的用户手势提取对应的特征向量包括：

预先为挥手类手势和非挥手类手势分别定义挥手类特征向量和非挥手类特征向量；

为挥手类手势和非挥手类手势分别选择对应的特征向量；

用dtw算法对提取完特征向量的挥手类手势和非挥手类手势均进行分类。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，手势识别方法还包括：

增加手掌关节点的水平位移和垂直位移，h1、v1分别表示手掌关节点的水平位移和垂直位移；

计算手掌关节点水平位移和垂直位移的相对变化t1＝h1/v1；

根据第i帧拇指关节点的三维坐标pi计算拇指关节点的运动轨迹t9，t9＝{p1-p0,p2-p1,...,pn-1-pn-2,pn-pn-1}。结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，手势识别方法还包括：

挥手类手势对应的预先设定的阈值范围为0.55-0.7；

非挥手类手势对应的预先设定的阈值范围为15-20。

第二方面，本发明实施例提供了手势识别装置，包括：

手势划分模块，用于将用户手势进行划分；

特征提取模块，用于为划分后的用户手势提取对应的特征向量进行分类；

距离计算模块，用于运用预先设定的模板计算分类后的用户手势在网格中的路径距离；

手势识别模块，用于当路径距离小于预先设定的阈值时，将用户手势识别为模板中的手势。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，手势识别方法还包括：

挥手/非挥手类手势划分模块，用于将用户手势分为挥手类手势和非挥手类手势。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，特征提取模块包括：

特征向量定义单元，用于预先为挥手类手势和非挥手类手势分别定义挥手类特征向量和非挥手类特征向量；

特征向量选择单元，用于为挥手类手势和非挥手类手势分别选择对应的特征向量；

特征向量分类单元，用于用dtw算法对提取完特征向量的挥手类手势和非挥手类手势均进行分类。

结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，手势识别装置还包括：

位移模块，用于增加手掌关节点的水平位移和垂直位移，h1、v1分别表示手掌关节点的水平位移和垂直位移；

位移变化计算模块，用于计算手掌关节点水平位移和垂直位移的相对变化t1＝h1/v1；

运动轨迹计算模块，用于根据第i帧拇指关节点的三维坐标pi计算拇指关节点的运动轨迹t9，t9＝{p1-p0,p2-p1,...,pn-1-pn-2,pn-pn-1}。

结合第二方面的第三种可能的实施方式，本发明实施例提供了第二方面的第四种可能的实施方式，其中，手势识别装置还包括：

第一阈值范围设定模块，用于挥手类手势对应的预先设定的阈值范围为0.55-0.7；

第二阈值范围设定模块，用于非挥手类手势对应的预先设定的阈值范围为15-20。

本发明实施例提供的手势识别方法及装置，其中，上述手势识别方法包括：首先，是将用户手势进行划分，然后，为划分后的用户手势提取对应的特征向量，之后，运用预先设定的模板计算分类后的用户手势在网格中与标准模板手势的路径距离，这样，当路径距离小于预先设定的阈值时，将用户手势识别为模板中的手势，通过上述对用户手势的操作过程，能够将教学过程中的用户手势以特征向量的形式与预先设定的模板进行匹配，进而有效识别出用户手势所对应的动作，实现了课堂教学内容的有效传递。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的手势识别方法的流程图；

图2示出了本发明实施例所提供的手势识别装置的连接图；

图3示出了本发明实施例所提供的手势识别装置的结构框架图；

图4示出了本发明实施例所提供的手势识别装置的结构连接图；

图5示出了本发明实施例所提供的手部关节点的示意图。

图标：1-手势划分模块；2-特征提取模块；3-距离计算模块；4-手势识别模块；5-位移模块；6-位移变化计算模块；7-运动轨迹计算模块；21-特征向量定义单元；22-特征向量选择单元；23-特征向量分类单元。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在目前的课堂教学中，教师所采用的大多数教学手势都是通过手指的动作来实现的，因此，对课堂教学的动作识别主要集中在对手指的识别。但是，由于手指的动作比较灵活，并且，手指之间的组合复杂繁多，为识别过程进一步增加了难度。目前，大多数场景下采用3d摄像头来对教学手势进行识别。但是，对于不同的3d摄像头，手势定义不同，而realsensesdk中自带的手势，特别是一些定义过于复杂的手势，例如，左、右、上、下挥手，手在挥出去后还要返回等，而实际上人们做挥手时一般挥出不再返回，可见，上述情况对于课堂教学来说并不适用，目前，在课堂教学中仍无法有效识别教学手势。

基于此，本发明实施例提供了手势识别方法及装置，下面通过实施例进行描述。

实施例1

参见图1，本实施例提出的手势识别方法具体包括以下步骤：

由于，用户手势是动态的，并且，手势长短不一、速度也不固定，在本申请中，采用基于dtw的动态手势识别算法进行手势识别，dtw算法是一种将时间规整与累计距离计算结合起来的非线性规整技术，能够很好地实现不等长运动相似性的判断。

近年来，realsense实感技术应用广泛，它能够解决复杂环境下背景分割与手势动作追踪问题，通过提供手部关节点信息，具体的，本申请设计了7种基于realsense的基础教学手势，如表1所示。当在教学过程中，教师做出某种教学手势时，均以表1所示的7种基础动态手势对其进行分割。

表1基础动态手势说明表

步骤s101：按照基础动态手势将用户手势进行划分，对用户手势进行划分具体包括：将用户手势分为挥手类手势和非挥手类手势。即根据掌心关节点的最大位移对手势进行粗分类，将手势分成两大类：挥手类手势(包括上、下、左、右挥手)，非挥手类手势(包括点击、全手抓和捏)。

步骤s102：为划分后的用户手势提取对应的特征向量进行分类，针对不同类别的手势，选择对应的特征向量用dtw算法进行分类。

在实际应用过程中，常以realsense实感技术来进行教学手势的分割和识别，进而解决复杂环境下背景分割与手势动作追踪问题，可提供手部关节点信息，与kinect本身只能定位手掌位置，无法提供手部关节信息、leapmotion易受光线的干扰，使识别出现偏差等相比，更加适合于课堂教学场景下的手势追踪与识别。realsense可追踪的手部关节点如图5所示，本申请依据这22个关节点进行手势分割与识别。在用户手势划分之后提取对应的特征向量进行分类，这样，能够在分类之后选择对应的特征向量用dtw算法进行分类，从而将用户手势进行细化。

步骤s103：运用预先设定的模板计算分类后的用户手势在网格中与标准模板手势的路径距离，具体的，在用dtw算法进行模板匹配时，测试模板和标准模板距离计算通过由两个模板分别为x轴和y轴构成的网格中找到一条从网格左下角到右上角距离最小的路径，即为路径距离。

步骤s104：当路径距离小于预先设定的阈值时，将用户手势识别为模板中的手势。当路径距离小于预先设定的阈值时，也就是说用户手势与模板中的手势比对一致时，这里的比对一致包括大约相似的情况，这时即认为匹配成功。

在这里，为划分后的用户手势提取对应的特征向量进行分类包括：为了更加有效的辨识教学过程中的用户手势，在本申请中，预先为挥手类手势和非挥手类手势分别定义挥手类特征向量和非挥手类特征向量，之后，为挥手类手势和非挥手类手势分别选择对应的特征向量，并且，用dtw算法对提取完特征向量的挥手类手势和非挥手类手势均进行分类。

针对上述情况，手势识别方法还包括：增加手掌关节点的水平位移和垂直位移，h1、v1分别表示手掌关节点的水平位移和垂直位移，计算手掌关节点水平位移和垂直位移的相对变化t1＝h1/v1，t1表示手掌关节点水平位移和垂直位移的相对变化，根据第i帧拇指关节点的三维坐标pi计算拇指关节点的运动轨迹t9，t9＝{p1-p0,p2-p1,...,pn-1-pn-2,pn-pn-1}。

在保证正确率的前提下，可通过适当调整匹配阈值以降低用户手势识别错误的情况。通过计算手势识别率的变化对阈值进行训练，在保证准确率前提下适当降低。这样，手势识别方法还包括：挥手类手势对应的预先设定的阈值范围为0.55-0.7，非挥手类手势对应的预先设定的阈值范围为15-20，这样，一方面保证了用户手势识别的正确性，另一方面争取使错误率降低到最低。

综上所述，本实施例提供的手势识别方法包括：首先，将用户手势进行划分，之后，为划分后的用户手势提取对应的特征向量，并且，运用预先设定的模板计算分类后的用户手势在网格中与标准模板手势的路径距离，从而当路径距离小于预先设定的阈值时，将用户手势识别为模板中的手势，这样，在使用时，可以将用户的手势通过划分、特征向量提取、预设模板匹配等步骤进行识别，从而实现了教学过程中用户手势的有效划分和识别。

实施例2

参见图2、图3和图4，本实施例提供的手势识别装置包括：依次相连的手势划分模块1、特征提取模块2、距离计算模块3和手势识别模块4，使用时，手势划分模块1用来按照基础动态手势将用户手势进行划分，特征提取特征提取模块2用来为划分后的用户手势提取对应的特征向量进行分类，距离计算模块3用来运用预先设定的模板计算分类后的用户手势在网格中与标准模板手势的路径距离，手势识别模块4用来当路径距离小于预先设定的阈值时，将用户手势识别为模板中的手势。

在这里，手势识别装置还包括：挥手/非挥手类手势划分模块1用来将用户手势分为挥手类手势和非挥手类手势。

在这里，特征提取模块2包括：特征向量定义单元21用来预先为挥手类手势和非挥手类手势分别定义挥手类特征向量和非挥手类特征向量，特征向量选择单元22用来为挥手类手势和非挥手类手势分别选择对应的特征向量，特征向量分类单元23用来用dtw算法对提取完特征向量的挥手类手势和非挥手类手势均进行分类。

在这里，手势识别装置还包括：位移模块5用来增加手掌关节点的水平位移和垂直位移，h1、v1分别表示手掌关节点的水平位移和垂直位移，位移变化计算模块6用来计算手掌关节点水平位移和垂直位移的相对变化t1＝h1/v1，运动轨迹计算模块7用来根据第i帧拇指关节点的三维坐标pi计算拇指关节点的运动轨迹t9，t9＝{p1-p0,p2-p1,...,pn-1-pn-2,pn-pn-1}。

在这里，手势识别装置还包括：第一阈值范围设定模块用来挥手类手势对应的预先设定的阈值范围为0.55-0.7，第二阈值范围设定模块用来非挥手类手势对应的预先设定的阈值范围为15-20。

综上所述，本实施例提供的手势识别装置包括：依次相连的手势划分模块1、特征提取模块2、距离计算模块3和手势识别模块4，在进行使用时，手势划分模块1用来将用户手势进行划分，特征提取特征提取模块2用来为划分后的用户手势提取对应的特征向量进行分类，距离计算模块3用来运用预先设定的模板计算分类后的用户手势在网格中与标准模板手势的路径距离，手势识别模块4用来当路径距离小于预先设定的阈值时，将用户手势识别为模板中的手势，通过上述各个模块的设置实现了对用户手势的划分、分类和识别，进而增强了对教学过程中用户手势的有效认定。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。