一种手势识别装置、系统及手势识别方法与流程

本发明涉及动作识别领域，更具体的，涉及一种手势识别装置、系统及手势识别方法。

背景技术：

虚拟现实技术(英文全称：virtualreality，英文简称：vr)是仿真技术的一个重要方向，是仿真技术与计算机图形学人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合，是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实技术主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的vr应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。

现有的vr控制器形式各异，包括空鼠手柄、光学手势识别控制器和手套控制器等，大多还处于发展阶段，存在很多缺陷。例如，空鼠手柄一般难以实现6dof(英文全称：sixdegreesoffreedom)追踪，且无法识别手势；光学手势识别控制器计算复杂度高，且功耗和成本也很高，容易受光照强度的干扰，在识别率上泛化能力有限；手套控制器目前一般采用各种压力传感器来检测关节位移，难以实现6dof追踪。

综上，目前的vr控制器手势识别率低，用户体验差。

技术实现要素：

有鉴于此，本发明提供了一种手势识别装置、系统及手势识别方法，能够准确识别手势和手掌的空间位置，实现6dof跟踪，提高了手势识别率，改善了用户体验。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种手势识别装置，包括：手掌模块、手臂模块和一个或一个以上手指模块；

每个所述手指模块包括六轴惯性传感器，每个所述六轴惯性传感器用于获取相应手指的六轴姿态数据；

所述手掌模块包括第一九轴惯性传感器，所述第一九轴惯性传感器用于获取手掌的九轴姿态数据，所述手掌模块用于获取每个所述手指的六轴姿态数据，并将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到上位机，使所述上位机对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理得到每个手指与手掌的相对姿态数据；

所述手臂模块包括第二九轴惯性传感器和第二微控制单元，所述第二九轴惯性传感器用于获取手臂的九轴姿态数据，所述手臂模块用于将所述手臂的九轴姿态数据发送到所述上位机，使所述上位机对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理得到手掌的空间位置。

优选的，所述手掌模块还包括第一微控制单元，所述第一微控制单元用于获取每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据，并将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到上位机；

所述手臂模块还包括第二微控制单元，所述第二微控制单元用于获取所述手臂的九轴姿态数据，并将所述手臂的九轴姿态数据发送到所述上位机。

优选的，所述手掌模块还包括第一蓝牙传输单元，所述手臂模块还包括第二蓝牙传输单元；

所述第一微控制单元，用于通过所述第一蓝牙传输单元将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到所述上位机；

所述第二微控制单元，用于通过所述第二蓝牙传输单元将所述手臂的九轴姿态数据发送到所述上位机。

优选的，每个所述手指模块还包括触觉反馈单元和压力弹片，当所述第一微控制单元接收到所述上位机发送的携带有施力手指的施力指令时，根据所述施力指令控制相应手指模块的所述触觉反馈单元对相应的所述压力弹片施加压力。

优选的，所述装置还包括多段缆绳，每个所述手指模块通过相应的所述缆绳与所述手掌模块相连，所述第一微控制单元用于通过每段所述缆绳获取相应手指的六轴姿态数据。

优选的，所述手掌模块还包括缆绳拉伸控制单元，所述缆绳拉伸控制单元用于接收所述上位机发送的携带有缆绳标识的阻力施加指令，并根据所述阻力施加指令对相应的所述缆绳施加阻力，每段所述缆绳对应唯一一个的缆绳标识。

优选的，所述手掌模块还包括第一电源单元，用于为所述手掌模块供电，并通过每段所述缆绳向相应的所述手指模块供电。

优选的，所述手臂模块还包括第二电源单元，用于为所述手臂模块供电。

一种手势识别系统，包括：上位机和上述任意一项所述的手势识别装置；

所述上位机，用于接收所述手势识别装置发送的每个手指的六轴姿态数据、手掌的九轴姿态数据和手臂的九轴姿态数据，并对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。

优选的，

所述上位机，用于对每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理，得到每个手指的三轴姿态数据、手掌的三轴姿态数据和手臂的三轴姿态数据，将每个所述手指的三轴姿态数据分别与所述手掌的三轴姿态数据做差分处理，得到每个手指与手掌的相对姿态数据，并以所述手掌的三轴姿态数据和所述手臂的三轴姿态数据作为数据输入，基于前向运动学算法，计算手掌的空间位置。

一种手势识别方法，应用于手势识别系统，所述方法包括：

获取每个手指的六轴姿态数据、手掌的九轴姿态数据和手臂的九轴姿态数据；

对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。

优选的，所述对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置，包括：

对每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理，得到每个手指的三轴姿态数据、手掌的三轴姿态数据和手臂的三轴姿态数据；

将每个所述手指的三轴姿态数据分别与所述手掌的三轴姿态数据做差分处理，得到每个手指与手掌的相对姿态数据；

以所述手掌的三轴姿态数据和所述手臂的三轴姿态数据作为数据输入，基于前向运动学算法，计算手掌的空间位置。

相对于现有技术，本发明的有益效果如下：

本发明提供的手势识别装置通过每个手指模块的六轴惯性传感器获取每个手指的六轴姿态数据，分别通过手掌模块的第一九轴惯性传感器和手臂模块的第二九轴惯性传感器获取手掌的九轴姿态数据和手臂的九轴姿态数据，并将每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据发送到上位机。上位机对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。本发明实现了6dof跟踪，提高了手势识别率，同时，本发明提供的手势识别装置支持关节阻力控制和手指触觉控制，使用户通过使用手势识别装置有真实的触觉感受，改善了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种手势识别装置的结构示意图；

图2为本发明实施例公开的一种手势识别装置在用户手部的分布示意图；

图3为本发明实施例公开的另一种手势识别装置的结构示意图；

图4为本发明实施例公开的再一种手势识别装置的结构示意图；

图5为本发明实施例公开的一种手势识别系统的结构示意图；

图6为本发明实施例公开的一种手势识别方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本实施例公开了一种手势识别装置100，包括：手掌模块102、手臂模块103和一个或一个以上手指模块101。

所述手势识别装置可以为可穿戴式设备，也可以为其他类型的设备。

具体的，请参阅图2，用户使用本实施例公开的手势识别装置时，每个所述手指模块101对应用户的每个手指，所述手指模块101的数量可以为一个或一个以上，所述手掌模块102对应用户的手掌，所述手臂模块103对应用户的手臂。

每个所述手指模块101包括六轴惯性传感器104，每个所述六轴惯性传感器104用于获取相应手指的六轴姿态数据。

所述手掌模块102包括第一九轴惯性传感器105，所述第一九轴惯性传感器105用于获取手掌的九轴姿态数据，所述手掌模块102用于获取每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据，并将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到上位机，使所述上位机对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理得到每个手指与手掌的相对姿态数据；

所述上位机可以为外部计算机，也可以为具有上述功能的其他设备。

所述手臂模块103包括第二九轴惯性传感器106，所述第二九轴惯性传感器106用于获取手臂的九轴姿态数据，所述手臂模块用于将所述手臂的九轴姿态数据发送到所述上位机，使所述上位机对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理得到手掌的空间位置。

优选的，请参阅图3，本实施例公开的手势识别装置中，所述手掌模块102还包括第一微控制单元107，所述第一微控制单元107用于获取每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据，并将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到上位机；

所述手臂模块103还包括第二微控制单元108，所述第二微控制单元108用于获取所述手臂的九轴姿态数据，并将所述手臂的九轴姿态数据发送到所述上位机。

第一九轴惯性传感器105与第一微控制单元107之间，以及第二九轴惯性传感器106与第二微控制单元108之间通过iic(inter-integratedcircuit，集成电路总线)进行通信连接。

需要说明的是，惯性传感器是检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(dof)运动的传感器。手指模块101的六轴姿态数据经过融合得到三轴姿态数据，其中，仅利用roll或者pitch自由度，由于roll和pitch经过了重力修正，可以消除积分累计误差。手掌模块102的九轴姿态数据经过融合得到三轴姿态数据，其中，利用yaw、roll和pitch自由度的修正后的姿态数据。

一方面，手掌模块102的三轴姿态数据用于手掌的3dof旋转姿态跟踪，另一方面，将各个手指模块101的三轴姿态数据(roll或pitch)分别与手掌模块102的三轴姿态数据(roll或pitch)做差分处理，得到各个手指与手掌的相对姿态数据，从而识别手势。

上位机以手掌的三轴姿态数据和手臂的三轴姿态数据作为数据输入，基于前向运动学算法，获取手掌的空间位置，实现手掌的3dof位置跟踪，结合手掌的3dof旋转姿态跟踪，从而实现6dof跟踪，提高了手势识别率，改善了用户体验。

优选的，所述手掌模块102还包括第一蓝牙传输单元109，所述手臂模块103还包括第二蓝牙传输单元110；

所述第一微控制单元107，用于通过所述第一蓝牙传输单元109将每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据发送到所述上位机；

所述第二微控制单元108，用于通过所述第二蓝牙传输单元110将所述手臂的九轴姿态数据发送到所述上位机。

当然，所述第一微控制单元107和所述第二微控制单元108也可以通过其他无线通信技术与上位机进行通信连接。

优选的，每个所述手指模块101还包括触觉反馈单元111和压力弹片112，当所述第一微控制单元107接收到所述上位机发送的携带有施力手指的施力指令时，根据所述施力指令控制相应手指模块的所述触觉反馈单元对相应的所述压力弹片施加压力。

本实施例通过触觉反馈单元111和压力弹片112实现触觉控制，例如，模拟点击操作，当第一微控制单元107接收到上位机发送的携带有食指的施力指令，控制食指对应的触觉反馈单元111对相应的压力弹片112施加压力，使用户体会到点击时的真实感觉，为用户带来更加真实的体验。

请参阅图4，所述手势识别装置还包括多段缆绳113，所述缆绳为具有电力信号传输功能和数据传输功能的缆绳，每个所述手指模块101通过相应的所述缆绳113与所述手掌模块102相连，所述第一微控制单元107用于通过每段所述缆绳113获取相应手指的六轴姿态数据。

在所述手势识别装置还包括多段缆绳113的基础上，优选的，所述手掌模块102还包括缆绳拉伸控制单元114，所述缆绳拉伸控制单元114用于接收所述上位机发送的携带有缆绳标识的阻力施加指令，并根据所述阻力施加指令对相应的所述缆绳113施加阻力，每段所述缆绳113对应唯一的缆绳标识。

当所述缆绳拉伸控制单元114接收到上位机发送的携带有缆绳标识的阻力施加指令时，根据所述阻力施加指令对相应缆绳113施加阻力，实现关节阻力控制。例如，模拟抓握东西，当所述缆绳拉伸控制单元114接收到上位机发送的携带有五段缆绳标识的阻力指令时，缆绳拉伸控制单元114分别对五段缆绳施加阻力，使用户体会到抓握东西时的真实感觉，为用户带来更加真实的体验。

优选的，所述手掌模块102还包括第一电源单元115，用于为所述手掌模块供电，并通过每段所述缆绳113向相应的所述手指模块101供电。

所述手臂模块103还包括第二电源单元116，用于为所述手臂模块供电。

本实施例公开的手势识别装置，通过缆绳113实现每个手指模块101与手掌模块102的电力传输和手指六轴姿态数据的传输，且通过缆绳拉伸控制单元114实现关节阻力控制，使用户在使用本实施例公开的手势识别装置时为用户带来真实的触觉感受，改善了用户体验。

请参阅图5，基于上述实施例公开的手套控制器，本实施例对应公开了一种手势识别系统，包括手势识别装置100和上位机200。

所述手势识别装置100为上述实施例中公开的任意一种手势识别装置。

所述上位机200，用于接收所述手势识别装置发送的每个手指的六轴姿态数据、手掌的九轴姿态数据和手臂的九轴姿态数据，并对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。

需要说明的是，所述手势识别装置100与上位机200之间通过蓝牙等无线通信技术进行通信连接。

优选的，所述上位机200，用于对每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理，得到每个手指的三轴姿态数据、手掌的三轴姿态数据和手臂的三轴姿态数据，将每个所述手指的三轴姿态数据分别与所述手掌的三轴姿态数据做差分处理，得到每个手指与手掌的相对姿态数据，并以所述手掌的三轴姿态数据和所述手臂的三轴姿态数据作为数据输入，基于前向运动学算法，计算手掌的空间位置。

具体的，所述上位机基于传感器六轴融合算法对每个所述手指的六轴姿态数据分别进行融合处理，得到每个手指的三轴姿态数据。所述上位机基于传感器九轴融合算法对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理，得到手掌的三轴姿态数据和手臂的三轴姿态数据。上位机对每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理消除了积分误差，提高了手势识别的准确性。

对应于上述实施例公开的内容，上位机还可以向手势识别装置发送携带有缆绳标识的阻力施加指令和携带有施力手指的施力指令，实现关节阻力控制和手指触觉控制，为用户带来真实的触觉感受，改善了用户体验。

基于上述实施例公开的手势识别系统，请参阅图6，本实施例公开了一种手势识别方法，具体包括以下步骤：

s101：获取每个手指的六轴姿态数据、手掌的九轴姿态数据和手臂的九轴姿态数据；

s102：对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。

优选的，s102的具体执行过程如下：

对每个所述手指的六轴姿态数据、所述手掌的九轴姿态数据和所述手臂的九轴姿态数据分别进行融合处理，得到每个手指的三轴姿态数据、手掌的三轴姿态数据和手臂的三轴姿态数据；

将每个所述手指的三轴姿态数据分别与所述手掌的三轴姿态数据做差分处理，得到每个手指与手掌的相对姿态数据；

以所述手掌的三轴姿态数据和所述手臂的三轴姿态数据作为数据输入，基于前向运动学算法，计算手掌的空间位置。

本实施例公开的手势识别方法，上位机对每个所述手指的六轴姿态数据和所述手掌的九轴姿态数据进行处理，得到每个手指与手掌的相对姿态数据，并对所述手掌的九轴姿态数据和所述手臂的九轴姿态数据进行处理，得到手掌的空间位置。实现了6dof跟踪，提高了手势识别率。

同时，对应于上述实施例公开的内容，上位机还可以向手势识别装置发送携带有缆绳标识的阻力施加指令和携带有施力手指的施力指令，实现关节阻力控制和手指触觉控制，为用户带来真实的触觉感受，改善了用户体验。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。