本实用新型涉及人机智能交互技术领域，特别是涉及一种基于Leap Motion设备的手势识别互动系统。
背景技术：
这个世界上有一群不被人们理解的孩子，他们无法与正常人进行沟通，他们沉浸在自己小小的世界里，无法理解正常人平时用的手势，他们就像是天上的星星，在漆黑的夜里孤独地闪烁着，他们就是被人们称为星星的孩子的自闭症患者。
自闭症，又称孤独症(autism)或孤独性障碍(autistic disorder)等，是广泛性发育障碍(pervasive developmental disorder，PDD)的代表性疾病，起病于婴幼儿期，主要表现为不同程度的言语发育障碍、人际交往障碍、兴趣狭窄和行为方式刻板。而手势是人们日常交流中一种非常重要的沟通方式，如何使不喜欢与人们沟通的自闭症患者了解和熟悉人们日常用的手势并与人们互动是人们亟需解决的问题。
技术实现要素：
基于此，有必要提供一种基于Leap Motion设备的手势识别互动系统，包括依次电连接的Leap Motion设备、单片机、仿生机械手；
所述Leap Motion设备用于采集用户的手部动作，基于所述手部动作获取用户手部的整体图像、手掌心和每个指关节骨骼空间三维位置坐标、手掌和手指弯曲的弧度、手掌移动或旋转的方向与速度、手掌朝向的方向与法向量、手指分开或聚合的信息；并分析获取得到的信息识别出用户的手势；
所述单片机用于将Leap Motion设备识别出的用户的手势与预设的手势进行匹配；
所述预设的手势包括：挥手、握手、碰拳、手指比划数字一、手指比划数字二、手指比划数字三、手指比划数字四、手指比划数字五、手指比划数字零；
所述仿生机械手用于当用户的手势与预设的手势匹配时，接收单片机发送的控制指令，并执行相应的动作；
所述执行相应的动作包括：
当用户的手势与挥手匹配时，仿生机械手执行向用户进行挥手的动作；
当用户的手势与握手匹配时，仿生机械手执行与用户进行握手的动作；
当用户的手势与碰拳匹配时，仿生机械手执行与用户进行碰拳的动作；
当用户的手势与手指比划数字一匹配时，仿生机械手的手指执行比划数字四的动作，与用户模拟相加等于五的游戏；
当用户的手势与手指比划数字二匹配时，仿生机械手的手指执行比划数字三的动作，与用户模拟相加等于五的游戏；
当用户的手势与手指比划数字三匹配时，仿生机械手的手指执行比划数字二的动作，与用户模拟相加等于五的游戏；
当用户的手势与手指比划数字四匹配时，仿生机械手的手指执行比划数字一的动作，与用户模拟相加等于五的游戏；
当用户的手势与手指比划数字五匹配时，仿生机械手的手指执行比划数字零的动作，与用户模拟相加等于五的游戏；
当用户的手势与手指比划数字零匹配时，仿生机械手的手指执行比划数字五的动作，与用户模拟相加等于五的游戏。
在其中一个实施例中，所述仿生机械手通过接收单片机发送的控制指令调整舵机组状态，完成指定的手势动作。
在其中一个实施例中，还包括：手势更新模块，所述手势更新模块与单片机电连接，用于更新预设的手势，并设置仿生机械手做出相应的动作进行互动。
本实用新型提供的一种基于Leap Motion设备的手势识别互动系统，包括依次电连接的Leap Motion设备、单片机、仿生机械手；所述Leap Motion设备用于采集用户的手部动作，基于所述手部动作获取用户手部的整体图像、手掌心和每个指关节骨骼空间三维位置坐标、手掌和手指弯曲的弧度、手掌移动或旋转的方向与速度、手掌朝向的方向与法向量、手指分开或聚合的信息；并分析获取得到的信息识别出用户的手势；所述单片机用于将Leap Motion设备识别出的用户的手势与预设的手势进行匹配；所述预设的手势包括：挥手、握手、碰拳、手指比划数字一、手指比划数字二、手指比划数字三、手指比划数字四、手指比划数字五、手指比划数字零；所述仿生机械手用于当用户的手势与预设的手势匹配时，接收单片机发送的控制指令，并执行相应的动作；所述执行相应的动作包括：当用户的手势与挥手匹配时，仿生机械手执行向用户进行挥手的动作；当用户的手势与握手匹配时，仿生机械手执行与用户进行握手的动作；当用户的手势与碰拳匹配时，仿生机械手执行与用户进行碰拳的动作；当用户的手势与手指比划数字一匹配时，仿生机械手的手指执行比划数字四的动作，与用户模拟相加等于五的游戏；当用户的手势与手指比划数字二匹配时，仿生机械手的手指执行比划数字三的动作，与用户模拟相加等于五的游戏；当用户的手势与手指比划数字三匹配时，仿生机械手的手指执行比划数字二的动作，与用户模拟相加等于五的游戏；当用户的手势与手指比划数字四匹配时，仿生机械手的手指执行比划数字一的动作，与用户模拟相加等于五的游戏；当用户的手势与手指比划数字五匹配时，仿生机械手的手指执行比划数字零的动作，与用户模拟相加等于五的游戏；当用户的手势与手指比划数字零匹配时，仿生机械手的手指执行比划数字五的动作，与用户模拟相加等于五的游戏。本实用新型通过捕捉识别并匹配出预设的手势，并控制仿生机械手做出相应的手势动作进行人机互动，可以让不喜欢与人们沟通的自闭症患者了解和熟悉人们日常使用的手势，并学习模仿相应的互动动作，可以增加人机交互的趣味性，具有关爱自闭症患者、协助自闭症患者克服人际交往障碍的作用，另外，本实用新型具有快速准确识别用户手势的优点。
附图说明
图1为一个实施例中一种基于Leap Motion设备的手势识别互动系统流程图；
图2为一个实施例中一种基于Leap Motion设备的手势识别互动的系统框图；
图3为一个实施例中Leap Motion设备的三维空间坐标示意图；
图4为一个实施例中Leap Motion设备获取的手部的整体图像及手指方向示意图；
图5为一个实施例中Leap Motion设备获取的用户手部的整体图像及手掌朝向的方向与法向量示意图；
图6为一个实施例中识别出的用户手势三维示意图；
图7为一个实施例中仿生机械手的电信号控制示意图；
图8为一个实施例中控制仿生机械手的手指比划数字五的动作示意图；
图9为一个实施例中控制仿生机械手与用户进行握手的动作示意图。
具体实施方式
为了使本实用新型的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本实用新型进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本实用新型，并不用于限定本实用新型。
除非上下文另有特定清楚的描述，本实用新型中的元件和组件，数量既可以单个的形式存在，也可以多个的形式存在，本实用新型并不对此进行限定。本实用新型中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。
在一个实施例中，如图2所示，一种基于Leap Motion设备的手势识别互动系统，包括依次电连接的Leap Motion设备100、单片机200、仿生机械手300；所述Leap Motion设备用于采集用户的手部动作，基于所述手部动作获取用户手部的整体图像、手掌心和每个指关节骨骼空间三维位置坐标、手掌和手指弯曲的弧度、手掌移动或旋转的方向与速度、手掌朝向的方向与法向量、手指分开或聚合的信息；并分析获取得到的信息识别出用户的手势。
如图3、图4、图5、图6所示，Leap Motion设备根据内置的两个摄像头从不同角度捕捉用户手部动作的画面，重建出手掌在真实世界三维空间的运动信息。检测的范围大概在传感器上方25毫米到600毫米之间，检测的空间大体是一个倒四棱锥体。Leap Motion设备建立一个直角座标系，座标的原点是Leap Motion设备的中心，座标的X轴平行于Leap Motion设备，指向屏幕右方，Y轴指向上方，Z轴指向背离屏幕的方向。
当Leap Motion设备检测到用户的手、手指、或者是手势时，设备赋予它(用户的手、手指、或者是手势)一个唯一的ID号码作为标记，只要这个实体不出设备的可视区域，这个ID号就会一直不变，在每一帧中，Leap Motion设备获取用户手部的整体图像、手掌心和每个指关节骨骼空间三维位置坐标、手掌和手指弯曲的弧度、手掌朝向的方向与法向量、手指分开或聚合的信息，并通过当前的帧与更早的帧的比较获得帧动画，从而获得手掌移动或旋转的方向与速度、手指的缩放动作信息。通过综合分析上述获取得到的信息判断并识别出用户的手势。本实用新型通过大量的实验发现，当用户的手部与Leap Motion设备的距离为30毫米到550毫米时，Leap Motion设备采集捕捉用户手势的效果更佳；在其中一个实施例中，当用户的手部与Leap Motion设备的距离为35毫米到500毫米时，Leap Motion设备采集捕捉用户手势的效果最佳。
在其中一个实施例中，Leap Motion设备通过测量各个手指头到手掌心的距离，计算出手指长度信息，并结合手指长度信息和手指头坐标信息识别出人体的手势；在其中一个实施例中，Leap Motion设备通过比较分析连续几帧手掌心和每个指关节骨骼空间三维位置坐标的变化识别人体的手势。本实用新型提供的解决方案不仅可以识别静态的用户手势，也可以识别动态的用户手势，而且识别速度快，准确度高。
在其中一个实施例中，所述单片机用于将Leap Motion设备识别出的用户的手势与预设的手势进行匹配；
将上述识别出来的用户的手势与系统中预设的手势进行匹配，所述预设的手势包括：挥手、握手、碰拳、手指比划数字一、手指比划数字二、手指比划数字三、手指比划数字四、手指比划数字五、手指比划数字零；
在其中一个实施例中，利用模板匹配的方法以及最大概率和最近邻准则将用户的手势与系统中预设的手势进行匹配，具体包括匹配掌心朝向、手伸出的方向、手指伸出的状态与数量、相邻指骨间的角度、食指近指关节的方向、大拇指与食指指尖距离、食指与中指的指尖距离、无名指与中指的指尖距离、无名指与小指的指尖距离、各个手指尖与手掌心的距离、手掌移动或转动的方向中的一项或几项。本发明可以快速准确的识别出与预设手势相匹配的用户手势。
所述仿生机械手用于当用户的手势与预设的手势匹配时，接收单片机发送的控制指令，并执行相应的动作；
所述执行相应的动作包括：
当用户的手势与挥手匹配时，仿生机械手执行向用户进行挥手的动作；
当用户的手势与握手匹配时，仿生机械手执行与用户进行握手的动作；
当用户的手势与碰拳匹配时，仿生机械手执行与用户进行碰拳的动作；
当用户的手势与手指比划数字一匹配时，仿生机械手的手指执行比划数字四的动作，与用户模拟相加等于五的游戏；
当用户的手势与手指比划数字二匹配时，仿生机械手的手指执行比划数字三的动作，与用户模拟相加等于五的游戏；
当用户的手势与手指比划数字三匹配时，仿生机械手的手指执行比划数字二的动作，与用户模拟相加等于五的游戏；
当用户的手势与手指比划数字四匹配时，仿生机械手的手指执行比划数字一的动作，与用户模拟相加等于五的游戏；
当用户的手势与手指比划数字五匹配时，仿生机械手的手指执行比划数字零的动作，与用户模拟相加等于五的游戏；
当用户的手势与手指比划数字零匹配时，仿生机械手的手指执行比划数字五的动作，与用户模拟相加等于五的游戏。
在其中一个实施例中，所述仿生机械手通过接收单片机发送的控制指令调整舵机组状态，完成指定的手势动作。
本实用新型通过捕捉识别并匹配出预设的手势，并控制仿生机械手做出相应的手势动作进行人机互动，可以让不喜欢与人们沟通的自闭症患者了解和熟悉人们日常使用的手势，并学习模仿相应的互动动作，可以增加人机交互的趣味性，具有关爱自闭症患者、协助自闭症患者克服人际交往障碍的作用，另外，本发明具有快速准确识别用户手势的优点。
在其中一个实施例中，如图7所示，所述仿生机械手300包括微控制器和多个舵机，所述多个舵机分别与微控制器电连接，所述微控制器与单片机200电连接，所述微控制器通过接收单片机发送的控制指令调整舵机组状态，完成指定的手势动作。在其中一个实施例中，仿生机械手的舵机组包括15个舵机，其中，拇指的两个指关节处包括2个舵机，其他四个手指的三个指关节处分别包括3个舵机，手腕的关节处包含1个舵机，仿生机械手通过调整15个舵机的状态，控制仿生机械手的各个指关节、手腕关节弯曲或伸直从而让仿生机械手做出各种模仿人手手势的动作。当然，根据需要，仿生机械手也可以包含更多的舵机，从而让仿生机械手做出的手势动作更加细致，更加逼真。
在其中一个实施例中，如图8所示，当Leap Motion设备捕捉识别到的用户手势与预设的手势中手指比划数字零匹配时，单片机通过发送控制指令给仿生机械手的微控制器，控制仿生机械手的舵机组调整状态、让仿生机械手的手指比划数字五的动作，与用户模拟相加等于五的游戏。如图9所示，当Leap Motion设备捕捉识别到的用户手势与预设的手势中握手的手势匹配时，单片机通过发送控制指令给仿生机械手的微控制器，控制仿生机械手的舵机组调整状态、让仿生机械手与用户进行握手的动作，与用户进行握手互动。
在其中一个实施例中，本实用新型的系统还包括：手势更新模块，所述手势更新模块与单片机电连接，用于更新预设的手势，并设置仿生机械手做出相应的动作进行互动。
根据用户的需要，可以通过手势更新模块自定义预设的手势库，例如增加猜拳的手势剪刀、石头、布，并设置仿生机械手做出相同的手势，或者设置仿生机械手做出猜拳能赢的动作。在其中一个实施例中，当捕捉识别到用户手部的手势为剪刀时，控制仿生机械手做出石头的动作，当捕捉识别到用户手部的手势为石头时，控制仿生机械手做出布的动作，当捕捉识别到用户手部的手势为布时，控制仿生机械手做出剪刀的动作，与用户进行互动，增加人机互动的乐趣。当然，用户也可以根据需要删除预设手势库中的手势，例如，当用户已经熟悉并掌握了预设手势库中的某个手势时可以将其从预设手势库中删掉。在其中一个实施例中，用户已经非常熟悉并掌握了握手的手势时，将握手手势从预设手势库中删掉，将预设手势库的存储空间空出来存放其他需要掌握学习的手势。
本实用新型通过捕捉识别并匹配出预设的手势，并控制仿生机械手做出相应的手势动作进行人机互动，可以让不喜欢与人们沟通的自闭症患者了解和熟悉人们日常使用的手势，并学习模仿相应的互动动作，可以增加人机交互的趣味性，具有关爱自闭症患者、协助自闭症患者克服人际交往障碍的作用，另外，本实用新型具有快速准确识别用户手势的优点。
在一个实施例中，如图1所示，一种基于Leap Motion设备的手势识别互动系统工作流程包括：
步骤S10，通过Leap Motion设备采集用户的手部动作，基于所述手部动作获取用户手部的整体图像、手掌心和每个指关节骨骼空间三维位置坐标、手掌和手指弯曲的弧度、手掌移动或旋转的方向与速度、手掌朝向的方向与法向量、手指分开或聚合的信息；
步骤S20，通过分析上述获取得到的信息识别出用户的手势；
如图3、图4、图5、图6所示，Leap Motion设备根据内置的两个摄像头从不同角度捕捉用户手部动作的画面，重建出手掌在真实世界三维空间的运动信息。检测的范围大概在传感器上方25毫米到600毫米之间，检测的空间大体是一个倒四棱锥体。Leap Motion传感器建立一个直角座标系，座标的原点是传感器的中心，座标的X轴平行于传感器，指向屏幕右方，Y轴指向上方，Z轴指向背离屏幕的方向。
当Leap Motion设备检测到用户的手、手指、或者是手势时，设备赋予它(用户的手、手指、或者是手势)一个唯一的ID号码作为标记，只要这个实体不出设备的可视区域，这个ID号就会一直不变，在每一帧中，Leap Motion设备获取用户手部的整体图像、手掌心和每个指关节骨骼空间三维位置坐标、手掌和手指弯曲的弧度、手掌朝向的方向与法向量、手指分开或聚合的信息，并通过当前的帧与更早的帧的比较获得帧动画，从而获得手掌移动或旋转的方向与速度、手指的缩放动作信息。通过综合分析上述获取得到的信息判断并识别出用户的手势。本实用新型通过大量的实验发现，当用户的手部与Leap Motion设备的距离为30毫米到550毫米时，Leap Motion设备采集捕捉用户手势的效果更佳；在其中一个实施例中，当用户的手部与Leap Motion设备的距离为35毫米到500毫米时，Leap Motion设备采集捕捉用户手势的效果最佳。
在其中一个实施例中，leap motio设备通过测量各个手指头到手掌心的距离，计算出手指长度信息，并结合手指长度信息和手指头坐标信息识别出人体的手势；在其中一个实施例中，leap motio设备通过比较分析连续几帧手掌心和每个指关节骨骼空间三维位置坐标的变化识别人体的手势。
步骤S30，将用户的手势与预设的手势进行匹配；
将上述识别出来的用户的手势与系统中预设的手势进行匹配，所述预设的手势包括：挥手、握手、碰拳、手指比划数字一、手指比划数字二、手指比划数字三、手指比划数字四、手指比划数字五、手指比划数字零；
在其中一个实施例中，利用模板匹配的系统以及最大概率和最近邻准则将用户的手势与预设的手势进行匹配，具体包括匹配掌心朝向、手伸出的方向、手指伸出的状态与数量、相邻指骨间的角度、食指近指关节的方向、大拇指与食指指尖距离、食指与中指的指尖距离、无名指与中指的指尖距离、无名指与小指的指尖距离、各个手指尖与手掌心的距离、手掌移动或转动的方向中的一项或几项。本实用新型可以快速准确的识别出与预设手势相匹配的用户手势。
步骤S41，当用户的手势与挥手匹配时，则控制仿生机械手向用户进行挥手的动作；
步骤S42，当用户的手势与握手匹配时，则控制仿生机械手与用户进行握手的动作；
步骤S43，当用户的手势与碰拳匹配时，则控制仿生机械手与用户进行碰拳的动作；
步骤S44，当用户的手势与手指比划数字一匹配时，则控制仿生机械手的手指比划数字四的动作，与用户模拟相加等于五的游戏；
步骤S45，当用户的手势与手指比划数字二匹配时，则控制仿生机械手的手指比划数字三的动作，与用户模拟相加等于五的游戏；
步骤S46，当用户的手势与手指比划数字三匹配时，则控制仿生机械手的手指比划数字二的动作，与用户模拟相加等于五的游戏；
步骤S47，当用户的手势与手指比划数字四匹配时，则控制仿生机械手的手指比划数字一的动作，与用户模拟相加等于五的游戏；
步骤S48，当用户的手势与手指比划数字五匹配时，则控制仿生机械手的手指比划数字零的动作，与用户模拟相加等于五的游戏；
步骤S49，当用户的手势与手指比划数字零匹配时，则控制仿生机械手的手指比划数字五的动作，与用户模拟相加等于五的游戏。
本实用新型通过捕捉识别并匹配出预设的手势，并控制仿生机械手做出相应的手势动作进行人机互动，可以让不喜欢与人们沟通的自闭症患者了解和熟悉人们日常使用的手势，并学习模仿相应的互动动作，可以增加人机交互的趣味性，具有关爱自闭症患者、协助自闭症患者克服人际交往障碍的作用，另外，本实用新型具有快速准确识别用户手势的优点。
由于自闭症患者存在比较严重的人际交往障碍，所以一种简单但却能够让其喜欢的有趣“玩具”显得非常重要，该“玩具”可以助其学习和熟悉人们日常用的手势并与之互动，协助自闭症患者克服人际交往的障碍。而本实用新型正是为了给自闭症患者提供这样一种“玩具”般的系统。
以上所述实施例仅表达了本实用新型的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本实用新型专利范围的限制。应当指出的是，对于本领域的普通技术用户员来说，在不脱离本实用新型构思的前提下，还可以做出若干变形和改进，这些都属于本实用新型的保护范围。因此，本实用新型专利的保护范围应以所附权利要求为准。