一种基于手势控制的三维空间手绘装置及方法与流程

本发明属于人机交互技术领域，涉及一种三维空间立体手绘装置及方法，尤其涉及一种基于手势输入、识别与控制的可穿戴式人机交互的快速三维空间立体手绘装置及方法。

背景技术：

随着人机交互技术的不断发展，人机交互的方式已经从传统的繁琐而复杂的键盘输入、鼠标控制，逐步发展到触控、语音、手势、眼控，每一种交互方式的出现都给市场带来了无限可能性。毫无疑问，人与机器设备之间的交互越来越趋向于简单、直观，人机交互的体验越来越立体、自然。同时，随着智能家电、大屏智能设备、游戏娱乐等领域的快速发展，繁琐的人机交互方式已经逐渐被淘汰，而手势控制作为一种便捷且自然的交互方式，逐渐赢得人们的青睐。但是传统的手势识别方法易受光照、背景、噪声等外部因素影响，手势控制的精度及实时性亟待提高。

近年来，随着物联网技术的飞速进步，一系列以便利工作生活、提升娱乐体验为目的的智能设备快速兴起并蓬勃发展。用户交互体验更趋向于自然，智能交互设备的形态也产生了巨大的变化，交互方式还远未令人满意。图形作为一种更直观的沟通工具与思考方法，已泛在应用各种场合。三维图形交互效果表现的更佳，然而三维图形的绘制对于非专业人员来说难度大、门槛高，即便是绘制简单立体图也耗时耗力，难以表达出来。

技术实现要素：

本发明主要是是解决现有技术所存在的技术问题，提供了一种用于三维空间立体绘图的交互输入方法，只需要在手上固定配套设备，就可以直接通过手部的运动进行“凌空绘图”。

本发明的装置所采用的技术方案是：一种基于手势控制的三维空间手绘装置，其特征在于：包括手势传感单元、imu惯性测量单元、辅助测量单元、数据解算和控制单元、WIFI通信单元、上位机；

所述手势传感单元、imu惯性测量单元、辅助测量单元、数据解算和控制单元、WIFI通信单元集成到运动手饰上，运动手饰固定在手上；

所述手势传感单元、imu惯性测量单元、辅助测量单元分别与所述数据解算和控制单元连接通信，所述运动手饰能通过所述WIFI通信单元与上位机连接通信。

本发明的方法所采用的技术方案是：一种基于手势控制的三维空间手绘方法，其特征在于，包括以下步骤：

步骤1：采集各手指弯曲度、采集手部与超声波发射源距离、采集手部在垂直于手部与超声波发射源连线的二维平面位置；

步骤2：通过各手指弯曲度数据得到手部的姿态，通过手部与超声波发射源距离、手部在垂直于手部与超声波发射源连线的二维平面位置的数据计算得到手部的三维空间坐标；

步骤3：对获取的数据进行处理，同时有效组织和精确调度各个模块，实现对手势的识别、对手部运动的追踪。

本发明具有如下优点：

1.采用先进的传感器检测手指各关节的屈伸角度。此类传感器采用了先进的特殊材料，这类材料弯曲形变极其敏感，能够将弯曲形变转换为电阻阻值的变化，电阻阻值经过信号处理和转换，最后转化为数字电路能够处理的数字信号。通过这种方式避免了使用微电子惯性测量元件造成的运算量大、误差较大的弊端；

2.采用基于MEMS技术的高精度微电子惯性测量芯片实现高精度测控。片上同时集成加速度计和陀螺仪，避免传感器分置带来的测量误差；通过精密的校准和精心设计的融合算法最大程度克服了MEMS设备的固有缺点，得到媲美机械惯导设备的精确度，为后级的运动检测、追踪、定位算法的准确性提供保障，实现三维空间立体手绘功能；

3.采用红外同步与超声波测距结合的测距方案用于在惯性测量条件未达到或需要相对于世界坐标系的绝对定位参数时提供绝对测量数据，使得三维空间立体手绘功能易实现且成本低，在本设备的应用场景下具有非常明显的优势；

4.采用自行改进的实时操作系统对各项任务进行调度，使各项任务得到有效组织和精确调度，一方面提高了处理器利用效率，另一方面又能做到及时响应各种内外部任务，保证三维空间立体手绘的实时性。

附图说明

图1是本发明实施例的系统功能模块图；

图2是本发明实施例的运动手饰的结构图；

图3是本发明实施例的超声波发射模块的结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1、图2和图3，本发明提供的一种基于手势控制的三维空间手绘装置，包括手势传感单元1、imu惯性测量单元2、辅助测量单元3、数据解算和控制单元4、WIFI通信单元、上位机；手势传感单元1、imu惯性测量单元2、辅助测量单元3、数据解算和控制单元4、WIFI通信单元集成到运动手饰上，运动手饰固定在手上；手势传感单元1、imu惯性测量单元2、辅助测量单元3分别与数据解算和控制单元4连接通信，运动手饰能通过WIFI通信单元与上位机连接通信。

手势传感单元1由弯曲—电阻传感器阵列7和与弯曲—电阻传感器阵列7相连的运放跟随装置8组成，是装置的核心模块，这一功能模块通过传感器得到手指关节的屈伸程度，然后将数据经过调理、整形和滤波后交由后级模块处理。

imu惯性测量单元2采用用imu惯性测量单元监测并获取用户手部的运动数据，从而实现对用户手部运动的定位和追踪。imu惯性测量单元2以mems惯性测量传感器为核心，运用数据融合技术对mems六轴惯性测量传感器的测量数据进行处理，修正传感数据、抑制噪声，得到可信的数据；最大程度克服了mems设备的固有弱点，保证了惯性测量数据的准确可信和稳定。为进一步保证数据的可信性，排除因偶然因素对测量数据造成干扰，融合后的测量结果经过进一步的数据处理，从而达到更佳的噪声抑制效果。

辅助测量单元3用于帮助装置克服imu测量结果的相对性和对被测目标加速度限制严格的局限性；辅助测量单元从世界坐标系的视角，为某些主要功能的实现提供绝对定位数据，并融合imu的测量结果，做到对用户手部运动精准稳定的感知和追踪。辅助测量单元3包括超声波发射模块和超声波接收模块11，采用红外同步&超声波测距结合的测距方案，测距开始时，超声波发射模块发送经调制的同步红外信号，同时超声波发射模块发出经调制的超声波信号。超声波接收模块11在接收到同步红外信号的同时开始计时，直到超声波接收模块11收到发方超声波信号为止。此时的计时数据t乘以声速v即为距离s。不仅保证了较强的抗干扰性能，同时能够得到精确的测量结果。

数据解算和控制单元4运用软件算法对前级采集到的数据进行计算，同时有效组织和精确调度各个模块，实现对手势的实时识别、对手部运动的追踪等核心功能。

数据解算和控制单元4主要由有效判定模块、模式匹配模块、命令收发模块三部分组成：有效判定模块接收手部数据采集单元提供的测量数据，并结合有效条件判定数据是否有效可用；模式匹配模块利用测量数据与用户在设定手势时的初始化数据进行匹配，若命中则通知命令收发模块发送相应指令；命令收发模块根据模式匹配的结果发送相应命令。若有上位机命令到来，则接收并处理。

为了保证实时正常读取数据的同时，快速及时地完成数据解算工作；此外在有通信任务之时，必须快速响应，及时完成通信，本发明采用了基于运放跟随的差分卡尔曼滤波算法、红外同步+超声波测距的测距算法、RT-Thread增加内核包和扩充互斥核心的操作算法来实现数据采集、数据解算和控制。这一方面提高了处理器利用效率，另一方面又能做到及时响应各种内外部任务，保证系统的实时性。本发明RT-Thread增加内核包和扩充互斥核心的操作算法在实时性、易用性、健壮性、功能完整性方面均达到较高水准，完全满足了功能设计要求。

WIFI通信单元用于建立运动手饰与上位机(上位机包括服务器、PC或其他智能设备)的数据通联。WIFI模块将运动手饰接入网络，从而建立同多个设备间的控制通道。

上位机包括通信模块、透传模块、命令执行模块；通信模块用于获取运动手饰解算得到的数据或操作指令，并根据所收到的数据或指令的性质分发；透传模块用于传输数据或指令，并转换成上位机能接收的数据格式；命令执行模块用于根据收到的指令在上位机中执行，实现手势控制绘图功能。

本发明提供的一种基于手势控制的三维空间手绘方法，包括以下步骤：

步骤1：采集各手指弯曲度、采集手部与超声波发射源距离、采集手部在垂直于手部与超声波发射源连线的二维平面位置；

步骤2：通过各手指弯曲度数据得到手部的姿态，通过手部与超声波发射源距离、手部在垂直于手部与超声波发射源连线的二维平面位置的数据计算得到手部的三维空间坐标；

其具体实现过程是：

运动手饰通过手势传感单元1能实时采集手指运动的弯曲度对应的电阻阻值变化率，采用基于运放跟随的差分卡尔曼滤波算法，采用五阶中值滤波器进一步进行噪声抑制处理，再根据收发分离的开放式超声波换能器和大功率宽视角的红外发射接收电路实现的红外同步+超声波测距的测距算法，实时计算得到手指的三维坐标值与弯曲度数，从而快速实现手部的三维空间高精度定位功能。

步骤3：对获取的数据进行处理，同时有效组织和精确调度各个模块，实现对手势的识别、对手部运动的追踪。

本实施例中对获取的数据进行处理，其具体实现过程是：

运动手饰通过数据解算和控制单元4通过RT-Thread增加内核包和扩充互斥核心的操作算法，达到能快速实时响应处理采集得到数据实现识别与追踪，并将处理后的结果数据通过wifi通信单元传输给上位机。

本发明基于独特的手指弯曲传感与三维空间高精度定位法，能够极大地提高手势识别和三维空间定位的准确率与实时性，并且可穿戴式的设计能够给用户带来更加方便、立体和自然的人机交互体验。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。