一种基于手套采集的手势识别方法及人机交互装置与流程

技术特征：

1.一种基于手套采集的手势识别人机交互装置，其特征在于，包括采集手套、调理器和处理模块；处理模块通过串行接口或USB接口等与外部设备连接；

采集手套上设置有弯曲传感器及惯性测量单元；处理模块包括模数转换器和主处理器，两者集成在一块芯片上；调理器同时连接弯曲传感器和模数转换器；惯性测量单元直接与主处理器相连接；

弯曲传感器及惯性测量单元分别采集原始数据，其中弯曲传感器将其输出电阻送至调理器进行调理，转化为电压输出给模数转换器，模数转换器将电压输出的模拟量转换为数字量，提交给主处理器；

惯性测量单元采集的原始数据按通信协议直接传输给主处理器；主处理器对接收的数据进行处理，执行手势识别算法，并输出识别结果；同时接收指令并执行相应操作。

2.基于权利要求1所述的一种基于手套采集的手势识别人机交互装置的手势识别方法，其特征在于，具体步骤如下：

步骤一、用户自行定义一系列手势，用集合G＝{G1,G2,G3,...}表示；

步骤二、针对用户随机实施的某个动作，采集手势识别人机交互装置中弯曲传感器和惯性测量单元输出的数据；

步骤三、处理模块中的数据长度计数器对采集的惯性测量单元输出的数据进行统计，判断计数器的值是否小于预先设定的固定值；如果是，则将采集的数据舍弃，结束识别；否则，进入步骤四继续后续识别；

步骤四、分别计算X轴、Y轴、Z轴的角速度能量，寻找角速度能量最大轴；

角速度能量定义为

式中，Ek,av为k轴角速度能量(k＝X,Y,Z)；l为惯性测量单元输出的角速度数据的长度；ωki为第i帧数据中的k轴角速度；

寻找角速度能量最大轴方法如下：

若某一轴角速度能量大于另两轴角速度能量与相应校正系数的乘积之和，则判定该轴为角速度能量最大轴；若上述情形均不满足，则判定角速度能量最大轴不存在；

步骤五、针对角速度能量最大轴分别为X轴、Y轴或Z轴的情形，分别提取最大轴对应的加速度和/或角速度的特征序列；

步骤六、将角速度能量最大轴对应的加速度和/或角速度的特征序列与用户自定义的各手势的特征序列进行匹配，判断最大轴提取的特征序列是否与对应手势的特征序列相同，如果是，进入步骤十一，否则，进入步骤七；

步骤七、针对角速度能量最大轴不存在，或角速度能量最大轴对应的加速度和/或角速度的特征序列与用户自定义的各手势的特征序列均不匹配的情形，则分别计算X轴、Y轴、Z轴的加速度能量，寻找加速度能量最大轴；

加速度能量定义为

式中，Ek,ac为k轴加速度能量；aki为第i帧数据中的k轴加速度；akgi为第i帧数据中的k轴重力加速度分量；

寻找加速度能量最大轴方法如下：

若某一轴加速度能量大于另两轴加速度能量与相应校正系数的乘积之和，则判定该轴为加速度能量最大轴；若上述情形均不满足，则判定加速度能量最大轴不存在；

步骤八、针对加速度能量最大轴分别为X轴、Y轴或Z轴的情形，分别提取最大轴对应的加速度和/或角速度的特征序列；

步骤九、将加速度能量最大轴对应的加速度和/或角速度的特征序列与用户自定义的各手势的特征序列进行匹配，判断最大轴提取的特征序列是否与对应手势的特征序列相同，如果是，进入步骤十一，否则，进入步骤十；

步骤十、针对加速度能量最大轴不存在，或该动作尚未被判断为任意一种手势的情形，依次对提取的最大轴对应的至少一个加速度和/或角速度的特征序列进行组合，继续与后续的设定手势G7、G8…的特征序列进行匹配；

步骤十一、当某个提取的特征序列与用户自定义的手势的特征序列匹配时，进行各手指弯曲状态的判断；

步骤十二、综合判断得到的手势种类以及各手指的弯曲状态，给出用户做出动作的识别结果。

3.如权利要求2所述的基于手套采集的手势识别方法，其特征在于，步骤二中所述的数据包括：弯曲传感器的输出电阻，惯性测量单元X、Y、Z三轴的加速度及角速度。

4.如权利要求2所述的基于手套采集的手势识别方法，其特征在于，步骤五中所述的特征序列分为符号序列和差分符号序列；

针对长度为l的原始角速度数据dav,1,dav,2,…,dav,l，选定零值上界ub与零值下界lb，对该段数据做如下处理：

得到序列d1',d2',…,dl'，再将新序列中相邻的相等项合并，得到符号序列；

对原始角速度数据dav,1,dav,2,…,dav,l做如下处理：Δi＝dav,i+1-dav,i(i＝1,2,…,l-1)得到差分序列Δ1,Δ2,…,Δl-1，再提取差分序列的符号序列，得到差分符号序列。

5.如权利要求2所述的基于手套采集的手势识别方法，其特征在于，所述的步骤六中，

若角速度能量最大轴为X轴，则提取至少一个轴的加速度和/或角速度的特征序列，与预先设定的手势G1的特征序列进行匹配，并判断是否为手势G1；

若角速度能量最大轴为Y轴，则提取至少一个轴的加速度和/或角速度的特征序列，与预先设定的手势G2的特征序列进行匹配，判断是否为手势G2；

若角速度能量最大轴为Z轴，则提取至少一个轴的加速度和/或角速度的特征序列，与预先设定的手势G3的特征序列进行匹配，判断是否为手势G3。

6.如权利要求2所述的基于手套采集的手势识别方法，其特征在于，步骤八中所述的特征序列分为符号序列和差分符号序列；

针对长度为l的原始加速度数据dac,1,dac,2,…,dac,l，选定零值上界ub'与零值下界lb'，对该段数据做如下处理：

得到序列d1”,d2”,…,dl”，再将新序列中相邻的相等项合并，得到符号序列；

对原始加速度数据dac,1,dac,2,…,dac,l做如下处理：Δi'＝dac,i+1-dac,i'(i＝1,2,…,l-1)得到差分序列Δ1',Δ2',…,Δl-1'，再提取差分序列的符号序列，得到差分符号序列。

7.如权利要求2所述的基于手套采集的手势识别方法，其特征在于，所述的步骤九中，

若加速度能量最大轴为X轴，则提取至少一个轴的加速度和/或角速度的特征序列，与预先设定的手势G4的特征序列进行匹配，判断该动作是否为手势G4；

若加速度能量最大轴为Y轴，则提取至少一个轴的加速度和/或角速度的特征序列，与手势G5的特征序列进行匹配，判断该动作是否为手势G5；

若加速度能量最大轴为Z轴，则提取至少一个轴的加速度和/或角速度的特征序列，与手势G6的特征序列进行匹配，判断该动作是否为手势G6。

8.如权利要求2所述的基于手套采集的手势识别方法，其特征在于，所述的步骤十一具体为：

首先，认为同一手指在同一伸展或弯曲状态下，弯曲传感器的输出服从正态分布，即

式中，Fp,state为弯曲传感器的输出，p表示手指编号，state表示手指状态，μp,state为总体均值，为总体方差，总体均值μp,state与总体方差均已预先设定；

然后，第q根手指的弯曲传感器的输出若满足：Fq∈(μq,stretch-3σq,stretch,μq,stretch+3σq,stretch)，则判断该手指为伸展状态，同理若满足Fq∈(μq,fist-3σq,fist,μq,fist+3σq,fist)则判断该手指为弯曲状态。