一种传感器的手势识别设备的制作方法

[0001]
本实用新型属于智能化检测及识别技术，尤其涉及一种传感器的手势识别设备。


背景技术：

[0002]
近年来，手势识别逐渐成为了研究的热点，并且取得了不错的研究成果。手势识别的应用大部分应用于智能家居的控制、感知方面的应用，教育学习、非能力限制的人员的表达等。
[0003]
目前市场手势识别方案主要采用惯性识别，传统光学等方式测量手势。惯性识别手段往往存在以下不足，其一，惯性漂移问题以及需要远离磁场干扰；其二，惯性识别手段需要依赖初始参考状态做动态判别。关于传统光学手段则需要分离式较大设备进行测量，不便于携带，此外，采用传统光学手段测量手势还存在当扫描位置被遮挡时将会导致无法测量的缺点。


技术实现要素：

[0004]
基于上述问题的不足，本实用新型提供了便携式，不惧遮挡，不受磁场干扰，无惯性漂移的一种传感器的手势识别设备。
[0005]
本实用新型设备的技术方案为：一种传感器的手势识别设备，包括传感器、处理单元、存储单元、供电单元；所述处理单元分别和传感器、存储单元、供电单元相连接；所述传感器包括第一传感器阵列，第二传感器；所述第一传感器阵列，置于手指关节处，采集手指形变信息，然后将其传送至处理单元；所述第二传感器，用于采集手指形变的动态信息，包括速度信息、或者加速度信息、或者角速度信息，以及与外界自然参考的方向、或者角度信息；所述处理单元，一方面用于将手指形变动作变化信息匹配动作标识库，如果与动作标识库中预设动作指令匹配，则执行对应预设操作，处理单元根据不同的信息采集区分不同的动作，最后将预设的动作指令执行设备的应用；另一方面，处理单元还用于将一部分数据保存至存储单元；所述存储单元，存储设备运行过程中需要存储的模型参数数据及建立的动作标识库；所述供电单元，负责整个设备的供电。
[0006]
进一步，还包括无线单元，所述处理单元还用于将需要远程传输的数据通过无线单元发出，所述无线单元按照处理单元指示与其他联网设备通信，将信号包括动作识别结果发送至其他联网设备。
[0007]
进一步，该设备采用相对固定的方式放置于手指关节的投影区，所述相对固定的方式采用包裹手套的形式固定，或者通过指环的方式固定。
[0008]
进一步，所述第一传感器阵列为电容式传感器，或者电感式传感器，或者超声波传感器，或者红外线传感器，或者激光传感器，或者电桥式传感器，或者压电式传感器，或者霍尔传感器。
[0009]
进一步，当采用电容式传感器，或者电感式传感器，或者电桥式传感器，或者压电式传感器，或者霍尔传感器时，利用形变发生时手指关节/指肚与传感器之间受力挤压导致
传感器感受应力变化来测量形变；
[0010]
当采用超声波传感器，或者红外线传感器，或者激光传感器来测量发生形变时，由于手指关节/指肚与传感器之间受力导致关节/指肚与传感器距离发生变化来测量形变。
[0011]
进一步，所述第二传感器为陀螺仪，或者加速度传感器，或者地磁传感器，或者气压传感器。
[0012]
进一步，所述第一传感器阵列采集手指形变信息包括采集手指关节变化导致的手指弯曲信息，或者手指与手掌连接关节变化导致的手指间并拢张开信息，或者在指根部位布置传感器，捕捉手指间并拢张开信息。
[0013]
相比目前其他方案，本实用新型具有以下技术效果：
[0014]
本实用新型的手势识别主要由手指关节和腕关节的形变呈现，可以通过捕捉以上位置的变化来跟踪手势。关于本实用新型由于采用非接触式，降低了类似体内植入或者表面贴合给用户带来的不适问题；在测量过程中具有便携式，不惧遮挡，不受磁场干扰，无惯性漂移的特点。本实用新型的设备能够应用在可穿戴领域，对于传感器的应用通过蓝牙，wifi等技术传送数据，本实用新型不但有很强的电池续航能力而且又能保证穿戴设备记录数据的准确性。
附图说明
[0015]
图1为物体表面发生形变时会由平整转为弯曲状态图；
[0016]
图2为手指伸直关节上的带弹性填充的传感器示意图；
[0017]
图3为手指弯曲关节上的带弹性填充的传感器示意图；
[0018]
图4受力挤压导致传感器感受应力变化来测量形变的示意图，(a)为传感器受力前示意图，(b)为传感器受力后示意图，(c)为传感器受力前安装示意图,(d)传感器受力后手指弯曲挤压示意图；
[0019]
图5当手指伸直时食指上安装传感器阵列示意图；
[0020]
图6当手指弯曲时食指上传感器阵列示意图；
[0021]
图7传感器在识别到关节由0度到90度之间的弯曲范围图；
[0022]
图8指缝张开/合拢识别食指安装传感器阵列示意图；
[0023]
图9为图8的顶部视图。
[0024]
图10为手套整体示意图。
具体实施方式
[0025]
下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述。
[0026]
如图1所示，当物体表面发生形变时，会由平整转为弯曲状态；据此，我们可以在可以发生形变位置投影区域布置传感器，以捕捉形变。
[0027]
在形变和传感器之间产生的形变，可以转用距离面描述，根据此特性，我们可以采用测距方式来捕捉形变。
[0028]
比如利用之间形成的电容变化来跟踪形变产生的距离变化。
[0029]
比如利用之间互感的变化来跟踪形变产生的距离变化。
[0030]
比如利用电桥的变化来跟踪形变产生的距离变化。
[0031]
同时亦可以采用收发的方式来测距进一步捕捉形变。
[0032]
比如利用光即电磁波，包括各种频率的可见光不可见光的飞行时间变化来跟踪距离。
[0033]
比如利用超声波的收发来测量距离。
[0034]
值得说明，由于有些频率的电磁波和超声波对于某些介质具有穿透性，对于某些介质具有反射性，所以对于某谢非单一内部结构(比如人体)，调节电磁波或者超声波频率，利用他们的穿透和发射特性，因为穿透性的存在，被穿透的介质对他们来说可以类比成可见光对空气的穿透，进一步可以理解为内部反射介质才是表面，被穿透的介质影响可以通过衰减补偿的数学办法等效掉。如此，我们可以选定特定频率的电磁波和超声波，把内部结构的形变映射为表面形变。
[0035]
同时，我们可以采用电磁波或者超声波成像的方式来描述形变，目前技术已经非常成熟。形变成像方式对于电磁波或者超声波来说同时适用于表面和内部。
[0036]
如图2所示的手指关节上放置传感器的方式，传感器和关节之间设置弹性填充，当发生手指弯曲形变时，弹性填充会受到挤压，如图3所示。
[0037]
为此，本实用新型采用如下装置进行手势的识别：
[0038]
一种传感器的手势识别设备，包括传感器、处理单元、存储单元、供电单元；所述处理单元分别和传感器、存储单元、供电单元相连接；所述传感器包括第一传感器阵列，第二传感器；所述第一传感器阵列，置于手指关节处，采集手指形变信息，然后将其传送至处理单元；所述第二传感器，用于采集手指形变的动态信息，包括速度信息、或者加速度信息、或者角速度信息，以及与外界自然参考的方向、或者角度信息；所述处理单元，一方面用于将传感器上报的数据处理后识别动作变化，将一部分数据保存至存储单元，另一方面将动作变化匹配动作标识库，如果与动作标识库中预设动作指令匹配，则执行对应预设操作，处理单元根据不同的信息采集区分不同的动作，最后将预设的动作指令执行设备的应用；所述存储单元，存储设备运行过程中需要存储的模型参数数据及建立的动作标识库；所述供电单元，负责整个设备的供电。
[0039]
本实用新型还包括无线单元，所述处理单元还用于将需要远程传输的数据通过无线单元发出，所述无线单元按照处理单元指示与其他联网设备通信，将信号包括动作识别结果发送至其他联网设备。
[0040]
该设备采用相对固定的方式放置于手指关节的投影区，所述相对固定的方式采用包裹手套的形式固定，或者通过指环的方式固定。
[0041]
上述第一传感器阵列为电容式传感器，或者电感式传感器，或者超声波传感器，或者红外线传感器，或者激光传感器，或者电桥式传感器，或者压电式传感器，或者霍尔传感器。
[0042]
如图4所示，当采用电容式传感器，或者电感式传感器，或者电桥式传感器，或者压电式传感器，或者霍尔传感器时，利用形变发生时手指关节/指肚与传感器之间受力挤压导致传感器感受应力变化来测量形变；当采用超声波传感器，或者红外线传感器，或者激光传感器来测量发生形变时，由于手指关节/指肚与传感器之间受力导致关节/指肚与传感器距离发生变化来测量形变。
[0043]
上述第二传感器为陀螺仪，或者加速度传感器，或者地磁传感器，或者气压传感器。
[0044]
上述第一传感器阵列采集手指形变信息包括采集手指关节变化导致的手指弯曲信息，或者手指与手掌连接关节变化导致的手指间并拢张开信息，或者在指根部位布置传感器，捕捉手指间并拢张开信息。
[0045]
上述第二传感器为陀螺仪，或者加速度传感器，或者地磁传感器，或者气压传感器。
[0046]
作为本实用新型的一个实施例，上述第一传感器阵列置于腕部时，捕捉腕部形变信息，对应的映射形变区域为手指关节活动的手势动作；此时，所述第二传感器采用加速度传感器和角度传感器，捕捉手势动作的形态为各个指头点击、抓握、握拳、伸掌、摆手多种手势；具体为：
[0047]
点击：通过第一传感器矩阵采集手指点击动作。
[0048]
抓握：通过第一传感器矩阵采集抓握动作。
[0049]
握拳：通过第一传感器矩阵采集握拳动作。
[0050]
拉门：通过第一传感器矩阵采集握住动作，同时通过第二传感器采集回拉动作。
[0051]
推掌：通过第一传感器矩阵采集神掌动作，同时通过第二传感器采集前推动作。
[0052]
摆手：通过第一传感器矩阵采集摆手动作。
[0053]
本实用新型的一种传感器的手势识别方法，包括以下步骤：
[0054]
步骤1，手势识别设备置于手指关节接近位置，采用相对固定的方式放置于手指关节的投影区，传感器与手指关节以非接触方式采集数值，并将采集的数值传给处理单元；
[0055]
步骤2，处理单元将传感器发送的手指弯曲动作，或者指缝张开/合拢动作，或者手指捏合的动作进行数据数字化和归一化；
[0056]
该步骤中，由第一传感器阵列将采集信息发送给处理单元，处理单元将矩阵数字化成m*n数字矩阵u(mn)，u中元素对应传感器取值。
[0057]
步骤3，处理单元将步骤2的信息建模并据此建立动作标识库，同时将动作标识库设置为预设动作指令进行操作；处理单元将模型参数建库后保存于存储单元，处理单元会针对不同动作建立不同模型；
[0058]
上述步骤3中，对所得矩阵进行数学描述，矩阵u(mn)中的m*n个元素组成了一个m*n维的向量。用以上m*n向量来描述这个动作，将其定为这个动作的特征向量l(mn)。动作标识库中会存入多个动作，每个动作单独且唯一的与一个向量l
i
相对应。
[0059]
步骤4，待动作再次发生时，处理单元会根据形变信息匹配动作标识库，如果与动作标识库中预设动作指令匹配，则执行对应预设操作，不同的动作产生不同的形变，传感器反馈不同的信息，处理单元根据不同的信息区分不同的动作；
[0060]
上述步骤4中，再次有动作发生时，传感器矩阵会再次得到新的矩阵，处理单元数字化后得到的矩阵记为a(mn)，是描述此次动作的特征向量。
[0061]
对于向量l和a，如果两个向量的方向一致，则可以判断两个动作相同。
[0062]
可以通过计算两个向量的夹角来判断两个向量的相似度，进而判断两个动作的相似度。
[0063]
随着两个向量的夹角越来越大，两个向量的相似度越来越低。
[0064]
对于三角形∠a，根据余弦定理∠a的余弦可以描述为
[0065][0066]
将三角形两边b和c映射为两个以a为起点的向量，以上公式可以如下表述
[0067][0068]
其中，分子表示两个向量的内积，分母表示两个向量的长度。
[0069]
在本方案中，对应b和c的两个向量l(mn)和a(mn)分别为
[0070]
l(mn)＝(l
11
，l
12
，
…
，l
mn
)
[0071]
以及
[0072]
a(mn)＝(a
11
，a
12
，
…
，a
mn
)
[0073]
则两个向量间夹角的余弦为
[0074][0075]
两个向量夹角在(0
°
，180
°
)间取值，余弦在(-1，1)间取值，当夹角余弦等于1时，两个动作向量完全相同，余弦值越小，夹角越大，两个向量的相似度越低，动作的差异越大。
[0076]
由于动作库中有多个动作向量，所以本次动作向量与库中比对，可能有如下两种结果：
[0077]
1与l
i
中的某一向量相似度很高，超过匹配阈值，确认与此向量对应的动作匹配。
[0078]
2与l
i
中所有向量均相似度很低，与任库中何动作均不匹配。
[0079]
当情况1发生时，处理单元执行之前预设与识别结果相匹配动作的命令。
[0080]
当情况2发生时，处理单元不执行与库内动作相关的任何命令。
[0081]
步骤5，动作判定生效后，传感器将根据本次数据修正数学模型，数学模型一直处于动态状态。当以上情况1发生后，处理单元会根据a(mn)调节l(mn)。
[0082]
上述手指弯曲动作识别过程如下：在各个手指关节处布置以上所述传感器矩阵，用来识别手指关节的形变：
[0083]
如图5所示，当传感器无形变时，设状态为0，当发生形变是设状态为1；假如识别的为食指，当手指伸直时，食指自上而下三处关节组成传感器矩阵可以描述如下：
[0084][0085]
如图6所示，当手指发生弯曲时，假如为第二关节弯曲，则传感器矩阵可以描述如下：
[0086][0087]
由于同一关节内外两侧传感器反馈状态相同，需要时可以选择内测或外侧，则此时矩阵简化为：
[0088][0089]
将此模型推广到五个手指，将五个手指分别设为a，b，c，d，e，则五个手指的矩阵可以表达如下：
[0090][0091]
当食指如之前所示第二关节弯曲，其余各个手指均伸直时，传感器矩阵反馈如下：
[0092][0093]
由以上传感器矩阵st的返回值，可以得到所有手指所有关节的形变；
[0094]
如图7所示，对于单个关节形变，传感器在识别到关节由0度到90度之间的弯曲，将之前的(0，1)状态可以宽展为间的弧度，由此，当食指如第二关节45度弯曲，其余各个手指均伸直时，传感器矩阵反馈如下：
[0095][0096]
当拇指第一关节90度弯曲，其余四指第二关节90度弯曲时，矩阵反馈如下
[0097][0098]
以上为单手配置，另一只手做同样配置，两只手装置以蓝牙相连，进行同步，可以判定双手手指动作以及手势方向。
[0099]
如图8-9所示，上述指缝张开/合拢动作识别过程如下：在各个手指某段处四周布置传感器，则传感器矩阵为：
[0100][0101]
则接近传感器时设定阈值为1，周围无物体为0；将此模型推广到五个手指，将五个手指分别设为a，b，c，d，e，则五个手指的矩阵可以表达如下：
[0102][0103]
当五指叉开时，传感器返回值为
[0104][0105]
当五指并拢时，传感器返回值为
[0106][0107]
当手握拳时，传感器矩阵返回值如下：
[0108][0109]
当食指和拇指并拢，其他三指张开时，传感器矩阵返回值为
[0110][0111]
当中指搭在食指上，其他手指张开时，
[0112][0113]
由此规则，可以得知所有手指的张开/合拢状态，以上为单手配置，另一只手做同样配置，两只手装置以无线，比如wi-fi、蓝牙相连，进行同步，可以判定双手手指动作以及手势方向。
[0114]
当以上方案截取某一关节布置至于单个关节比如戒指或者扳指时同样能够实现部分手势功能。
[0115]
图10为手套整体示意图。
[0116]
实施例：机器手遥控，机器手同步跟随操控人手部动作，比如取苹果。
[0117]
1)预先将操控人的手与机器手相关联，映射同步动作。
[0118]
2)操控人带上本方案手套，与机器手同步。
[0119]
3)操控人做抓握动作。
[0120]
4)装置于手套的第一传感器矩阵将抓握动作形变传给处理单元。
[0121]
5)处理单元通过预设算法识别抓握动作。
[0122]
6)处理通过无线将指令发给机器手。
[0123]
7)机器手执行抓握苹果动作。
[0124]
8)操控人做取手部移动动作。
[0125]
9)装置于手套的第二传感器将移动动作方向、加速度信息传给处理单元。
[0126]
10)处理单元通过预设算法识别手部移动动作。
[0127]
11)处理通过无线将移动指令发给机器手。
[0128]
12)机器手执行移动动作。
[0129]
通过机器手遥控可以应用于排爆、消防等危险场景，极大降低作业人员危险程度。
[0130]
本方案亦可以应用于如下场景：动作捕捉；ar手势控制；将手势编译动作命令执行。
[0131]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本实用新型的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0132]
尽管已经示出和描述了本实用新型的实施例，本领域的普通技术人员可以理解：在不脱离本实用新型的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本实用新型的范围由权利要求及其等同物限定。