一种基于腕部肌腱压力相关特性的手势识别方法及系统与流程

本发明涉及人机交互技术领域，尤其涉及一种基于腕部肌腱压力相关特性的手势识别方法及系统。

背景技术：

手势识别是指用一定的技术来对手势种类进行分类。目前手势识别方法有基于视频的手势识别，即使用摄像头来获取人手部的图像信息，然后使用图像处理的方法提取不同手势的特征来进行手势识别；还有一种是基于肌电信号(emg)的手势识别，即使用在人体手臂处大规模布置肌电传感器的方式，获取不同手势时肌电信号的变化情况，以此来进行手势分类；此外还有一种基于超声波的手势识别，这种方式通过超声波感知来获得人手臂骨骼肌肉的超声波图像，再使用图像处理的方式对该超声波图像进行分类，进而实现手势的识别；此外，还有使用大规模压力传感器阵列的手势识别，该方式使用大量的压力传感器采集数据，然后通过压力值集合匹配或者压力值曲线匹配的方式来进行手势的分类。

现有主流方法具有以下不足：

基于视频的手势识别方案需要在配有摄像头的场景下进行使用，这极大限制了它的使用范围，此外，手势识别的效果好坏也受到摄像场景的光照等条件的影响；基于肌电信号的手势识别方案需要在人体前臂布置大量的传感器电极，这会严重影响用户的使用体验，并极大地限制了应用场景；基于超声波的手势识别方案则要求使用专门的超声波探头和配套的处理设备，成本较高且需要专业的技术支持，不利于大规模推广。基于大规模压力传感器阵列的手势识别方案则需要大量的压力传感器，因此其成本将会极其高昂，此外使用压力数值或压力曲线直接匹配进行手势识别的方法会导致测量精度不高。

技术实现要素：

本发明的目的是提供一种基于腕部肌腱压力相关特性的手势识别方法及系统，仅需要用户在腕部佩戴装配有少量的双排排列的压力传感器的手环就可实现高精度多种类的手势识别，同时，成本也较低。

本发明的目的是通过以下技术方案实现的：

一种基于腕部肌腱压力相关特性的手势识别方法，包括：

获取n个压力传感器采集到的压力值数据，并按照特定方式排列；每一压力传感器采集用户手腕特定位置的压力数据；

根据排列后的n个压力值数据计算得到手势变化时的用户腕部肌腱压力变化情况的时间上相关性信息和空间上相关性信息，并以此作为待识别的特征信息；

根据预设的特征信息和手势种类的对应关系，使用机器学习的方法分析判定与待识别的特征信息最为匹配的手势种类，从而完成手势识别。

所述n个压力传感器均为薄膜压力传感器，分布在带有弹性的绝缘手环上，并使用硅胶垫来支撑。

所述n个压力传感器采用双排排列方式，分别对应着选定的用户手腕肌腱位置，以各个传感器之间压力信息的相关性情况来拟合用户腕部肌腱的变化情况。

该方法还包括：

根据手势识别结果触发相应控制功能，其包括：

若识别结果为拇指弯曲，则控制关闭客厅的照明设备；

若识别结果为食指弯曲，则控制关闭书房的照明设备；

若识别结果为中指弯曲，则控制关闭厨房的照明设备；

若识别结果为无名指弯曲，则控制关闭主卧室的照明设备；

若识别结果为小拇指弯曲，则控制关闭次卧室的照明设备；

若识别结果为握拳，则控制照明设备全部关闭；

若识别结果为食指捏合，则控制大门电子锁上锁；

若识别结果为中指捏合，则控制车库大门电子锁上锁；

若识别结果为无名指捏合，则控制家中后门电子锁关闭；

若识别结果为小拇指捏合，则控制所有窗户关闭并上锁；

若识别结果为拇指伸展，则控制打开客厅的照明设备；

若识别结果为食指伸展，则控制打开书房的照明设备；

若识别结果为二指伸展，则控制打开厨房的照明设备；

若识别结果为三指伸展，则控制打开主卧室的照明设备；

若识别结果为四指伸展，则控制打开次卧室的照明设备；

若识别结果为五指伸展，则控制打开音乐播放器，播放音乐，运行模式与上次关闭时相同；

若识别结果为食指张开，则控制内空调系统开始工作，运行模式与上次关闭时相同；

若识别结果为食指弹指，则控制内空调系统停止工作，进入休眠模式

若识别结果为手掌右摆，则控制音乐播放器切换当前播放歌曲，为列表上的下一首歌；

若识别结果为手掌左摆，则控制控制音乐播放器切换当前播放歌曲，为列表上的上一首歌

若识别结果为手掌上摆，则控制空气净化器打开，并开始运行；

若识别结果为手掌下摆，则控制空气净化器停止运行，并进入休眠状态；

若识别结果为手腕左转，则控制控制模块开启，系统进入活跃状态；

若识别结果为手腕右转，则控制控制模块关闭，系统进入休眠状态。

所述压力变化情况的时间上相关性信息包括：当前压力传感器在手势变化时的压力值的方差除以压力值的均值，结果作为手势变化情况下的当前压力传感器所对应位置的压力变化的剧烈程度；压力值数据的一阶差分的均值，表征压力变化的趋势。

所述压力变化情况的空间上相关性信息包括：压力传感器两两之间时间相关性矩阵的协方差矩阵，表征手势变化时手腕特定位置的压力在空间上的相关性。

一种基于腕部肌腱压力相关特性的手势识别系统，包括：

压力传感模块，包含了n个压力传感器，用于采集每一压力传感器采集用户手腕特定位置的压力数据；

信号采集与传输模块，用于获取n个压力传感器采集到的压力值数据，并按特定方式排列好后以无线传输的方式向外发送；

数据处理及识别模块，用于根据排列后的n个压力值数据计算得到手势变化时的用户腕部肌腱压力变化情况的时间上相关性信息和空间上相关性信息，并以此作为待识别的特征信息；再根据预设的特征信息和手势种类的对应关系，使用机器学习的方法分析判定与待识别的特征信息最为匹配的手势种类，从而完成手势识别。

压力传感模块，还包括绝缘手环与硅胶垫；

所述n个压力传感器均为薄膜压力传感器，分布在带有弹性的绝缘手环上，并使用硅胶垫来支撑。

所述n个压力传感器采用双排排列方式，分别对应着选定的用户手腕肌腱位置，以各个传感器之间压力信息的相关性情况来拟合用户腕部肌腱的变化情况。

该系统还包括：控制模块，用于根据手势识别结果触发相应控制功能，其包括：

若识别结果为拇指弯曲，则控制关闭客厅的照明设备；

若识别结果为食指弯曲，则控制关闭书房的照明设备；

若识别结果为中指弯曲，则控制关闭厨房的照明设备；

若识别结果为无名指弯曲，则控制关闭主卧室的照明设备；

若识别结果为小拇指弯曲，则控制关闭次卧室的照明设备；

若识别结果为握拳，则控制照明设备全部关闭；

若识别结果为食指捏合，则控制大门电子锁上锁；

若识别结果为中指捏合，则控制车库大门电子锁上锁；

若识别结果为无名指捏合，则控制家中后门电子锁关闭；

若识别结果为小拇指捏合，则控制所有窗户关闭并上锁；

若识别结果为拇指伸展，则控制打开客厅的照明设备；

若识别结果为食指伸展，则控制打开书房的照明设备；

若识别结果为二指伸展，则控制打开厨房的照明设备；

若识别结果为三指伸展，则控制打开主卧室的照明设备；

若识别结果为四指伸展，则控制打开次卧室的照明设备；

若识别结果为五指伸展，则控制打开音乐播放器，播放音乐，运行模式与上次关闭时相同；

若识别结果为食指张开，则控制内空调系统开始工作，运行模式与上次关闭时相同；

若识别结果为食指弹指，则控制内空调系统停止工作，进入休眠模式

若识别结果为手掌右摆，则控制音乐播放器切换当前播放歌曲，为列表上的下一首歌；

若识别结果为手掌左摆，则控制控制音乐播放器切换当前播放歌曲，为列表上的上一首歌

若识别结果为手掌上摆，则控制空气净化器打开，并开始运行；

若识别结果为手掌下摆，则控制空气净化器停止运行，并进入休眠状态；

若识别结果为手腕左转，则控制模块开启，系统进入活跃状态；

若识别结果为手腕右转，则控制模块关闭，系统进入休眠状态。

所述压力变化情况的时间上相关性信息包括：当前压力传感器在手势变化时的压力值的方差除以压力值的均值，结果作为手势变化情况下的当前压力传感器所对应位置的压力变化的剧烈程度；压力值数据的一阶差分的均值，表征压力变化的趋势。

所述压力变化情况的空间上相关性信息包括：压力传感器两两之间时间相关性矩阵的协方差矩阵，表征手势变化时手腕特定位置的压力在空间上的相关性。

由上述本发明提供的技术方案可以看出，无需要复杂的外部设备，仅需要用户在腕部佩戴装配有少量的双排排列的压力传感器的手环就可实现高精度多种类的手势识别；一方面极大地提高了手势识别的便利性，可适用于多种场合。另一方面本方案对压力传感器放置的位置进行了基于人体构造的优化选择，对采集到的压力信息提取了更有效的特征，而不是直接进行压力值的匹配，选择了更为先进的算法，因此手势识别的精度也大为提高。在目前的实验中，对二十四种手势的识别精度最好可达到95％以上。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于腕部肌腱压力相关特性的手势识别方法的流程图；

图2为本发明实施例提供的双排排列的十六个压力传感器的结构示意图；

图3为本发明实施例提供的由十六个压力传感器组成的压力手环的外观示意图；

图4为本发明实施例提供的一种基于腕部肌腱压力相关特性的手势识别系统的示意图；

图5为本发明实施例提供的细化后的手势识别系统的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

人们在完成手部运动时大部分都是依靠位于手臂前臂的肌肉进行带动完成的，而前臂肌肉是通过手腕处的肌腱与手部肌肉相连。当人手掌处于不同状态，即在做不同手势动作时，手腕处肌腱的状态是不同的，对于腕部的压力也不相同。因此，如果能够得到用户腕部肌腱处在不同手势情况下给予手环的压力值，就可以从这些压力值中提取出相关变化信息作为特征，通过相关算法确定出手势的类别。具体上述原理，本发明实施例提供一种基于腕部肌腱压力相关特性的手势识别方法，如图1所示，主要包括如下步骤：

步骤11、获取n个压力传感器采集到的压力值数据，并按照特定方式排列；每一压力传感器采集用户手腕特定位置的压力数据。

本发明实施例中，每个传感器都可以根据当前所受到的压力值的大小将相应的数字信号发送出去，n个压力传感器的收集到的信息以轮询方式逐一向外传输。

本发明实施例中，压力传感器的数量可以设为16个，排列方式如图2所示，压力传感器22、23的放置的位置(压力传感器22、23并无构造上的差别，只是放置位置的不同，分别表示分布在靠近手臂的一端，以及分布在靠近手掌的一端)需要考虑到腕部肌肉21、手腕骨骼24和手腕肌腱25的影响，同时，手势变化时，人手腕部分肌腱处的压力变化是二维平面的变化而不是一维线性的变化。因此本发明实施例选择将压力传感器进行双排排列，分别对应着选定的腕部肌腱的位置，以各个传感器之间压力信息的相关性情况来拟合腕部肌腱的变化情况。

所有压力传感器均为薄膜压力传感器，如图3所示，分布在带有弹性的绝缘手环32上，并使用硅胶垫31来支撑压力传感器33，使用硅胶垫31支撑压力传感器33使之恰好贴合用户腕部肌肤。

步骤12、根据排列后的n个压力值数据计算得到手势变化时的用户腕部肌腱压力变化情况的时间上相关性信息和空间上相关性信息，并以此作为待识别的特征信息。

本发明实施例中，所述压力变化情况的时间上相关性信息包括：当前压力传感器在手势变化时的压力值的方差除以压力值的均值，结果作为手势变化情况下的当前压力传感器所对应位置的压力变化的剧烈程度；压力值数据的一阶差分的均值，表征压力变化的趋势。

所述压力变化情况的空间上相关性信息包括：压力传感器两两之间时间相关性矩阵的协方差矩阵，表征手势变化时手腕特定位置的压力在空间上的相关性。

步骤13、根据预设的特征信息和手势种类的对应关系，使用机器学习的方法分析判定与待识别的特征信息最为匹配的手势种类，从而完成手势识别。

由于用户群体的性别、年龄、体重等生理情况各不相同，其手腕的粗细及所需测量压力的位置也存在着差别，因此，为获得手势识别的更高的准确率，本方法还包括了对使用用户的标准手势特征信息(也即预设的特征信息)采集的过程和录入步骤：

1、用户根据自身情况，完成手环的佩戴。

2、用户按照系统提示，做出系统要求的手势动作。

3、系统完成对用户完成手势动作时的压力数据的采集。

4、系统从采集到的压力数据中提取出特征信息，并将其与手势种类的对应关系存储。

示例性的，机器学习的方法目前以k近邻方法效果最佳，使用的方法包括但不限于感知机，支持向量机等方法。

步骤14、根据手势识别结果触发相应控制功能。

控制功能通过控制模块实现，所述控制模块可以为智能家居系统，可以根据手势识别结果触发如下控制功能：

若识别结果为拇指弯曲，则控制关闭客厅的照明设备；

若识别结果为食指弯曲，则控制关闭书房的照明设备；

若识别结果为中指弯曲，则控制关闭厨房的照明设备；

若识别结果为无名指弯曲，则控制关闭主卧室的照明设备；

若识别结果为小拇指弯曲，则控制关闭次卧室的照明设备；

若识别结果为握拳，则控制照明设备全部关闭；

若识别结果为食指捏合，则控制大门电子锁上锁；

若识别结果为中指捏合，则控制车库大门电子锁上锁；

若识别结果为无名指捏合，则控制家中后门电子锁关闭；

若识别结果为小拇指捏合，则控制所有窗户关闭并上锁；

若识别结果为拇指伸展，则控制打开客厅的照明设备；

若识别结果为食指伸展，则控制打开书房的照明设备；

若识别结果为二指伸展，则控制打开厨房的照明设备；

若识别结果为三指伸展，则控制打开主卧室的照明设备；

若识别结果为四指伸展，则控制打开次卧室的照明设备；

若识别结果为五指伸展，则控制打开音乐播放器，播放音乐，运行模式与上次关闭时相同；

若识别结果为食指张开，则控制内空调系统开始工作，运行模式与上次关闭时相同；

若识别结果为食指弹指，则控制内空调系统停止工作，进入休眠模式

若识别结果为手掌右摆，则控制音乐播放器切换当前播放歌曲，为列表上的下一首歌；

若识别结果为手掌左摆，则控制控制音乐播放器切换当前播放歌曲，为列表上的上一首歌

若识别结果为手掌上摆，则控制空气净化器打开，并开始运行；

若识别结果为手掌下摆，则控制空气净化器停止运行，并进入休眠状态；

若识别结果为手腕左转，则控制控制模块开启，系统进入活跃状态；

若识别结果为手腕右转，则控制控制模块关闭，系统进入休眠状态。

本发明实施例提供上述方案不同于其它的使用压力传感器的方案，上述方案仅使用了少量的压力传感器，给定了它们的位置，并从它们的压力值信息中提取出了更有效的特征，使用了更高效的算法，实现了使用少量压力传感器来完成更高精度的手势种类的识别。

根据对用户手势种类的识别，根据预先设定的手势种类与操作的对应关系，可通过手环的无线模块向控制模块发送控制指令，可以实现远程控制电子设备的功能。手环易于携带，具有便利性等优良特点，可以用于智能家居系统的控制。

用户部分手势种类与常用的控制信息的对应关系如表1所示：

表1用户部分手势种类与常用的控制信息的对应关系

本发明实施例上述方案，无需要复杂的外部设备，仅需要用户在腕部佩戴装配有少量的双排排列的压力传感器的手环就可实现高精度多种类的手势识别；一方面极大地提高了手势识别的便利性，可适用于多种场合。另一方面本方案对压力传感器放置的位置进行了基于人体构造的优化选择，对采集到的压力信息提取了更有效的特征，而不是直接进行压力值的匹配，选择了更为先进的算法，因此手势识别的精度也大为提高。在目前的实验中，对二十四种手势的识别精度最好可达到95％以上。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本发明另一实施例还提供一种基于腕部肌腱压力相关特性的手势识别系统，该系统可以实现上述实施例所述的方案，如图4所示，主要包括：

压力传感模块，包含了n个压力传感器，用于采集每一压力传感器采集用户手腕特定位置的压力数据；

信号采集与传输模块，用于获取n个压力传感器采集到的压力值数据，并按特定方式排列好后以无线传输的方式向外发送；

数据处理及识别模块，用于根据排列后的n个压力值数据计算得到手势变化时的用户腕部肌腱压力变化情况的时间上相关性信息和空间上相关性信息，并以此作为待识别的特征信息；再根据预设的特征信息和手势种类的对应关系，使用机器学习的方法分析判定与待识别的特征信息最为匹配的手势种类，从而完成手势识别。

进一步的，压力传感模块，还包括绝缘手环与硅胶垫；

所述n个压力传感器均为薄膜压力传感器，分布在带有弹性的绝缘手环上，并使用硅胶垫来支撑。

进一步的，所述n个压力传感器采用双排排列方式，分别对应着选定的用户手腕肌腱位置，以各个传感器之间压力信息的相关性情况来拟合用户腕部肌腱的变化情况。

进一步的，该系统还包括：控制模块，用于根据手势识别结果触发相应控制功能，其包括：

若识别结果为拇指弯曲，则控制关闭客厅的照明设备；

若识别结果为食指弯曲，则控制关闭书房的照明设备；

若识别结果为中指弯曲，则控制关闭厨房的照明设备；

若识别结果为无名指弯曲，则控制关闭主卧室的照明设备；

若识别结果为小拇指弯曲，则控制关闭次卧室的照明设备；

若识别结果为握拳，则控制照明设备全部关闭；

若识别结果为食指捏合，则控制大门电子锁上锁；

若识别结果为中指捏合，则控制车库大门电子锁上锁；

若识别结果为无名指捏合，则控制家中后门电子锁关闭；

若识别结果为小拇指捏合，则控制所有窗户关闭并上锁；

若识别结果为拇指伸展，则控制打开客厅的照明设备；

若识别结果为食指伸展，则控制打开书房的照明设备；

若识别结果为二指伸展，则控制打开厨房的照明设备；

若识别结果为三指伸展，则控制打开主卧室的照明设备；

若识别结果为四指伸展，则控制打开次卧室的照明设备；

若识别结果为五指伸展，则控制打开音乐播放器，播放音乐，运行模式与上次关闭时相同；

若识别结果为食指张开，则控制内空调系统开始工作，运行模式与上次关闭时相同；

若识别结果为食指弹指，则控制内空调系统停止工作，进入休眠模式

若识别结果为手掌右摆，则控制音乐播放器切换当前播放歌曲，为列表上的下一首歌；

若识别结果为手掌左摆，则控制控制音乐播放器切换当前播放歌曲，为列表上的上一首歌

若识别结果为手掌上摆，则控制空气净化器打开，并开始运行；

若识别结果为手掌下摆，则控制空气净化器停止运行，并进入休眠状态；

若识别结果为手腕左转，则控制模块开启，系统进入活跃状态；

若识别结果为手腕右转，则控制模块关闭，系统进入休眠状态。

进一步的，所述压力变化情况的时间上相关性信息包括：当前压力传感器在手势变化时的压力值的方差除以压力值的均值，结果作为手势变化情况下的当前压力传感器所对应位置的压力变化的剧烈程度；压力值数据的一阶差分的均值，表征压力变化的趋势。

所述压力变化情况的空间上相关性信息包括：压力传感器两两之间时间相关性矩阵的协方差矩阵，表征手势变化时手腕特定位置的压力在空间上的相关性。

本发明实施例的上述系统中的模块还可以具体细化为图5所示结构：其中的双排压力传感器、多路选择器与a/d模块即为压力传感模块，单片机信号采集单元与无线传输模块即为信号采集与传输模块，外围设备控制模块即为控制模块；另外，相应的识别结果也可以通过显示模块显示。

需要说明的是，上述系统中包含的各个功能模块所实现的功能的具体实现方式在前面的各个实施例中已经有详细描述，故在这里不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。