一种基于肌电信号的穿戴设备及其与终端的交互方法与流程

文档序号:12198798阅读:347来源:国知局
一种基于肌电信号的穿戴设备及其与终端的交互方法与流程

本发明涉及基于肌电信号的穿戴设备的技术领域,尤其涉及一种基于肌电信号的穿戴设备及其与终端的交互方法。



背景技术:

表面肌电(suRFace electromyography,sEMG)信号是神经肌肉系统在进行随意性和非随意性活动时的生物电变化经表面电极引导、放大、显示和记录所获得的一维电压时间序列信号,其振幅约为10-5000μV,频率20-500Hz,信号形态具有较强的随机性和不稳定性。与传统的针式肌电图相比,sEMG的空间分辨率相对较低,但是探测空间较大,重复性较好,对于体育科学研究、康复医学临床和人机交互等具有重要的学术价值和应用意义

目前,智能终端产品出现的越来越多,也使得人们对智能化控制要求越来越高。与此同时,国内外对于肌电信号的研究也已经日新月异,从最初的需要大量电极提取较为多种特征值,才识别简单的翻腕动作,到现如今可以通过少部分电极来识别多种复杂的手部动作。



技术实现要素:

本发明的主要目的在于提出一种基于肌电信号的穿戴设备及其与终端的交互方法,旨在基于手部肌电信号来识别各种手势动作,通过不同的动作来达到控制终端的目的。

为实现上述目的,本发明提供的一种基于肌电信号的穿戴设备与终端的交互方法,其特征在于,包括步骤:

根据操作手势的肌电信号计算操作肌电信号特征值,将所述操作肌电信号特征值组成操作特征矩阵;

将所述操作特征矩阵与预设特征矩阵进行比对,获取与所述操作特征矩阵相对应的终端操作指令。

可选地,在根据操作手势的肌电信号计算操作肌电信号特征值时,包括步骤:

对所述操作手势的肌电信号进行滤波降噪处理后;

通过公式(1)对进行滤波降噪处理后的所述操作手势的肌电信号进行加窗处理;

其中,Qn为该段信号的总能量值,tn为某一时刻信号的起点,x表示该段信号,表示根据所述操作手势的肌电信号的能量阈值获取的信号段长度;

采用sym8小波作为基函数,对长度为的所述操作手势的肌电信号进行小波包分解,并分别计算每层小波系数的统计特征。

可选地,在采用sym8小波作为基函数,对长度为N的所述操作手势的肌电信号进行小波包分解,并分别计算每层小波系数的统计特征时,包括步骤:

通过公式(2)计算每层小波系数的能量;

其中,j为通道数且j=1:4;Ej为小波系数的总能量值,N为该段信号内小波系数的个数,ri为对应点的小波系数;

通过公式(3)计算小波系数的总能量;

E=E1+E2+E3+E4 (3);

通过公式(4)计算每层小波系数的能量百分比;

ρj=Ej/E (4);

通过公式(5)计算小波系数的绝对平均值;

通过公式(6)计算小波系数的方差;

可选地,在根据操作手势的肌电信号计算操作肌电信号特征值之前,还包括步骤:检测所述操作手势的肌电信号的强度;若所述操作手势的肌电信号的强度高于预设强度值,则进入下一步骤。

可选地,所述预设特征矩阵是根据预设手势的肌电信号计算得出的预设肌电信号特征值组成的;还包括对所述预设特征矩阵的校准步骤:

采集与所述预设手势相一致的标准手势并根据所述标准手势的肌电信号计算标准肌电信号特征值;将所述标准肌电信号特征值写入与所述预设手势相对应的所述预设特征矩阵内。

可选地,还包括对预设特征矩阵的扩展步骤:

采集自定义的第一手势,根据所述第一手势的肌电信号计算第一肌电信号特征值,并将所述第一肌电信号特征值组成第一特征矩阵;

再次采集所述第一手势,根据所述再次采集的第一手势的肌电信号计算第二肌电信号特征值,并将所述第二肌电信号特征值写入所述第一特征矩阵内;

当所述第一手势的采集次数直至达到预设次数后,接收其对应的终端操作指令,并将所述第一特征矩阵与所述对应的终端操作指令相关联;

当所述操作手势为所述第一手势,且所述第一特征矩阵内的肌电信号特征值未达到阈值时,将所述第一手势对应的操作肌电信号特征值写入第一特征矩阵。

此外,为实现上述目的,本发明还提出一种基于肌电信号的穿戴设备,包括控制系统,其特征在于,所述控制系统包括:

操作特征矩阵计算单元,用于根据操作手势的肌电信号计算操作肌电信号特征值,将所述操作肌电信号特征值组成操作特征矩阵;

终端操作指令获取单元,用于将所述操作特征矩阵与预设特征矩阵进行比对,获取与所述操作特征矩阵相对应的终端操作指令

可选地,所述操作特征矩阵计算单元包括:

滤波降噪处理模块,用于对所述操作手势的肌电信号进行滤波降噪处理;

加窗处理模块,用于通过公式(1)对进行滤波降噪处理后的所述操作手势的肌电信号进行加窗处理;

其中,Qn为该段信号的总能量值,tn为某一时刻信号的起点,x表示该段信号,T表示根据所述操作手势的肌电信号的能量阈值获取的信号段长度;

统计特征计算模块,用于采用sym8小波作为基函数,对长度为N的所述操作手势的肌电信号进行小波包分解,并分别计算每层小波系数的统计特征。

可选地,所述控制系统还包括信号检测单元,用于检测所述操作手势的肌电信号的强度;若所述操作手势的肌电信号的强度高于预设强度值,则使所述控制系统处于开启状态。

可选地,所述预设特征矩阵是根据预设手势的肌电信号计算得出的预设肌电信号特征值组成的;所述控制系统还包括预设特征矩阵校准单元与预设特征矩阵扩展单元中的至少一个;

所述预设特征矩阵校准单元用于采集与所述预设手势相一致的标准手势并根据所述标准手势的肌电信号计算标准肌电信号特征值;还用于将所述标准肌电信号特征值写入与所述预设手势相对应的所述预设特征矩阵内;

所述预设特征矩阵扩展单元包括:

采集计算模块,用于采集自定义的第一手势,根据所述第一手势的肌电信号计算第一肌电信号特征值,并将所述第一肌电信号特征值组成第一特征矩阵;

所述采集计算模块还用于再次采集所述第一手势,根据所述再次采集的第一手势的肌电信号计算第二肌电信号特征值,并将所述第二肌电信号特征值写入所述第一特征矩阵内;

关联模块,用于当所述第一手势的采集次数直至达到预设次数后,接收其对应的终端操作指令,并将所述第一特征矩阵与所述对应的终端操作指令相关联;

特征值补充模块,用于当所述操作手势为所述第一手势,且所述第一特征矩阵内的肌电信号特征值未达到阈值时,将所述第一手势对应的操作肌电信号特征值写入第一特征矩阵。

本发明提出的一种基于肌电信号的穿戴设备及其与终端的交互方法,基于肌电信号的穿戴设备通过利用检测电极采集到手臂腕部人体皮肤表面肌电信号,将信号整理放大,并得到相关的特征值组成特征矩阵,通过与预设特征矩阵进行比对,获取与所述操作特征矩阵相对应的终端操作指令。

附图说明

图1为本发明第一实施例的基于肌电信号的穿戴设备的控制系统的结构示意图;

图2为本发明第二实施例的操作特征矩阵计算单元的结构示意图;

图3为本发明第四实施例的基于肌电信号的穿戴设备的控制系统的结构示意图;

图4为本发明第五实施例的基于肌电信号的穿戴设备的控制系统的结构示意图;

图5为本发明第六实施例的基于肌电信号的穿戴设备的控制系统的结构示意图;

图6为本发明第七实施例的基于肌电信号的穿戴设备与终端的交互方法的流程示意图;

图7为本发明第八实施例在根据操作手势的肌电信号计算操作肌电信号特征值时的流程示意图;

图8为本发明第十实施例的基于肌电信号的穿戴设备与终端的交互方法的流程示意图;

图9为本发明第十一实施例的预设特征矩阵的校准步骤的流程示意图;

图10为本发明第十二实施例的预设特征矩阵的扩展步骤的流程示意图;

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,"模块"与"部件"可以混合地使用。

终端可以以各种形式来实施。例如,本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机、电视机等等的固定终端。

如图1所示,本发明第一实施例提供一种基于肌电信号的穿戴设备,包括控制系统,该控制系统包括操作特征矩阵计算单元10以及终端操作指令获取单元20。

操作特征矩阵计算单元10用于根据操作手势的肌电信号计算操作肌电信号特征值,并将操作肌电信号特征值组成操作特征矩阵。其中,操作手势的肌电信号采集可以采用现有技术中的差分电极配置方式(当然也可以使用其他方式来采集),采样率设置为2000Hz(此采样率可根据具体情况设置)。

终端操作指令获取单元20用于将操作特征矩阵与预设特征矩阵进行比对,获取与操作特征矩阵相对应的终端操作指令。更具体地,上述预设特征矩阵是预存在数据库例如分类器“NET”中的,预设特征矩阵是通过预设手势的肌电信号计算得到的预设肌电信号特征值组成的,其计算方法与操作特征矩阵的方法一致。在该数据库中还可以存有与预设特征矩阵相对应的终端操作指令。

本发明第二实施例提供一种基于肌电信号的穿戴设备,包括控制系统,该控制系统包括操作特征矩阵计算单元10以及终端操作指令获取单元20。

操作特征矩阵计算单元10用于根据操作手势的肌电信号计算操作肌电信号特征值,并将操作肌电信号特征值组成操作特征矩阵;其中,操作手势的肌电信号采集可以采用现有技术中的差分电极配置方式(当然也可以使用其他方式来采集),采样率设置为2000Hz(此采样率可根据具体情况设置)。

终端操作指令获取单元20用于将操作特征矩阵与预设特征矩阵进行比对,获取与操作特征矩阵相对应的终端操作指令。上述预设特征矩阵是预存在数据库例如分类器“NET”中的,预设特征矩阵是通过预设手势的肌电信号计算得到的预设肌电信号特征值组成的,其计算方法与操作特征矩阵的方法一致。在该数据库中还可以存有与预设特征矩阵相对应的终端操作指令。

如图2所示,本实施例中,操作特征矩阵计算单元10包括滤波降噪处理模块11、加窗处理模块12以及统计特征计算模块13。

其中,滤波降噪处理模块11用于对操作手势的肌电信号进行滤波降噪处理;根据肌电信号的特征(20-500Hz),使其通过常规的带通滤波器,滤除小于20Hz以及大于500Hz的噪声,在此基础之上,再通过现有技术小波带内降噪,使采集到的信号在20-500Hz之间的噪声得到了一定程度的抑制,经过以上处理之后的信号时相对于采集到原始信号比较纯净的肌电信号。

加窗处理模块12用于通过公式(1)对进行滤波降噪处理后的操作手势的肌电信号进行加窗处理;

其中,Qn为该段信号的总能量值,tn为某一时刻信号的起点,x表示该段信号,T表示根据操作手势的肌电信号的能量阈值获取的信号段长度。

更具体地,为了获取关于操作手势的肌电信号信号特征参数,需要对得到的降噪后的操作手势的肌电信号进行活动段检测。针对某一个操作手势的肌电信号,根据其能量值的变化,对其进行加窗处理。

加窗处理的原理是根据采集到的信号能量值进行评估,根据公式(1)通过对整个信号能量的计算,并根据该操作手势的肌电信号的能量阈值A和B,对其进行活动段检测。其中,A、B是通过对多个动作的起始点以及终止点一段连续的数据计算平均值而得到的。具体的,我们假设从信号起始点往后推移,在移动的过程中,当出现连续500(这个数值可以自定义)个点的能量值都高于阈值A,则认为这里就是动作信号的起点,然后继续往后推移,当出现连续500(这个数值可以自定义)个点的能量值小于B时,我们就认为动作信号在此处结束。

通过此对操作手势的肌电信号能量的移动加窗处理,并结合合适的阈值参数设置,就可精确的检测出单个的操作手势的肌电信号。这里得到的信号值在时域上看到,在阈值A和B之间,信号为正常值;而在A和B之外的信号,全部都是零值,此时就可以认为,活动段检测之后的信号中,独立的非零的连续部分即为我们的操作手势的肌电信号。

统计特征计算模块13用于采用sym8小波作为基函数,对长度为N的所述操作手势的肌电信号进行小波包分解,并分别计算每层小波系数的统计特征;该些统计特征可以作为操作肌电信号特征值。

本发明第三实施例提供一种基于肌电信号的穿戴设备,包括控制系统,该控制系统包括操作特征矩阵计算单元10以及终端操作指令获取单元20。

操作特征矩阵计算单元10用于根据操作手势的肌电信号计算操作肌电信号特征值,并将操作肌电信号特征值组成操作特征矩阵;其中,操作手势的肌电信号采集可以采用现有技术中的差分电极配置方式(当然也可以使用其他方式来采集),采样率设置为2000Hz(此采样率可根据具体情况设置)。

终端操作指令获取单元20用于将操作特征矩阵与预设特征矩阵进行比对,获取与操作特征矩阵相对应的终端操作指令。上述预设特征矩阵是预存在数据库例如分类器“NET”中的,预设特征矩阵是通过预设手势的肌电信号计算得到的预设肌电信号特征值组成的,其计算方法与操作特征矩阵的方法一致。在该数据库中还可以存有与预设特征矩阵相对应的终端操作指令。

如图2所示,该操作特征矩阵计算单元10包括滤波降噪处理模块11、加窗处理模块12以及统计特征计算模块13。

其中,滤波降噪处理模块11用于对操作手势的肌电信号进行滤波降噪处理;根据肌电信号的特征(20-500Hz),使其通过常规的带通滤波器,滤除小于20Hz以及大于500Hz的噪声,在此基础之上,再通过现有技术小波带内降噪,使采集到的信号在20-500Hz之间的噪声得到了一定程度的抑制,经过以上处理之后的信号时相对于采集到原始信号比较纯净的肌电信号。

加窗处理模块12用于通过公式(1)对进行滤波降噪处理后的操作手势的肌电信号进行加窗处理;

其中,Qn为该段信号的总能量值,tn为某一时刻信号的起点,x表示该段信号,T表示根据操作手势的肌电信号的能量阈值获取的信号段长度。

更具体地,为了获取关于操作手势的肌电信号信号特征参数,需要对得到的降噪后的操作手势的肌电信号进行活动段检测。针对某一个操作手势的肌电信号,根据其能量值的变化,对其进行加窗处理。

加窗处理的原理是根据采集到的信号能量值进行评估,根据公式(1)通过对整个信号能量的计算,并根据该操作手势的肌电信号的能量阈值A和B,对其进行活动段检测。其中,A、B是通过对多个动作的起始点以及终止点一段连续的数据计算平均值而得到的。具体的,我们假设从信号起始点往后推移,在移动的过程中,当出现连续500(这个数值可以自定义)个点的能量值都高于阈值A,则认为这里就是动作信号的起点,然后继续往后推移,当出现连续500(这个数值可以自定义)个点的能量值小于B时,我们就认为动作信号在此处结束。

通过此对操作手势的肌电信号能量的移动加窗处理,并结合合适的阈值参数设置,就可精确的检测出单个的操作手势的肌电信号。这里得到的信号值在时域上看到,在阈值A和B之间,信号为正常值;而在A和B之外的信号,全部都是零值,此时就可以认为,活动段检测之后的信号中,独立的非零的连续部分即为我们的操作手势的肌电信号。

统计特征计算模块13用于采用sym8小波作为基函数,对长度为N的所述操作手势的肌电信号进行小波包分解,并分别计算每层小波系数的统计特征;该些统计特征可以作为操作肌电信号特征值。

本实施例中统计特征计算模块13具体用于:

通过公式(2)计算每层小波系数的能量;

其中,j为通道数且j=1:4;Ej为小波系数的总能量值,N为该段信号内小波系数的个数,ri为对应点的小波系数;

通过公式(3)计算小波系数的总能量;

E=E1+E2+E3+E4 (3);

通过公式(4)计算每层小波系数的能量百分比;

ρj=Ej/E (4);

通过公式(5)计算小波系数的绝对平均值;

通过公式(6)计算小波系数的方差;

如图3所示,本发明第四实施例提供一种基于肌电信号的穿戴设备,包括控制系统,该控制系统包括操作特征矩阵计算单元10、终端操作指令获取单元20、信号检测单元30。

操作特征矩阵计算单元10用于根据操作手势的肌电信号计算操作肌电信号特征值,并将操作肌电信号特征值组成操作特征矩阵;其中,操作手势的肌电信号采集可以采用现有技术中的差分电极配置方式(当然也可以使用其他方式来采集),采样率设置为2000Hz(此采样率可根据具体情况设置)。

终端操作指令获取单元20用于将操作特征矩阵与预设特征矩阵进行比对,获取与操作特征矩阵相对应的终端操作指令;上述预设特征矩阵是预存在数据库例如分类器“NET”中的,预设特征矩阵是通过预设手势的肌电信号计算得到的预设肌电信号特征值组成的,其计算方法与操作特征矩阵的方法一致。在该数据库中还可以存有与预设特征矩阵相对应的终端操作指令。如图2所示,本实施例中,该操作特征矩阵计算单元10同样可以包括滤波降噪处理模块11、加窗处理模块12以及统计特征计算模块13;在此不再赘述。

信号检测单元30用于检测所述操作手势的肌电信号的强度;若所述操作手势的肌电信号的强度高于预设强度值例如是10μV,则使控制系统处于开启状态。本实施例中,当信号检测单元30检测到的肌电信号强度高于预设强度值时,使控制系统处于打开状态,当信号检测单元30检测到的肌电信号强度低于预设强度值时,使控制系统处于待机状态,以达到使控制系统的智能开关的效果。

如图4所示,本发明第五实施例提供一种基于肌电信号的穿戴设备,包括控制系统,该控制系统包括操作特征矩阵计算单元10、终端操作指令获取单元20、信号检测单元30、预设特征矩阵校准单元40。

操作特征矩阵计算单元10用于根据操作手势的肌电信号计算操作肌电信号特征值,并将操作肌电信号特征值组成操作特征矩阵;其中,操作手势的肌电信号采集可以采用现有技术中的差分电极配置方式(当然也可以使用其他方式来采集),采样率设置为2000Hz(此采样率可根据具体情况设置)。

终端操作指令获取单元20用于将操作特征矩阵与预设特征矩阵进行比对,获取与操作特征矩阵相对应的终端操作指令;上述预设特征矩阵是预存在数据库例如分类器“NET”中的,预设特征矩阵是通过预设手势的肌电信号计算得到的预设肌电信号特征值组成的,其计算方法与操作特征矩阵的方法一致。在该数据库中还可以存有与预设特征矩阵相对应的终端操作指令。如图2所示,本实施例中,该操作特征矩阵计算单元10同样可以包括滤波降噪处理模块11、加窗处理模块12以及统计特征计算模块13;在此不再赘述。

信号检测单元30用于检测所述操作手势的肌电信号的强度;若所述操作手势的肌电信号的强度高于预设强度值例如是10μV,则使控制系统处于开启状态。本实施例中,当信号检测单元30检测到的肌电信号强度高于预设强度值时,使控制系统处于打开状态,当信号检测单元30检测到的肌电信号强度低于预设强度值时,使控制系统处于待机状态,以达到使控制系统的智能开关的效果。

预设特征矩阵校准单元40用于采集与预设手势相一致的标准手势并根据标准手势的肌电信号计算标准肌电信号特征值;还用于将标准肌电信号特征值写入与所述预设手势相对应的预设特征矩阵内。

由于用户动作习惯不同,标准动作完成的时候很可能不完整或者不够准确,比如用户去做下一台的动作的时候,手掌向上抬的角度为45度左右,而我们在出厂预置的训练数据中基本为75度左右,这样的情况就会导致该动作的识别率比较低。

通过预设特征矩阵校准单元40就可以对用户所做的标准动作进行采样,并将采样得到的特征值与出厂预置的特征值写到同一个矩阵里,重新得到分类器“NET”,如此,识别率就会大大提高。

假设预置特征值为3000个值(A1-A3000)用以作为特征值训练分类器,在用户最开始N(0<N<3000即可)次始操作过程当中,每当一个动作完成,系统会提示用户选择自己的动作是否被正确识别,如果是正确识别,则将该组数据的信号按照上述流程处理,并得到相应的特征值中(B1-BN),用以增加识别的正确率。这里要做出限定,标准动作的学习,最多只能得到固定个动作的数据,假定为N个,当标准动作学习的数量超过N的时候,系统会自动删除最早学习到的数据,以确保标准动作学习不超过N。

如图5所示,本发明第六实施例提供一种基于肌电信号的穿戴设备,包括控制系统,该控制系统包括操作特征矩阵计算单元10、终端操作指令获取单元20、信号检测单元30、预设特征矩阵扩展单元50。

操作特征矩阵计算单元10用于根据操作手势的肌电信号计算操作肌电信号特征值,并将操作肌电信号特征值组成操作特征矩阵;其中,操作手势的肌电信号采集可以采用现有技术中的差分电极配置方式(当然也可以使用其他方式来采集),采样率设置为2000Hz(此采样率可根据具体情况设置)。

终端操作指令获取单元20用于将操作特征矩阵与预设特征矩阵进行比对,获取与操作特征矩阵相对应的终端操作指令;上述预设特征矩阵是预存在数据库例如分类器“NET”中的,预设特征矩阵是通过预设手势的肌电信号计算得到的预设肌电信号特征值组成的,其计算方法与操作特征矩阵的方法一致。在该数据库中还可以存有与预设特征矩阵相对应的终端操作指令。如图2所示,本实施例中,该操作特征矩阵计算单元10同样可以包括滤波降噪处理模块11、加窗处理模块12以及统计特征计算模块13;在此不再赘述。

信号检测单元30用于检测所述操作手势的肌电信号的强度;若所述操作手势的肌电信号的强度高于预设强度值例如是10μV,则使控制系统处于开启状态。本实施例中,当信号检测单元30检测到的肌电信号强度高于预设强度值时,使控制系统处于打开状态,当信号检测单元30检测到的肌电信号强度低于预设强度值时,使控制系统处于待机状态,以达到使控制系统的智能开关的效果。

出厂时定义的标准动作未必能满足所有用户的需求,这样就需要用户通过预设特征矩阵扩展单元50自己定义动作,以达到对终端自由控制的目的。预设特征矩阵扩展单元50包括:

采集计算模块51,用于采集自定义的第一手势,根据第一手势的肌电信号计算第一肌电信号特征值,并将第一肌电信号特征值组成第一特征矩阵;

采集计算模块51还用于再次采集第一手势,根据再次采集的第一手势的肌电信号计算第二肌电信号特征值,并将第二肌电信号特征值写入第一特征矩阵内;

关联模块52,用于当第一手势的采集次数直至达到预设次数例如10次后,接收其对应的终端操作指令,并将第一特征矩阵与对应的终端操作指令相关联;

特征值补充模块,用于当操作手势为第一手势,且第一特征矩阵内的肌电信号特征值未达到阈值例如3000时,将第一手势对应的操作肌电信号特征值写入第一特征矩阵。

在本发明的另一实施例中,还可以同时包括预设特征矩阵校准单元40。

需要说明的是,本发明中的预设手势可以同样通过预设特征矩阵中预设肌电信号及预设手势对应的肌电信号小波系数的统计特征值,作为特征参数,并结合支持向量机来实现对预设手势的分类。具体的:

支持向量机将输入参数通过其核函数的非线性关系映射到高维特征空间,并构造相应的最优分类超平面。对样本(xi,yi)来说,支持向量机的最优分类判别函数可表示为

其中,参数αi和b是需要优化计算的函数系数,内积k(x,xi)为其核函数,m为样本数且i=1,2,…m。

以两类分类原理为基础,支持向量机还可推广到多类分类问题,其可通过“一对一”和“一对多”两种方式来实现,这里采用的是“一对多”方式。针对K类分类问题,“一对多”方式构造K个两类分类器,即通过第j(j=1,2,…,K)个分类器将第j类的数据与其他类数据区分开来。相对“一对一”方式而言,所采用方式的分类速度较快

在出厂之前,我们需要对模式分类器进行训练,例如:单个动作的采样值为3000个,并将这3000个值输入到SVM模式分类器中,对其进行训练,得到分类器结果“NET”。之后,我们将“NET”写入到穿戴设备的芯片当中,使之能够在后续使用中起到动作识别的作用。

本发明中的基于肌电信号的穿戴设备可以将电极部署到手环上,当手环上的电极接触手臂时,检测到肌电信号;当然,也可以将电极设置在其他的物体上来方便将测用户其他部位的肌电信号,如将电极设置在指环上检测手指的肌电信号等等。本发明并不对穿戴设备的具体形式做限定。此外,同一个终端可以配备多个穿戴设备例如是控制手环,每个穿戴设备都有单独的数据库用以存储不同用户的操作特征值。

如图6所示,本发明第七实施例提供一种基于肌电信号的穿戴设备与终端的交互方法,包括步骤:

S1、根据操作手势的肌电信号计算操作肌电信号特征值,将操作肌电信号特征值组成操作特征矩阵;

其中,操作手势的肌电信号采集可以采用现有技术中的差分电极配置方式(当然也可以使用其他方式来采集),采样率设置为2000Hz(此采样率可根据具体情况设置)。

S2、将操作特征矩阵与预设特征矩阵进行比对,获取与操作特征矩阵相对应的终端操作指令。

更具体地,上述预设特征矩阵是预存在数据库例如分类器“NET”中的,预设特征矩阵是通过预设手势的肌电信号计算得到的预设肌电信号特征值组成的,其计算方法与操作特征矩阵的方法一致。在该数据库中还可以存有与预设特征矩阵相对应的终端操作指令。

本发明第八实施例提供一种基于肌电信号的穿戴设备与终端的交互方法,包括步骤:

S1、根据操作手势的肌电信号计算操作肌电信号特征值,将操作肌电信号特征值组成操作特征矩阵;

其中,操作手势的肌电信号采集可以采用现有技术中的差分电极配置方式(当然也可以使用其他方式来采集),采样率设置为2000Hz(此采样率可根据具体情况设置)。

如图7所示,本实施例中,在根据操作手势的肌电信号计算操作肌电信号特征值时,包括步骤:

S11、对操作手势的肌电信号进行滤波降噪处理;

根据肌电信号的特征(20-500Hz),使其通过常规的带通滤波器,滤除小于20Hz以及大于500Hz的噪声,在此基础之上,再通过现有技术小波带内降噪,使采集到的信号在20-500Hz之间的噪声得到了一定程度的抑制,经过以上处理之后的信号时相对于采集到原始信号比较纯净的肌电信号;

S12、通过公式(1)对进行滤波降噪处理后的操作手势的肌电信号进行加窗处理;

其中,Qn为该段信号的总能量值,tn为某一时刻信号的起点,x表示该段信号,T表示根据操作手势的肌电信号的能量阈值获取的信号段长度;

更具体地,为了获取关于操作手势的肌电信号信号特征参数,需要对得到的降噪后的操作手势的肌电信号进行活动段检测。针对某一个操作手势的肌电信号,根据其能量值的变化,对其进行加窗处理;

加窗处理的原理是根据采集到的信号能量值进行评估,根据公式(1)通过对整个信号能量的计算,并根据该操作手势的肌电信号的能量阈值A和B,对其进行活动段检测。其中,A、B是通过对多个动作的起始点以及终止点一段连续的数据计算平均值而得到的。具体的,我们假设从信号起始点往后推移,在移动的过程中,当出现连续500(这个数值可以自定义)个点的能量值都高于阈值A,则认为这里就是动作信号的起点,然后继续往后推移,当出现连续500(这个数值可以自定义)个点的能量值小于B时,我们就认为动作信号在此处结束;

通过此对操作手势的肌电信号能量的移动加窗处理,并结合合适的阈值参数设置,就可精确的检测出单个的操作手势的肌电信号。这里得到的信号值在时域上看到,在阈值A和B之间,信号为正常值;而在A和B之外的信号,全部都是零值,此时就可以认为,活动段检测之后的信号中,独立的非零的连续部分即为我们的操作手势的肌电信号;

S13、采用sym8小波作为基函数,对长度为N的所述操作手势的肌电信号进行小波包分解,并分别计算每层小波系数的统计特征;该些统计特征可以作为操作肌电信号特征值;

S2、将操作特征矩阵与预设特征矩阵进行比对,获取与操作特征矩阵相对应的终端操作指令。

更具体地,上述预设特征矩阵是预存在数据库例如分类器“NET”中的,预设特征矩阵是通过预设手势的肌电信号计算得到的预设肌电信号特征值组成的,其计算方法与操作特征矩阵的方法一致。在该数据库中还可以存有与预设特征矩阵相对应的终端操作指令。

本发明第九实施例提供一种基于肌电信号的穿戴设备与终端的交互方法,包括步骤:

S1、根据操作手势的肌电信号计算操作肌电信号特征值,将操作肌电信号特征值组成操作特征矩阵;

其中,操作手势的肌电信号采集可以采用现有技术中的差分电极配置方式(当然也可以使用其他方式来采集),采样率设置为2000Hz(此采样率可根据具体情况设置)。

如图7所示,本实施例中,在根据操作手势的肌电信号计算操作肌电信号特征值时,包括步骤:

S11、对操作手势的肌电信号进行滤波降噪处理;

根据肌电信号的特征(20-500Hz),使其通过常规的带通滤波器,滤除小于20Hz以及大于500Hz的噪声,在此基础之上,再通过现有技术小波带内降噪,使采集到的信号在20-500Hz之间的噪声得到了一定程度的抑制,经过以上处理之后的信号时相对于采集到原始信号比较纯净的肌电信号;

S12、通过公式(1)对进行滤波降噪处理后的操作手势的肌电信号进行加窗处理;

其中,Qn为该段信号的总能量值,tn为某一时刻信号的起点,x表示该段信号,T表示根据操作手势的肌电信号的能量阈值获取的信号段长度;

更具体地,为了获取关于操作手势的肌电信号信号特征参数,需要对得到的降噪后的操作手势的肌电信号进行活动段检测。针对某一个操作手势的肌电信号,根据其能量值的变化,对其进行加窗处理;

加窗处理的原理是根据采集到的信号能量值进行评估,根据公式(1)通过对整个信号能量的计算,并根据该操作手势的肌电信号的能量阈值A和B,对其进行活动段检测。其中,A、B是通过对多个动作的起始点以及终止点一段连续的数据计算平均值而得到的。具体的,我们假设从信号起始点往后推移,在移动的过程中,当出现连续500(这个数值可以自定义)个点的能量值都高于阈值A,则认为这里就是动作信号的起点,然后继续往后推移,当出现连续500(这个数值可以自定义)个点的能量值小于B时,我们就认为动作信号在此处结束;

通过此对操作手势的肌电信号能量的移动加窗处理,并结合合适的阈值参数设置,就可精确的检测出单个的操作手势的肌电信号。这里得到的信号值在时域上看到,在阈值A和B之间,信号为正常值;而在A和B之外的信号,全部都是零值,此时就可以认为,活动段检测之后的信号中,独立的非零的连续部分即为我们的操作手势的肌电信号;

S13、采用sym8小波作为基函数,对长度为N的所述操作手势的肌电信号进行小波包分解,并分别计算每层小波系数的统计特征;该些统计特征可以作为操作肌电信号特征值;

在本实施例中,具体地,可以通过公式(2)计算每层小波系数的能量;

其中,j为通道数且j=1:4;Ej为小波系数的总能量值,N为该段信号内小波系数的个数,ri为对应点的小波系数;

通过公式(3)计算小波系数的总能量;

E=E1+E2+E3+E4 (3);

通过公式(4)计算每层小波系数的能量百分比;

ρj=Ej/E (4);

通过公式(5)计算小波系数的绝对平均值;

通过公式(6)计算小波系数的方差;

S2、将操作特征矩阵与预设特征矩阵进行比对,获取与操作特征矩阵相对应的终端操作指令。

更具体地,上述预设特征矩阵是预存在数据库例如分类器“NET”中的,预设特征矩阵是通过预设手势的肌电信号计算得到的预设肌电信号特征值组成的,其计算方法与操作特征矩阵的方法一致。在该数据库中还可以存有与预设特征矩阵相对应的终端操作指令。

如图8所示,本发明第十实施例提供一种基于肌电信号的穿戴设备与终端的交互方法,包括步骤:

S10、检测操作手势的肌电信号的强度;

S20、判断该操作手势的肌电信号的强度是否高于预设强度值例如是10μV,若是,则进入步骤S1;否则,返回步骤S10;

S1、根据操作手势的肌电信号计算操作肌电信号特征值,将操作肌电信号特征值组成操作特征矩阵;

其中,操作手势的肌电信号采集可以采用现有技术中的差分电极配置方式(当然也可以使用其他方式来采集),采样率设置为2000Hz(此采样率可根据具体情况设置)。

如图7所示,在根据操作手势的肌电信号计算操作肌电信号特征值时,可以包括步骤:

S11、对操作手势的肌电信号进行滤波降噪处理;

根据肌电信号的特征(20-500Hz),使其通过常规的带通滤波器,滤除小于20Hz以及大于500Hz的噪声,在此基础之上,再通过现有技术小波带内降噪,使采集到的信号在20-500Hz之间的噪声得到了一定程度的抑制,经过以上处理之后的信号时相对于采集到原始信号比较纯净的肌电信号;

S12、通过公式(1)对进行滤波降噪处理后的操作手势的肌电信号进行加窗处理;

其中,Qn为该段信号的总能量值,tn为某一时刻信号的起点,x表示该段信号,T表示根据操作手势的肌电信号的能量阈值获取的信号段长度;

更具体地,为了获取关于操作手势的肌电信号信号特征参数,需要对得到的降噪后的操作手势的肌电信号进行活动段检测。针对某一个操作手势的肌电信号,根据其能量值的变化,对其进行加窗处理;

加窗处理的原理是根据采集到的信号能量值进行评估,根据公式(1)通过对整个信号能量的计算,并根据该操作手势的肌电信号的能量阈值A和B,对其进行活动段检测。其中,A、B是通过对多个动作的起始点以及终止点一段连续的数据计算平均值而得到的。具体的,我们假设从信号起始点往后推移,在移动的过程中,当出现连续500(这个数值可以自定义)个点的能量值都高于阈值A,则认为这里就是动作信号的起点,然后继续往后推移,当出现连续500(这个数值可以自定义)个点的能量值小于B时,我们就认为动作信号在此处结束;

通过此对操作手势的肌电信号能量的移动加窗处理,并结合合适的阈值参数设置,就可精确的检测出单个的操作手势的肌电信号。这里得到的信号值在时域上看到,在阈值A和B之间,信号为正常值;而在A和B之外的信号,全部都是零值,此时就可以认为,活动段检测之后的信号中,独立的非零的连续部分即为我们的操作手势的肌电信号;

S13、采用sym8小波作为基函数,对长度为N的所述操作手势的肌电信号进行小波包分解,并分别计算每层小波系数的统计特征;该些统计特征可以作为操作肌电信号特征值;

具体地,可以通过公式(2)计算每层小波系数的能量;

其中,j为通道数且j=1:4;Ej为小波系数的总能量值,N为该段信号内小波系数的个数,ri为对应点的小波系数;

通过公式(3)计算小波系数的总能量;

E=E1+E2+E3+E4 (3);

通过公式(4)计算每层小波系数的能量百分比;

ρj=Ej/E (4);

通过公式(5)计算小波系数的绝对平均值;

通过公式(6)计算小波系数的方差;

S2、将操作特征矩阵与预设特征矩阵进行比对,获取与操作特征矩阵相对应的终端操作指令。

更具体地,上述预设特征矩阵是预存在数据库例如分类器“NET”中的,预设特征矩阵是通过预设手势的肌电信号计算得到的预设肌电信号特征值组成的,其计算方法与操作特征矩阵的方法一致。在该数据库中还可以存有与预设特征矩阵相对应的终端操作指令。

由于用户动作习惯不同,标准动作完成的时候很可能不完整或者不够准确,比如用户去做下一台的动作的时候,手掌向上抬的角度为45度左右,而我们在出厂预置的训练数据中基本为75度左右,这样的情况就会导致该动作的识别率比较低。因此,如图9所示,本发明第十一实施例提供一种预设特征矩阵的校准步骤,通过对用户所做的标准动作进行采样,并将采样得到的特征值与出厂预置的特征值写到同一个矩阵里,重新得到分类器“NET”从而提高识别率。

上述预设特征矩阵是根据预设手势的肌电信号计算得出的预设肌电信号特征值组成的;该预设特征矩阵的校准步骤具体包括:

S51、采集与预设手势相一致的标准手势并根据所述标准手势的肌电信号计算标准肌电信号特征值;

S52、将标准肌电信号特征值写入与预设手势相对应的预设特征矩阵内。

更具体地,假设预置特征值为3000个值(A1-A3000)用以作为特征值训练分类器,在用户最开始N(0<N<3000即可)次始操作过程当中,每当一个动作完成,系统会提示用户选择自己的动作是否被正确识别,如果是正确识别,则将该组数据的信号按照上述流程处理,并得到相应的特征值中(B1-BN),用以增加识别的正确率。这里要做出限定,标准动作的学习,最多只能得到固定个动作的数据,假定为N个,当标准动作学习的数量超过N的时候,系统会自动删除最早学习到的数据,以确保标准动作学习不超过N。

由于出厂时定义的标准动作未必能满足所有用户的需求,这样就需要用户自己定义动作,以达到对终端自由控制的目的。因此,如图10所示,本发明的第十二实施例还提出一种对预设特征矩阵的扩展步骤,具体包括:

S61、采集自定义的第一手势,根据第一手势的肌电信号计算第一肌电信号特征值,并将第一肌电信号特征值组成第一特征矩阵;

S62、再次采集第一手势,根据再次采集的第一手势的肌电信号计算第二肌电信号特征值,并将第二肌电信号特征值写入第一特征矩阵内;

S63、判断第一手势的采集次数是否达到预设次数例如10次,若否,则返回步骤S62;若是,则进入步骤S64;

S64、接收其对应的终端操作指令,并将第一特征矩阵与对应的终端操作指令相关联;

S65、判断当操作手势是否为第一手势,若否,则如步骤S68所示结束进程;若是,则进入步骤S66;

S66、判断第一特征矩阵内的肌电信号特征值是否达到阈值例如3000时,若否,则进入步骤S67;若否,则如步骤S68所示结束进程;

S67、将第一手势对应的操作肌电信号特征值写入第一特征矩阵。

本发明提供一种基于肌电信号的穿戴设备及其与终端的交互方法,通过将操作手势的肌电信号计算得到操作肌电信号特征值并组成操作特征矩阵,将其与预设特征矩阵进行比对,就能获取与操作特征矩阵相对应的终端操作指令,达到与终端交互的目的。在操作肌电信号特征值的计算过程中,通过滤波降噪处理、加窗处理以及采用sym8小波作为基函数进行的小波包分解处理都提升了手势识别的准确性。更提供了预设特征矩阵的校准及扩展,以解决用户个性差异,丰富操作手势;提升用户体验。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1