一种无接触手势识别方法、系统、计算机设备及存储介质

文档序号:29026904发布日期:2022-02-24 09:30阅读:213来源:国知局
一种无接触手势识别方法、系统、计算机设备及存储介质

1.本发明涉及一种手势识别技术领域,特别是关于一种基于商用wifi设备的位置和朝向无关的无接触手势识别方法、系统、计算机设备及存储介质。


背景技术:

2.无接触手势识别指的是在感知目标不携带任何设备,也不与设备发生任何接触行为的情况下识别目标在空中执行的手势动作。相比于可穿戴设备等接触式方式,无接触手势识别具有非侵扰性、方便、舒适等优点。而且商用wifi设备已经广泛存在于日常生活环境中,例如家里、机场等,因此实现商用wifi设备上的无接触手势识别受到了学术界和工业界的广泛关注。
3.2015年,埃及的hebaabdelnasser等人提出了一种解决方案(wigest:a ubiquitous wifi-based gesturerecognition system,infocom 15,p1472-1480):利用wifi信号的rssi(received signal strength indicator)信息识别在移动设备周围执行的上下左右手势和由这些基本手势构成的简单手势。然而该方法仅限于在移动设备周围,并且由于粗粒度的rssi本身在静止环境下就存在较大的波动,使得这种方法不能保证性能。同年,中国的wenfeng he等人提出了一种解决方案(wig:wifi-based gesture recognition system,icccn 15,p1-7):利用更细粒度的信道状态信息csi(channel state information),从csi的振幅信息中提取特征来训练一个svm(support vector machine)分类器识别简单的左右推拉手势。然而,该方法并未考虑wifi感知中存在的位置和朝向相关性问题,只能在特定位置和朝向下工作。
4.2017年,美国的adityavirmani等人提出了一种解决方案(position and orientation agnosticgesture recognition using wifi,mobisys 17,p252-264):利用一对wifi设备在某一固定位置和朝向下采集了七种手势对应的csi信号,通过转换函数产生其它位置和朝向下的虚拟样本,对每种位置和朝向训练模型识别手势。然而,该方法需要预定义手势来估计位置和朝向信息,影响用户的使用体验,并且想要获得所有可能位置和朝向下的模型需要耗费大量的训练模型代价。
5.2019年,中国的zhengyue等人提出了一种解决方案(zero-effort cross-domain gesture recognition with wi-fi,mobisys 19,p313-325):利用六个设备采集csi信息,进一步提取手势的多普勒速度,根据位置和朝向信息构建手势的速度特征,通过该特征训练深度学习网络来识别六种手势。然而该方法需要部署多达六个wifi接收设备来保证性能,同时需要预定义手势来估计人体的位置和朝向,并且训练深度学习网络需要耗费大量人力采集和标注数据集。


技术实现要素:

6.针对上述问题,本发明的目的是提供一种无接触手势识别方法、系统、计算机设备及存储介质,其利用商用wifi设备,在无需携带或接触任何设备的情况下就能够位置和朝
向无关、无需训练地识别感知目标执行的手势动作,具有部署成本低、实用性强、鲁棒性高等优点。
7.为实现上述目的,本发明采取以下技术方案:一种无接触手势识别方法,其包括以下步骤:s1、布置rf收发设备;s2、获取用于消除接收设备测量的信道状态信号相位偏移的处理信号;s3、在处理信号中提取包含手或手臂活动信息的完整信号序列;s4、对包含手或手臂运动信息的完整信号序列进行滤波降噪;s5、对滤波后的包含手或手臂运动信息的信号序列进行差分处理,获得差分后的信号csi
diff
;s6、从差分后的信号csi
diff
中提取仅包含与手势动作速度有关的频率成分的时频图;s7、对时频图进行滤波处理,选取一个阈值过滤噪声频率成分对应的时频图中的低能量值,保留手势运动频率成分对应的时频图中的高能量值;s8、对手势以及手势内动作片段进行切割;s9、根据切割出的每个手势动作,构建每个手势的频率特征;s10、提取手势中相邻两片段的运动方向相对变化信息δθi=angle(f
i+1
)-angle(fi),进而构建手势运动方向相对变化特征为{δθ1,δθ2,...,δθ
l-1
};angle()为求角度操作,fi为片段的频率特征;s11、根据手势的片段数l和运动方向相对变化特征{δθ1,δθ2,...,δθn},实现位置和朝向无关、无需训练的手势识别,获得动作的类型。
8.进一步,布置三台rf收发设备,分别为一台发射设备和两台用于采集csi的接收设备;发射设备配置至少一根天线发射rf信号,接收设备分别配置至少两根天线测量信道状态信息。
9.进一步,所述步骤s3中,对每一时刻tn在m个不同频率f上的相除信号[csi
div
(tn,f1),csi
div
(tn,f2),...,csi
div
(tn,fm)]或共轭相乘信号[csi
cm
(tn,f1),csi
cm
(tn,f2),...,csi
cm
(tn,fm)]做快速逆傅里叶变换,获得经由m条不同路径传播的相除或共轭相乘信号,选择第一条路径作为当前时刻包含手或手臂活动信息的信号,由不同时刻的包含手或手臂活动信息的信号构成包含手或手臂活动信息的完整信号序列[csig(t1),csig(t2),...,csig(tn)],其中,csig(tn)是tn时刻的包含手或手臂反射活动信息的相除信号,n为总共的采样点个数。
[0010]
进一步,所述接收到的csi信号的频率成分和多普勒速度、手势动作速度的关系为:
[0011][0012]
其中,fs为接收到的csi信号的频率,vd为手势引起的多普勒速度,r为手势引起的多普勒速度和手势速度在法向上的投影速度vn的比值,vh为感知目标手部运动速度大小,θ为感知目标手部运动方向,α为感知目标所在的以rf收发设备为焦点的椭圆在感知目标所在位置的切线的相位,λ是频率为f的rf信号的波长。
[0013]
进一步,所述步骤s8中,从每一个rf接收设备提取滤波后时频图的波动性,根据存在手势动作时波动性大,不存在动作或者手势动作速度小时波动性小,使用至少两个rf接收设备时频图的波动性之和对手势以及手势内动作片段进行切割,根据预先设置的波动性的阈值对所有手势的运动片段进行切割,大于该阈值的地方为手势运动的片段;然后根据预先设置的时间间隔阈值对同一个手势内的不同片段进行聚类,大于时间间隔阈值的是属于不同手势的运动片段,小于时间间隔阈值的是属于同一手势的运动片段,从而获得了每个手势动作以及每个手势的运动片段特征。
[0014]
进一步,所述步骤s9中,针对切割出的每个手势动作,从手势动作的每个片段的时频图中提取时频图中每个时刻的能量最大值对应的频率,将其平均值作为手势动作中该片段的频率,由从至少两个rf接收设备提取的频率构建手势该片段的频率特征fi=(f
i2
,f
i1
),进一步构建每个手势的频率特征为{f1,f2,...,f
l
},其中l为手势的片段数,f
i1
和f
i2
分别是从接收设备1和接收设备2上提取的对应手势动作中第i个片段的平均频率。
[0015]
进一步,所述步骤s11中,将手势的片段数l和运动方向相对变化特征{δθ1,δθ2,...,δθn}作为手势的与位置和朝向无关的特征,并且根据手势动作预先获得手势的片段数和运动方向相对变化特征,然后根据从wifi csi信号中提取手势的片段数l和运动方向相对变化特征{δθ1,δθ2,...,δθn}与预定义的位置和朝向无关的手势特征对比,实现位置和朝向无关、无需训练的手势识别,获得动作的类型。
[0016]
一种无接触手势识别系统,其包括设备布置模块、处理信号获取模块、信号序列获取模块、滤波降噪模块、差分处理模块、时频图提取模块、时频图处理模块、片段切割模块、频率特征构建模块、手势运动方向相对变化特征构建模块和手势识别模块;所述设备布置模块用于布置rf收发设备;所述处理信号获取模块获取用于消除接收设备测量的信道状态信号相位偏移的处理信号;所述信号序列获取模块在处理信号中提取包含手或手臂活动信息的完整信号序列;所述滤波降噪模块对包含手或手臂运动信息的完整信号序列进行滤波降噪;所述差分处理模块对滤波后的包含手或手臂运动信息的信号序列进行差分处理,获得差分后的信号csi
diff
;所述时频图提取模块从差分后的信号csi
diff
中提取仅包含与手势动作速度有关的频率成分的时频图;所述时频图处理模块对时频图进行滤波处理,选取一个阈值过滤噪声频率成分对应的时频图中的低能量值,保留手势运动频率成分对应的时频图中的高能量值;所述片段切割模块对手势以及手势内动作片段进行切割;所述频率特征构建模块根据切割出的每个手势动作,构建每个手势的频率特征;所述手势运动方向相对变化特征构建模块提取手势中相邻两片段的运动方向相对变化信息δθi=angle(f
i+1
)-angle(fi),进而构建手势运动方向相对变化特征为{δθ1,δθ2,...,δθ
l-1
};angle()为求角度操作,fi为片段的频率特征;所述手势识别模块根据手势的片段数l和运动方向相对变化特征{δθ1,δθ2,...,δθn},实现位置和朝向无关、无需训练的手势识别,获得动作的类型。
[0017]
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中的一个或多个的方法。
[0018]
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例中的一个或多个的方法。
[0019]
本发明由于采取以上技术方案,其具有以下优点:1、本发明利用无线射频信号对感知目标的手势进行识别,不需要修改wifi无线网卡的任何硬件信息,仅利用配置有商用wifi网卡的最少一个wifi发射端和两个wifi接收端就可以构建所设计的特征,进而实现与位置和朝向无关、无需训练的无接触式手势识别,具有实用性强、鲁棒性高的优点。2、由于本发明无需携带或接触任何设备,且射频信号(如wifi)已经广泛存在,本发明提供的技术方案具有非侵扰性、简单易用、低成本的优点。
附图说明
[0020]
图1是本发明实施例中基于wifi的无接触手势识别方法的流程框图。
[0021]
图2是本发明实施例中搭建的手势识别系统;
[0022]
其中,a为发射端tx(wi-fi设备,支持wifi信号发送);b和c分别为接收端rx1、rx2(wi-fi设备,支持csi采集)。
[0023]
图3是本发明实施例中的位置和朝向无关的特征:手势分段,以“z”为例,在任何位置和朝向设置下,其运动分段均为三段。
[0024]
图4是本发明实施例中的位置和朝向无关的特征:手势运动方向的相对变化,以“z”为例,在任何位置和朝向设置下,其第二段相对于第一段的方向变化为顺时针(负向),而第三段相对于第二段的方向变化为逆时针(正向)。
[0025]
图5是本发明实施例中的8种手势动作示例。
[0026]
图6是多普勒频移和手势运动速度的关系。
具体实施方式
[0027]
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
[0028]
在本发明中,具体各特定术语的含义为:
[0029]
rf表示无线射频信号,csi表示信道状态信息。
[0030]
在本发明中,由于感知目标的手或手臂会反射由rf发送端发射的电磁波,被反射的电磁波由rf接收端接收,从而感知目标的手或手臂可以看作rf发送端的观察者,rf接收端的波源,当感知目标的手或者手臂进行活动时,会在接收端的接收信号上产生多普勒频移,该多普勒频移包含了感知目标手或手臂活动的速度信息;通过三个收发设备可以构建一个两维平面,感知目标的手或者手臂活动会在两个接收端产生多普勒频移,根据两维的多普勒频移可以构建手或手臂运动的速度特征;基于构建的手或手臂运动速度特征,提取手势中的运动段数和手部运动方向相对变化特征作为与位置和朝向无关的特征;在这种位置和朝向无关特征的指导下,可以设计多种手势动作,使得同一个手势在不同位置和朝向下的特征是一致的,而不同手势的特征是可区分的,而这些手势的运动特征可以根据多普勒模型预先获得,所以无需训练分类器即可识别感知目标的手势。
[0031]
下面结合附图和实施例对本发明进行详细的介绍。
[0032]
本发明提供一种位置和朝向无关的无接触手势识别方法,利用无线射频信号对感知目标执行的手势动作进行识别,待感知目标的手部不携带任何设备,不需要修改wifi无线网卡的任何硬件信息,仅利用商用wifi网卡就可以实现与位置和朝向无关、无需训练的无接触手势识别。具体地,本发明使用至少一个wifi发射端和两个wifi接收端,从接收到的wifi csi信号提取手势中的运动段数和运动方向变化作为特征,实现与位置和朝向无关、无需训练的手势识别。如图1所示,本发明包括以下步骤:
[0033]
s1、布置rf收发设备;
[0034]
在本实施例中,优选布置三台rf收发设备,如图2所示,分别为一台发射设备tx和
两台可以采集csi的接收设备rx1,rx2。
[0035]
发射设备tx配置至少一根天线发射rf信号,接收设备rx1和rx2分别配置至少两根天线测量信道状态信息;收发天线是垂直极化的全向天线,可以垂直地面放置,也可以平行地面放置。
[0036]
其中,rf收发设备可以是笔记本电脑、minipc或任何支持rf信号收发的设备。
[0037]
在本实施例中,使用中心频率为5.32ghz的wifi信号作为rf信号,使用搭载8db全向天线、intel 5300网卡的minipc作为rf收发设备,收发设备之间的距离(也称为los,lineof sight)为2m。
[0038]
s2、获取用于消除接收设备测量的信道状态信号因载波频偏、采样频偏等导致的相位偏移的处理信号;
[0039]
在本实施例中,优选地,对每一个接收设备,将两根天线测量的信道状态信息相除,得到相除信号,该相除信号即为处理信号,进而消除因载波频偏、采样频偏等导致的相位偏移,所获得的相除信号和原始信号具有类似的频率特性;例如,将第一根天线采集的信道状态信息csi
ant1
除以第二根天线采集的信道状态信息csi
ant2
,即csi
ant1
/csi
ant2
,获得相除后的新感知信号,即为相除信号csi
div

[0040]
优选地,可以采用的处理方法还包括将两根天线测量的信道状态信息进行共轭相乘,将共轭相乘信号作为处理信号,例如,将第一根天线采集的信道状态信息csi
ant1
乘以第二根天线采集的信道状态信息csi
ant2
的共轭,即csi
ant1
·
csi
ant2h
,其中()h是共轭操作,即为共轭相乘信号csi
cm

[0041]
s3、在处理信号中提取包含手或手臂活动信息的完整信号序列;
[0042]
提取包含手或手臂活动信息完整信号序列的方法有很多种,包括选择不同频率的子载波,或者对不同子载波的信息进行融合,在本实施例中,优选对不同子载波的信息融合方法,具体地:rf信号会经过多条不同的路径到达接收端,为了提取由手或者手臂活动引起的信号,根据具有频率多样性的多个载波,对每一时刻tn在m个不同频率f上的相除信号[csi
div
(tn,f1),csi
div
(tn,f2),...,csi
div
(tn,fm)]或共轭相乘信号[csi
cm
(tn,f1),csi
cm
(tn,f2),...,csi
cm
(tn,fm)]做快速逆傅里叶变换(ifft),获得经由m条不同路径传播的相除或共轭相乘信号,考虑到wifi信号的窄带宽带来的低时间分辨率,选择第一条路径作为当前时刻包含手或手臂活动信息的信号,由不同时刻的包含手或手臂活动信息的信号可以构成包含手或手臂活动信息的完整信号序列[csig(t1),csig(t2),...,csig(tn)],其中,csig(tn)是tn时刻的包含手或手臂反射活动信息的相除信号或共轭相乘信号,n为总共的采样点个数;
[0043]
例如,可以从intel5300无线网卡上在40mhz带宽配置下同时采集30个载波的信道状态信息,并产生30个载波的相除或共轭相乘信号。对在tn时刻的30个不同频率上的相除信号[csi
div
(tn,f1),csi
div
(tn,f2),...,csi
div
(tn,f
30
)]或共轭相乘信号[csi
cm
(tn,f1),csi
cm
(tn,f2),...,csi
cm
(tn,f
30
)]做快速逆傅里叶变换(ifft),获得经过30条不同路径传播的相除或共轭相乘信号,选择第一条路径的信号作为当前时刻包含手或手臂活动信息的信号,对于具有n个采样点的信号,进而由每个时刻的包含手或手臂活动信息的信号构成最终的包含手势信息的完整信号序列[csig(t1),csig(t2),...,csig(tn)]。
[0044]
s4、对包含手或手臂运动信息的完整信号序列进行滤波降噪,消除信号噪音;
[0045]
在本步骤中,采用savitzky-golay滤波器,该滤波器利用最小二乘法通过2次多项
式拟合连续的信号,对包含手或手臂运动信息的完整信号序列进行滤波降噪,消除信号噪音。
[0046]
s5、对滤波后的包含手或手臂运动信息的信号序列进行差分处理,获得差分后的信号csi
diff
,该信号消除了静态频率成分,仅包含手或手臂的运动信息;
[0047]
由于在获得的包含手或手臂运动信息的信号序列中包含有经由室内墙体、家具等静止不动的物体反射的信号,这些信号的频率成分在0附近,但是具有较大的能量,为了消除这种静态信号的影响,对滤波后的包含手或手臂运动信息的完整信号序列进行差分处理,即使用后一时刻信号csi
ifft
(t
n+1
)减去前一时刻信号csi
ifft
(tn),获得差分后的信号csi
diff

[0048]
csi
diff
=[csi
diff
(t1),csi
diff
(t2),...,csi
diff
(t
n-1
)]。
[0049]
s6、从差分后的信号csi
diff
中提取仅包含与手势动作速度有关的频率成分的时频图;需要注意的是,获得差分信号csi
diff
的处理过程并不会影响手或手臂运动引起的时频特征,也就是说差分信号csi
diff
和接收到的csi信号中包含的手或手臂运动引起的频率特征是一致的,但是原始信号中因为存在相位偏移而无法精准提取手势的时频特征;
[0050]
如图6所示,接收到的csi信号的频率成分和多普勒速度、手势动作速度的关系为:
[0051][0052]
其中,fs为接收到的csi信号的频率,vd为手势引起的多普勒速度,r为手势引起的多普勒速度和手势速度在法向上的投影速度vn的比值,vh为感知目标手部运动速度大小,θ为感知目标手部运动方向,α为感知目标所在的以rf收发设备为焦点的椭圆在感知目标所在位置的切线的相位,λ是频率为f的rf信号的波长;该公式揭示了接收到的wifi csi信号的频率,即多普勒频移,不仅与波长有关,还与运动速度大小、运动速度方向、感知目标所在位置相关,而朝向会改变运动方向,因此,揭示了已有使用多普勒频移或多普勒速度的工作中的位置和朝向相关性问题,这也说明了位置和朝向相关性问题是基于wifi的无接触感知领域的一个重要问题,如果不解决该问题,所提出的方法、开发的系统无法在真实应用场景中工作,除此之外,该公式已经说明了在感知目标位置和朝向未知的情况下,通过多普勒频移获得的多普勒速度大小、目标运动速度大小或速度运动方向特征不能作为位置和朝向无关的特征,因此需要从多普勒频移中提取手或手臂的其它运动信息实现位置和朝向无关的手势动作识别。
[0053]
本实施例中λ为5.64cm,接收信号频率fs的正负表示了手势是靠近还是远离rf收发设备,从而可以从差分后的信号csi
diff
中提取仅包含与手势动作速度有关的频率成分的时频图,该时频图反应了手部运动速度信息,时频图中能量值越大代表相对应的频率成分越强,该频率成分对应的速度成分越多。
[0054]
s7、对时频图进行滤波处理,具体地,选取一个阈值过滤噪声频率成分对应的时频图中的低能量值,而保留手势运动频率成分对应的时频图中的高能量值
[0055]
在本实施例中,选择整个手势时频图中的最大能量值的0.02倍作为阈值,对时频图进行滤波处理,降低了噪声频率成分对提取手势频率成分的影响。
[0056]
s8、对手势以及手势内动作片段进行切割;
[0057]
不同于多普勒速度大小、目标运动速度大小或速度运动方向等特征,本发明中采
用手势本身的特征作为位置和朝向无关的特征,并根据步骤s6中公式的指导来获得所述的位置和朝向无关的特征,如图3所示,在不同的位置、朝向设置1和设置2下,“z”手势都可以分为
①②③
总共三段动作片段,说明手势内的动作片段是一个位置和朝向无关的特征,为了提取该特征,从至少两个rf接收设备提取滤波后时频图的波动性,并根据波动性的和对手势以及手势内动作片段进行切割。
[0058]
在本实施例中,从每一个rf接收设备提取滤波后时频图的波动性,根据存在手势动作时波动性大,不存在动作或者手势动作速度小时波动性小,使用至少两个rf接收设备时频图的波动性之和对手势以及手势内动作片段进行切割,根据预先设置的波动性的阈值对所有手势的运动片段进行切割,大于该阈值的地方为手势运动的片段,优选的,设置波动性最大值的0.05作为阈值;然后根据预先设置的时间间隔阈值对同一个手势内的不同片段进行聚类,大于时间间隔阈值的是属于不同手势的运动片段,小于时间间隔阈值的是属于同一手势的运动片段,从而获得了每个手势动作以及每个手势的运动片段特征,优选的,设置相邻时间间隔为2s以内的为同一个手势中的不同片段,大于2s的是不同手势中的运动片段。
[0059]
s9、根据切割出的每个手势动作,构建每个手势的频率特征;
[0060]
具体为:针对切割出的每个手势动作,从手势动作的每个片段的时频图中提取时频图中每个时刻的能量最大值对应的频率,将其平均值作为手势动作中该片段的频率,由从至少两个rf接收设备提取的频率构建手势该片段的频率特征fi=(f
i2
,f
i1
),其中f
i1
和f
i2
分别是从接收设备1和接收设备2上提取的对应手势动作中第i个片段的平均频率,进一步构建每个手势的频率特征为{f1,f2,...,f
l
},其中l为手势的片段数,需要注意的是,s6中已经揭示了频率特征和速度特征的关系,因此这里的频率特征可以等价地转换为速度特征;
[0061]
s10、不同于速度运动方向这种绝对信息,本发明采用运动方向的变化这一相对信息作为位置和朝向无关的特征,并根据s6公式的指导来获得所述的位置和朝向无关的特征,如图4所示,在不同的位置、朝向设置1和设置2下,“z”手势的运动方向相对变化都是先顺时针(负向)再逆时针(正向),说明手势的运动方向相对变化是一个位置和朝向无关的特征,为了提取该特征,手势中第i+1个片段和第i个片段的运动方向相对变化信息可以表示为δθi=angle(f
i+1
)-angle(fi),angle()为求角度操作,进而构建手势运动方向相对变化特征为{δθ1,δθ2,...,δθ
l-1
};
[0062]
s11、根据手势的片段数l和运动方向相对变化特征{δθ1,δθ2,...,δθn},实现位置和朝向无关、无需训练的手势识别,获得手势动作的类型;
[0063]
具体为:将手势的片段数l和运动方向相对变化特征{δθ1,δθ2,...,δθn}可以作为手势的与位置和朝向无关的特征,并且可以根据手势动作预先获得手势的片段数和运动方向相对变化这两个特征,然后根据从wifi csi信号中提取手势的片段数l和运动方向相对变化特征{δθ1,δθ2,...,δθn}与预定义的前述位置和朝向无关的手势特征对比,可以实现位置和朝向无关、无需训练的手势识别,获得动作的类型,优选的,可以根据所述的位置和朝向无关的特征定义一组手势的决策树,然后通过决策树对手势进行分类;
[0064]
需要注意的是,不是任何手势都能做到位置和朝向无关的识别,而根据所提的位置和朝向无关特征的指导,可以设计一组位置和朝向无关的手势。在本实施例中,根据所提的特征指导,设计的一组位置和朝向无关的手势示例如图5所示,该手势示例可以在所提特
征的指导下根据实际需求进行扩展。
[0065]
本发明还提供一种无接触手势识别系统,其包括设备布置模块、处理信号获取模块、信号序列获取模块、滤波降噪模块、差分处理模块、时频图提取模块、时频图处理模块、片段切割模块、频率特征构建模块、手势运动方向相对变化特征构建模块和手势识别模块;
[0066]
设备布置模块用于布置rf收发设备;
[0067]
处理信号获取模块获取用于消除接收设备测量的信道状态信号相位偏移的处理信号;
[0068]
信号序列获取模块在处理信号中提取包含手或手臂活动信息的完整信号序列;
[0069]
滤波降噪模块对包含手或手臂运动信息的完整信号序列进行滤波降噪;
[0070]
差分处理模块对滤波后的包含手或手臂运动信息的信号序列进行差分处理,获得差分后的信号csi
diff

[0071]
时频图提取模块从差分后的信号csi
diff
中提取仅包含与手势动作速度有关的频率成分的时频图;
[0072]
时频图处理模块对时频图进行滤波处理,选取一个阈值过滤噪声频率成分对应的时频图中的低能量值,保留手势运动频率成分对应的时频图中的高能量值;
[0073]
片段切割模块对手势以及手势内动作片段进行切割;
[0074]
频率特征构建模块根据切割出的每个手势动作,构建每个手势的频率特征;
[0075]
手势运动方向相对变化特征构建模块提取手势中相邻两片段的运动方向相对变化信息δθi=angle(f
i+1
)-angle(fi),进而构建手势运动方向相对变化特征为{δθ1,δθ2,...,δθ
l-1
};angle()为求角度操作,fi为片段的频率特征;
[0076]
手势识别模块根据手势的片段数l和运动方向相对变化特征{δθ1,δθ2,...,δθn},实现位置和朝向无关、无需训练的手势识别,获得动作的类型。
[0077]
本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行所述计算机程序时实现上述各实施例中的无接触手势识别方法。
[0078]
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述各实施例中的无接触手势识别方法。
[0079]
本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0080]
本技术是参照根据本技术实施例的方法、系统、和计算机程序产品的流程图和方框图来描述的。应理解可由计算机程序指令实现流程图和方框图中的每一流程和方框、以及流程图和方框图中的流程和方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的装置。
[0081]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能。
[0082]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的步骤。
[0083]
以上仅为本发明的实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均包含在申请待批的本发明的权利要求范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1