一种基于无线信号的小样本手势识别方法

1.本发明涉及手势识别领域，具体涉及一种基于无线信号的小样本手势识别方法。


背景技术：

2.随着移动互联网和无线通信技术的快速发展，高效的人机交互(human computer interaction，hci)在我们的日常生活中发挥着关键作用。人们对智能设备的体验也从传统的人机交互方式逐渐转向更加多样且智能化的方向。例如从最简单的基于文本式的键盘和基于图形的鼠标交互方式逐渐转向为包括人脸识别、指纹识别、手势以及步态识别等等多种媒体和多种模式相结合的新型人机交互方式。手势是一种形象、直观、便于理解、包含丰富信息和具有较强视觉效果的肢体语言，利用不同的手势动作可以传达丰富的信息。例如在智能家居方面可以通过手势控制家庭中的常用电器，电视换台、开关点灯、调节温度灯等，在办公教学领域，利用手势控制ppt的翻页、文档的打开和关闭等。因此进行手势识别技术的研究对于推动hci技术的发展有着很大的帮助，同时对改善人类生活质量具有重大意义。
3.常见的手势识别技术主要有三种，一是基于传感器的手势识别，这种方法通过含有特定传感器的可佩戴设备来收集手势的运动数据来判断手势的状态。其中最典型是数据手套的研究，它集成有许多可用于数据采集的传感器，用户佩戴之后，计算机系统就能从这些传感器中获取到人手的位置方向和运动等信息，然后在虚拟环境中模拟再现出手势动作。最早的数据手套是在1983年由来自at&t的grimes发明的,国内来自哈工大的吴江琴等人使用集成有18个传感器的cyber glove数据手套对中国的手语进行识别，提出了基于监督学习的神经网络和学习判定树的方法，这种方法精确度很高。2014年国内百度公司推出了可穿戴设备baidu eye，利用人体的不同运动状态实现了一种新颖的人机交互方式。尽管可穿戴设备能带来较高的准确率，但在一定程度上限制了人们的自由，给生活带来很大的不便性，并且有操作繁琐且价格昂贵等缺点，不宜大规模使用。
4.二是基于视觉的手势识别，这种方法主要是从包含有手势动作的图像或者视频流中提取特征，利用图像处理技术和计算机视觉的方法来识别手势。相比于基于传感器的手势识别技术，这种方式给人更多的自由，也更加人性化。早在1991年，日本富士通公司在手语识别中已经识别出46个手势符号。2001年，yang采用了时延神经网络，通过学习手势的运动轨迹，对40个美国手语进行识别，在训练集上的识别率高达99％，在测试集上的识别率达到了96％。2008年，中科院软件所的王西颖提出了一种基于hmm和模糊神经网络相结合的模型结构，在复杂背景下能够识别出其中的动态手势。2009年，doliotis p等人使用kinect深度相机来获取手部信息，通过设置阈值的方式将手势从复杂背景中分割出来，然后使用动态时间规整(dtw)对手势进行训练并识别，这是基于视觉的手势识别一个典型应用。2013年，海尔公司展出了一种内置有摄像头的智能空调设备，并且可以通过手势智能地调节温度。2019年，lg发布的g8 thin q带来的air motion能够实现隔空翻页，后来华为也推出了一款手机可以隔空截图，支持滑动屏幕等基本的操作。相较于数据手套，基于视觉的手势识
别方法完全摆脱了穿戴不方便的束缚，但是检测范围小，并且对光线要求高，要求有绝对的los，在夜间使用效果差甚至直接不能工作。并且在日常生活方面，一些日常家居等相对敏感的环境中，安装摄像头存在极易泄露用户隐私的风险。尽管基于视觉的手势识别技术取得了非常好的发展，但仍存在很多应用的局限性。
5.随着网络技术的飞速发展，wifi设备得以广泛部署与应用，第三种基于无线感知的手势识别技术应运而生，它是通过特定的接收发送设备来获取手势变化的信息。基于wifi的手势识别技术具有被动感知、无需穿戴设备、成本低、不依赖光照条件、易部署等众多优点，而且wifi信号包含了一种比之前的rssi更加细粒度的特征csi(channel state information)，它提供了更精细更丰富的信息，在一定程度上描述了信号在传播过程中的衰减情况和信道的多径特性，对运动物体的感知提供了更精细的分辨率。csi有助于研究手势对信号传播的影响，从而分析手势信号特征,识别出手势动作。因此wifi信号感知成为手势识别技术中重要的检测手段。
6.目前，基于无线信号的手势检测技术大部分都是利用传统的深度学习，这种学习方式依赖于大量带标签的样本以及多次的迭代去训练其大量的参数。当样本不充分时，模型的性能会严重下降，造成过拟合问题。在实际应用中，手势类别千变万化，如果用传统的深度学习方式，获取大量带有标签的手势数据需要花费巨大的代价，而且某些手势类别并不存在巨大的数据去适应深度学习模型进行训练。
7.基于以上内容，本发明提出了一种小样本手势识别模型，以便解决以往手势识别技术中利用深度学习方式来训练模型并且需要大量标记样本的问题。


技术实现要素：

8.为解决上述问题，本发明提供了一种基于无线信号的小样本手势识别方法，设计合理，解决了现有技术的不足，具有良好的效果。
9.为了实现发明目的，采用以下技术方案：
10.一种基于无线信号的小样本手势识别方法，包括以下步骤：
11.s1、实验环境的部署；
12.选定一间空旷的实验室，在实验室内部署一个数据采集装置，该装置包括一个发射端和一个接收端，所述发射端为无线路由器，用于发射无线信号，所述接收端为电脑，用于接收并保存来自无线路由器的包含环境信息的csi数据；
13.s2、实验数据的采集；
14.组织m名实验者坐在发射端和接收端中间的位置，位置固定不变，做出规定的手势动作，每个手势动作重复n次，进行实验数据的采集；
15.s3、数据预处理；
16.针对s2中采集到的手势数据，提取其csi的幅值信息，并利用离散小波变换对其进行降噪处理，预处理后的数据构成数据集；
17.s4、数据集的划分；
18.将s3中的数据集划分为训练集和测试集，再分别将训练集和测试集中的数据划分为支持集和查询集，支持集用于得出每个类别的类原型，查询集用于计算与类原型的距离，进而得出分类概率；
19.s5、构建小样本手势识别模型；
20.s6、将训练集放入构建好的小样本手势识别模型中对其进行训练，待模型训练完成后用测试集进行测试，查看分类效果。
21.进一步地，在s1中，所述实验室大小为10
×
15m，无线路由器型号为商用版tp-link wdr 6500；
22.电脑与路由器之间相距1.5m，电脑上安装ubutu12.04操作系统，配备intel 5300网卡，且外接有三根天线，天线离地高度为1.2m；电脑通过usb外接两个小音响，手势动作的绘制通过音响发出开始或结束指令来完成；
23.配置电脑的内核驱动和无线网卡，使无线路由器与电脑之间稳定500hz的信号传输模式。
24.进一步地，在s2中，组织6名实验者分别坐在发射端和接收端中间的位置，用右手手指在空中绘制数字0～9以及26个英文字母大小写，总共62类手势动作；
25.实验者需要在4秒内完成一个手势动作的绘制，音响发出开始指令，实验者开始做出规定的手势动作，4秒后音响发出结束指令，此过程重复50次即完成一个类别的手势动作的数据采集，总共需完成62类手势动作的采集。
26.进一步地，在s3中，首先将所需要的幅值波动的信息从采集到的csi数据中分离出来，并利用离散小波变换对其进行去噪处理，分离出有效数据；
27.离散小波变换为输入信号经过两个互补的滤波器进行分解，得到信号的近似和细节信息，过程为输入信号经过高通滤波器将输入信号的低频部分过滤掉而输出高频部分，再经过降采样滤波器，得到需要过滤掉的高频信息即信号的细节值；输入信号经过低通滤波器，将输入信号的高频部分过滤掉而输出低频部分，再经过降采样滤波器，从而得到需要的有效数据即信号的近似值。
28.进一步地，在s4中，针对采集到的62类数据，对数据进行预处理后，选取其中36类作为训练集，剩余26类为测试集；
29.所述支持集包含n-way k-shot，表示从数据集中随机采样n个类别，每个类别采样k个样本；查询集也包含n-way，但样本数由每个类别中除k-shot外的全部或部分剩余样本构成；分别取k为1、5和10进行实验。
30.进一步地，在s5中，包括以下子步骤：
31.s51、以原型网络为基础进行小样本手势识别模型的构建；
32.所述原型网络使用含有四个卷积层的cnn作为一个嵌入模块，利用该嵌入模块学习一个映射函数f
φ
(x)；将支持集通过f
φ
(x)映射到嵌入空间内，计算每个类的类原型：
[0033][0034]
式中，ck表示类k的类原型，sk表示类k，|sk|表示类k中样本数量，(xi,yi)为第i个样本和标签；
[0035]
建立好每个类的原型后，将查询集通过f
φ
(x)映射到嵌入空间中，求查询点到每个类别的距离，然后使用softmax函数进行归一化操作得到概率，即x属于类k的概率，公式如下：
[0036][0037]
式中，p
φ
(y＝kx)为x属于类k的概率，y为x的真实类别，d(f
φ
(x),ck)为查询点x到类原型ck的欧氏距离，c
k'
表示类k'的类原型，d(f
φ
(x),ck′
)为查询点x到类原型c
k'
的欧式距离；
[0038]
最后对上述概率取负对数得出损失函数j(φ)：
[0039]
j(φ)＝-logp
φ
(y＝k|x)；
[0040]
得到损失函数j(φ)后，用随机梯度下降法最小化损失函数，得到最优参数φ；
[0041]
s52、对原型网络改进以完成小样本手势识别模型的构建；
[0042]
为了进一步提升小样本手势识别的分类精度，对原型网络进行改进，在查询集映射到嵌入空间前，对查询集进行在线数据增强，对其中的数据进行随机翻转，导致每次训练的数据都不一样，间接导致数据量的增加。
[0043]
进一步地，在s6中，小样本手势识别模型建立完毕后，将训练数据输入到模型中对其进行训练，待模型训练完成后，将测试集输入到小样本手势识别模型中进行测试，得出分类精度。
[0044]
本发明具有的有益效果是：
[0045]
本发明提供的基于无线信号的小样本手势识别方法，利用不同的手势动作在无线信号传输过程中会导致不同的信号变化的原理，提取子载波中csi的幅值信息，用dwt算法对幅值信号作降噪处理。然后进行数据集的划分，以原型网络为基础进行小样本手势识别模型的构建，并在此基础上进行创新，对查询集实施数据增强策略，从而完成小样本手势识别模型的构建，实现基于无线信号的小样本手势识别。此方法解决了以往手势识别技术中需要大量标记样本的问题，实现了仅用每类很少的样本数目就能识别新的手势类别的目的，此方法大大降低了人工成本。
附图说明
[0046]
图1是本发明中实验环境平面图；
[0047]
图2是本发明中数据采集装置结构示意图；
[0048]
图3是本发明中dwt降噪架构图；
[0049]
图4是本发明中原型网络模型框架示意图；
[0050]
图5是本发明中当k＝1时的分类精度柱形图；
[0051]
图6是本发明中当k＝5时的分类精度柱形图；
[0052]
图7是本发明中当k＝1时的分类精度柱形图；
[0053]
图8是本发明中当n＝3时的分类精度柱形图；
[0054]
图9是本发明中当n＝5时的分类精度柱形图；
[0055]
图10是本发明中当n＝8时的分类精度柱形图；
具体实施方式
[0056]
下面结合具体实施例对本发明的具体实施方式做进一步说明：
[0057]
一种基于无线信号的小样本手势识别方法，包括以下步骤：
[0058]
s1、实验环境的部署；
[0059]
如图1所示，选定一间空旷的会议室作为实验室，其大小为10m
×
15m，在实验室内部署一个数据采集装置，如图2所示，用于采集室内wifi网络设备的csi数据。该装置包括一个发射端和一个接收端，发射端采用一个型号为商用版tp-link wdr 6500的无线路由器，用于发射无线信号，接收端为一台配备有intel 5300网卡的电脑，电脑上安装ubutu12.04操作系统，同时外接有三根天线，用于接收并保存来自无线路由器的包含环境信息的csi数据；电脑通过usb外接有两个小音响，并通过音响发出开始结束指令完成手势动作的绘制。电脑与路由器之间相距1.5m，天线离地高度为1.2m；
[0060]
配置电脑的内核驱动和无线网卡，使无线路由器与电脑之间稳定500hz的信号传输模式。
[0061]
s2、实验数据的采集；
[0062]
组织6名实验者在实验室中进行数据的采集，实验者坐在发射端和接收端中间的位置，用右手手指在空中绘制数字0～9以及26个英文字母大小写，总共62类手势动作；
[0063]
实验者需要在4秒内完成一个手势动作的绘制，音响发出开始指令，实验者开始做出规定的手势动作，4秒后音响发出结束指令。此过程重复50次即完成一个类别的手势动作的数据采集。总共需完成62类手势动作的采集。
[0064]
s3、数据预处理；
[0065]
由于数据的csi信息对环境因素特别敏感，容易受到室内环境、无线信号的影响。所以采集到的数据中含有大量高频噪声，所以实验前通常先对高频噪声进行滤波处理。本发明采用离散小波变换(dwt)对采集到的数据进行预处理，消除一些异常数据。首先对s2中采集到的手势数据提取其csi的幅值信息，再使用dwt对其进行降噪，分离出需要的有效数据a构成数据集。
[0066]
如图3所示，离散小波变换为输入信号x[n]经过两个互补的滤波器进行分解，得到信号的近似和细节信息，过程为输入信号x[n]经过高通滤波器将输入信号的低频部分过滤掉而输出高频部分h[n]，再经过降采样滤波器
↓
q，得到需要过滤掉的高频信息xh即信号的细节值；输入信号经过低通滤波器，将输入信号的高频部分过滤掉而输出低频部分g[n]，再经过降采样滤波器
↓
q，从而得到需要的有效数据a即信号的近似值。
[0067]
s4、数据集的划分；
[0068]
s2中采集到62类数据，将数据进行预处理以后，选取其中36类作为训练集，剩余26类作为测试集，再分别将训练集和测试集中的数据划分为支持集和查询集，支持集用于得出每个类别的类原型，查询集用于计算与类原型的距离，进而得出分类概率；
[0069]
所述支持集包含n-way k-shot，表示从数据集中随机采样n个类别，每个类别采样k个样本；查询集包含n-way，样本数由每个类别中除k-shot外的全部或部分剩余样本构成；也就是说支持集和查询集类别相同，但数据不交叉；
[0070]
当k取值很小才能体现出小样本，通常取1或者5，为了增加实验的对比性，本发明分别取k为1、5和10进行实验。
[0071]
s5、构建小样本手势识别模型；
[0072]
s51、以原型网络为基础进行小样本手势识别模型的构建；
[0073]
在小样本分类问题中，最需要解决的一个问题是数据的过拟合，由于数据过少，一
般的分类算法会表现出过拟合的现象，从而导致分类结果与实际结果有较大的误差。为了减少因数据量过少而导致的过拟合的影响，可以使用基于度量的元学习方法，原型网络便是实现元学习的一个简单高效的网络。本发明的手势识别模型以原型网络为基础，其基本思想为：求平均，即利用支持集求出每个类的类原型。
[0074]
原型网络的整体框架如图4所示，原型网络使用含有四个卷积层的cnn作为一个嵌入模块，利用该嵌入模块学习一个映射函数f
φ
(x)；将支持集通过f
φ
(x)映射到嵌入空间内，得出每个类的类原型：
[0075][0076]
式中，ck表示类k的类原型，sk表示类k，|sk|表示类k中样本数量，(xi,yi)为第i个样本和标签；
[0077]
建立好每个类的原型后，再将查询集通过f
φ
(x)映射到嵌入空间中，求查询点到每个类别的距离，然后使用softmax函数进行归一化操作得到概率，即x属于类k的概率，公式如下：
[0078][0079]
式中，p
φ
(y＝kx)为x属于类k的概率，y为x的真实类别，d(f
φ
(x),ck)为查询点x到类原型ck的欧氏距离，c
k'
表示类k'的类原型，d(f
φ
(x),ck′
)为查询点x到类原型c
k'
的欧式距离；
[0080]
最后对上述概率取负对数得出损失函数j(φ)：
[0081]
j(φ)＝-logp
φ
(y＝k|x)；
[0082]
得到损失函数j(φ)后，用随机梯度下降法最小化损失函数，得到最优参数φ；
[0083]
s52、对原型网络改进以完成小样本手势识别模型的构建；
[0084]
为了进一步提升小样本手势识别的分类精度，对原型网络进行改进，在查询集映射到嵌入空间前，对查询集进行在线数据增强，实行在线数据增强后并没有实质增加数据量，只是对其中的数据进行随机翻转，导致每次训练的训练数据都不一样，这样就间接导致数据量的增加。它可以实现在不增加数据的情况下，让有限的数据产生更多的价值，进而提高分类精度。实验表明对原型网络进行改进后，小样本手势识别的分类效果有所提升。
[0085]
从图5～10可以看出，网络改进后精度都有所提升。图中pro代表只使用原型网络训练模型，pro+da代表利用基于数据增强的原型网络实现小样本手势识别。并且从图5～7中可以发现，k值一样时，随着n取值的增大，精度是逐渐降低的。而图8～10表明，n取值一样时，k值越大，精度越高。
[0086]
s6、小样本手势识别模型建立完毕后，将训练数据输入到模型中对其进行训练，待模型训练完成后用测试集进行测试，查看分类效果，得出识别精度。此模型实现了基于无线信号的小样本手势识别，实现通过训练每个类别中少量样本就能达到识别新类的目的。
[0087]
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。