一种基于多视图神经网络的Wi-Fi手势识别方法

本发明涉及普适计算和wi-fi感知领域，尤其涉及一种基于多视图神经网络的wi-fi手势识别方法。

背景技术：

1、无线感知是近些年来普适计算、移动计算及人机交互领域的一个重要研究方向，提供了一种全新的物理世界感知方式，即通过利用环境中已有的无线信号实现非接触式的情境感知。wi-fi信号作为常见的无线通信媒介已广泛存在于日常生活环境中，复用这些无处不在的wi-fi信号，以无接触的方式在自然状态下感知人或环境的情境信息已成为一个新兴且极具潜力的研究方向。得益于在商用wi-fi设备上获取的信道状态信息(channelstate information,csi)，wi-fi无线感知受到了学术界和工业界的广泛关注，相较于图像感知、可穿戴感知等技术，基于商用wi-fi设备的无线感知无需在环境中部署任何专用传感设备，也不需感知目标携带任何传感器，具有普适性强、感知范围广、感知成本低、不侵扰用户、不泄露隐私等特点和优势，已逐步应用于智能家居、安防监控、健康监护等领域。

2、手势识别是wi-fi无线感知的重要研究内容之一，在人机交互、智能家居等方面具有重要的应用。手势是最自然的交互方式之一，为人们提供更直观、便捷和自然的操作，使用户无需触摸屏幕或操作物理按钮即可与设备进行交互，更加流畅和便捷。同时，手势识别系统可以为特殊人群提供重要的辅助功能，帮助他们与技术和数字设备进行交互。例如老年人和残障人士可以方便地使用手势来控制家居自动化系统，包括打开或关闭灯光、调节温度、打开窗帘等。基于wi-fi信号的手势基本原理在于不同的手势会对接收信号造成不同的影响，通过分析和处理wi-fi信号，建立信号变化模式与感知目标手势之间的映射关系，即可根据接收到的wi-fi信号推断感知目标的手势类别。

3、目前，已经有一些使用wi-fi信号进行手势识别的系统。一部分工作是基于理论模型的手势识别方法，主要根据物理现象建立感知信号与手势之间有明确物理含义的量化关系，从而通过特定物理量实现手势识别。其优势在于感知机理具有清晰的物理解释，可实现对感知目标鲁棒且精准的识别。然而，对于感知信号变化模式较为复杂的手势，仅依赖专家知识很难找到可以刻画多种复杂手势的感知模型。另一部分工作是基于信号模式的手势识别方法，主要通过机器学习或者深度学习方法从大量标记数据中提取信号变化模式的相关统计特征，进而训练分类模型以实现手势识别。然而，现有基于深度学习的手势识别方法通常是在感知目标位置和朝向相对训练数据大致不变的情况下进行判断，因为不同位置和朝向所对应的感知信号变化模式可能不同，导致跨位置/朝向场景下模型识别精度降低。

4、综合来看，现有基于深度学习的wi-fi手势识别方法鲁棒性低和泛化性差，无法保证在实际应用场景中的精准度和稳定性。

技术实现思路

1、针对上述问题，本发明的目的是提出一种基于多视图神经网络的wi-fi手势识别方法，通过融合不同设备的多视图感知数据以提取与环境无关特征，实现感知用户跨位置、朝向场景下的手势鲁棒识别，以更好适应动态复杂的真实场景，推动wi-fi手势识别走向实用。

2、为实现上述目的，本发明采用多视图神经网络、时空注意力机制、对比学习等技术，从多个wi-fi设备所获取的感知信号中自动提取与环境无关的可泛化特征，提升了手势识别模型面向不同环境、不同用户等场景下的鲁棒性和泛化性。

3、本发明提供的技术方案如下：

4、一种基于多视图神经网络的wi-fi手势识别方法，具体步骤包括：

5、1)wi-fi csi信号采集：通过在感知区域内部署多对wi-fi设备收集不同位置、方向和环境下原始csi的感知信号；

6、2)感知信号处理与转换：首先采用csi商消除wi-fi设备硬件噪声，并使用移动平均方法滤除感知信号的高频噪声；其次，采用数据转换方法将去噪后的感知信号变换成图片数据作为wi-fi设备的互补感知数据；

7、3)多视图神经网络：融合多个wi-fi设备获取到的互补感知数据，通过注意力机制提取跨视角的深度语义特征；具体包含以下步骤：

8、31)首先采用共享的cnn主干分别从每个视角的数据中提取视角特征；

9、32)通过跨视角时空注意力机制整合不同视角的互补信息；

10、33)最后通过动态加权机制融合每个视角的特征，生成用于手势识别的最终特征表示；

11、4)可泛化特征学习：通过最小化对比损失函数来学习环境无关的可泛化特征；

12、5)手势识别：通过全连接网络计算输出的手势识别结果。

13、进一步，步骤2)中csi的感知信号表示为：

14、

15、其中a(f,t)表示振幅中的脉冲噪声，θ0(f,t)表示随机相位误差，hs(f,t)表示静态感知信号部分，hd(f,t)表示动态感知部分。使用滑动窗口遍历该数据，计算窗口内的csi复数平均值，作为当前点的滤波后csi数据。对去噪后的csi数据提取幅度、相位，在进行信号时间维差分消除零频后，调用短时傅里叶变换stft工具包获取多普勒频偏，将变换后的时域数据和频域数据存储为rgb图片格式。

16、进一步，所述步骤31)具体包括如下步骤：

17、311)采用基于残差网络的两个独立的cnn主干，提取特征：

18、

19、

20、其中和是多层残差网络块，θt和θf是对应可训练的参数，和分别表示从复数感知信号汇总提取出的相位和频率偏移数据，v表示感知视角数，即接收设备数量；

21、312)沿着通道维度进行串联，即

22、313)利用全连接网络计算注意力权重，然后通过softmax函数对其进行归一化，得到与不同通道对应的权重α；

23、314)应用一个卷积层从加权输入中生成视角内特征。

24、进一步，所述步骤32)具体包括如下步骤：

25、321)给定第i个视图在时间步t的视图信息，表示为采用时间感知加权平均模块使用滑动窗口计算每个视图的加权平均值：其中wj表示不同视图的权重，s表示滑动窗口的大小；

26、322)对于每个视图i，首先选择m个候选视图，从候选视图中随机选择r个目标视图，每个候选视图被选择的概率相等，自适应地选择具有信息量的视图。

27、进一步，所述步骤33)具体包括如下步骤：

28、331)定义一组具有不同尺度pk的卷积核大小，在每个卷积块中采用了d个滤波器，每个卷积块的尺寸为pk×d，用于提取pk时间范围内的变化模式；

29、332)利用每个卷积块的可学习权重将片段级特征输出；

30、333)给定第i个视图的特征通过使用注意力分数对zi进行加权求和，得到整合的特征表示zglobal。

31、进一步，所述步骤4)具体包括如下步骤：

32、41)已知样本i的特征表示zi，选择其类原型wc来构建原型到正样本对，将原型wc和样本嵌入zi映射到另一个特征空间，对比损失函数为：

33、

34、其中τ为温度系数，r为手势总的类别数，p为负样本对数，n为总的样本数；

35、42)在总体损失函数中考虑每个视图的损失和总目标函数以及对比损失函数

36、

37、

38、

39、其中fclassifier表示基于全连接网络的分类器，zi表示提取的手势特征，θclassifier表示全连接网络的权重；表示交叉熵损失函数，y表示真实值，表示预测值；β1和β2为加权值。

40、43)通过最小化这个目标函数，从多个视图中学习更具辨别性和鲁棒性的特征。

41、进一步，所述5)具体为，首先采用一层全连接网络，基于获取得到的手势特征，计算每个神经元的输出结果，然后再通过softmax函数获取每种类型手势的概率，最后选择概率最大的手势类别作为输出的类别。

42、本发明具有以下优点：

43、1、本发明提出采用csi商方法对获取的原始感知信号进行去噪，提升了手势识别模型输入数据的质量，解决数据噪音对手势识别性能的影响；

44、2、本发明提出多视图神经网络来融合多个wi-fi设备获取到的互补感知信息，减小了人机交互过程中对用户位置和朝向的要求，同时提升了模型在不同位置和朝向下的识别准确率；

45、3、本发明提出利用对比学习方法学习环境无关的可泛化特征，提升了模型在跨环境、跨用户场景中的手势识别性能，大大减小了系统部署过程中对模型进行重新优化的成本。实现结果表明本发明可以得到鲁棒性强、泛化性好的wi-fi手势识别系统。