一种基于超声波的手势识别方法

本申请涉及无线感知，尤其涉及一种基于超声波的手势识别方法。

背景技术：

1、在当今数字化时代，科技的突飞猛进正引领人机交互方式产生根本的变革。在这场变革的浪潮中，手势识别作为一项前沿技术，正显露出其巨大的潜能。手势识别的目标在于实现人体手势动作的感知和解释，从而实现与设备的自然互动，无需实际的物理接触。这种技术利用各种无线信号(如雷达、射频、红外线等)或者传感器(如摄像头、声音传感器等)来捕捉手势动作的细微变化，然后通过分析这些信号的变化，识别和解释用户所做的手势动作。手势识别在虚拟现实、游戏、智能家居、医疗、工业等领域都具有广泛的应用前景，它为人机交互带来了更加直观、自然的方式，使用户能够通过手势来控制设备、传递指令或者交互操作，进一步丰富了数字化时代的交互体验。

2、目前在手势识别领域，使用不同的无线信号进行识别各具优缺点。雷达技术能够穿透障碍物，适合长距离识别，但其精确度可能较低。射频技术可在无视觉接触的情况下捕捉手势，但受到多径衰落等影响易产生干扰。红外线手势识别在室内环境中表现稳定，但受光线和其他干扰影响。与此类似，视频技术虽然可以使用摄像头进行较为精确的手势识别，但受设备的约束较大，且会对日常生活造成侵入，可能造成隐私泄露。然而，超声波手势识别凭借其高精确度、防干扰能力、安全性和多功能性等优势，在需求精细手势控制的场景中得到广泛应用，成为备受关注的选择之一。

3、在基于超声波的手势识别方法中，超声波信号的传播路径会受到环境的影响，从而引发多路径效应的现象。具体来说，当超声波信号在复杂的环境中传播时，它可能会与各种物体、表面和结构发生多次反射、折射和散射，从而在传播途中形成多条不同路径。这些路径的信号以不同的时延和相位到达接收器，相互叠加产生了复杂的波形，使得原始的超声波信号变得杂乱不清。这种多路径效应可能会导致以下问题。首先，信号的叠加可能会造成信号的失真，使得接收到的信号与实际发射的信号之间存在差异。其次，由于不同路径上的信号具有不同的时延和相位，它们的幅度和频谱特性也可能发生变化，使得信号的频谱分布变得复杂多样。这使得从原始信号中提取特定频率分量或特征变得更加困难。

4、另外，在使用超声波识别复杂手势时，传统机器学习和深度学习模型都会面临一些局限性，因为复杂手势可能在超声波信号中表现为高度关联的特征模式。传统识别模型可能无法很好地捕捉这种关联性，从而导致识别性能下降。因此，在处理这种情况时，寻找合适的特征表示和模型架构变得尤为重要。

5、综上，国内外在基于超声波的手势识别技术方面的研究已经取得一定理论成果，但该技术仍然存在一些问题需要解决。

技术实现思路

1、本申请提供了一种基于超声波的手势识别方法，能够解决上述提到的技术问题。

2、本申请的技术方案是一种基于超声波的手势识别方法，包括：

3、s1：通过扬声器来接收超声波信号；

4、s2：针对接收到的超声波信号，通过巴特沃斯带通滤波器进行首进行滤波处理；

5、s3：基于短时傅里叶变换将滤波后的超声波信号从时间域转化为频率域；

6、s4：采用基于阈值的轮廓提取算法针对频谱图；

7、s5：将处理后的频谱图输入添加了空间注意力机制的cnn网络中，注意力层通过学习每个频谱图中不同位置的权重，得到手势识别结果。

8、可选地，所述s4包括：

9、s41：轮廓提取算法的输入包括衰减比值x和频谱的幅度谱xdb_mod；

10、s42：循环遍历每个频率对于每个频率i，在所有时间窗口中的频率幅度值进行分析；

11、s43：对于当前频率i，计算其在所有时间窗口中的最大幅度值，并使用衰减比值x计算出阈值；

12、s44：在双层循环中，遍历频谱图的每个位置i，j；

13、s45：对于当前位置的频率幅度值xdb_mod[i,j]，在预定义的阈值范围中寻找相应的区间，将幅度值进行增强，输出经过轮廓提取后的频谱幅度谱xdb_mod[i,j]。

14、可选地，所述s5包括：

15、s51：采集到10个不同数字的手势数据集后，通过自定义的customdataset类，将图像加载、预处理为张量并进行归一化；

16、s52：使用卷积神经网络cnn提取特征，卷积神经网络cnn有3个卷积层，所有卷积操作都使用大小为3×3的卷积核；

17、s53：定义空间注意力模块，空间注意力模块通过卷积操作计算局部区域的注意力权重，并将其应用于输入特征图。

18、有益效果：

19、本申请通过巴特沃斯带通滤波和短时傅里叶变换，将原始音频序列转化为图像，从而更容易捕捉手势中的模式和变化，并且统一了数据格式，提升了后续处理的可操作性。其次，为了减少由多径效应引起的信号干扰，设计了轮廓提取算法。这一算法有助于增强特征表示、降低特征维度，并且能够提高模型的鲁棒性，以适应不同环境下的干扰和变化。最后，将空间注意力机制和cnn模型相结合，使得模型能够集中于关键区域，减少干扰信息，更好地理解手势的特征和形状，从而实现更精准的识别。

技术特征：

1.一种基于超声波的手势识别方法，其特征在于，包括：

2.根据权利要求1所述的基于超声波的手势识别方法，其特征在于，所述s4包括：

3.根据权利要求1所述的基于超声波的手势识别方法，其特征在于，所述s5包括：

技术总结
本申请涉及无线感知技术领域，尤其涉及一种基于超声波的手势识别方法。包括：通过扬声器来接收超声波信号；针对接收到的超声波信号，通过巴特沃斯带通滤波器进行首进行滤波处理；基于短时傅里叶变换将滤波后的超声波信号从时间域转化为频率域；采用基于阈值的轮廓提取算法针对频谱图；将处理后的频谱图输入添加了空间注意力机制的CNN网络中，注意力层通过学习每个频谱图中不同位置的权重，得到手势识别结果。本申请将空间注意力机制和CNN模型相结合，使得模型能够集中于关键区域，减少干扰信息，更好地理解手势的特征和形状，从而实现更精准的识别。

技术研发人员：杨杰明,林颖,吴云,张子涵,杨泽华,艾稀猛
受保护的技术使用者：东北电力大学
技术研发日：
技术公布日：2024/1/22