一种基于毫米波雷达的煤矿场景手势识别方法与流程

本发明涉及毫米波雷达，更具体地，涉及一种基于毫米波雷达的煤矿场景手势识别方法。

背景技术：

1、随着计算机技术在人类生活中的广泛运用，人机交互已经成为人类生活中不可分离的一部分。人机交互旨在达到人类与计算机形成良好便捷的沟通，使得计算机更好的为人类所服务，满足人类的需求。人机交互包含了手势、眼动、人脸识别等新兴技术，其中手势识别作为最方便的一项被广泛运用。

2、非接触的手势识别系统在汽车用户界面中变得越来越重要，因为它们提高了安全性和舒适性，这种界面使驾驶员可以在与其他控件（例如，音频和空调）进行交互的同时专注于驾驶，从而提高驾驶员的安全性和舒适性。与人脸识别、hud显示和语音命令等先进技术相结合，将更好的应用于汽车交互。

3、在过去的十年中，已经涌现了许多基于视觉的动态手势识别算法。不过虽然各种计算机视觉算法已将彩色和深度相机用于手势识别，但是在广泛变化的光照条件下，对来自不同主体的手势进行可靠的分类仍然具有挑战性。尤其是针对煤矿场景下的复杂环境干扰和高粉尘的问题，现有基于计算机视觉和结构光的方案均会受到严重的干扰，准确率较低。同时，手势识别面临的另一个挑战是区分真实意图和人们自然做的所有意外手势，例如在与某人交谈时移动双手。由此带来的误识别很容易意外地触发操作并产生不稳定的影响。

技术实现思路

1、本发明的目的在于克服现有技术中存在的不足，提供了一种基于毫米波雷达的煤矿场景手势识别方法，能在昏暗且充满粉尘的复杂煤矿场景下通过毫米波雷达对不同的手势动作进行分类，规避传统计算机视觉方案易受环境干扰的弊端，实现对被控制设备下达不同的手势指令，通过事先制定的规则，使得设备执行不同的具体功能。

2、作为本发明的第一个方面，提供一种基于毫米波雷达的煤矿场景手势识别方法，所述基于毫米波雷达的煤矿场景手势识别方法包括如下步骤：

3、步骤s11：通过毫米波雷达采集当前时间段内目标手势的多个点云信息；其中，每一点云信息包括目标手势相对毫米波雷达的角度、目标手势相对毫米波雷达的径向速度、目标手势相对毫米波雷达的距离以及目标手势的反射强度；

4、步骤s12：根据当前时间段内目标手势的多个反射强度，计算出当前时间段内目标手势的平均反射强度；

5、步骤s13：根据当前时间段内所述目标手势的平均反射强度和所述目标手势的点云数量，判断出当前时间段内的目标手势是否为有效手势；

6、步骤s14：当所述当前时间段内的目标手势为有效手势时，将所述目标手势的多个点云信息输入到深度学习神经网络中进行类别识别，以输出当前时间段内目标手势的初始类别；

7、步骤s15：对所述深度学习神经网络进行测试，统计所述深度学习神经网络的测试结果，并根据所述深度学习神经网络的测试结果对所述当前时间段内目标手势的初始类别进行修正，以得到当前时间段内目标手势的最终类别。

8、进一步地，在所述步骤s12之前，还包括：

9、对所述当前时间段内目标手势的多个点云信息进行过滤，以将所述多个点云信息中的噪声点云信息过滤出去，得到所述当前时间段内目标手势的过滤后点云信息。

10、进一步地，所述根据当前时间段内所述目标手势的平均反射强度和所述目标手势的点云数量，判断出当前时间段内的目标手势是否为有效手势，还包括：

11、若所述目标手势的平均反射强度大于预设反射强度阈值，且所述目标手势的点云数量大于预设数量阈值，判断出所述当前时间段内的目标手势为有效手势；反之，判断出所述当前时间段内的目标手势为无效手势。

12、进一步地，所述当所述当前时间段内的目标手势为有效手势时，将所述目标手势的多个点云信息输入到深度学习神经网络中进行类别识别，以输出当前时间段内目标手势的初始类别，还包括：

13、所述深度学习神经网络包括四个输入层、四个双层lstm、一个拼接层、两个全连接层和一个输出层，两个全连接层之间添加了随机丢弃层；四个输入层分别对应所述目标手势相对毫米波雷达的角度的输入、目标手势相对毫米波雷达的径向速度的输入、目标手势相对毫米波雷达的距离的输入以及目标手势的反射强度的输入；四个所述双层lstm分别提取出各自输入信息的时间维度上的特征，然后四个所述双层lstm提取出的特征经过所述拼接层进行拼接，通过两个全连接层对拼接后的特征进行学习，最后通过所述输出层输出每个类别对应的预测概率值；将预测概率值最大的类别作为所述当前时间段内目标手势的初始类别。

14、进一步地，所述输出层包含softmax激活函数。

15、进一步地，还包括：

16、通过所述毫米波雷达将所述当前时间段内目标手势的多个点云信息上传至上位机；

17、通过所述上位机实现当前时间段内目标手势的识别；

18、其中，所述毫米波雷达通过串口通信的方式与所述上位机进行通信，所述毫米波雷达与所述上位机之间使用预先规定好的串口号和波特率建立连接。

19、进一步地，所述当前时间段内目标手势的多个点云信息为一个三维数组，第一个维度代表当前时间段内所述目标手势的采集帧数，第二个维度代表当前时间段内所述目标手势的点云数量，第三个维度代表当前时间段内所述目标手势的点云信息。

20、进一步地，所述判断出当前时间段内的目标手势是否为有效手势，还包括：

21、当判断出当前时间段内的目标手势为无效手势时，舍弃所述当前时间段内目标手势的多个点云信息，返回到步骤s11，重新获取下一时间段内目标手势的多个点云信息，以进行下一时间段内目标手势的识别。

22、本发明提供的一种基于毫米波雷达的煤矿场景手势识别方法具有以下优点：

23、①仅利用毫米波雷达进行手势动作的识别和分类，无需其他传感器配合，不受煤矿下复杂环境和粉尘的影响，抗干扰性好、稳定性高、鲁棒性强，十分适用于煤矿场景；

24、②相较于摄像头，毫米波雷达不会采集视频以及图像信息，可以有效地保护生产过程中的商业隐私信息，避免了泄密的风险；

25、③利用深度学习的方法对毫米波雷达采集得到的数据进行特征分类判别，相较于传统机器学习的算法识别准确率更高，识别的手势种类也更多。

技术特征：

1.一种基于毫米波雷达的煤矿场景手势识别方法，其特征在于，所述基于毫米波雷达的煤矿场景手势识别方法包括如下步骤：

2.根据权利要求1所述的一种基于毫米波雷达的煤矿场景手势识别方法，其特征在于，在所述步骤s12之前，还包括：

3.根据权利要求1所述的一种基于毫米波雷达的煤矿场景手势识别方法，其特征在于，所述根据当前时间段内所述目标手势的平均反射强度和所述目标手势的点云数量，判断出当前时间段内的目标手势是否为有效手势，还包括：

4.根据权利要求1所述的一种基于毫米波雷达的煤矿场景手势识别方法，其特征在于，所述当所述当前时间段内的目标手势为有效手势时，将所述目标手势的多个点云信息输入到深度学习神经网络中进行类别识别，以输出当前时间段内目标手势的初始类别，还包括：

5.根据权利要求4所述的一种基于毫米波雷达的煤矿场景手势识别方法，其特征在于，所述输出层包含softmax激活函数。

6.根据权利要求1所述的一种基于毫米波雷达的煤矿场景手势识别方法，其特征在于，还包括：

7.根据权利要求1所述的一种基于毫米波雷达的煤矿场景手势识别方法，其特征在于，所述当前时间段内目标手势的多个点云信息为一个三维数组，第一个维度代表当前时间段内所述目标手势的采集帧数，第二个维度代表当前时间段内所述目标手势的点云数量，第三个维度代表当前时间段内所述目标手势的点云信息。

8.根据权利要求1所述的一种基于毫米波雷达的煤矿场景手势识别方法，其特征在于，所述判断出当前时间段内的目标手势是否为有效手势，还包括：

技术总结
本发明涉及毫米波雷达技术领域，具体公开了一种基于毫米波雷达的煤矿场景手势识别方法，包括：通过毫米波雷达采集当前时间段内目标手势的多个点云信息；计算出当前时间段内目标手势的平均反射强度；判断出当前时间段内的目标手势是否为有效手势；当所述当前时间段内的目标手势为有效手势时，将目标手势的多个点云信息输入到深度学习神经网络中进行类别识别，以输出当前时间段内目标手势的初始类别；根据深度学习神经网络的测试结果对当前时间段内目标手势的初始类别进行修正，以得到当前时间段内目标手势的最终类别。本发明提供的基于毫米波雷达的煤矿场景手势识别方法，识别准确率更高，识别的手势种类也更多。

技术研发人员：朱成宇,岳靓,罗宜平,冯智,方梁雨
受保护的技术使用者：无锡威孚高科技集团股份有限公司
技术研发日：
技术公布日：2024/3/21