一种基于毫米波雷达的手势识别方法、装置及终端设备与流程

1.本发明涉及人机交互领域，尤其涉及一种基于毫米波雷达的手势识别方法、装置及终端设备。


背景技术：

2.随着人机交互技术的不断发展，手势识别成为人机交互的一个重要研究方向，在各个应用领域得到广泛推广使用。现有手势识别有声波手势识别、基于可见光的图像分析的手势识别。对于声波手势识别，在周围环境噪音大时，噪音会对声波手势判别造成干扰，大大降低准确度。对于基于可见光的图像分析的手势识别，在周围环境是弱光或没有光时，准确度也非常低。因此，对于基于毫米波雷达的手势识别具有广阔研究应用前景。现有毫米波手势识别处于前期研究阶段，存在基于毫米波雷达的手势识别准确度较低的问题。


技术实现要素：

3.为了解决上述技术问题，本发明实施例提供了一种基于毫米波雷达的手势识别方法、装置、终端设备。
4.第一方面，本发明实施例提供了一种基于毫米波雷达的手势识别方法，应用于包括毫米波雷达的终端设备，所述方法包括：
5.获取毫米波雷达扫描产生的回波信号；
6.根据所述回波信号及所述毫米波雷达的参数，生成多帧初始距离多普勒矩阵，所述初始距离多普勒矩阵为二维矩阵，所述初始距离多普勒矩阵在第一维度上的位置表示反射所述回波信号的对象与所述毫米波雷达之间的距离，所述初始距离多普勒矩阵在第二维度上的位置表示所述对象相对于所述毫米波雷达的速度，所述初始距离多普勒矩阵的元素表示所述对象在对应的距离和速度下反射的回波信号的信号强度；
7.对所述多帧初始距离多普勒矩阵进行降噪预处理，得到多帧距离多普勒矩阵；
8.将所述多帧距离多普勒矩阵输入手势识别神经网络模型以识别出手势的类别。
9.第二方面，本发明实施例提供了一种基于毫米波雷达的手势识别装置，应用于包括毫米波雷达的移动终端，所述基于毫米波雷达的手势识别装置包括：
10.获取模块，用于获取毫米波雷达扫描产生的回波信号；
11.第一生成模块，用于根据所述回波信号及所述毫米波雷达的参数，生成多帧初始距离多普勒矩阵，所述初始距离多普勒矩阵为二维矩阵，所述初始距离多普勒矩阵在第一维度上的位置表示反射所述回波信号的对象与所述毫米波雷达之间的距离，所述初始距离多普勒矩阵在第二维度上的位置表示所述对象相对于所述毫米波雷达的速度，所述初始距离多普勒矩阵的元素表示所述对象在对应的距离和速度下反射的回波信号的信号强度；
12.处理模块，用于对所述多帧初始距离多普勒矩阵进行降噪预处理，得到多帧距离多普勒矩阵；
13.识别模块，用于将所述多帧距离多普勒矩阵输入手势识别神经网络模型以识别出
手势的类别。
14.第三方面，本发明实施例提供了一种终端设备，包括毫米波雷达、存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的基于毫米波雷达的手势识别方法。
15.第四方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的基于毫米波雷达的手势识别方法。
16.上述本技术提供的基于毫米波雷达的手势识别方法，获取毫米波雷达扫描产生的回波信号；根据回波信号及毫米波雷达的参数，生成多帧初始距离多普勒矩阵；对多帧初始距离多普勒矩阵进行降噪预处理，得到多帧距离多普勒矩阵；将所述多帧距离多普勒矩阵输入手势识别神经网络模型以识别出手势的类别。这样，通过手势识别神经网络模型对多帧距离多普勒矩阵进行识别，提高毫米波手势识别的准确率。
附图说明
17.为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
18.图1示出了本技术提供的基于毫米波雷达的手势识别方法的一流程图；
19.图2示出了本技术提供的距离多普勒矩阵的一示例图；
20.图3示出了本技术提供的基于毫米波雷达的手势识别方法的步骤s102的流程图；
21.图4示出了本技术提供的基于毫米波雷达的手势识别方法的步骤s103的流程图；
22.图5示出了本技术提供的基于毫米波雷达的手势识别方法的步骤s1034的流程图；
23.图6示出了本技术提供的基于毫米波雷达的手势识别方法的另一流程图；
24.图7示出了本技术提供的信号强度变化曲线的示例图；
25.图8示出了本技术提供的目标曲线的示例图；
26.图9示出了本技术提供的建立手势识别网络模型的建立的流程图；
27.图10示出了本技术提供的基于毫米波雷达的手势识别装置的一结构图；
28.图11示出了本技术提供的终端设备的一结构图。
具体实施方式
29.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
30.通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一
个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
32.此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
33.除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
34.参见图1，图1本技术提供的基于毫米波雷达的手势识别方法的一流程图。下面结合图1对基于毫米波雷达的手势识别方法进行说明。
35.步骤s101，获取毫米波雷达扫描产生的回波信号。
36.在本实施例中，毫米波雷达的芯片可以为英飞凌毫米波芯片，毫米波雷达可以为调频连续波(frequency modulated continuous wave，fmcw)雷达，调频连续波雷达可以发送多个周期的线性调频(chrip)序列，线性调频序列遇到障碍物，例如人体的手部等对象，将信号进行反射，产生回波信号。
37.步骤s102，根据所述回波信号及所述毫米波雷达的参数，生成多帧初始距离多普勒矩阵。
38.在本实施例中，所述初始距离多普勒矩阵为二维矩阵，所述初始距离多普勒矩阵在第一维度上的位置表示反射所述回波信号的对象与所述毫米波雷达之间的距离，所述初始距离多普勒矩阵在第二维度上的位置表示所述对象相对于所述毫米波雷达的速度，所述初始距离多普勒矩阵的元素表示所述对象在对应的距离和速度下反射的回波信号的信号强度。
39.举例来说，在一段时间内，毫米波雷达每隔几毫秒向周围环境发送线性调频序列，线性调频(chrip)序列遇到障碍物，例如人的手，反射回波信号，例如，手势动作持续3秒，在手势持续的3秒内，毫米波雷达采集60帧的数据，每一帧数据是毫米波雷达分多次采集到的，例如，毫米波每隔3毫秒采集一次数据，采集一帧数据需要毫米波雷达采集10次。上述示例中相关数值仅作示例，实际情况中对应数值根据毫米波雷达的参数进行确定，在此不做限定。
40.在本实施例中，终端设备可以为移动终端、车载终端、视频终端等。下面对移动终端的手势应用场景进行说明。在移动终端的手势应用场景中，初始距离多普勒矩阵的行数及列数可以分别为16、64，即初始距离多普勒矩阵为16
×
64的二维矩阵。初始距离多普勒矩阵的行数表示障碍物，例如手部，距离移动终端的距离，考虑到移动终端的手势动作的应用场景中，手部距离移动终端的距离处于0-50cm的范围内，可以将50cm均分为16份，每一份大概是3cm的分辨率。初始距离多普勒矩阵的列数表示手部相对于移动终端的速度，若毫米波芯片可以识别的最大速度是a m/s，然后除以64，即a/64就是速度的分辨率。考虑到手部动作的速度在一定的范围内，根据经验，保留较低速度范围，保留18个值，即保留0到a/64
×
18m/s的速度范围，表示速度的最大识别能力是a/64
×
18m/s。
41.可选的，请参阅图2，图2示出了本技术提供的初始距离多普勒矩阵的一示例图。在图2中，初始距离多普勒矩阵的行数为16行，表示手部距离毫米波雷达的最远距离是16
×
3cm，即手部距离毫米波雷达的最远距离是48cm。初始距离多普勒矩阵的列数为18，表示手部相对于毫米波雷达的最大速度为a/64
×
18m/s，在图2所示的距离速度坐标系下，坐标点对应的颜色，表示手部与毫米波雷达之间处于对应距离、且手部相对于毫米波雷达处于对应速度下反射的回波信号的信号强度。不同颜色表示不同信号强度。在图2中亮度越大，表示信号强度越强。
42.可选的，请参阅图3，图3示出了本技术提供的基于毫米波雷达的手势识别方法的步骤s102的流程图。
43.步骤s1021，根据所述回波信号及所述毫米波雷达的参数，通过快时间维度快速傅里叶变换计算所述对象与所述毫米波雷达之间的距离，通过慢时间维度快速傅里叶变换计算所述对象相对所述毫米波雷达的速度。
44.在本实施例中，所述快时间维度表示所述回波信号的单个线性调频序列，所述慢时间维度表示所述回波信号的信号帧，每个信号帧包括多个线性调频序列。
45.在本实施方式中，可以根据回波信号及毫米波雷达的参数，通过快时间维度fft得到距离信息r，根据公式(1)推导出公式(2)，根据公式(2)计算反射回波信号的对象与毫米波雷达之间的距离r，公式(1)、(2)如下：
46.公式(1)：
47.公式(2)：
48.其中，其中f
movingbeat
和f
staticbeat
分别为对象在运动状态、静止状态下的差拍信号的频率，fc为扫频带宽，r为反射回波信号的对象与毫米波雷达之间的距离，c为光速，tc为扫频周期。
49.根据回波信号及毫米波雷达的参数，再通过慢时间维度fft得到速度信息v，根据公式(3)推导出公式(4)，根据公式(4)计算反射回波信号的对象相对于毫米波雷达的速度v，公式(3)、(4)如下：
50.公式(3)：
51.公式(4)：
52.其中，fd为多普勒频率，c为光速，f为线性调频序列信号的中心频率，v为反射回波信号的对象相对于毫米波雷达的速度。
53.步骤s1022，根据所述对象与所述毫米波雷达之间的距离、所述对象相对所述毫米波雷达的速度、所述回波信号的信号强度生成多帧初始距离多普勒矩阵。
54.请再次参阅图2，初始距离多普勒矩阵可以用距离多普勒图进行表示，在距离速度坐标系下，坐标点对应的颜色，表示反射回波信号的对象，例如手部，与毫米波雷达之间处于对应距离、且手部相对于毫米波雷达处于对应速度下反射的回波信号的信号强度。不同颜色表示不同信号强度。在图2中亮度越大，表示信号强度越强。在本实施例中，若有60帧初始距离多普勒矩阵，则对应有60帧如图2所示的距离多普勒图。
55.这样，可以快速生成多帧初始距离多普勒矩阵，便于后续进行手势类别识别。
56.步骤s103，对所述多帧初始距离多普勒矩阵进行降噪预处理，得到多帧距离多普勒矩阵。
57.可选的，请参阅图4，图4示出了本技术提供的基于毫米波雷达的手势识别方法的步骤s103的流程图。
58.步骤s1031，从所述多帧初始距离多普勒矩阵中确定最强信号强度大于预设阈值的第一初始距离多普勒矩阵。
59.步骤s1032，从所述多帧初始距离多普勒矩阵中确定最强信号强度小于等于所述预设阈值的第二初始距离多普勒矩阵。
60.步骤s1033，将所述第一初始距离多普勒矩阵的每一元素的信号强度除以所述第一初始距离多普勒矩阵的最强信号强度的商值设置为第三初始距离多普勒矩阵对应元素的信号强度。
61.在本实施方式至，所述第三初始距离多普勒矩阵与所述第一初始距离多普勒矩阵具有相同维度及相同元素个数。
62.可选的，步骤s1033包括：
63.根据以下公式计算第三初始距离多普勒矩阵的每一元素对应的信号强度，将计算得到信号强度设置为所述第三初始距离多普勒矩阵对应元素的信号强度；
64.公式(5)：
65.其中，x
i'j'
表示第三初始距离多普勒矩阵中第i’行第j’列元素的信号强度，x
max
表示第一初始距离多普勒矩阵的最强信号强度，x
ij
表示第一初始距离多普勒矩阵中第i行第j列元素的信号强度，a为预设阈值。
66.在本实施方式中，等号的含义为：将第一初始距离多普勒矩阵第i行第j列元素的信号强度除以初始距离多普勒矩阵的最强信号强度的商值，赋值给第三初始距离多普勒矩阵中第i’行第j’列元素，a为预设阈值。举例来说，a可以为1。
67.这样，通过公式(5)，可以快速对初始距离多普勒矩阵进行类似归一化处理，降低不同人的手部反射回波信号的信号强度的差异。
68.步骤s1034，根据所述第三初始距离多普勒矩阵、及所述第二初始距离多普勒矩阵生成所述多帧距离多普勒矩阵。
69.在本实施方式中，考虑到由于每个人的手部存在差异性，反映在初始距离多普勒矩阵中，其各个距离、各个速度对应的回波信号的信号强度存在一定差异，对得到的初始距离多普勒矩阵进行上述类似归一化的处理，可以减少人与人之间的差异性，避免数据出现很大差异。
70.可选的，请参阅图5，图5示出了本技术提供的基于毫米波雷达的手势识别方法的步骤s1034的流程图。步骤s1034包括：
71.步骤s10341，按照时间顺序，对所述第三初始距离多普勒矩阵、及所述第二初始距离多普勒矩阵进行排序，得到距离多普勒矩阵序列。
72.步骤s10342，依次将所述距离多普勒矩阵序列中，任意相邻两帧的后一帧距离多普勒矩阵的信号强度调整为目标信号强度，将所述距离多普勒矩阵序列中的第一帧距离多普勒矩阵及调整后的距离多普勒矩阵作为所述多帧距离多普勒矩阵，所述目标信号强度为
后一帧距离多普勒矩阵的当前信号强度与前一帧距离多普勒矩阵的当前信号强度的差值。
73.在本实施方式中，获取所述第三初始距离多普勒矩阵对应的第一初始距离多普勒矩阵的回波信号的采集时间、获取所述第二初始距离多普勒矩阵的回波信号的采集时间，根据采集时间进行排序，得到距离多普勒矩阵序列。
74.在本实施例中，考虑到毫米波雷达的芯片受到温度影响，会导致发射信号发生改变，采用动目标检测(moving targets indication，mti)对第一初始距离多普勒矩阵、第二初始距离多普勒矩阵进行处理，即用距离多普勒矩阵序列的后一帧距离多普勒矩阵的信号强度对前一帧距离多普勒矩阵信号强度做差值，只显示物体例如手部有动作、移动时，某一速度和某一距离下反射的回波信号的峰值，过滤物体例如手部静止时反射的回波信号的峰值，可以排除背景信号影响，更清晰地反映手势动作，并且排除毫米波雷达的芯片随温度变化的影响，提高手势识别的精确度。
75.步骤s104，将所述多帧距离多普勒矩阵输入手势识别神经网络模型以识别出手势的类别。
76.在本实施例中，所述手势识别神经网络模型基于lstm神经网络模型训练得到。多帧距离多普勒矩阵可以为60帧距离多普勒矩阵，即60帧16
×
18的距离多普勒矩阵。
77.在本实施例中，所述手势的类别包括以下类别中的至少一个：手掌拍打手势、手掌旋转手势、手掌平移手势、手指捏住手势、手指握持手势、手指转动手势等。不同手势类别对应的距离多普勒矩阵是不同的，根据距离多普勒矩阵的特征，能准确进行手势识别。
78.可选的，请参阅图6，图6示出了本技术提供的基于毫米波雷达的手势识别方法的另一流程图。
79.步骤s106，计算每帧距离多普勒矩阵的信号强度总和。
80.在本实施例中，可以通过对每帧距离多普勒矩阵的信号强度进行积分计算，得到信号强度总和。
81.步骤s107，根据所述每帧距离多普勒矩阵的信号强度总和，生成所述多帧距离多普勒矩阵的信号强度变化曲线。
82.请参阅图7，图7所示为信号强度变化曲线的示例图。生成所述多帧距离多普勒矩阵的信号强度变化曲线的步骤可以包括建立坐标系，在坐标系中标记每帧距离多普勒矩阵的信号强度总和对应的数值，生成的信号强度变化曲线可以包括多个波峰及波谷。
83.步骤s108，将所述信号强度变化曲线中数值低于预设数值的线段去掉，得到目标曲线。
84.请参阅图8，图8所示为目标曲线的示例图。图8为图7中的信号强度变化曲线去掉预设数值b以下的线段以后得到曲线。
85.步骤s109，在所述目标曲线的波峰的数量大于等于预设数量的情况下，确定所述对象的手势类别识别正确。
86.在本实施方式中，可以预先对每一手势类型的波峰特征进行统计，例如对手掌拍打手势、手掌旋转手势、手掌平移手势、手指捏住手势、手指握持手势、手指转动手势等的60帧距离多普勒矩阵的波峰特征进行统计，从而确定每一类手势类别对应的波峰数量，根据统计的波峰数量，确定每一手势类别的预设数量。预设数量可以根据实验数据进行确定。例如，手掌拍打手势对应的预设数量为3。
87.举例来说，图8中的波峰数量为4，若预设数量为3，则确定对象的手势类别识别正确。
88.步骤s1010，在所述目标曲线的波峰的数量小于预设数量的情况下，确定所述对象的手势类型识别错误。
89.举例来说，图8中的波峰数量为4，若预设数量为5，则确定对象的手势类别识别错误。
90.在本实施方式中，根据经验，对于不同的手势类型，距离多普勒矩阵的信号强度呈现一定的特征，可以通过对不同的手势类型的距离多普勒矩阵的信号强度的特征进行统计，以进一步对识别出的手势类别进行判断。例如，通过对多帧距离多普勒矩阵的信号强度的总和是否满足预设条件，通过步骤s106-步骤109对手势类别是否正确进行判断，提高手势识别的准确度。
91.可选的，所述确定所述对象的手势类别识别正确之后，所述方法还包括：
92.确定与所述对象的手势类别对应的终端操作；响应所述终端操作。
93.例如，对于移动终端来说，手势类别为拍打手势，拍打手势对应的终端操作为解锁屏幕，则响应解锁屏幕。对视频终端来说，手势类别为拍打手势，拍打手势对应的终端操作为打开视频，则响应打开视频。手势类别还可以对应其他操作，在此不做限制。
94.可选的，参阅图9，图9示出了本技术提供的建立手势识别网络模型的建立的流程图；
95.步骤s1011，构建lstm神经网络模型。
96.在本实施例中，长短期记忆网络(long short-term memory，lstm)是一种时间循环神经网络，lstm神经网络模型是循环神经网络(rnn)的一种类型，可以学习长期依赖信息。lstm神经网络模型包括进行记忆的细胞(cells)，可以直接把进行记忆的细胞想做黑盒，这个黑盒的输入为前状态和当前输入。这些细胞会决定哪些之前的信息和状态需要保留记住，而哪些要被抹去。实际的应用中发现，这种方式可以有效地保存之前很长时间的关联信息。lstm神经网络模型能够通过有效地关联先前的动作，判断手势动作的类别。构建lstm神经网络模型包括初始参数设置、学习率设置等。
97.步骤s1012，获取所述毫米波雷达对多种手势样本扫描得到的回波信号。
98.在本实施例中，对手掌拍打手势、手掌旋转手势、手掌平移手势、手指捏住手势、手指握持手势、手指转动手势等手势类别进行扫描，分别得到对应的回波信号。
99.步骤s1013，根据所述多种手势样本的所述回波信号，生成多种手势样本的距离多普勒矩阵。
100.对手掌拍打手势、手掌旋转手势、手掌平移手势、手指捏住手势、手指握持手势、手指转动手势等手势类别的回波信号，生成对应的距离多普勒矩阵。生成距离多普勒矩阵的详细过程可以参阅前文对步骤s101-103的描述，在此不做赘述。
101.步骤s1014，将所述多种手势样本的距离多普勒矩阵作为训练集，输入所述lstm神经网络模型进行训练，得到所述手势识别神经网络模型。
102.在本实施例中，手掌拍打手势、手掌旋转手势、手掌平移手势、手指捏住手势、手指握持手势、手指转动手势等手势类别对应的距离多普勒矩阵输入lstm神经网络模型进行训练，对lstm神经网络模型的配置参数进行调整，得到手势识别神经网络模型。这样，可以得
到优化的手势识别神经网络模型，通过手势识别神经网络模型可以将输入的多帧距离多普勒矩阵的特征进行分类，从而分类得到手势的类别。
103.本实施例提供的基于毫米波雷达的手势识别方法，获取毫米波雷达扫描产生的回波信号；根据所述回波信号及所述毫米波雷达的参数，生成多帧初始距离多普勒矩阵；对所述多帧初始距离多普勒矩阵进行降噪预处理，得到多帧距离多普勒矩阵；将所述多帧距离多普勒矩阵输入手势识别神经网络模型以识别出手势的类别。这样，通过手势识别神经网络模型对距离多普勒矩阵进行识别，提高毫米波手势识别的准确率。
104.实施例2
105.此外，本公开实施例提供了一种基于毫米波雷达的手势识别装置，应用于包括毫米波雷达的终端设备。
106.具体的，如图10所示，基于毫米波雷达的手势识别装置1000包括：
107.获取模块1001，用于获取毫米波雷达扫描产生的回波信号；
108.第一生成模块1002，用于根据所述回波信号及所述毫米波雷达的参数，生成多帧初始距离多普勒矩阵，所述初始距离多普勒矩阵为二维矩阵，所述初始距离多普勒矩阵在第一维度上的位置表示反射所述回波信号的对象与所述毫米波雷达之间的距离，所述初始距离多普勒矩阵在第二维度上的位置表示所述对象相对于所述毫米波雷达的速度，所述初始距离多普勒矩阵的元素表示所述对象在对应的距离和速度下反射的回波信号的信号强度；
109.处理模块1003，用于对所述多帧初始距离多普勒矩阵进行降噪预处理，得到多帧距离多普勒矩阵；
110.识别模块1005，用于将所述多帧距离多普勒矩阵输入手势识别神经网络模型以识别出手势的类别。
111.可选的，所述第一生成模块1002包括：
112.计算子模块，用于根据所述回波信号及所述毫米波雷达的参数，通过快时间维度快速傅里叶变换计算所述对象与所述毫米波雷达之间的距离，通过慢时间维度快速傅里叶变换计算所述对象相对所述毫米波雷达的速度，其中，所述快时间维度表示所述回波信号的单个线性调频序列，所述慢时间维度表示所述回波信号的信号帧，每个信号帧包括多个线性调频序列；
113.第一生成子模块，用于根据所述对象与所述毫米波雷达之间的距离、所述对象相对所述毫米波雷达的速度、所述回波信号的信号强度生成多帧初始距离多普勒矩阵。
114.可选的，所述处理模块1003包括：
115.第一确定子模块，用于从所述多帧初始距离多普勒矩阵中确定最强信号强度大于预设阈值的第一初始距离多普勒矩阵；
116.第一确定子模块，用于从所述多帧初始距离多普勒矩阵中确定最强信号强度小于等于所述预设阈值的第二初始距离多普勒矩阵；
117.调整子模块，用于将所述第一初始距离多普勒矩阵的每一元素的信号强度除以所述第一初始距离多普勒矩阵的最强信号强度的商值设置为第三初始距离多普勒矩阵对应元素的信号强度，所述第三初始距离多普勒矩阵与所述第一初始距离多普勒矩阵具有相同维度及相同元素个数；
118.处理子模块，用于根据所述第三初始距离多普勒矩阵、及所述第二初始距离多普勒矩阵生成所述多帧距离多普勒矩阵。
119.可选的，所述调整子模块，用于根据以下公式计算第三初始距离多普勒矩阵的每一元素对应的信号强度，将计算得到信号强度设置为所述第三初始距离多普勒矩阵对应元素的信号强度；
[0120][0121]
其中，x
i'j'
表示第三初始距离多普勒矩阵中第i’行第j’列元素的信号强度，x
max
表示第一初始距离多普勒矩阵的最强信号强度，x
ij
表示第一初始距离多普勒矩阵中第i行第j列元素的信号强度，a为预设阈值。
[0122]
可选的，所述处理子模块包括：
[0123]
排序单元，用于按照时间顺序，对所述第三第一初始距离多普勒矩阵、及所述第二初始距离多普勒矩阵进行排序，得到距离多普勒矩阵序列；
[0124]
处理单元，用于依次将所述距离多普勒矩阵序列中，任意相邻两帧的后一帧距离多普勒矩阵的信号强度调整为目标信号强度，将所述距离多普勒矩阵序列中的第一帧距离多普勒矩阵及调整后的距离多普勒矩阵作为所述多帧距离多普勒矩阵，所述目标信号强度为后一帧距离多普勒矩阵的当前信号强度与前一帧距离多普勒矩阵的当前信号强度的差值。
[0125]
可选的，基于毫米波雷达的手势识别装置1000还包括：
[0126]
计算模块，用于计算每帧距离多普勒矩阵的信号强度总和；
[0127]
第二生成模块，用于根据所述每帧距离多普勒矩阵的信号强度总和，生成所述多帧距离多普勒矩阵的信号强度变化曲线；
[0128]
调整模块，用于将所述信号强度变化曲线中数值低于预设数值的线段去掉，得到目标曲线；
[0129]
第一确定模块，用于在所述目标曲线的波峰的数量大于等于预设数量的情况下，确定所述对象的手势类别识别正确；
[0130]
第二确定模块，用于在所述目标曲线的波峰的数量小于预设数量的情况下，确定所述对象的手势类型识别错误。
[0131]
可选的，识别模块1005包括：
[0132]
构建子模块，用于构建lstm神经网络模型；
[0133]
获取子模块，用于获取所述毫米波雷达对多种手势样本扫描得到的回波信号；
[0134]
第二生成子模块，用于根据所述多种手势样本的所述回波信号，生成多种手势样本的距离多普勒矩阵；
[0135]
训练子模块，用于将所述多种手势样本的距离多普勒矩阵作为训练集，输入所述lstm神经网络模型进行训练，得到所述手势识别神经网络模型。
[0136]
基于毫米波雷达的手势识别装置1000可以实现图1所示基于毫米波雷达的手势识别方法，为避免重复，在此不再赘述。
[0137]
本实施例提供的基于毫米波雷达的手势识别装置，获取毫米波雷达扫描产生的回波信号；根据所述回波信号及所述毫米波雷达的参数，生成多帧初始距离多普勒矩阵；对所
述多帧初始距离多普勒矩阵进行降噪预处理，得到多帧距离多普勒矩阵；将所述多帧距离多普勒矩阵输入手势识别神经网络模型以识别出手势的类别。这样，通过手势识别神经网络模型对距离多普勒矩阵进行识别，提高毫米波手势识别的准确率。
[0138]
实施例3
[0139]
此外，本公开实施例提供了一种终端设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行上述方法实施例1所提供的基于毫米波雷达的手势识别方法。
[0140]
图11为本技术提供的终端设备的一结构图。
[0141]
具体的，如图11所示，本实施例提供的终端设备1100包括：
[0142]
射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器11011、处理器1110、电源1111、毫米波雷达11等部件。本领域技术人员可以理解，图11中示出的终端设备结构并不构成对终端设备的限定，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，终端设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
[0143]
其中，处理器1110，用于：获取毫米波雷达扫描产生的回波信号；
[0144]
根据所述回波信号及所述毫米波雷达的参数，生成多帧初始距离多普勒矩阵，所述初始距离多普勒矩阵为二维矩阵，所述初始距离多普勒矩阵在第一维度上的位置表示反射所述回波信号的对象与所述毫米波雷达之间的距离，所述初始距离多普勒矩阵在第二维度上的位置表示所述对象相对于所述毫米波雷达的速度，所述初始距离多普勒矩阵的元素表示所述对象在对应的距离和速度下反射的回波信号的信号强度；
[0145]
对所述多帧初始距离多普勒矩阵进行降噪预处理，得到多帧距离多普勒矩阵；
[0146]
将所述多帧距离多普勒矩阵输入手势识别神经网络模型以识别出手势的类别。
[0147]
可选的，处理器1110，还用于：根据所述回波信号及所述毫米波雷达的参数，通过快时间维度快速傅里叶变换计算所述对象与所述毫米波雷达之间的距离，通过慢时间维度快速傅里叶变换计算所述对象相对所述毫米波雷达的速度，其中，所述快时间维度表示所述回波信号的单个线性调频序列，所述慢时间维度表示所述回波信号的信号帧，每个信号帧包括多个线性调频序列；
[0148]
根据所述对象与所述毫米波雷达之间的距离、所述对象相对所述毫米波雷达的速度、所述回波信号的信号强度生成多帧初始距离多普勒矩阵。
[0149]
可选的，处理器1110，还用于：从所述多帧初始距离多普勒矩阵中确定最强信号强度大于预设阈值的第一初始距离多普勒矩阵；
[0150]
从所述多帧初始距离多普勒矩阵中确定最强信号强度小于等于所述预设阈值的第二初始距离多普勒矩阵；
[0151]
将所述第一初始距离多普勒矩阵的每一元素的信号强度除以所述第一初始距离多普勒矩阵的最强信号强度的商值设置为第三初始距离多普勒矩阵对应元素的信号强度，所述第三初始距离多普勒矩阵与所述第一初始距离多普勒矩阵具有相同维度及相同元素个数；
[0152]
根据所述第三初始距离多普勒矩阵、及所述第二初始距离多普勒矩阵生成所述多
帧距离多普勒矩阵。
[0153]
可选的，处理器1110，还用于：根据以下公式计算第三初始距离多普勒矩阵的每一元素对应的信号强度，将计算得到信号强度设置为所述第三初始距离多普勒矩阵对应元素的信号强度；
[0154][0155]
其中，x
i'j'
表示第三初始距离多普勒矩阵中第i’行第j’列元素的信号强度，x
max
表示第一初始距离多普勒矩阵的最强信号强度，x
ij
表示第一初始距离多普勒矩阵中第i行第j列元素的信号强度，a为预设阈值。
[0156]
可选的，处理器1110，还用于：按照时间顺序，对所述第三初始距离多普勒矩阵、及所述第二初始距离多普勒矩阵进行排序，得到距离多普勒矩阵序列；
[0157]
依次将所述距离多普勒矩阵序列中，任意相邻两帧的后一帧距离多普勒矩阵的信号强度调整为目标信号强度，将所述距离多普勒矩阵序列中的第一帧距离多普勒矩阵及调整后的距离多普勒矩阵作为所述多帧距离多普勒矩阵，所述目标信号强度为后一帧距离多普勒矩阵的当前信号强度与前一帧距离多普勒矩阵的当前信号强度的差值。
[0158]
可选的，处理器1110，还用于：计算每帧距离多普勒矩阵的信号强度总和；
[0159]
根据所述每帧距离多普勒矩阵的信号强度总和，生成所述多帧距离多普勒矩阵的信号强度变化曲线；
[0160]
将所述信号强度变化曲线中数值低于预设数值的线段去掉，得到目标曲线；
[0161]
在所述目标曲线的波峰的数量大于等于预设数量的情况下，确定所述对象的手势类别识别正确；
[0162]
在所述目标曲线的波峰的数量小于预设数量的情况下，确定所述对象的手势类型识别错误。
[0163]
可选的，处理器1110，还用于：
[0164]
构建lstm神经网络模型；
[0165]
获取所述毫米波雷达对多种手势样本扫描得到的回波信号；
[0166]
根据所述多种手势样本的所述回波信号，生成多种手势样本的距离多普勒矩阵；
[0167]
将所述多种手势样本的距离多普勒矩阵作为训练集，输入所述lstm神经网络模型进行训练，得到所述手势识别神经网络模型。
[0168]
应理解的是，本发明实施例中，射频单元1101可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器1110处理；另外，将上行的数据发送给基站。通常，射频单元1101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元1101还可以通过无线通信系统与网络和其他设备通信。
[0169]
终端设备通过网络模块1102为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
[0170]
音频输出单元1103可以将射频单元1101或网络模块1102接收的或者在存储器1109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元1103还可以提供与终端设备1100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收
声音等等)。音频输出单元1103包括扬声器、蜂鸣器以及受话器等。
[0171]
输入单元1104用于接收音频或视频信号。输入单元1104可以包括图形处理器(graphics processing unit，gpu)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获终端设备(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以视频播放在显示单元1106上。经图形处理器11041处理后的图像帧可以存储在存储器1109(或其它存储介质)中或者经由射频单元1101或网络模块1102进行发送。麦克风11042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1101发送到移动通信基站的格式输出。
[0172]
终端设备1100还包括至少一种传感器1105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板11061的亮度，接近传感器可在终端设备1100移动到耳边时，关闭显示面板11061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器1105还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
[0173]
显示单元1106用于视频播放由用户输入的信息或提供给用户的信息。显示单元1106可包括显示面板11061，可以采用液晶视频播放器(liquid crystal display，lcd)、有机发光二极管(organic light-emitting diode,oled)等形式来配置显示面板11061。
[0174]
用户输入单元1107可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元1107包括触控面板11071以及其他输入设备11072。触控面板11071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板11071上或在触控面板11071附近的操作)。触控面板11071可包括触摸检测终端设备和触摸控制器两个部分。其中，触摸检测终端设备检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测终端设备上接收触摸信息，并将它转换成触点坐标，再送给处理器1110，接收处理器1110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板11071。除了触控面板11071，用户输入单元1107还可以包括其他输入设备11072。具体地，其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
[0175]
进一步的，触控面板11071可覆盖在显示面板11061上，当触控面板11071检测到在其上或附近的触摸操作后，传送给处理器1110以确定触摸事件的类型，随后处理器1110根据触摸事件的类型在显示面板11061上提供相应的视觉输出。虽然在图5中，触控面板11071与显示面板11061是作为两个独立的部件来实现终端设备的输入和输出功能，但是在某些实施例中，可以将触控面板11071与显示面板11061集成而实现终端设备的输入和输出功能，具体此处不做限定。
[0176]
接口单元1108为外部终端设备与终端设备1100连接的接口。例如，外部终端设备可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端
口、存储卡端口、用于连接具有识别模块的终端设备的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元1108可以用于接收来自外部终端设备的输入(例如，数据信息、电力等等)并且将接收到的输入传输到终端设备1100内的一个或多个元件或者可以用于在终端设备1100和外部终端设备之间传输数据。
[0177]
存储器1109可用于存储软件程序以及各种数据。存储器1109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0178]
处理器1110是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器1109内的软件程序和/或模块，以及调用存储在存储器1109内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。处理器1110可包括一个或多个处理单元；优选的，处理器1110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。
[0179]
终端设备1100还可以包括给各个部件供电的电源1111(比如电池)，优选的，电源1111可以通过电源管理系统与处理器1110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
[0180]
另外，终端设备1100包括一些未示出的功能模块，在此不再赘述。
[0181]
本实施例提供的终端设备，获取毫米波雷达扫描产生的回波信号；根据所述回波信号及所述毫米波雷达的参数，生成多帧初始距离多普勒矩阵；对所述多帧初始距离多普勒矩阵进行降噪预处理，得到多帧距离多普勒矩阵；将所述多帧距离多普勒矩阵输入手势识别神经网络模型；通过所述手势识别神经网络模型对所述多帧距离多普勒矩阵进行识别，得到手势的类别。这样，通过基于lstm神经网络模型训练得到手势识别神经网络模型对距离多普勒矩阵进行识别，提高毫米波手势识别的准确率。
[0182]
实施例4
[0183]
本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
[0184]
获取毫米波雷达扫描产生的回波信号；
[0185]
根据所述回波信号及所述毫米波雷达的参数，生成多帧初始距离多普勒矩阵，所述初始距离多普勒矩阵为二维矩阵，所述初始距离多普勒矩阵在第一维度上的位置表示反射所述回波信号的对象与所述毫米波雷达之间的距离，所述初始距离多普勒矩阵在第二维度上的位置表示所述对象相对于所述毫米波雷达的速度，所述初始距离多普勒矩阵的元素表示所述对象在对应的距离和速度下反射的回波信号的信号强度；
[0186]
对所述多帧初始距离多普勒矩阵进行降噪预处理，得到多帧距离多普勒矩阵；
[0187]
将所述多帧距离多普勒矩阵输入手势识别神经网络模型以识别出手势的类别。
[0188]
本实施例提供的计算机刻度存储介质可以实现实施例1所示基于毫米波雷达的手势识别方法，为避免重复，在此不再赘述。
[0189]
在本实施例中，计算机可读存储介质可以为只读存储器(read-only memory，简称
rom)、随机存取存储器(random accessmemory，简称ram)、磁碟或者光盘等。
[0190]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
[0191]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0192]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。