一种基于一发二收毫米波雷达的数字动作识别方法与流程

1.本发明涉及人工智能技术领域，特别是涉及一种基于一发二收毫米波雷达的数字动作识别方法。


背景技术：

2.现有的对手部比划数字的识别可以分为视觉和雷达两类；视觉主要是通过光学设备获得比划动作的图像，通过图像中的手指数量、肤色与周边环境的对比，通过神经网络模型去提取图像中表征不同数字的特征，以此实现一种静态的识别；雷达目前能实现数字动作识别的应用产品较少，但在科研上偏向于使用基于距离-多普勒图(range-doppler map，rd图)数据和深度学习的识别方法，通过区分不同动作的rd图来实现数字动作的识别。
3.针对基于视觉的识别，该技术受环境光线干扰强，易暴露个人信息；基于深度学习的实现对算力的需求较高，在soc(system on chip，片上系统)环境下实现比较困难。


技术实现要素：

4.本发明的目的在于，提供一种基于一发二收毫米波雷达的数字动作识别方法，对计算资源的开销较小，并且可以不受限于环境中的光线，能够将图像更准确地识别出来。
5.为实现上述目的，本发明提供一种基于一发二收毫米波雷达的数字动作识别方法，包括：
6.收集数字动作的雷达原始数据，对每一帧雷达原始数据进行处理，获得目标重心；
7.计算多帧所述目标重心的信息统计量，得到目标特征；
8.将所述目标特征输入到机器学习模型，作为进行数字动作的分类识别依据；
9.输入统计信息进行数字动作的分类识别。
10.进一步的，所述数字动作的分类识别包括数字0-3的识别。
11.进一步的，所述对每一帧雷达原始数据进行处理，获得目标重心的步骤包括：
12.以数据帧为单位生成单帧的雷达数据矩阵；
13.对所述雷达数据矩阵做二维快速傅里叶变换得到距离-多普勒图数据；
14.对所述距离-多普勒图的数据进行峰值提取，获得多个目标点；
15.根据多个目标点获得所述目标重心。
16.进一步的，对所述雷达数据矩阵做二维快速傅里叶变换得到距离-多普勒图数据后，在对所述距离-多普勒图的数据进行峰值提取之前，还包括：根据雷达多普勒图测速原理对距离-多普勒图的数据进行静态目标剔除。
17.进一步的，根据多个目标点获得所述目标重心包括:
18.对多个目标点关于幅度做加权计算后得到所述目标重心。
19.进一步的，所述计算多帧所述目标重心的信息统计量，得到目标特征的步骤包括：计算所述目标重心的距离、速度、相位的多帧累计的变化数据作为所述目标特征。
20.进一步的，所述计算所述目标重心的距离、速度、相位的多帧累计的变化数据包
括：使用固定长度的滑窗对所述变化数据进行采样，当出现连续多帧数据的距离、速度和相位不为零且出现在滑窗中部时，判断该段数据有效；将该段数据中包含的所述变化数据全为0的帧数据视作无效帧并清除，剩余的数据按时间顺序排列进行特征数据的提取计算。
21.进一步的，所述进行特征数据的提取计算包括：
22.(a)在有效数据中，速度值为正数的帧数据占所有帧的比例以及速度值为负的帧数据占所有帧的比例，用于判断数字1；
23.(b)在有效数据中，以在垂直方向上距离雷达最近的点为分界点，后半部分有效帧的速度和，用于判断数字0；
24.(c)在有效数据中，末尾数帧的数据的相位正负值，用于区分数字2和3。
25.进一步的，将所述目标特征输入到机器学习模型，进行数字动作的分类识别，包括：
26.机器学习模型中根据输入的统计信息与目标特征是否吻合来进行数字动作的分类识别。
27.进一步的，机器学习模型根据训练数据中不同的数字动作的统计信息的区别来区分不同的数字动作的特征；
28.通过人为分析统计信息来确定不同的数字动作特征的区别，来适应不同人动作差异的特征；并识别统计信息与目标特征中的数字动作是否为同一个特征。
29.相比于现有技术，在本发明的基于一发二收毫米波雷达的数字动作识别方法中，通过收集数字动作的雷达原始数据，对每一帧雷达原始数据进行处理，获得目标重心；计算多帧所述目标重心的信息统计量，得到目标特征；将所述目标特征输入到机器学习模型，作为进行数字动作的分类识别依据；输入统计信息进行数字动作的分类识别。由此来实现数字动作的识别，该技术实现对计算资源开销要求较低，并且不受限于环境中的光线，能够将图像更准确地识别出来。
附图说明
30.图1为本发明一个实施例中基于一发二收毫米波雷达的数字动作识别方法的流程示意图；
31.图2为本发明一个实施例中svm模型识别数字1的预测效果图；
32.图3为本发明一个实施例中svm模型识别数字0的预测效果图；
33.图4为本发明一个实施例中svm模型识别数字2与3的预测效果图；
34.图5为本发明一个实施例中svm模型识别数字1的训练结果图；
35.图6为本发明一个实施例中svm模型识别数字0的训练结果图；
36.图7为本发明一个实施例中svm模型识别数字2与3的训练结果图；
37.图8为本发明一个实施例中手写数字动作设计效果图。
具体实施方式
38.下面将结合示意图对本发明的一种基于一发二收毫米波雷达的数字动作识别方法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本
领域技术人员的广泛知道，而并不作为对本发明的限制。
39.在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
40.本发明提供一种基于一发二收毫米波雷达的数字动作识别方法，参考图1所示，包括：
41.收集数字动作的雷达原始数据，对每一帧雷达原始数据进行处理，获得目标重心；
42.计算多帧所述目标重心的信息统计量，得到目标特征；
43.将所述目标特征输入到机器学习模型，作为进行数字动作的分类识别依据；
44.输入统计信息进行数字动作的分类识别。
45.在本实施例中，机器学习模型采用的是支持向量机(svm)；此外，考虑到人的书写习惯，一般来说是对着平行于人身体正面的平面做动作书写会比较舒适；而雷达的数据大部分是相对雷达径向的数据，因此为了使雷达能尽量多地得到有效数据，本发明在搭建硬件时用户的手与雷达硬件平行，书写这个动作相对于雷达是径向移动，因此识别数字动作得到的有效数据较多。
46.具体的，数字动作的分类识别包括数字0-3的识别。
47.具体的，在本实施例中，所述对每一帧雷达原始数据进行处理，获得目标重心的步骤包括：通过定义帧周期，可以把连续的雷达原始数据切分成以帧为单位的离散数据集合；对一帧原始数据按照距离、速度、天线通道进行排列，可以得到一组三维数组，该数据是以数据帧为单位生成的单帧的雷达数据矩阵；对所述雷达数据矩阵在距离、速度这两个维度上分别做二维快速傅里叶变换得到距离-多普勒图数据；通过设置能量幅值阈值并在幅值和速度值上对所述距离-多普勒图的数据进行峰值提取，获得多个目标点；根据多个目标点获得所述目标重心。
48.其中，对所述雷达数据矩阵做二维快速傅里叶变换得到距离-多普勒图数据后，在对所述距离-多普勒图的数据进行峰值提取之前，还包括：根据雷达多普勒图测速原理对距离-多普勒图的数据进行静态目标剔除。
49.具体的，根据多个目标点获得所述目标重心包括:对多个目标点关于幅度做加权计算后得到所述目标重心；该目标重心可视作是此时刻数字动作的一个抽象表征。
50.在本实施例中，所述计算多帧所述目标重心的信息统计量，得到目标特征的步骤包括：计算所述目标重心的距离、速度、相位的多帧累计的变化数据作为所述目标特征。
51.其中，所述计算所述目标重心的距离、速度、相位的多帧累计的变化数据包括：使用固定长度的滑窗对所述变化数据进行采样，当出现连续多帧数据的距离、速度和相位不为零且出现在滑窗中部时，判断该段数据有效；将该段数据中包含的所述变化数据全为0的帧数据视作无效帧并清除，剩余的数据按时间顺序排列进行所述进行特征数据的提取计算，svm模型根据训练数据中不同的数字动作的统计信息的区别确定可以用来区分不同的数字动作的特征；这个特征是通过人为地分析统计信息来确定，并进一步归一化成能够适应不同人动作差异的特征，因此判别不同数字动作的特征不一定是同一个特征。
52.在本实施例中，机器学习模型根据训练数据中不同的数字动作的统计信息的区别来区分不同的数字动作的特征；通过人为分析统计信息来确定不同的数字动作特征的区
别，来适应不同人动作差异的特征；并识别统计信息与目标特征中的数字动作是否为同一个特征。
53.其中，将所述目标特征输入到机器学习模型，进行数字动作的分类识别，包括：机器学习模型中根据输入的统计信息与目标特征是否吻合来进行数字动作的分类识别。
54.在本实施例中，缓存一个完整动作的多帧信息，视50帧为一个处理单元；对处理单元中目标重心速度为0的数据进行剔除，剩余的数据视作连续数据进行统计信息的计算并将统计信息输入到机器学习模型(如svm模型)中进行数字动作的识别；svm模型中包含了数字动作的各个特征，会根据输入的统计信息与特征是否吻合来判断数字动作的类型。。
55.svm模型根据训练数据中不同的数字动作的统计信息的区别确定可以用来区分不同的数字动作的特征；这个特征是通过人为地分析统计信息来确定，并进一步归一化成能够适应不同人动作差异的特征，因此判别不同数字动作的特征不一定是同一个特征。在本实施例中，我们将从采集的动作轨迹数据提取的目标特征输入到svm模型中，让svm模型计算出能够将动作数据区分开的相关特征值阈值，该步骤称为基于动作轨迹数据训练svm模型；最后得到的svm模型对训练数据集的区分训练效果和测试效果如图2-图7所示，其中a表示为正类，b为表示负类，c则表示预测的错误结果，d表示支持向量，图中的分割线表示svm的超平面。其中，对数字动作的判断标准是通过对svm模型数据训练计算得出，且svm的模型为通用模型。
56.在本实施例中，需要计算并用作判断不同数字动作特征的有效统计信息包括：
57.(a)在有效数据中，速度值为正数的帧数据占所有帧的比例以及速度值为负的帧数据占所有帧的比例，用于判断数字1。如图2和图5所示，其中1为正类，0、2、3为负类，通过正负速度占比可以很好地将1与其他数字区分开来；
58.(b)在有效数据中，以在垂直方向上距离雷达最近的点为分界点，后半部分有效帧的速度和，用于判断数字0。如图3和图6所示，其中0为正类，2、3为负类，以最低点之后的正速度之和为特征，可以很好地区分0和其他数字；
59.(c)在有效数据中，末尾数帧的数据的相位正负值，用于区分数字2和3。如图4和图7所示，满足(a)条件的判断为数字1，满足(b)条件的判断为数字0，不满足(a)和(b)的数据通过条件(c)来区分是数字2还是数字3，其中2为正类，3为负类。
60.此外，由于模型中判别不同数字动作的特征相对固定，而比划出相同数字的动作不止一种，因此在本实施例中，我们采用的指定数字动作的动作如图8箭头所示。
61.本发明在硬件条件为一发二收天线的毫米波雷达下，实现0—3这4种数字动作的识别；且实现对计算资源开销要求较低，识别过程不受环境光线的影响，对比现有的基于图像的识别技术来说更为简单。
62.综上所述，本发明通过可以在硬件条件为一发二收天线的毫米波雷达的情况下，实现数字动作的识别，并且不受限于环境中的光线，能够将动作更准确地识别出来。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。