一种基于非正对场景点云的舱内手势识别方法及系统与流程

本发明涉及手势识别，尤其是指一种基于非正对场景点云的舱内手势识别方法及系统。

背景技术：

1、随着科学技术的不断发展和人们对生活水平的不断追求，对手势识别领域的研究也越来越多，根据需求避免语音控制影响其他人休息。仅利用雷达自身检测到的回波信号，无需和其他传感器结合，降低了成本及计算复杂度，且不受光线等因素的影响，抗干扰能力强，可以24小时全天候工作，易用性高。

2、对于手势动作的获取，现有技术大多是通过摄像头检测手势或者通过tof检测，但是基于摄像头的手势识别检测算法受光照的影响较大，基于tof的检测点云数较多，导致了较高的计算复杂、对算力要求高、价格昂贵等问题。毫米波雷达进行目标分类的算法主要包括以下几种，有些方法提出基于雷达点云数据进行航迹跟踪，主要包括目标不同方向的距离、速度均值方差、方位俯仰角度均值方差、雷达散射截面积的均值方差等特征，并采用不同的神经网络完成目标分类。但此类方法依赖于点云数据质量和数量，对毫米波雷达硬件条件要求较高，需要雷达具有较高的角分辨率。还有一些方法利用单幅、或者联合多副距离-多普勒图(rd图)，提取目标距离维展宽、速度维展宽等能够反映目标物理结构或微动的特征，以及前后帧的rd图差异性提取。这一类的特征提取方法受限于rd图，且在多目标情况下不太适用。而且上述大多只针对正对场景下的手势识别。

技术实现思路

1、本发明的目的是在于克服现有技术中存在的不足，提供一种基于非正对场景点云的舱内手势识别方法及系统，能够消除环境干扰、提高识别准确度、降低对算力的需求，具有距离范围可调、全天候、可适用于非正对场景的特点，不仅能有效实时检测手势位置，还能快速进行手势动作识别，在工程上更具适用性。

2、为解决上述技术问题，本发明提供一种基于非正对场景点云的舱内手势识别方法，包括：

3、基于毫米波雷达获取目标手势当前帧点云数据；

4、对所述当前帧点云数据进行筛选，以进行假目标去除；

5、进行点迹凝聚，将筛选后所述前帧点云数据进行点迹凝聚，获取当前帧信号强度最大的点，作为当前帧的手势动点；

6、对当前帧的手势动点进行坐标变换处理，将所述目标手势的坐标从雷达坐标系转换到与手势正前方对齐的新坐标系，得到坐标转换后的当前帧手势动点；

7、进行关联状态判断，通过当前帧运动模型对下一帧的运动状态进行预测，包括预测的距离、速度、方位角和俯仰角，如果坐标转换后的下一帧手势动点落在当前帧通过运动模型预测后的波门内，判断为关联状态，航迹起始，所述波门定义为点的距离、速度、角度联合关联门限；

8、将关联的点云添加到所述航迹，后续的每帧重复进行假目标去除、点迹凝聚、坐标变换处理和关联状态判断操作，直至没有关联上的点迹，判断为航迹终结，得到航迹信息；

9、提取所述航迹信息的特征，根据所述特征和对应类别手势动作训练分类器，利用所述分类器对不同类别手势动作的特征进行分类。

10、在本发明的一种实施方式中，基于毫米波雷达获取目标手势当前帧点云数据，包括：

11、基于毫米波雷达发送检测信号并接收反馈信号，所述反馈信号为所述检测信号与检测范围内的目标手势接触后生成的信号；

12、基于所述检测信号以及所述反馈信号生成中频信号；

13、对所述中频信号进行处理，得到所述前帧点云数据点。

14、在本发明的一种实施方式中，对所述中频信号进行处理，包括：

15、对所述中频信号进行包括快速傅里叶变换和/或恒虚警检测处理和/或dbf解角处理，得到与所述目标手势对应的径向距离、高度和方位角度、俯仰角度信息。

16、在本发明的一种实施方式中，对所述当前帧点云数据进行筛选，以进行假目标去除，包括：

17、对于预先设定的距离和速度范围内的雷达fov范围，进行点云数据的筛选，剔除速度绝对值小于0.1m/s的静态目标点，并将连续多帧出现距离、速度、角度均相同的点识别为虚假目标并进行剔除。

18、在本发明的一种实施方式中，对当前帧的手势动点进行坐标变换处理，包括：

19、对于第i个点[xi，yi，zi]：

20、

21、式中，[x0，y0，z0]表示雷达转换后坐标，[δxi，δyi，δzi]表示以[x0，y0，z0]为原点的第i个点的新坐标；

22、θ表示旋转的角度，即雷达现在的位置和手势坐标与水平方向和竖直方向的夹角，分别对应两次坐标转换到手势正前方，得到坐标转换后的点云信息。

23、在本发明的一种实施方式中，所述航迹信息的特征，包括：距离、速度、方位角、俯仰角航迹的斜率、极点数、首末距离变化、连续下降和连续上升点的个数的比例、横向距离rx、纵向距离ry、竖直距离rz的最大最小值以及最大最小值点对应的索引。

24、在本发明的一种实施方式中，将航迹信息的径向距离按方位角、俯仰角分解到雷达直角坐标系得到横向距离rx、纵向距离ry、竖直距离rz。

25、本发明还提供一种基于非正对场景点云的舱内手势识别系统，包括：

26、点云数据获取模块，用于基于毫米波雷达获取目标手势当前帧点云数据；

27、假目标去除模块，用于对所述当前帧点云数据进行筛选，以进行假目标去除；

28、手势动点获取模块，用于进行点迹凝聚，将筛选后所述前帧点云数据进行点迹凝聚，获取当前帧信号强度最大的点，作为当前帧的手势动点；

29、坐标转换模块，用于对当前帧的手势动点进行坐标变换处理，将所述目标手势的坐标从雷达坐标系转换到与手势正前方对齐的新坐标系，得到坐标转换后的当前帧手势动点；

30、关联状态判断模块，用于进行关联状态判断，通过当前帧运动模型对下一帧的运动状态进行预测，包括预测的距离、速度、方位角和俯仰角，如果坐标转换后的下一帧手势动点落在当前帧通过运动模型预测后的波门内，判断为关联状态，航迹起始，所述波门定义为点的距离、速度、角度联合关联门限；

31、航迹信息获取模块，用于将关联的点云添加到所述航迹，后续的每帧重复进行假目标去除、点迹凝聚、坐标变换处理和关联状态判断操作，直至没有关联上的点迹，判断为航迹终结，得到航迹信息；

32、手势动作属性筛选模块，用于提取所述航迹信息的特征，根据所述特征和对应类别手势动作训练分类器，利用所述分类器对不同类别手势动作的特征进行分类。

33、本发明的上述技术方案相比现有技术具有以下优点：

34、本发明所述的一种基于非正对场景点云的舱内手势识别方法及系统，仅利用毫米波雷达进行手势动作的识别，无需其他传感器配合，不受光线、距离影响，抗干扰性好、稳定性高、鲁棒性强，更具适用性；利用对毫米波雷达信号数据处理距离可调的优势，减少点云数据量，可以集成到硬件，对算力要求低；通过初步手势位置进行坐标转换，形成以手势正前方为原点的坐标系，进而提高手势识别准确率。

技术特征：

1.一种基于非正对场景点云的舱内手势识别方法，其特征在于，包括：

2.根据权利要求1所述的一种基于非正对场景点云的舱内手势识别方法，其特征在于，基于毫米波雷达获取目标手势当前帧点云数据，包括：

3.根据权利要求2所述的一种基于非正对场景点云的舱内手势识别方法，其特征在于，对所述中频信号进行处理，包括：

4.根据权利要求1所述的一种基于非正对场景点云的舱内手势识别方法，其特征在于，对所述当前帧点云数据进行筛选，以进行假目标去除，包括：

5.根据权利要求1所述的一种基于非正对场景点云的舱内手势识别方法，其特征在于，对当前帧的手势动点进行坐标变换处理，包括：

6.根据权利要求1所述的一种基于非正对场景点云的舱内手势识别方法，其特征在于，所述航迹信息的特征，包括：距离、速度、方位角、俯仰角航迹的斜率、极点数、首末距离变化、连续下降和连续上升点的个数的比例、横向距离rx、纵向距离ry、竖直距离rz的最大最小值以及最大最小值点对应的索引。

7.根据权利要求6所述的一种基于非正对场景点云的舱内手势识别方法，其特征在于，将航迹信息的径向距离按方位角、俯仰角分解到雷达直角坐标系得到横向距离rx、纵向距离ry、竖直距离rz。

8.一种基于非正对场景点云的舱内手势识别系统，其特征在于，包括：

技术总结
本发明涉及一种基于非正对场景点云的舱内手势识别方法及系统。本发明包括获取目标手势当前帧点云数据；进行假目标去除；进行点迹凝聚，获取前手势动点；对当前帧的手势动点进行坐标变换处理，将所述目标手势的坐标从雷达坐标系转换到与手势正前方对齐的新坐标系，得到坐标转换后的当前帧手势动点；进行关联状态判断，得到航迹信息；提取所述航迹信息的特征，根据所述特征和对应类别手势动作训练分类器，利用所述分类器对不同类别手势动作的特征进行分类。本发明消除了环境干扰，提高了识别准确度。

技术研发人员：屈操,方梁雨,冯智,岳靓,陈帅,罗宜平
受保护的技术使用者：无锡威孚高科技集团股份有限公司
技术研发日：
技术公布日：2024/3/31