一种基于毫米波雷达的跨模态监督行人步态识别方法

本发明涉及生物特征识别与雷达信号处理，更具体地，涉及一种基于毫米波雷达的跨模态监督行人步态识别方法。

背景技术：

1、步态是一种可应用于身份验证的生物特征，主要指人类的行走方式和走路姿态，人类的步态各不相同并且难以被隐藏和模仿，因此基于步态的身份识别在近年来得到了大量的关注。与指纹识别、虹膜识别、人脸识别等常见的生物识别技术相比，步态识别可以实现非接触式、非侵入式、中远距离的被动身份识别，可广泛应用于安全监控、门禁系统、智能家居、人机交互等领域。

2、目前获取人类步态数据的方式主要依赖于视觉传感器或可穿戴设备，基于视觉传感器的步态识别方法从图像或视频中提取行人轮廓进行识别，但多数视觉传感器在光线条件较差的情况下无法正常工作，并且视觉传感器会侵犯用户隐私，这导致该方法在很多场景下无法适用。而接触式的可穿戴设备的使用较为繁琐，在需要进行多人身份识别的场景下无法适用。

3、由于毫米波雷达技术的不断发展，基于毫米波雷达的步态识别方法逐渐得到研究与关注。与视觉传感器相比，毫米波雷达在光线条件很差的情况下依然能正常工作，毫米波能够穿透雨雾、玻璃和屏风等遮挡物，此外，通过毫米波雷达采集步态数据能够有效避免侵犯用户隐私。与可穿戴设备相比，毫米波雷达无需用户佩戴各种设备，大大提高用户体验。

4、目前主流的基于毫米波雷达的步态识别方法通过从雷达回波数据中提取行人点云序列，再经过机器学习或深度学习模型进行身份识别。行人的点云序列含有重要的时空特征，能够体现每个人独特的行走方式和空间变化信息，对其进行特征提取和分类能够实现身份识别。但毫米波雷达生成的点云稀疏多变，由于镜面反射原理，每帧的人体毫米波回波信号中只包含人体部分区域的信息，并且极易受环境中静态杂波的影响。此外，随着行人距离的增加，毫米波雷达在垂直方向上的分辨率会逐渐不满足检测需求，对应的毫米波雷达点云也会变得更加稀疏，这给后续的步态特征提取与分类带来了很大的影响。

5、因此，当行人毫米波雷达点云因为检测环境而表征能力下降时，如何保证步态识别的稳定性成为了亟待解决的问题。

技术实现思路

1、本发明提供一种基于毫米波雷达的跨模态监督行人步态识别方法，解决了毫米波雷达点云因为检测环境而表征能力下降时保证步态识别的稳定性技术问题。

2、为解决上述技术问题，本发明的技术方案如下：

3、一种基于毫米波雷达的跨模态监督行人步态识别方法，包括以下步骤：

4、采集行人的毫米波雷达信号与视频信号；

5、逐帧对所述毫米波雷达信号进行预处理，得到行人点云序列和微多普勒特征；

6、在所述视频信号的视觉信息监督下，利用所述行人点云序列和微多普勒特征对预设的步态识别网络模型进行训练，得到训练好的步态识别网络模型，所述训练好的步态识别网络模型的输入为行人点云序列和微多普勒特征，输出为预测的行人步态识别结果；

7、根据所述训练好的步态识别网络模型对待识别的行人的毫米波雷达信号进行识别。

8、在上述技术手段中，通过引入视觉信息的监督，限制行人点云特征空间，在行人点云表征能力下降时，保证模型仍能够稳定地提取有效特征以进行步态识别。

9、进一步的，所述逐帧对所述毫米波雷达信号进行预处理包括使用静态杂波滤波器去除环境中静止目标引起的静态杂波干扰。

10、进一步的，所述行人点云序列，包括：

11、对毫米波雷达信号i为行人样本总数，沿第一维度和第二维度执行时频变换得到距离-速度-通道三维信号

12、沿通道维度对信号进行非相干叠加，得到距离-速度图

13、对逐单元进行阈值判别，若某单元的能量值大于设定阈值，则将该单元视为目标点；

14、对每个目标点，取其第三维度信号根据毫米波雷达发射天线与接收天线排布方式将其构造为二维信号对进行二维时频变换得到方位角-俯仰角二维角度谱对进行谱峰搜索得到目标点角度信息，此时目标点为

15、每个目标点进行坐标变换后为所有目标点构成第t帧内的行人目标点云其中j为单帧内的目标点总数；

16、将所有帧的组合得到行人点云序列

17、进一步的，所述微多普勒特征，包括：

18、从中提取速度维度一维信号

19、将所有帧的组合得到微多普勒特征|ri(v，t)|。

20、进一步的，所述从中提取速度维度一维信号提取公式如下：

21、

22、进一步的，所述预设的步态识别网络模型包括毫米波雷达点云特征提取模块微多普勒特征提取模块特征融合模块步态识别模块人体关键点估计模块和基于视觉人体关键点估计模块其中：

23、所述毫米波雷达点云特征提取模块从所述行人点云序列中提取点云时空特征

24、所述微多普勒特征提取模块从所述微多普勒特征|ri(v，t)|中提取步态微动特征fmi；

25、所述特征融合模块将所述点云时空特征和步态微动特征fmi进行特征融合；

26、所述步态识别模块根据所述特征融合模块融合后的特征预测行人身份信息；

27、所述人体关键点估计模块从所述点云时空特征预测人体关键点

28、基于视觉人体关键点估计模块从所述视频信号中计算每帧人体关键点伪标签

29、进一步的，在所述视频信号的视觉信息监督下，利用所述行人点云序列和微多普勒特征对预设的步态识别网络模型进行训练，得到训练好的步态识别网络模型，包括以下步骤：

30、构造步态数据库将其划分为训练集和测试集其中itrain为训练集样本数量，为视频信号；

31、在视觉信号监督下对预设的步态识别网络模型进行训练；

32、对初步训练完成的步态识别网络模型，删除所述人体关键点估计模块和基于视觉人体关键点估计模块后，使用测试集进行测试，得到训练好的步态识别网络模型。

33、进一步的，所述在视觉信号监督下对预设的步态识别网络模型进行训练，包括以下步骤：

34、输入|ri(v，t)|与其中i∈[1，…，itrain]；

35、利用所述基于视觉人体关键点估计模块计算每帧人体关键点伪标签其中表示人体关键点三维坐标；

36、利用所述毫米波雷达点云特征提取模块提取行人点云时空特征

37、利用所述微多普勒特征提取模块提取行人步态微动特征

38、利用人体关键点估计模块预测人体关键点

39、利用特征融合模块对点云时空特征和步态微动特征fmi进行融合，并预测行人身份信息；

40、根据人体关键点和每帧人体关键点伪标签计算人体关键点预测损失；

41、根据计算预测行人身份信息，计算行人身份预测损失；

42、根据所述人体关键点预测损失和行人身份预测损失，计算总损失；

43、根据所述总损失对所述毫米波雷达点云特征提取模块微多普勒特征提取模块特征融合模块步态识别模块和人体关键点估计模块的参数进行优化，直到所述总损失收敛，得到初步训练完成的步态识别网络模型。

44、进一步的，所述利用特征融合模块对点云时空特征和步态微动特征fmi进行融合，包括以下步骤：

45、将和fmi进行浅层融合：

46、

47、对fsi进行局部特征提取：

48、

49、式中，2dconv为二维卷积层；

50、对fsi进行通道特征提取：

51、

52、式中，pointwiseconv为逐像素卷积层；

53、将与进行特征相加：

54、

55、将将与fdi进行深层融合：

56、

57、进一步的，所述预测行人身份信息，包括以下步骤：

58、对进行序列信息建模，提取行走动作相关的动态特征

59、对进行降维，输出行人身份信息。

60、与现有技术相比，本发明技术方案的有益效果是：

61、1、本发明在基于毫米波雷达点云的行人步态识别方法的基础上，引入人体关键点检测任务，利用视觉信息对该任务进行监督，以限制步态特征空间，能够保证在行人点云较为稀疏且受噪声干扰时，步态识别网络仍能够提取有效行人步态相关特征；

62、2、本发明在基于毫米波雷达点云的行人步态识别方法的基础上，增加行人点云序列与微多普勒特征的融合，微动信息的引入能够提升行人步态识别和身份识别的准确性。