基于点云时空特征的毫米波雷达步态识别方法

本发明是一种基于点云时空特征的毫米波雷达步态识别方法，属于生物特征识别领域。

背景技术：

1、步态识别是一种新兴的生物特征识别技术，可以通过行走姿态进行身份认证。由于深度学习的成功应用，近年陆续有人设计出了基于视觉领域摄像头的步态识别模型来解决这些问题，在众多摄像头采集的数据集上取得了良好的效果。然而在实际场景系统应用中，传统的基于视觉摄像头的步态识别只能作为辅助手段，其识别精度受一些外界因素的影响，例如相机视角变换、行人外观变化、遮挡、光照或其他环境变化以及步态数据分割效果不佳等。当前基于摄像头的步态识别模型通常会提取人的外观信息特征，例如衣服的颜色、携带的物品和发型，然而当这些外观发生变化时，模型的性能将显著下降。此外，基于摄像头的步态识别系统在某些领域的应用中会产生个人隐私问题。

2、随着毫米波雷达技术的发展，陆续有人将重点关注使用毫米波雷达解决人员步态识别问题。该领域的深度学习建模方法多数是将自然图像领域的网络直接迁移到微多普勒图像上，忽略了两类图像数据的特点与差异。关于如何针对微多普勒图像特性对网络进行优化，以及如何结合多个任务的建模方法进行基于微多普勒图像的多任务识别等问题，仍存在较大研究空间。同时雷达微多普勒特征在位置轨迹，环境震动及边缘系统条件约束下分辨性能将有所下降，需要较强的计算与处理能力等。

3、点云是指目标表面特性的点集合。在获取物体表面每个采样点的空间坐标后，得到的是一个个点的集合，称之为点云。点云具有数据缺失、数据噪声及非均匀性这些由于遮挡，仪器，环境因素造成的特征及仅存在于物体表面的稀疏性等特性。将毫米波雷达传感器产生的中频信号处理为点云可以在步态识别任务上取得较好的效果。然而目前该领域的研究主要采用了传统的深度卷积神经网络方法。相对于被广泛使用的图像领域，深度卷积神经网络并未注意到点云的排列不变性，即点的重新排列不对结果产生影响，点集间的交互性，即点集之间的关联等特性。除此之外，根据人体动力学理论，人的步态特征受包括中枢命令、身体平衡和协调等因素控制，涉及足、踝、膝、髋、躯干、颈、肩、臂的肌肉和关节协同运动，在人的完整步态周期内各身体躯干运动强度具有显著差异。目前毫米波雷达点云的步态识别方法特征提取策略并未充分考虑到这点。

技术实现思路

1、针对上述背景技术中提出的现有技术缺陷，本发明提出了一种基于点云时空特征的毫米波雷达步态识别方法。改进了步态特征提取策略，充分利用了点云特性并提高了局部域采样效率，细化了特征提取粒度。该方法对于毫米波雷达点云可以提取出更有效的步态特征，能够有效提高系统识别率。

2、基于点云时空特征的毫米波雷达步态识别方法，包括如下步骤：

3、步骤1，点云采集；通过对毫米波雷达采集到的包含行人步态特征的中频信号进行离散采样，对离散中频信号进行非相干积累。之后对经过非相干积累的离散中频信号分别进行距离维傅里叶变换，速度维傅里叶变换获取行人距离与速度信息。通过门限系数单元平均恒虚警算法(ca-cfar)提取局部信号强度峰值点得到点云。最后进行角度估计获取点三维空间分布。点云中每个点pi(xi,yi,zi,vi,si)包含直角坐标系空间三维坐标，速度及信号强度五维属性；

4、步骤2，点云预处理；每帧点云进行空间对齐与数据标准化，并对点数小于点数最小阈值的帧进行舍弃。每帧点云经高度修正因子α修正后使用dbscan算法进行聚类并去除噪点。

5、步骤3，数据增强；获取的点云数据按比例随机选取若干帧在三维空间坐标维度上进行点云平移及点云旋转处理以提高模型泛化能力，扩充训练数据集；

6、步骤4，空间特征提取；对于每帧点云采用非重叠体素降采样算法，按点云三维空间坐标将整个空间划分为若干不重叠体素，选择每个局部域最具代表性的点，通过步态模式聚合层(gpa)对步态空间特征进行提取。并行输入fsample帧点云，将得到一组空间步态向量特征编码

7、步骤5，时间特征提取；通过具有三层因果扩张卷积模块的时间卷积神经网络(tcn)提取时序信息,获取包含步态空间特征与时序特征的判别向量vglobal。

8、步骤6，结果输出；将判别向量vglobal展平，采用分类器分类并引入标签平滑处理，最后通过softmax函数输出分类概率分布pi|i∈u，识别结果为pi|i∈u最大值对应的用户索引。

9、进一步地，步骤2中，点云空间对齐与特征数据标准化具体为对每帧点云包含第i个点的直角坐标系坐标向量包含速度与能量属性的特征向量fi(vi,si)＝fi(vi/|vmax|,si/|smax)，其中ni为该帧点数，μ为高度修正因子，为三维中心坐标，vmax、smax为速度，能量强度最大值。

10、进一步地，步骤3中关于点云数据增强，包括如下步骤：步骤3包括如下步骤：对于点云平移的帧，令pi(p′i)＝pi(pi+t)，其中p为空间坐标向量，t为平移向量。对于点云旋转的帧，令点云围绕x,y,z三个轴进行旋转，设三个旋转角度分别为α,β,γ，则pi(p′i)＝pi(rx(α)*ry(β)*rz(γ)*pi)。其中

11、进一步地，步骤4包括如下分步骤：

12、步骤4-1，非重叠体素降采样具体为，对于给定的点云p，通过将空间划分为m个不重叠体素，得到体素集v＝[v1,v2...vm]。对每个体素vj，计算体素内质心

13、步骤4-2，对步态空间特征进行特征提取；

14、在每个局部域上通过权值共享的mlp提取每个局部域步态特征，并通过对点输入顺序不敏感的平均池化函数汇集全局空间步态特征，得到空间步态特征向量编码，即vz。

15、进一步地，步骤5中，对于时间连续的fsample帧点云输入得到的一组空间步态特征向量编码通过三层膨胀率分别为1，2，4的时间卷积层采用因果扩张卷积建模步态时序特征，提取包含用户步态空间特征与时序特征的判别向量vglobal。

16、进一步地，步骤6中，将判别向量vglobal采用flatten操作展平，采用三层分类器分类并引入标签平滑处理，将目标标签中的固定概率质量从目标类别中转移出来，然后均匀地分布到其他非目标类别上以提升模型泛化能力与鲁棒性，通过softmax函数输出分类概率分布pii∈u，识别结果为pii∈u最大值对应的用户索引。

17、本发明达到的有益效果为：

18、1、采用毫米波雷达采集步态信息，精度较高，鲁棒性强，避免了隐私问题，降低了环境因素带来的影响。

19、2、在点云数据预处理中，通过点云空间对齐统一各帧点云的空间位置分布提升模型空间特征提取能力，通过特征数据标准化有效减少奇异样本数据速度及能量强度产生的不良影响，通过高度修正因子强化了dbscan算法聚类与去噪效果；

20、3、在数据增强中，通过点云平移及点云旋转手段，提高了模型泛化能力与特征识别能力，扩充了训练数据集，保证了模型训练量；

21、4、在步态特征提取中，非重叠体素降采样算法提升了点云降采样效率，降低了计算开销且更适于步态识别任务。通过聚合各个局部域步态特征，可以使模型提取到有效的步态空间特征。通过时间卷积网络提取步态时序特征，有效提升了系统识别准确率。

22、5、在结果输出中，引入了标签平滑处理，在训练过程中能更加鲁棒地学习到数据的结构和特征，提高了模型泛化性能，对于一些噪声或错误标注的数据也具有了一定的容错性。