基于深度学习的毫米波雷达动作识别方法

本发明涉及动作识别，具体涉及一种基于深度学习的毫米波雷达动作识别方法。

背景技术：

1、基于雷达技术的人体活动识别因具有保护个人隐私、穿透不透明物体、适应任何照明条件以及全天候工作等独特优势，正在逐渐引起人们的关注和重视，对于运动健身、医学康复、安防监控等领域都有着广泛的应用前景。由于雷达回波信号包含人体动作的特征信息，因此利用深度学习模型对雷达回波信号中所包含的人体动作的特征信息进行提取，能够实现人体动作的识别。然而，基于雷达与深度学习的人体动作识别方法处于起步阶段，缺少现成的可用样本数据集，而当前深度卷积神经网络(dcnn)在可用样本数据集少的影响下又会限制其网络的深度和泛化能力，易出现过拟合和训练效果不理想的问题，进而导致性能下降和识别的准确率并不高。

技术实现思路

1、本发明针对少样本场景下雷达人体动作识别的准确率不高的问题，提供一种基于深度学习的毫米波雷达动作识别方法。

2、为解决上述问题，本发明是通过以下技术方案实现的：

3、基于深度学习的毫米波雷达动作识别方法，包括步骤如下：

4、步骤1、构建毫米波雷达动作识别模型；

5、该毫米波雷达动作识别模型由卷积神经网络、展平函数层、随机失活层、编码器、归一化层和全连接层组成；卷积神经网络的输入形成毫米波雷达动作识别模型的输入，卷积神经网络的输出连接展平函数层的输入，展平函数层的输出连接随机失活层的输入，随机失活层的输出连接编码器的输入，编码器的输出连接归一化层的输入，归一化层的输出连接全连接层的输入，全连接层的输出形成毫米波雷达动作识别模型的输出；

6、步骤2、收集不同人体动作下的雷达回波信号，对每个雷达回波信号进行短时傅里叶变换得到人体动作时频图，并根据人体动作的类型对人体动作时频图进行动作类型标注，得到带有标签的人体动作时频图，由此构建样本数据集；

7、步骤3、先将样本数据集按比例分为训练集和验证集；再将训练集送入到步骤1所构建的毫米波雷达动作识别模型中对其进行训练，得到训练好的毫米波雷达动作识别模型；后将验证集送入到上述训练好的毫米波雷达动作识别模型中对其进行验证，得到最终的毫米波雷达动作识别模型；

8、步骤4、采集待测人体动作的雷达回波信号，并对该待测人体动作的雷达回波信号进行短时傅里叶变换得到待测人体动作时频图；

9、步骤5、将待测人体动作时频图送入到步骤3所得到的最终的毫米波雷达动作识别模型中进行分类识别，以识别出待测人体动作的雷达回波信号的具体动作类型。

10、上述步骤1中，卷积神经网络由6个卷积层、6个批量归一化层、6个gelu激活函数层和2个池化层组成；第一个卷积层的输入形成卷积神经网络的输入，第一个卷积层的输出连接第一个批量归一化层的输入，第一个批量归一化层的输入连接第一个gelu激活函数层的输入，第一个gelu激活函数层的输出连接第二个卷积层的输入；第二个卷积层的输出连接第二个批量归一化层的输入，第二个批量归一化层的输入连接第二个gelu激活函数层的输入，第二个gelu激活函数层的输出连接第一个池化层的输入，第一个池化层的输出连接第三个卷积层的输入；第三个卷积层的输出连接第三个批量归一化层的输入，第三个批量归一化层的输入连接第三个gelu激活函数层的输入，第三个gelu激活函数层的输出连接第四个卷积层的输入；第四个卷积层的输出连接第四个批量归一化层的输入，第四个批量归一化层的输入连接第四个gelu激活函数层的输入，第四个gelu激活函数层的输出连接第二个池化层的输入，第二个池化层的输出连接第五个卷积层的输入；第五个卷积层的输出连接第五个批量归一化层的输入，第五个批量归一化层的输入连接第五个gelu激活函数层的输入，第五个gelu激活函数层的输出连接第六个卷积层的输入；第六个卷积层的输出连接第六个批量归一化层的输入，第六个批量归一化层的输入连接第六个gelu激活函数层的输入，第六个gelu激活函数层的输出形成卷积神经网络的输出。

11、上述步骤1中，编码器由2个归一化层、2个随机失活层、2个相加层、1个时序注意力单元和1个多层感知单元组成；第一个归一化层的输入形成编码器的输入，第一个归一化层的输出连接时序注意力单元的输入，时序注意力单元的输出连接第一个随机失活层的输入，第一个随机失活层的输出和第一个归一化层的输入共同连接至第一个相加层的输入，第一个相加层的输出连接第二个归一化层的输入；第二个归一化层的输出连接多层感知单元的输入，多层感知单元的输出连接第二个随机失活层的输入，第二个随机失活层的输出和第二个归一化层的输入共同连接至第二个相加层的输入，第二个相加层的输出形成编码器的输出。

12、上述时序注意力单元由线型映射层、点积层、softmax激活函数层和加权求和层组成；线型映射层的输入形成时序注意力单元的输入，线型映射层的q输出和k输出共同连接至点积层的输入，点积层的输出连接softmax激活函数层的输入，softmax激活函数层的输出和线型映射层的v输出共同连接至加权求和层的输入，加权求和层的输出形成时序注意力单元的输出。

13、上述多层感知单元由2个线性层、2个随机失活层和1个gelu激活函数层组成；第一个线性层的输入形成多层感知单元的输入，第一个线性层的输出连接gelu激活函数层的输入，gelu激活函数层的输出连接第一个随机失活层的输入，第一个随机失活层的输出连接第二个线性层的输入，第二个线性层的输出连接第二个随机失活层的输入，第二个随机失活层的输出形成多层感知单元的输出。

14、与现有技术相比，本发明具有如下特点：

15、1、充分利用雷达原始信号的微多普勒特征，利用短时傅里叶变换(stft)将雷达原始信号转换为时频图，其中频率轴反映了微多普勒信息。结合信号的时域信息和经过stft处理后的频域信息，以获取更全面的动作表征。

16、2、卷积神经网络在图像领域表现出色，能够有效捕捉空间信息，对于时频图局部特征提取有很好的适用性。

17、3、编码器通过全局信息的汇聚，更全面地理解不同位置之间的关系，有助于处理全局结构，从而能够更好地建模全局关系；编码器摒弃多头注意力的每个注意力头独立权重矩阵的计算，减少了网络模型参数量，并采用时序注意力使模型更加聚焦于特征序列中所包含的时序关系，从而提高对人体动作的识别效果；编码器采用随机失活的正则化手段，在训练过程中随机将一部分神经元的输出设置为零，这有助于减少模型对于特定输入的依赖，提高模型的泛化能力。并利用归一化层提高模型对输入分布变化的鲁棒性和防止模型在训练集上过度拟合。

技术特征：

1.基于深度学习的毫米波雷达动作识别方法，其特征是，包括步骤如下：

2.根据权利要求1所述的基于深度学习的毫米波雷达动作识别方法，其特征是，步骤1中，卷积神经网络由6个卷积层、6个批量归一化层、6个gelu激活函数层和2个池化层组成；

3.根据权利要求1所述的基于深度学习的毫米波雷达动作识别方法，其特征是，步骤1中，编码器由2个归一化层、2个随机失活层、2个相加层、1个时序注意力单元和1个多层感知单元组成；

4.根据权利要求3所述的基于深度学习的毫米波雷达动作识别方法，其特征是，时序注意力单元由线型映射层、点积层、softmax激活函数层和加权求和层组成；

5.根据权利要求3所述的基于深度学习的毫米波雷达动作识别方法，其特征是，多层感知单元由2个线性层、2个随机失活层和1个gelu激活函数层组成；

技术总结
本发明公开一种基于深度学习的毫米波雷达动作识别方法，先采用毫米波雷达感知人体动作，提取出人体动作的雷达回波中微多普勒特征，生成时频图，再将时频图输入到改进的网络模型中进行训练和识别，改进的网络模型以卷积神经网络和编码器为基础，并采用随机失活、归一化层等对网络模型进行优化，来避免过拟合现象，提高识别准确率。

技术研发人员：蒋留兵,裴航舰,车俐
受保护的技术使用者：桂林电子科技大学
技术研发日：
技术公布日：2024/4/22