一种模型训练方法、识别方法、装置、设备及介质与流程

本技术涉及模型训练，尤其涉及一种模型训练方法、识别方法、装置、设备及介质。

背景技术：

1、手势识别作为一种新兴的人机交互技术，可被广泛应用于智能家居、机器人控制和辅助驾驶等领域中。如在智能辅助驾驶中，驾驶员可以通过手势来控制车内的各种功能，以帮助驾驶员集中精力，保障行车安全。在智能家居领域，可以通过手势来控制灯光的明暗，睡眠监测等。

2、现有技术中，手势识别的模型训练采用神经网络模型直接通过手势照片进行模型训练，存在训练效果不好的问题。

技术实现思路

1、本技术提供一种模型训练方法、识别方法、装置、设备及介质，用以解决现有技术中存在的训练效果不好的问题。

2、第一方面，本技术提供一种模型训练方法，方法包括：

3、确定目标手势、以及目标手势的rdtm数据样本；

4、对rdtm数据样本中雷达距离矩阵特征图上的通道进行映射处理，得到图像数字矩阵；

5、对图像数字矩阵进行特征提取处理，得到一维特征向量；

6、根据一维特征向量、以及一维特征向量之间的时序关系，得到二维时序特征；

7、根据二维时序特征和目标手势，对待训练模型进行训练，得到目标模型。

8、在本技术中，确定目标手势、以及目标手势的rdtm数据样本，包括：

9、获取目标中频信号，目标中频信号根据发射信号和回波信号确定，回波信号为发射信号中被目标手势反弹的目标发射信号；

10、根据目标中频信号，得到rdtm数据样本。

11、在本技术中，获取目标中频信号，包括：

12、向目标手势发送发射信号，发射信号为线性调频脉冲信号；

13、接收发射信号被目标手势反弹的回波信号；

14、将发射信号和回波信号进行混频，得到目标中频信号。

15、在本技术中，根据目标中频信号，得到rdtm数据样本，包括：

16、对目标中频信号进行点采样处理，得到二维矩阵，二维矩阵表征回波信号在时间和频率上的点采样结果；

17、根据点采样的方向，对二维矩阵进行快速傅里叶变换处理，得到手势距离特征频谱fft矩阵；

18、根据慢时间域方向，对手势距离特征频谱fft矩阵进行傅里叶变换处理，得到雷达距离矩阵特征图；

19、对雷达距离矩阵特征图进行排序处理，得到rdtm数据样本。

20、在本技术中，对rdtm数据样本中雷达距离矩阵特征图上的通道进行映射处理，得到图像数字矩阵，包括：

21、确定rdtm数据样本中雷达距离矩阵特征图的特征图尺寸，特征图尺寸根据雷达距离矩阵特征图的距离fft和速度fft确定；

22、根据预设的特征图尺寸要求，调整雷达距离矩阵特征图的特征图尺寸；

23、根据rgb通道，对调整特征图尺寸后的雷达距离矩阵特征图进行映射处理，得到图像数字矩阵。

24、在本技术中，对图像数字矩阵进行特征提取处理，得到一维特征向量，包括：

25、将图像数字矩阵输入卷积神经网络中进行图像特征提取，得到窗口特征；

26、将窗口特征输入flatten层，得到初始一维特征向量；

27、将初始一维特征向量输入全连接层，得到预设长度的变换一维特征向量；

28、将变换一维特征向量输入dropout层，得到一维特征向量。

29、在本技术中，根据二维时序特征和目标手势，对待训练模型进行训练，得到目标模型，包括：

30、将二维时序特征输入至待训练模型，得到待训练模型的输出特征向量，待训练模型为基于注意力机制的时序卷积神经网络模型；

31、根据目标全连接层，对输出特征向量进行特征变换处理，得到变换结果，其中，目标全连接层的输出维度根据目标手势的手势类别数量确定；

32、对变换结果进行归一化处理，得到待训练模型对目标手势在各个手势类别的预测概率；

33、根据目标手势和待训练模型对目标手势在各个手势类别的预测概率，对待训练模型进行调整，得到目标模型。

34、在本技术中，将二维时序特征输入至待训练模型，得到待训练模型的输出特征向量，包括：

35、将二维时序特征输入待训练模型中的se模块，得到加权权重；

36、将加权权重与二维时序特征进行加权，得到加权输入特征；

37、将加权输入特征输入tc layer模块进行时序卷积处理，得到时序卷积输出结果；

38、根据时序卷积输出结果，得到待训练模型的输出特征向量。

39、第二方面，本技术提供一种手势识别方法，方法包括：

40、获取待识别手势的待识别二维时序特征；

41、将待识别二维时序特征输入至手势识别模型，得到待识别手势的识别结果，其中，手势识别模型为本技术提供的目标模型。

42、第三方面，本技术提供一种模型训练装置，包括：

43、确定模块，用于确定目标手势、以及目标手势的rdtm数据样本；

44、映射模块，用于对rdtm数据样本中雷达距离矩阵特征图上的通道进行映射处理，得到图像数字矩阵；

45、处理模块，用于对图像数字矩阵进行特征提取处理，得到一维特征向量；

46、得到模块，用于根据一维特征向量、以及一维特征向量之间的时序关系，得到二维时序特征；

47、训练模块，用于根据二维时序特征和目标手势，对待训练模型进行训练，得到目标模型。

48、第四方面，本技术提供一种手势识别装置，包括：

49、获取模块，用于获取待识别手势的待识别二维时序特征；

50、识别模块，用于将待识别二维时序特征输入至手势识别模型，得到待识别手势的识别结果，其中，手势识别模型为本技术提供的目标模型。

51、第五方面，本技术提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；

52、存储器存储计算机执行指令；

53、处理器执行存储器存储的计算机执行指令，以实现本技术提供的方法。

54、第六方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现本技术提供的方法。

55、本技术提供的一种模型训练方法、识别方法、装置、设备及介质，通过确定目标手势、以及目标手势的rdtm数据样本；对rdtm数据样本中雷达距离矩阵特征图上的通道进行映射处理，得到图像数字矩阵；对图像数字矩阵进行特征提取处理，得到一维特征向量；根据一维特征向量、以及一维特征向量之间的时序关系，得到二维时序特征；根据二维时序特征和目标手势，对待训练模型进行训练，得到目标模型；获取待识别手势的待识别二维时序特征；将待识别二维时序特征输入至手势识别模型，得到待识别手势的识别结果，其中，手势识别模型为本技术提供的目标模型。本技术通过雷达信号构成的rdtm数据作为训练的样本，避免受到环境光线的影响，提高训练的效果。通过巧妙运用了图片本身的通道信息，将雷达距离矩阵特征图转化为图像数字矩阵，便于进行特征提取。通过对图像数字矩阵进行特征提取处理得到一维特征向量，进一步突出了图像数字矩阵中关于目标手势的重要信息，然后将得到的一维特征向量按照时序关系形成二维时序特征，使得二维时序特征既突出了雷达距离矩阵特征图的重要信息，又体现了时序关系，通过二维时序特征对待训练模型进行训练，提高了训练的效果，使得目标模型的手势识别结果更准确，提高了手势识别的体验效果。