数据处理方法、装置、设备、可读存储介质及程序产品

本发明涉及数据处理，尤其涉及一种数据处理方法、装置、设备、可读存储介质及程序产品。

背景技术：

1、传统的自动信号识别方法一般分为基于似然和基于特征两种方法。在信道模型理想且信道参数已知的情况下，根据贝叶斯理论，基于似然的方法可以获得最优的分类性能，但在非合作环境下，这并不实用。另一方面，基于特征的方法侧重于基于信号统计量和特征提取判别特征；然而，在复杂的无线环境或存在随机噪声的情况下，基于特征的方法可能不具有鲁棒性。

2、基于以上，近年来，深度学习已成为解决无线通信中各种挑战的最有效工具之一。当涉及到解决自动信号识别任务时，深度学习方法可以通过数据驱动的方法生成更具判别性的特征模型。但是，目前针对自动信号识别任务的深度学习模型具有复杂性高、计算速度慢的特点。因此，这些方法在应用于内存和计算能力有限的终端设备时面临重大挑战。此外，现有的深度学习模型所采用的训练方式仍存在训练精度低、会增加模型复杂度等缺陷。

3、由上，现有技术中对于信号识别模型训练的方案存在训练精度低、会增加模型复杂度等问题。

技术实现思路

1、本发明的目的在于提供一种数据处理方法、装置、设备、可读存储介质及程序产品，以解决现有技术中信号识别模型训练方案存在训练精度低、会增加模型复杂度的问题。

2、为了解决上述技术问题，本发明实施例提供一种数据处理方法，包括：

3、获取用于信号识别的教师模型与待训练的学生模型之间的散度损失函数和交叉熵损失函数，以及所述学生模型自身的学生模型损失函数；所述教师模型输出的第一预测分类概率是利用温度参数t进行分类概率平滑程度处理后得到的；

4、根据所述散度损失函数、交叉熵损失函数、学生模型损失函数和温度参数t，训练所述学生模型。

5、可选的，所述获取用于信号识别的教师模型与待训练的学生模型之间的散度损失函数和交叉熵损失函数，以及所述学生模型自身的学生模型损失函数，包括：

6、获取针对第一信号数据的所述第一预测分类概率以及所述第一预测分类概率对应的第一参考数据；所述第一参考数据为所述第一预测分类概率进行对数运算后得到的数据；

7、获取所述学生模型针对所述第一信号数据输出的第二预测分类概率以及第三预测分类概率；所述第二预测分类概率为利用所述温度参数t进行分类概率平滑程度处理后得到的预测分类概率；所述第三预测分类概率为不进行所述分类概率平滑程度处理得到的预测分类概率；所述教师模型中的温度参数t与所述学生模型中的温度参数t取值相同；

8、获取所述第一参考数据与所述第二预测分类概率之间的所述散度损失函数，所述第一预测分类概率与所述第二预测分类概率之间的所述交叉熵损失函数，以及所述第三预测分类概率与所述第一信号数据的真实标签之间的所述学生模型损失函数。

9、可选的，所述学生模型包括：特征提取部分和分类部分；

10、其中，所述特征提取部分包括：依次设置的第一卷积层、第一深度组卷积层、数据连接层、注意力机制层、第二卷积层、深度可分离卷积dsc层和平均池化层；

11、所述分类部分包括：依次设置的第一全连接层、第二全连接层和第一激活函数层。

12、可选的，所述特征提取部分还包括以下至少一项：

13、位于所述第一卷积层与第一深度组卷积层之间的第一正则化处理bn层和/或第二激活函数层；

14、位于所述第一深度组卷积层与所述数据连接层之间的第二bn层和/或第三激活函数层；

15、位于所述第二卷积层与所述dsc层之间的第四激活函数层和/或第一随机失活层；

16、位于所述dsc层与所述平均池化层之间的第五激活函数层和/或第二随机失活层；

17、位于所述平均池化层与所述第一全连接层之间的第三随机失活层和/或压缩层和/或求和层。

18、可选的，所述分类部分还包括：位于所述第一全连接层与所述第二全连接层之间的第六激活函数层和/或第四随机失活层；

19、和/或，所述注意力机制层包括：依次设置的全局池化层、第三卷积层、第六激活函数层、第四卷积层和第七激活函数层；

20、和/或，所述dsc层包括：依次设置的第五卷积层、第二深度组卷积层和第八激活函数层。

21、本发明实施例还提供了一种数据处理装置，包括：

22、第一获取模块，用于获取用于信号识别的教师模型与待训练的学生模型之间的散度损失函数和交叉熵损失函数，以及所述学生模型自身的学生模型损失函数；所述教师模型输出的第一预测分类概率是利用温度参数t进行分类概率平滑程度处理后得到的；

23、第一训练模块，用于根据所述散度损失函数、交叉熵损失函数、学生模型损失函数和温度参数t，训练所述学生模型。

24、可选的，所述获取用于信号识别的教师模型与待训练的学生模型之间的散度损失函数和交叉熵损失函数，以及所述学生模型自身的学生模型损失函数，包括：

25、获取针对第一信号数据的所述第一预测分类概率以及所述第一预测分类概率对应的第一参考数据；所述第一参考数据为所述第一预测分类概率进行对数运算后得到的数据；

26、获取所述学生模型针对所述第一信号数据输出的第二预测分类概率以及第三预测分类概率；所述第二预测分类概率为利用所述温度参数t进行分类概率平滑程度处理后得到的预测分类概率；所述第三预测分类概率为不进行所述分类概率平滑程度处理得到的预测分类概率；所述教师模型中的温度参数t与所述学生模型中的温度参数t取值相同；

27、获取所述第一参考数据与所述第二预测分类概率之间的所述散度损失函数，所述第一预测分类概率与所述第二预测分类概率之间的所述交叉熵损失函数，以及所述第三预测分类概率与所述第一信号数据的真实标签之间的所述学生模型损失函数。

28、可选的，所述学生模型包括：特征提取部分和分类部分；

29、其中，所述特征提取部分包括：依次设置的第一卷积层、第一深度组卷积层、数据连接层、注意力机制层、第二卷积层、深度可分离卷积dsc层和平均池化层；

30、所述分类部分包括：依次设置的第一全连接层、第二全连接层和第一激活函数层。

31、可选的，所述特征提取部分还包括以下至少一项：

32、位于所述第一卷积层与第一深度组卷积层之间的第一正则化处理bn层和/或第二激活函数层；

33、位于所述第一深度组卷积层与所述数据连接层之间的第二bn层和/或第三激活函数层；

34、位于所述第二卷积层与所述dsc层之间的第四激活函数层和/或第一随机失活层；

35、位于所述dsc层与所述平均池化层之间的第五激活函数层和/或第二随机失活层；

36、位于所述平均池化层与所述第一全连接层之间的第三随机失活层和/或压缩层和/或求和层。

37、可选的，所述分类部分还包括：位于所述第一全连接层与所述第二全连接层之间的第六激活函数层和/或第四随机失活层；

38、和/或，所述注意力机制层包括：依次设置的全局池化层、第三卷积层、第六激活函数层、第四卷积层和第七激活函数层；

39、和/或，所述dsc层包括：依次设置的第五卷积层、第二深度组卷积层和第八激活函数层。

40、本发明实施例还提供了一种数据处理设备，包括：处理器；

41、所述处理器，用于获取用于信号识别的教师模型与待训练的学生模型之间的散度损失函数和交叉熵损失函数，以及所述学生模型自身的学生模型损失函数；所述教师模型输出的第一预测分类概率是利用温度参数t进行分类概率平滑程度处理后得到的；

42、根据所述散度损失函数、交叉熵损失函数、学生模型损失函数和温度参数t，训练所述学生模型。

43、可选的，所述获取用于信号识别的教师模型与待训练的学生模型之间的散度损失函数和交叉熵损失函数，以及所述学生模型自身的学生模型损失函数，包括：

44、获取针对第一信号数据的所述第一预测分类概率以及所述第一预测分类概率对应的第一参考数据；所述第一参考数据为所述第一预测分类概率进行对数运算后得到的数据；

45、获取所述学生模型针对所述第一信号数据输出的第二预测分类概率以及第三预测分类概率；所述第二预测分类概率为利用所述温度参数t进行分类概率平滑程度处理后得到的预测分类概率；所述第三预测分类概率为不进行所述分类概率平滑程度处理得到的预测分类概率；所述教师模型中的温度参数t与所述学生模型中的温度参数t取值相同；

46、获取所述第一参考数据与所述第二预测分类概率之间的所述散度损失函数，所述第一预测分类概率与所述第二预测分类概率之间的所述交叉熵损失函数，以及所述第三预测分类概率与所述第一信号数据的真实标签之间的所述学生模型损失函数。

47、可选的，所述学生模型包括：特征提取部分和分类部分；

48、其中，所述特征提取部分包括：依次设置的第一卷积层、第一深度组卷积层、数据连接层、注意力机制层、第二卷积层、深度可分离卷积dsc层和平均池化层；

49、所述分类部分包括：依次设置的第一全连接层、第二全连接层和第一激活函数层。

50、可选的，所述特征提取部分还包括以下至少一项：

51、位于所述第一卷积层与第一深度组卷积层之间的第一正则化处理bn层和/或第二激活函数层；

52、位于所述第一深度组卷积层与所述数据连接层之间的第二bn层和/或第三激活函数层；

53、位于所述第二卷积层与所述dsc层之间的第四激活函数层和/或第一随机失活层；

54、位于所述dsc层与所述平均池化层之间的第五激活函数层和/或第二随机失活层；

55、位于所述平均池化层与所述第一全连接层之间的第三随机失活层和/或压缩层和/或求和层。

56、可选的，所述分类部分还包括：位于所述第一全连接层与所述第二全连接层之间的第六激活函数层和/或第四随机失活层；

57、和/或，所述注意力机制层包括：依次设置的全局池化层、第三卷积层、第六激活函数层、第四卷积层和第七激活函数层；

58、和/或，所述dsc层包括：依次设置的第五卷积层、第二深度组卷积层和第八激活函数层。

59、本发明实施例还提供了一种数据处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现上述的数据处理方法。

60、本发明实施例还提供了一种可读存储介质，其上存储有程序，该程序被处理器执行时实现上述的数据处理方法中的步骤。

61、本发明实施例还提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现上述的数据处理方法的步骤。

62、本发明的上述技术方案的有益效果如下：

63、上述方案中，所述数据处理方法通过获取用于信号识别的教师模型与待训练的学生模型之间的散度损失函数和交叉熵损失函数，以及所述学生模型自身的学生模型损失函数；所述教师模型输出的第一预测分类概率是利用温度参数t进行分类概率平滑程度处理后得到的；根据所述散度损失函数、交叉熵损失函数、学生模型损失函数和温度参数t，训练所述学生模型；能够支持利用三个维度的损失来对学生模型进行训练，从而提高训练精度和学生模型的网络性能，且可保证在不增加学生模型复杂度的情况下使得学生模型具备更高的识别准确率，很好的解决现有技术中信号识别模型训练方案存在训练精度低、会增加模型复杂度的问题。