基于知识蒸馏的轻量化频谱预测方法

本发明涉及电磁频谱管控，更具体地说，涉及一种基于知识蒸馏的轻量化频谱预测方法。

背景技术：

1、频谱预测技术被认为是补充频谱感知的有效技术，通常在分析空闲频谱的特征参数和授权用户的使用规律基础上，辅助次级用户(secondary user，su)选择最优的使用策略，以便及时将次级用户切换到合适的空闲频谱进行数据传输，减少通信时延，从而提升信道吞吐量。

2、频谱预测技术目前仍处于发展阶段，但已经取得了一些成果，如移动平均自回归模型、隐马尔可夫模型、最小贝叶斯风险、多层感知机、循环神经网络、卷积长短时记忆神经网络等。

3、公开号为cn113840297a的中国专利文献公开了一种基于射频机器学习模型驱动的频谱预测方法，其实现步骤是：频谱数据采集；频谱数据预处理；根据赤池信息准则为模型定阶，从而确定输入数据步长；将自回归模型的线性组合结构展开成多层网络；在网络中添加新的可训练参数构建基于射频机器学习模型驱动的频谱预测框架；利用训练数据训练网络模型；判断网络是否训练结束；将测试集数据输入网络；输出预测结果。

4、然而现有研究大多数假设训练样本是理想的、完备的，在实际应用中，当认知无线电(cognitive radio，cr)设备频繁切换目标频率或电磁环境变化时，期望历史数据的相对缺乏难以保证模型具有良好性能。

5、在针对基于深度学习的频谱预测问题时，现有模型复杂度高问题作为另一个重点受到广泛关注。出于有限存储和计算资源的考虑，复杂模型往往难以落实到实际部署，这对模型的规模提出了更高的要求。

技术实现思路

1、针对上述不足，本发明的目的是提供一种基于知识蒸馏的频谱预测方法、系统、设备及存储介质。

2、本发明提供了如下的技术方案：

3、第一方面，本发明提出一种基于知识蒸馏的频谱预测方法，包括以下步骤：

4、s1、对接收的频谱数据进行预处理；

5、s2、根据采集频谱数据时域自相关性确定输入数据的步长；

6、s3、构建基于知识蒸馏策略的频谱预测网络模型；

7、s4、利用训练集数据对频谱预测网络模型进行训练；

8、s5、判断训练是否完成；若是，将训练集数据输入训练完成后的频谱预测网络模型，获得预测结果的输出并结束训练流程；若否，将训练的迭代次数加一后，返回s4。

9、作为第一方面的一种可选的实施方式，对接收的频谱数据进行预处理包括以下步骤：

10、s1.1、根据接收的频谱数据，将收集信号的功率谱密度值转换为可以加权平均的功率值；

11、s1.2、取时间维度上连续的h个数据进行加权平均，计算获得最终频谱数据。

12、进一步地，s1.1中，采用下列公式将收集信号的功率谱密度值转换为可以加权平均的功率值：

13、

14、s1.2中，令h为100，通过下列公式计算获得最终频谱数据：

15、dbm＝10log10(mw)。

16、作为第一方面的一种可选的实施方式，s2中，采用下列公式计算频谱信号的自相关系数：

17、

18、其中，xt表示为t时刻的频谱数据，cov(·)表示协方差，σ表示样本标准差；

19、选择自相关系数大于0.8对应滑动窗口大小，作为输入数据的步长c。

20、进一步地，当适应模型进行时序预测时，使用长度为c+1的滑动窗口对频谱数据fn进行划分，将前c个数据st＝{xt-c+1,xt-c+2,...,xt}作为输入数据，第c+1个数据作为待预测数据yt＝xt+1，则第n个频点的数据变换为其中m＝t-c，t为频谱数据fn的总长。

21、作为第一方面的一种可选的实施方式，s3中，将时间卷积网络进行自迁移优化作为教师模型，构建双分支神经网络作为学生模型，根据所述教师模型和所述学生模型构建基于知识蒸馏策略的频谱预测网络模型。

22、进一步地，将时间卷积网络进行自迁移优化作为教师模型的方法为：用收集的频谱数据预训练时间卷积网络，得到精确度高但参数量庞大的的时间卷积网络；将卷积神经网络的部分层数进行冻结，作为待训练网络，再次训练未被冻结的网络层数。

23、进一步地，通过结合编码器结构构建双分支神经网络作为学生模型的方法为：

24、通过构建编码-重构分支frec和编码-预测分支fpre组成双分支神经网络，每个分支都有对应的损失函数，通过最小化损失函数的方法来训练得到优化的网络参数；

25、其中，编码-重构分支的损失函数计算公式为：

26、

27、其中，θ1为编码器的参数，θ2为的重构器参数，st′为教师网络中间层特征输出，st为真实值标签，frec(st′；θ1,θ2)为编码-重构分支的最终输出；

28、编码-预测分支的损失函数计算公式为：

29、

30、其中，θ1为编码器的参数，θ3为的预测器参数，yt为真实的频谱值，fpred(st；θ1,θ3)为预测未来的频谱值。

31、进一步地，根据所述教师模型和所述学生模型构建基于知识蒸馏策略的频谱预测网络模型的方法为：

32、构建软目标损失函数缩小学生模型和教师模型输出之间差异，软目标损失计算公式为：

33、

34、其中，ft(·)为教师模型，ft(st)为软目标是教师模型输出结果，fs(·)是学生模型，fs(st′)是时间卷积网络中间层输出作为学生模型输入的预测结果；

35、构建硬目标损失函数缩小学生模型和真实值之间的差异，硬目标损失计算公式为：

36、lhard＝lrec+lpre。

37、进一步地，s4中，利用训练集数据对频谱预测网络模型进行训练的方法为：随机初始化双分支神经网络可训练参数；设置迭代次数和学习率，将rmsprop优化算法作为网络训练优化器；令迭代次数epoch的值等于1；将训练数据分批次输入频谱预测网络模型进行训练，每个批次的训练误差反向传播以优化网络参数；误差损失采用构建的目标损失函数，计算如下：

38、ltotal＝αlsoft+(1-α)lhard，

39、其中，α是用于调节硬目标损失和软目标损失之间平衡权重的系数；

40、当训练数据中所有批次的数据全部反向传播完成，令epoch＝epoch+1，再继续进行反向传播，直至epoch达到最大迭代次数。

41、第二方面，本发明提出一种基于知识蒸馏的频谱预测系统，包括融合中心、处理模块、预测模块；其中，所述处理模块用于对融合中心接收的频谱数据进行预处理，并根据采集频谱数据时域自相关性确定输入数据的步长；

42、所述预测模块用于构建基于知识蒸馏策略的频谱预测网络模型，并利用训练集数据对频谱预测网络模型进行训练，以及判断训练是否完成；若是，将训练集数据输入训练完成后的频谱预测网络模型，获得预测结果的输出并结束训练流程；若否，将训练的迭代次数加一后，再利用训练集数据对频谱预测网络模型进行训练。

43、第三方面，本发明提出一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任意一种实施方式中的基于知识蒸馏的频谱预测方法。

44、第四方面，本发明提出一种计算机存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任意一种实施方式中的基于知识蒸馏的频谱预测方法。

45、采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

46、第一，本发明在频谱预测领域引入了知识蒸馏技术，相比于传统的深度学习框架，可以在保证模型预测性能的同时减少待训练参数，提高模型运算速度。

47、第二，本发明采用自迁移技术对时间卷积网络参数进行优化，通过冻结网络的某些层数，只更新部分权重，从而避免由于空洞因子高造成的隐藏层信息遗留问题。构造双分支神经网络模型，将数据的低维表示同时用于编码重构和编码预测，通过利用数据的内在表示，使提出的模型实现更高效的预测。

48、第三，相比于使用大规模数据进行训练的模型，本发明不需要充足训练数据的理想假设，利用知识蒸馏技术使模型适用于少量频谱数据，可应用于未来实际的通信系统中。