一种基于Transformer的多频点多步频谱预测方法

本发明属于无线通信，涉及一种基于transformer的多频点多步频谱预测方法。

背景技术：

1、人工智能等新技术的发展使得电磁频谱空间面临诸多挑战。一方面，借助新兴技术，各类无线设备快速占据电磁频谱空间的频谱资源，进而可利用的频谱资源越来越短缺，同时，用频安全问题层出不穷。例如，非法用户恶意占用未被授权的频段，对其他授权用户造成干扰，更有甚者直接攻击授权用户，导致灾难发生，无线电秩序日益混乱。另一方面，短缺的资源迫使许多认知用户需要更多的能量消耗感知可用频段，甚至，迫使受到干扰的授权用户放弃授权频段而作为认知用户去感知新的空闲频段，这同样会带来额外的开销。同时，电磁频谱空间被认为为第六维作战空间，如今的热战早已向信息战、电子战等新型作战方式转变，而这都离不开无线信息交互，因此，制电磁权是决定现代战争的关键因素之一。为了更好的利用频谱资源，解决这些挑战，一些更适应真实需求的新技术也应运而生，而频谱预测技术就是其中之一。

2、频谱预测技术可以帮助用户提前获知未来的频谱态势，进而做出合理的频谱决定。具体的应用实例有频谱预测可以减少频谱感知的能量消耗，可以提高动态频谱接入的准确率，减少接入的时间损耗，在战场中，提前获知战场频谱态势变化方向，进而提前做好备战准备，还可获得先机，掌握战场主动权。

3、现有的频谱预测技术主要以传统机器学习，如移动平均自回归，传统深度学习，如卷积网络和递归网络。这些技术虽然能够完成预测，但复杂的频谱变化模式并没有被深度挖掘，预测性能有待进一步提升。传统机器学习方法仅能进行简单的单步预测，而传统深度学习方法受网络结构影响，并行性比较差。因此，迫切需要开发一种高效率、高性能的频谱预测方法。

技术实现思路

1、本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于transformer的多频点多步频谱预测方法，利用自注意力机制深度挖掘频谱数据的时频相关特征，在多频点频谱数据各个位置给与不同的权重因子，使得能够捕获到更有利于预测的特征信息，而剔除无关或不利特征信息，并利用这些语义特征来精准预测未来的频谱态势。

2、为实现上述技术目的，本发明采取的技术方案为：

3、一种基于transformer的多频点多步频谱预测方法，包括：

4、构建并训练基于transformer的多频点多步频谱预测网络，包括编码器和解码器；

5、其中，编码器包括多个编码器层，每一个编码器层包括多头注意力模块和堆叠bi-lstm模块，且每个模块后紧跟一个归一化层；

6、解码器包括多个解码器层和一个单独的层归一化的线性层，每一个解码器层包括掩码多头注意力模块、多头注意力模块和堆叠bi-lstm模块，且每个模块后紧跟一个归一化层；

7、采用训练后的所述网络进行多频点多步频谱预测。

8、为优化上述技术方案，采取的具体措施还包括：

9、上述的基于transformer的多频点多步频谱预测网络架构在一台搭载3.00ghzintel corei7-9700 cpu，nvidia quadro p2200显卡和16gb ram的pc上使用pytorch1.7.1实现。

10、上述的编码器的第n个编码器层实现过程为：

11、

12、上述公式被进一步总结为：

13、

14、其中，encoder(·)代表第n个编码器的实现过程，n∈{1,...,n}，代表第n个编码器层的输出,n代表编码器层数；

15、当n＝1，为嵌入的编码器输入pen；

16、i∈{1,2}，代表在第n个编码器层经过第i个r-norm(·)的所提取的特征信息；

17、r-norm()代表一个残差连接后紧跟归一化层；

18、mul-headatt()和stack-bilstm()分别代表多头注意力模块和堆叠bi-lstm模块。

19、上述的解码器的第e个解码器层实现过程为：

20、

21、上述公式被进一步总结为：

22、

23、其中，decoder(·)代表第e个解码器的实现过程，e∈{1,...,e}，代表第e解码器层的输出，e代表解码器层数；

24、当e＝1，为嵌入的解码器输入pde；

25、i∈{1,2,3}，代表在第e个解码器层经过第i个r-norm(·)模块后所提取的特征信息；

26、r-norm()代表一个残差连接后紧跟归一化层；

27、mul-headatt()代表掩码多头注意力模块或多头注意力模块，掩码多头注意力模块或多头注意力模块结构相同，仅输入不同；

28、stack-bilstm()代表堆叠bi-lstm模块。

29、解码器输出为：

30、

31、其中，代表第e个解码器层的输出；

32、linear()代表一个线性层；

33、norm(·)代表一个层归一化操作。

34、上述的多头注意力模块和掩码多头注意力模块，均包括多个单头注意力单元，其中单头注意力单元采用规范点积注意力机制；

35、模块的输入包括查询q，键k和值v，q，k的维度为dk，v的维度为dv；

36、规范点积注意力机制为：

37、

38、其中，softmax()代表softmax归一化函数；

39、多头注意力模块为：

40、mul-head(q,k,v)＝woutconcat(head1,...,heado)

41、其中，i∈{1,...,o}，o表示多头注意力的头数；

42、代表最后线性层的投影；

43、是经过线性层的投影；

44、dmodel代表模型的输入维度；

45、concat()代表将张量拼接在一起。

46、上述的堆叠bi-lstm模块由前向lstm和反向lstm堆叠而成，其实现过程为：

47、

48、

49、

50、其中，“→”和“←”分别为前向过程和反向过程；

51、lstm()为lstm单元；

52、ht-1和ht+1分别为在t-1和t+1时刻lstm层的输出；

53、nt和ot分别为堆叠bi-lstm模块的当前输入和输出；

54、为前向lstm网络到堆叠bi-lstm模块输出层的权重；

55、为反向lstm网络到堆叠bi-lstm模块输出层的权重；

56、bo为堆叠bi-lstm模块输出层的偏置。

57、训练所述基于transformer的多频点多步频谱预测网络采用的损失函数为：

58、

59、其中，和pt分别为在第t时隙的预测值和真实值；

60、μ为正则化系数；

61、n代表编码器层数；

62、e代表解码器层数；

63、为第n个编码器层的权重；

64、为第e个解码器层的权重。

65、训练所述基于transformer的多频点多步频谱预测网络时，令其中b为基于transformer的多频点多步频谱预测网络的偏置，其目标函数为：

66、

67、为了得到最优的u*，采用adam优化器优化网络参数，具体为：

68、

69、

70、

71、其中，和b(s)为第s训练步数的权重和偏置，α为学习率。

72、本发明具有以下有益效果：

73、本发明基于transformer的多频点多步频谱预测，可帮助无线用户提前获知未来多频段的频谱态势变化情况，进而作出合理的频谱决定，诸如在实际无线通信系统中可降低频谱感知的能量消耗，提高动态频谱接入准确率等，具体的：

74、本发明采用编码器-解码器架构，其中编码器由多个编码器层构成，每一个编码器层由多头注意力模块、堆叠bi-lstm模块及每个模块后连接一个归一化层组成；解码器由多个解码器层和一个单独的层归一化的线性层构成，每一个解码器层由(掩码)多头注意力模块、堆叠bi-lstm模块、归一化层组成。对于多头注意力模块采用常规的缩放点积注意力机制。对于堆叠bi-lstm采用前向lstm和反向lstm双向堆叠在一起而成。这种设计可以关注到序列所有位置并给于不同关注权重，依靠自注意力机制逐级提取序列中隐藏的特征信息，并利用这些特征信息解码未来的频谱态势。

75、本发明能够快速且高效的实现多频点多步频谱态势预测，并具有较好的预测精度，可较好的服务无线通信系统，其显著优点在于：(1)其将传统递归网络与transformer相结合，弥补全连接网络映射能力不足的短板；(2)这种自注意力机制可以关注到序列的全部位置并给于不同的关注度，可精准捕获特征信息；(3)跨层信息交互和残差连接可以提高模型的解码能力和防止梯度消失。仿真实验说明了算法的可行性和先进性，可很好服务于无线通信。