一种基于Transformer网络和知识蒸馏的无线资源需求预测方法与流程

本发明涉及无线网络领域，尤其涉及一种基于transformer网络和知识蒸馏的无线资源需求预测方法。

背景技术：

1、无线网络的优化对于人们的生产生活一直都起着至关重要的作用，但是在实际生活中，对于无线资源的优先级规划及需求预测没有一种客观的标准，只能依据网络建设经验丰富的人员，通过分析网络布局与业务分布进行规划，分析过程中费时费力。如果仅凭专家经验对需求度进行预估，条件单一，随机因素较多，客观性也不足；而无线资源的参数涉及面广，参数较多，难免会出现有若干参数缺失的情况，这也会影响到最终结果的判断。因此，智能化的无线资源的优先级规划及需求预测在无线网络的优化中就显得尤为重要。

技术实现思路

1、本发明的目的在于提供一种基于transformer网络和知识蒸馏的无线资源需求预测方法，从而解决现有技术中存在的前述问题。

2、为了实现上述目的，本发明采用的技术方案如下：

3、一种基于transformer网络和知识蒸馏的无线资源需求预测方法，包括以下步骤：

4、s1，获取历史基站原始数据，包括数值型指标特征信息、类别型指标特征信息和文本型数据，划分为训练集、验证集和测试集；

5、s2，分别对训练集、验证集和测试集中的数值型指标特征信息、类别型指标特征信息和文本型数据进行预处理；

6、s3，建立教师网络模型，采用训练集中的数值型指标特征信息和类别型指标特征信息作为训练数据输入所述教师网络模型进行训练，得到配置最优参数的教师网络模型及其学到的知识；

7、s4，建立学生网络模型，结合步骤s2中的文本型数据作为网络输入，通过自然语言分析，并采用步骤s3训练好的教师网络，基于知识蒸馏算法将教师网络学到的知识迁移到学生网络，通过不断地反复迭代实验，当学生网络的总损失lossstudent下降收敛稳定时，得到最终的学生网络模型；

8、s5，采用步骤s4得到的学生网络模型对无线规划需求库中的站点进行推理，得到对应的需求度；结合基站需求度以及待需求预测区域的地址信息，按照优先级高低顺序输出待需求预测区域内无线基站清单。

9、优选的，所述数值型指标特征信息具体包括站间距、所有无线基站的站间距、同频段无线基站的站间距、同网络无线基站的站间距和覆盖面积值；所述类别型指标特征信息包括：站型、网络类型、场景值、区域类型值、建设类型值、覆盖目标重要程度值、高度维度网络结构值、距离维度网络结构值、网络结构值、需求频段类型值、问题点类型值和问题点关联数量值；所述文本型数据包括基站站点名。

10、优选的，步骤s2中的预处理过程具体包括：对数值型指标特征信息进行归一化处理，对类别型指标特征信息进行独热处理，以及对文本型数据进行分词向量化处理。

11、优选的，步骤s3中，建立的教师网络模型包括两个全连接层块和结果预测全连接层；所述全连接层块包括全连接层、正则化层、激活层和随机失活层；

12、数值型指标特征信息和类别型指标特征信息作为结构化数据输入全连接层块进行训练，所述结果预测全连接层输出预测结果；采用损失函数lossteacher优化模型中的参数，直到损失函数lossteacher稳定下降且收敛，并以在测试集中lossteacher结果符合预期的教师网络模型配置参数，作为教师网络的参数最优配置。

13、优选的，所述损失函数lossteacher采用均方误差损失函数：

14、

15、其中yi代表真实值，代表教师网络预测值，n则是批次样本数据个数。

16、优选的，步骤s4中，所述学生网络模型包括transformer编码器模块，gru网络层和全连接网络层；所述transformer编码器模块的子层数为2，多头注意力数目为4。

17、优选的，学生网络模型的损失函数lossstudent包含对预测结果的均方误差losshard，还包含教师网络中的知识迁移的均方误差losssoft，直到lossstudent下降稳定收敛，就将其作为学生网络的最优参数配置，如公式(2)所示：

18、

19、其中yi代表真实值，代表教师网络预测值，pi代表教师网络中间层特征值，代表学生网络中间层特征值，n是批次样本数据个数，α和β为权重系数。

20、优选的，步骤s5中结合目标位置信息，按照优先级高低输出目标区域内无线基站数据，具体包括：以这个待预测的目标位置为圆心，d为半径，扩充为一个圆形区域，输出落在这个圆形目标区域内的规划需求库平台无线基站清单，并列出清单中这些无线基站的需求度，输出需求度最高的m个规划需求库平台无线基站。

21、本发明的有益效果是：

22、本发明提供了一种基于transformer网络和知识蒸馏的无线资源需求预测方法，减少了无线优化人员的工作量，不需要将基站的各种指标进行收集，只需要站点名即可，提高了工作效率；该方法提高了无线资源站点需求度的预测准确率，提升了模型的客观性，节省了预测时间。提高了需求度预测的泛化能力，不受到结构化数据缺失或者不准确所带来的影响。

技术特征：

1.一种基于transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，所述数值型指标特征信息具体包括站间距、所有无线基站的站间距、同频段无线基站的站间距、同网络无线基站的站间距和覆盖面积值；所述类别型指标特征信息包括：站型、网络类型、场景值、区域类型值、建设类型值、覆盖目标重要程度值、高度维度网络结构值、距离维度网络结构值、网络结构值、需求频段类型值、问题点类型值和问题点关联数量值；所述文本型数据包括基站站点名。

3.根据权利要求1所述的基于transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，步骤s2中的预处理过程具体包括：对数值型指标特征信息进行归一化处理，对类别型指标特征信息进行独热处理，以及对文本型数据进行分词向量化处理。

4.根据权利要求1所述的基于transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，步骤s3中，建立的教师网络模型包括两个全连接层块和结果预测全连接层；所述全连接层块包括全连接层、层正则化、激活层和随机失活层；

5.根据权利要求4所述的基于transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，所述损失函数lossteacher采用均方误差损失函数：

6.根据权利要求1所述的基于transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，步骤s4中，所述学生网络模型包括transformer编码器模块，gru网络层和全连接网络层；所述transformer编码器模块的子层数为2，多头注意力数目为4。

7.根据权利要求1所述的预测方法，其特征在于，学生网络模型的损失函数lossstudent包含对预测结果的均方误差losshard，还包含教师网络中的知识迁移的均方误差losssoft，直到lossstudent下降稳定收敛，就将其作为学生网络的最优参数配置，如公式(2)所示：

8.根据权利要求1所述的基于transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，步骤s5中所述结合目标位置信息，按照优先级高低输出目标区域内无线基站数据，具体包括：以这个待预测的目标位置为圆心，d为半径，扩充为一个圆形区域，输出落在这个圆形目标区域内的规划需求库平台无线基站清单，并列出清单中这些无线基站的需求度，输出需求度最高的m个规划需求库平台无线基站。

技术总结
本发明公开了一种基于Transformer网络和知识蒸馏的无线资源预测方法，本方法分别构建教师网络和学生网络，以历史基站原始数据作为数据集，训练基于全连接网络模型的教师网络；将训练好的教师网络，采用知识蒸馏方法对基于Transformer网络模型的学生网络进行训练；将训练好的学生网络结合无线资源的文本描述和地理位置进行需求度预测，提供优化参考。本发明依据知识蒸馏思想，采用可以明确处理详细的无线资源属性信息的教师网络，引导处理模糊简便的本文描述信息的学生网络，使得学生网络对于文本数据信息具有更强大的判别推理能力，对于输入数据的要求极大地降低，显著提升网络优化工作效率。

技术研发人员：沈仲瀚,赫凯
受保护的技术使用者：湖南华诺科技有限公司
技术研发日：
技术公布日：2024/1/13