经由利用知识蒸馏的持续学习的通信业务预测的方法和装置与流程

本公开涉及一种经由知识蒸馏的负载预测的方法和装置，并且更具体地，涉及一种用于经由利用知识蒸馏的持续学习来预测基站的通信负载的方法和装置。

背景技术：

1、自组织网络(son)是第五代(5g)和未来通信网络的关键技术，以实现自主操作、管理和经营(oam)。预测在支持son功能(诸如预测性资源分配、动态频谱管理和自动网络切片)方面是关键的。这有两个原因。一方面，通信网络经受包括观察延迟、计算延迟和致动延迟的各种延迟，这可在部署时容易地使son操作过时。另一方面，为了稳定的son操作，必须考虑未来信息，以避免振荡和短视的决策。

2、业务量是针对son操作的主要参考变量，并且可以是通信网络的最基本度量之一。在业务预测方面进行过很多努力，追溯到全球移动通信系统(gsm)系统甚至更早的系统。传统方法使用统计或概率分布来进行业务预测。最近，基于机器学习(ml)的方法，特别是神经网络(nn)在建模数据中的非线性关系或特征方面显示出其强大的能力，因此可进一步提高预测准确度。

3、虽然现有的基于ml的方法在业务预测方面取得了很大的成功，但是存在阻碍其实际应用的缺点。一方面，业务模式和量在现实世界中保持变化。因此，在先前数据上训练的预测模型不能有效地泛化到新的情况，并且可能遭受大的预测误差。另一方面，传统的ml或nn模型依赖于大量数据来训练准确的模型。然而，基站的容量是有限的，并且当收到新数据时，基站的历史数据被丢弃。因此，基站只能存储少量的业务数据，这可能导致预测模型的准确度下降。似乎可能的解决方案之一是从其他基站收集数据并在这些新收集的大数据集上训练预测模型。然而，由于隐藏的运营费用(opex)和开销(包括用于将数据迁移到长期存储装置中的带宽成本)以及由于频繁的磁盘写入导致的计算资源利用的劣化，它可能非常昂贵和困难。

技术实现思路

1、技术解决方案

2、示例实施例至少解决了上述问题和/或缺点以及上面未描述的其他缺点。此外，示例实施例不需要克服上述缺点，并且可不克服上述任何问题。

3、根据本公开的一个方面，一种用于预测通信系统中的未来负载的服务器，可包括：至少一个存储器，存储计算机可读指令；以及至少一个处理器，被配置为执行所述计算机可读指令以进行以下操作：在第一时间段期间从基站获得第一业务数据集；获得第一人工智能(ai)模型，第一ai模型被配置为从第一业务数据集中提取第一特征，基于提取的第一特征重建第一业务数据集，并且基于提取的第一特征预测第一业务负载；在第一时间段之后的第二时间段期间，从所述基站获得第二业务数据集；获得第二ai模型，第二ai模型在结构上与第一ai模型对应但具有与第一ai模型不同的模型参数，并且被配置为从第二业务数据集中提取第二特征，基于提取的第二特征重建第二业务数据集，并且基于提取的第二特征预测第二业务负载；以及通过使累积损失收敛来更新第二ai模型，所述累积损失包括第二业务数据集与重建的第二业务数据集之间的重建损失、预测的第二业务负载与基准真实业务负载之间的预测损失、重建的第一业务数据集与重建的第二业务数据集之间的重建蒸馏损失、以及预测的第一业务负载与预测的第二业务负载之间的预测蒸馏损失。

4、第一ai模型可包括被配置为从第一业务数据集中提取第一特征的第一编码器网络、被配置为基于提取的第一特征重建第一业务数据集的第一重建网络、以及被配置为基于提取的第一特征预测第一业务负载的第一预测网络。第二ai模型可包括被配置为从第二业务数据集中提取第二特征的第二编码器网络、被配置为基于提取的第二特征重建第二业务数据集的第二重建网络、以及被配置为基于提取的第二特征预测第二业务负载的第二预测网络。第一编码器网络、第一重建网络和第一预测网络在结构上分别与第二编码器网络、第二重建网络和第二预测网络对应，但是分别具有与第二编码器网络、第二重建网络和第二预测网络不同的模型参数。

5、第一编码器网络和第二编码网络中的每个是包括隐藏层的前馈神经网络。

6、第一重建网络和第二重建网络中的每个可包括至少一个线性层和至少一个relu激活函数层。

7、第一重建网络和第二重建网络中的每个可包括至少一个线性层和至少一个relu激活函数层。

8、所述至少一个处理器还被配置为：在第一时间段过去之后删除第一业务数据集；以及基于第一ai模型更新第二ai模型，而不使用在第一时间段期间从所述基站收集的第一业务数据集。

9、所述至少一个处理器还被配置为：响应于确定更新的第二ai模型的所述累积损失收敛，存储更新的第二ai模型以预测所述基站的第二业务负载。

10、所述至少一个处理器还被配置为：计算更新的第二ai模型的平均绝对误差作为更新的第二ai模型的所述累积损失。

11、所述至少一个处理器还被配置为：将基于时间的滑动窗应用于业务数据，以获得用于包括第一时间段和第二时间段的时隙序列的n个业务数据样本；以及在所述n个业务数据样本中，使用前n-1个业务数据样本作为输入向量，并使用最后的业务数据样本作为基准真实业务负载，其中，所述输入向量与被输入第一ai模型的第一业务数据集、或被输入第二ai模型的第二业务数据集对应。

12、根据本公开的一个方面，一种预测通信系统中的未来负载的方法可包括：在第一时间段期间从基站获得第一业务数据集；获得第一人工智能(ai)模型，第一ai模型被配置为从第一业务数据集中提取第一特征，基于提取的第一特征重建第一业务数据集，并且基于提取的第一特征预测第一业务负载；在第一时间段之后的第二时间段期间，从所述基站获得第二业务数据集；获得第二ai模型，第二ai模型在结构上与第一ai模型对应但具有与第一ai模型不同的模型参数，并且被配置为从第二业务数据集中提取第二特征，基于提取的第二特征重建第二业务数据集，并且基于提取的第二特征预测第二业务负载；以及通过使累积损失收敛来更新第二ai模型，所述累积损失包括第二业务数据集与重建的第二业务数据集之间的重建损失、预测的第二业务负载与基准真实业务负载之间的预测损失、重建的第一业务数据集与重建的第二业务数据集之间的重建蒸馏损失、以及预测的第一业务负载与预测的第二业务负载之间的预测蒸馏损失。

13、所述方法还可包括：经由第一ai模型的第一编码器网络从第一业务数据集中提取第一特征；经由第一ai模型的第一重建网络基于提取的第一特征重建第一业务数据集；经由第一ai模型的第一预测网络基于提取的第一特征预测第一业务负载；经由第二ai模型的第二编码器网络从第二业务数据集中提取第二特征；经由第二ai模型的第二重建网络基于提取的第二特征重建第二业务数据集；以及经由第二ai模型的第二预测网络基于提取的第二特征来预测第二业务负载。第一编码器网络、第一重建网络和第一预测网络在结构上分别与第二编码器网络、第二重建网络和第二预测网络对应，但是分别具有与第二编码器网络、第二重建网络和第二预测网络不同的模型参数。

14、所述方法还可包括：在第一时间段过去之后删除第一业务数据集；以及基于第一ai模型更新第二ai模型，而不使用在第一时间段期间从所述基站收集的第一业务数据集。

15、所述方法还可包括：响应于确定更新的第二ai模型的所述累积损失收敛，存储更新的第二ai模型以预测所述基站的第二业务负载。

16、所述方法还可包括：计算更新的第二ai模型的平均绝对误差作为更新的第二ai模型的所述累积损失。

17、所述方法还可包括：将基于时间的滑动窗应用于业务数据，以获得用于包括第一时间段和第二时间段的时隙序列的n个业务数据样本；以及在所述n个业务数据样本中，使用前n-1个业务数据样本作为输入向量，并使用最后的业务数据样本作为基准真实业务负载，其中，所述输入向量可与被输入第一ai模型的第一业务数据集、或被输入第二ai模型的第二业务数据集对应。

18、根据本公开的一个方面，提供了一种包含至少一个指令的计算机可读介质，所述至少一个指令在被执行时使得电子装置的至少一个处理器执行预测通信系统中的未来负载的方法。所述方法可包括：在第一时间段期间从基站获得第一业务数据集；获得第一人工智能(ai)模型，第一ai模型被配置为从第一业务数据集中提取第一特征，基于提取的第一特征重建第一业务数据集，并且基于提取的第一特征预测第一业务负载；在第一时间段之后的第二时间段期间，从所述基站获得第二业务数据集；获得第二ai模型，第二ai模型在结构上与第一ai模型对应但具有与第一ai模型不同的模型参数，并且被配置为从第二业务数据集中提取第二特征，基于提取的第二特征重建第二业务数据集，并且基于提取的第二特征预测第二业务负载；以及通过使累积损失收敛来更新第二ai模型，所述累积损失包括第二业务数据集与重建的第二业务数据集之间的重建损失、预测的第二业务负载与基准真实业务负载之间的预测损失、重建的第一业务数据集与重建的第二业务数据集之间的重建蒸馏损失、以及预测的第一业务负载与预测的第二业务负载之间的预测蒸馏损失。

19、所述方法还可包括：经由第一ai模型的第一编码器网络从第一业务数据集中提取第一特征；经由第一ai模型的第一重建网络基于提取的第一特征重建第一业务数据集；经由第一ai模型的第一预测网络基于提取的第一特征来预测第一业务负载；经由第二ai模型的第二编码器网络从第二业务数据集中提取第二特征；经由第二ai模型的第二重建网络基于提取的第二特征重建第二业务数据集；以及经由第二ai模型的第二预测网络基于提取的第二特征来预测第二业务负载。第一编码器网络、第一重建网络和第一预测网络可在结构上分别与第二编码器网络、第二重建网络和第二预测网络对应，但是分别具有与第二编码器网络、第二重建网络和第二预测网络不同的模型参数。

20、所述方法还可包括：在第一时间段过去之后删除第一业务数据集；以及基于第一ai模型更新第二ai模型，而不使用在第一时间段期间从所述基站收集的第一业务数据集。

21、所述方法还可包括：响应于确定更新的第二ai模型的所述累积损失收敛，存储更新的第二ai模型以预测所述基站的第二业务负载。

22、所述方法还可包括：将基于时间的滑动窗应用于业务数据，以获得用于包括第一时间段和第二时间段的时隙序列的n个业务数据样本；以及在所述n个业务数据样本中，使用前n-1个业务数据样本作为输入向量，并使用最后的业务数据样本作为基准真实业务负载。所述输入向量可与被输入第一ai模型的第一业务数据集、或被输入第二ai模型的第二业务数据集对应。