一种基于深度学习的多任务数据中心网络流量预测方法

本发明属于流量预测，具体是涉及一种基于深度学习的多任务数据中心网络流量预测方法。

背景技术：

1、数据中心已经发展成为当代互联网内容的主要载体，包含着大量的应用数据和计算资源。目前，越来越多的数据和应用被汇聚到数据中心进行处理，这就产生了大量的网络流量。由于大量应用数据以及网络带宽的限制，数据中心网络流量由南北流量为主向东西流量为主转变，东西流量不均衡，流量突发性高，导致网络链路负载不均衡发生拥塞。此外，传统的数据中心网络架构难以扩展网络规模，改变原有的数据中心网络架构势必会引起网络流量不平衡、负载不均衡的问题。负载均衡是数据中心资源管理的一个主要内容，一个良好的流量调度策略是负载均衡的前提。因此，需要对数据中心网络流量进行精确的预测。

2、传统的基于统计学的流量预测方法主要用来处理一些简单的数据，如具有线性、周期性等特征的数据；但是数据中心网络流量数据随着数据规模的扩大，呈现出非线性、非平稳的特征，传统的基于统计学的流量预测方法不再适应。因此，深度学习方法被广泛应用于流量预测。

3、深度学习模型虽然被广泛应用于流量预测任务中，但是在面对数据中心网络的应用数据和业务数据不断增加，导致网络流量突发性强、缺乏规律性的现状时，仍然具有极大挑战性。简单的深度学习模型存在不稳定和过拟合的问题，对特征的提取能力较弱，预测精度无法满足数据中心网络内部流量预测的需求。混合模型和多任务学习可以视为解决上述问题的一种解决方法，但目前的研究方法中，数据中心网络流量分类和流量预测任务一般是分开进行，且没有考虑到两个任务之间的相关性，同一数据集中可以同时包含流量大小信息和流量类别信息，而分别进行流量预测和流量分类任务，会增加训练样本的数量。

技术实现思路

1、为解决上述技术问题，本发明提供了一种基于深度学习的多任务数据中心网络流量预测方法，引入多任务学习的思想，采用深度学习的方法进行流量预测，能够有效解决数据中心网络流量特征提取不充分和预测精度的问题。

2、一种基于深度学习的多任务数据中心网络流量预测方法，其步骤为：

3、步骤1、获取数据中心网络流量数据；

4、步骤2、对数据中心网络流量数据进行数据处理并归一化，划分训练集和测试集；

5、步骤3、构建深度学习多任务模型；所述深度学习多任务模型包括bilstm-sae深度学习模型、全连接层、分类器和预测器；所述bilstm-sae深度学习模型对输入的数据中心网络流量数据进行特征信息提取，通过全连接层整合提取到的特征信息，全连接层的输出结果分别输入预测器和分类器，分别进行流量预测和流量分类；

6、步骤4、对所述深度学习多任务模型进行训练，将获取得到的数据中心网络流量输入到训练后的深度学习多任务模型，预测未来时间段的网络流量。

7、进一步的，步骤1还包括以下步骤：

8、根据预测的需求，从数据中心网络流量数据中获取所需的数据，为在t时刻的流量大小，为在t时刻的其他特征，所述t时刻的其他特征为流量的协议信息，以便进行流量分类任务。

9、进一步的，所述bilstm-sae深度学习模型包括lstm模型、bi-lstm模型、sae模型；其中，sae模型由ae模型深度堆叠而成，一个ae模型为一层，保留前一层ae编码器的输出结果作为后一层ae编码器的输入；所述ae模型由编码器和解码器组成，所述bi-lstm模型组成的循环网络基构成bi-lstm编码器并作为ae模型的编码器，lstm模型组成的循环网络基构成为lstm解码器并作为ae模型的解码器。

10、进一步的，步骤2具体为：

11、步骤2.1、对数据中心网络流量数据输入的值进行处理，本发明主要对，即流量大小信息进行处理，剔除缺失值和异常值；

12、步骤2.2、对处理后的数据进行归一化，归一化公式如下公式（1）所示：

13、                        （1）

14、其中，为数据的最小值，为数据的最大值，表示每个时间的数据值；使用每个时间的数据与数据最小值之差比上数据最大值与最小值之差，将所有数据映射到[0,1]之间，得到归一化后新的数据中心网络流量数据；

15、步骤2.3、将归一化后的数据中心网络流量数据80%划分为训练数据集，20%划分为测试数据集。

16、进一步的，步骤4具体为：

17、步骤4.1、将划分的训练数据集输入到深度学习多任务模型中进行模型训练，保存具有最优模型效果的模型参数结果；

18、步骤4.2、将归一化后的网络流量测试数据集输入到训练好的深度学习多任务模型中进行流量预测，先输入到bilstm-sae深度学习模型中，提取网络流量数据的特征信息；网络流量数据的特征信息由bilstm-sae深度学习模型的最后一层编码器输出得到；

19、步骤4.3、将提取到的网络流量数据的特征信息输入到全连接层，全连接层整合提取到的信息，将其整合成一个值，提高整个网络的鲁棒性；

20、步骤4.4、将整合后的值分别输入预测器和分类器，流量预测任务通过特征信息，主要提取时间特征（特征信息是来源于输入的数据集的内容，一般每一列都可以代表一个特征）预测未来时间段的流量信息的预测结果为；整合后的值输入分类器后进行流量分类任务不需要输出结果，流量分类任务仅仅作为多任务中的辅助任务，用于增强主要任务即流量预测任务的学习性能（流量分类在通过bilstm-sae模型进行分类任务的时候，训练模型的能力，增强泛化性能，随后进行流量预测任务，会达到一个更好的预测效果）；

21、步骤4.5、得到未来时间段的流量信息的预测结果后，计算预测的精确程度，使用对称平均绝对百分比误差smape作为预测评价指标，其中，smape具有尺度无关的特点，具体计算方法如下公式（2）所示；

22、                 （2）

23、其中，和分别为预测值和真实值，n为预测样本的个数，，表示第i个预测样本。

24、本发明所述的有益效果为：本发明所述的方法充分考虑到数据中心网络流量的非线性、非平稳的特征，采用深度学习的方法进行流量预测；在设计深度学习模型部分的时候，结合bi-lstm、lstm和sae模型多种模型，进行模型融合，通过深度堆叠，设计出bilstm-sae深度学习模型，有效解决单一模型不稳定、提取特征不充分的问题；本发明还引入多任务学习的思想，同时进行流量分类任务和流量预测任务，并且设置流量分类为多任务的辅助任务，流量预测为多任务中的主要任务，通过辅助任务来增强主要任务的学习性能，从而提高流量预测任务的预测精度。

技术特征：

1.一种基于深度学习的多任务数据中心网络流量预测方法，其特征在于，

2.根据权利要求1所述的一种基于深度学习的多任务数据中心网络流量预测方法，其特征在于，步骤1还包括以下步骤：

3.根据权利要求1所述的一种基于深度学习的多任务数据中心网络流量预测方法，其特征在于，所述bilstm-sae深度学习模型包括lstm模型、bi-lstm模型、sae模型；其中，sae模型由ae模型深度堆叠而成，一个ae模型为一层，保留前一层ae编码器的输出结果作为后一层ae编码器的输入；所述ae模型由编码器和解码器组成，所述bi-lstm模型组成的循环网络基构成bi-lstm编码器并作为ae模型的编码器，lstm模型组成的循环网络基构成为lstm解码器并作为ae模型的解码器。

4.根据权利要求1所述的一种基于深度学习的多任务数据中心网络流量预测方法，其特征在于，步骤2具体为：

5.根据权利要求3所述的一种基于深度学习的多任务数据中心网络流量预测方法，其特征在于，步骤4具体为：

技术总结
本发明属于流量预测技术领域，公开了一种基于深度学习的多任务数据中心网络流量预测方法，其对获取数据中心网络流量数据进行处理，进行归一化处理，划分训练集和测试集；构建深度学习多任务模型提取数据中心网络流量的特征信息，并进行流量分类任务及进行流量预测任务，预测未来时间段的网络流量。本发明所述的方法将多种模型融合，并引入多任务学习思想，有效解决数据中心网络流量深度学习模型使用单一以及预测精度的问题。

技术研发人员：郭永安,王胜蓝,佘昊,王宇翱
受保护的技术使用者：南京邮电大学
技术研发日：
技术公布日：2024/1/12