数据中心网络开销管理方法及系统与流程

本技术涉及智能化管理，且更为具体地，涉及一种数据中心网络开销管理方法及系统。

背景技术：

1、许多网络服务供应商和云服务商维护着多个数据中心以支持其业务，如百度、腾讯、华为。这些数据中心上运行着各种全局分布式的应用程序，并且它们分布在不同的地理区域，这决定了它们有跨地理区域相互通信的需求，广域网在保障这些数据中心能在不同地理位置之间相互通信中发挥了关键的作用。数据中心之间大量数据传输流导致了高昂的带宽开销，数据中心拥有者每年都要向互联网服务供商租用广域网带宽，费用高达数亿。更严峻的是，不合理的流量调度导致了数据中心间的低下的带宽利用率，绝大多数链路的带宽利用率不超过60％，这意味着高昂的带宽开销中存在很大比例的浪费。

2、如何合理有效地进行流量调度，减少带宽开销，同时保证数据流按时完成，成为了数据中心间流量调度领域的一个重要问题。

3、

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种数据中心网络开销管理方法及系统，其获取各个数据中心在预定时间段内多个预定时间点的传输数据量，并以各个数据中心的传输数据量来表示其负载情况；采用基于深度学习的人工智能技术，建立各个数据中心当前的负载情况以及各个数据中心之间的负载关联，以基于数据中心的整体来进行流量调度。这样，可以合理的进行流量调度，进而提高数据中心间的带宽利用率。

2、根据本技术的一个方面，提供了一种数据中心网络开销管理方法，其包括：

3、获取各个数据中心在预定时间段内多个预定时间点的传输数据量；

4、将所述各个数据中心在预定时间段内多个预定时间点的传输数据量按照时间维度排列为传输量输入向量后通过多尺度邻域特征提取模块以得到多个传输量特征向量；

5、获取所述各个数据中心之间的通信拓扑矩阵，所述通信拓扑矩阵中非对角线位置上各个位置的值为相应两个数据中心之间的通信距离；

6、将所述通信拓扑矩阵通过作为特征提取器的卷积神经网络模型以得到通信拓扑特征矩阵；

7、将所述多个传输量特征向量进行二维排列以得到传输量全局特征矩阵；

8、将所述传输量全局特征矩阵和所述通信拓扑特征矩阵通过图神经网络模型以得到通信拓扑传输量全局特征矩阵；

9、对所述通信拓扑传输量全局特征矩阵进行行向量间特征聚合度优化以得到优化通信拓扑传输量全局特征矩阵；

10、将所述优化通信拓扑传输量全局特征矩阵中各个数据中心对应的行向量分别通过类softmax函数以得到多个概率值，其中，所述多个概率值的加和值为1；以及

11、将待调度数据量分别与所述多个概率值进行相乘以得到多个推荐流量调度值。

12、在上述数据中心网络开销管理方法中，所述将所述各个数据中心在预定时间段内多个预定时间点的传输数据量按照时间维度排列为传输量输入向量后通过多尺度邻域特征提取模块以得到多个传输量特征向量，包括：将所述传输量输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度传输量特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;将所述传输量输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度传输量特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，将所述第一尺度传输量特征向量和所述第二尺度传输量特征向量进行级联以得到所述多个传输量特征向量。

13、在上述数据中心网络开销管理方法中，所述将所述传输量输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度传输量特征向量，包括：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述传输量输入向量进行一维卷积编码以得到所述第一尺度传输量特征向量；

14、其中，所述公式为：

15、

16、其中， a为第一卷积核在 x方向上的宽度、为第一卷积核参数向量、为与卷积核函数运算的局部向量矩阵， w为第一卷积核的尺寸， x表示所述传输量输入向量；以及，所述将所述传输量输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度传输量特征向量，包括：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述传输量输入向量进行一维卷积编码以得到所述第二尺度传输量特征向量；其中，所述公式为：

17、

18、其中， b为第二卷积核在 x方向上的宽度、为第二卷积核参数向量、为与卷积核函数运算的局部向量矩阵， m为第二卷积核的尺寸， x表示所述传输量输入向量。

19、在上述数据中心网络开销管理方法中，所述将所述通信拓扑矩阵通过作为特征提取器的卷积神经网络模型以得到通信拓扑特征矩阵，包括：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行沿通道维度的池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述通信拓扑特征矩阵，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述通信拓扑矩阵。

20、在上述数据中心网络开销管理方法中，所述作为特征提取器的卷积神经网络模型为深度残差网络。

21、在上述数据中心网络开销管理方法中，所述对所述通信拓扑传输量全局特征矩阵进行行向量间特征聚合度优化以得到优化通信拓扑传输量全局特征矩阵，包括：以如下公式对所述通信拓扑传输量全局特征矩阵进行行向量间特征聚合度优化以得到优化通信拓扑传输量全局特征矩阵；其中，所述公式为：

22、

23、其中，表示所述通信拓扑传输量全局特征矩阵的每个行向量，表示所述其他行向量，表示所述每个行向量与所述其他行向量之间的距离，表示预定阈值，表示加权超参数，表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，表示向量的按位置减法，表示所述优化通信拓扑传输量全局特征矩阵中各个节点间类概率匹配特征向量。

24、在上述数据中心网络开销管理方法中，所述将所述优化通信拓扑传输量全局特征矩阵中各个数据中心对应的行向量分别通过类softmax函数以得到多个概率值，包括：以如下公式将所述优化通信拓扑传输量全局特征矩阵中各个数据中心对应的行向量分别通过类softmax函数以得到多个概率值；其中，所述公式为：

25、

26、其中，表示所述多个概率值，表示所述行向量中各个位置的特征值，表示数值的指数运算，所述数值的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。

27、根据本技术的另一个方面，提供了一种数据中心网络开销管理系统，其包括：

28、数据获取模块，用于获取各个数据中心在预定时间段内多个预定时间点的传输数据量；

29、多尺度特征提取模块，用于将所述各个数据中心在预定时间段内多个预定时间点的传输数据量按照时间维度排列为传输量输入向量后通过多尺度邻域特征提取模块以得到多个传输量特征向量；

30、通信拓扑矩阵获取模块，用于获取所述各个数据中心之间的通信拓扑矩阵，所述通信拓扑矩阵中非对角线位置上各个位置的值为相应两个数据中心之间的通信距离；

31、卷积编码模块，用于将所述通信拓扑矩阵通过作为特征提取器的卷积神经网络模型以得到通信拓扑特征矩阵；

32、二维排列模块，用于将所述多个传输量特征向量进行二维排列以得到传输量全局特征矩阵；

33、图神经网络模块，用于将所述传输量全局特征矩阵和所述通信拓扑特征矩阵通过图神经网络模型以得到通信拓扑传输量全局特征矩阵；

34、优化模块，用于对所述通信拓扑传输量全局特征矩阵进行行向量间特征聚合度优化以得到优化通信拓扑传输量全局特征矩阵；

35、softmax函数模块，用于将所述优化通信拓扑传输量全局特征矩阵中各个数据中心对应的行向量分别通过类softmax函数以得到多个概率值，其中，所述多个概率值的加和值为1；以及

36、计算模块，用于将待调度数据量分别与所述多个概率值进行相乘以得到多个推荐流量调度值。

37、与现有技术相比，本技术提供的数据中心网络开销管理方法及系统，其获取各个数据中心在预定时间段内多个预定时间点的传输数据量，并以各个数据中心的传输数据量来表示其负载情况；采用基于深度学习的人工智能技术，建立各个数据中心当前的负载情况以及各个数据中心之间的负载关联，以基于数据中心的整体来进行流量调度。这样，可以合理的进行流量调度，进而提高数据中心间的带宽利用率。

38、