基于可编程数据平面的分布式在网神经网的流量控制方法及装置

本发明属于人工智能的，具体涉及一种基于可编程数据平面的分布式在网神经网的流量控制方法及装置。

背景技术：

1、目前，ai模型的训练加速器大部分要求硬件物理和神经网络中的数学运算之间的直接数学同构(例如，基于gpu或fpga)，但是过大的能源消耗越来越限制它们的可扩展性。因此，本实施例提出分布式在网神经网。基于多个互联的可编程交换机，分布式在网神经网既可进行训练，也可进行推理。

2、在网络中，流量控制的本质是怎么把流量合理的分配到各个链路上，实现流量合理的时间和空间上的分布，以提高网络的性能、可靠性和扩展性。而实际上，作为流量控制的一种主要技术，负载均衡的目前都没有找到全局最优的负载均衡模型，只是在量力而为。主要有以下原因，首先，网络环境的复杂性和动态性，导致网络负载在不同的时间和位置上存在巨大的差异，而负载均衡算法必须在这种复杂的环境下进行决策，这使得负载均衡算法的设计和优化变得非常困难。另一方面，负载均衡算法的局限性也限制了负载均衡方案的优化。

3、当前，在可编程数据平面决策的负载均衡算法通常只在数据包级别上进行流量调度和路由选择，不负责网络状态的监控和收集。因此，这些算法难以获得全局的网络状态信息，也难以观测到整个网络的状态变化。这可能会导致一些潜在的问题，例如流量热点和拥塞等，无法被及时发现和解决。在控制平面决策的负载均衡算法通常需要在集中式控制器中进行决策，因为集中式控制器需要收集、分析和处理整个网络的状态信息，这可能导致决策周期过长和额外的带宽开销，从而降低了负载均衡的效率和实时性。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于可编程数据平面的分布式在网神经网的流量控制方法及装置，通过利用可编程交换机经过矩阵向量线性运算形成神经元，接着可编程交换机采取主动发送数据包的源路由方法确定神经元通信链路，能够使得网络的分组转发过程与神经网络模型的训练过程统一起来，并广泛用于流量控制、流类型预测、拥塞预测、异常检测等多种网络任务，另外，通过模型剪枝能够使得分布式在网神经网适应不同的网络拓扑。本技术还提供了上述方法对应或者进一步的系统、电子设备以及计算机可读存储介质。

2、为了达到上述目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种基于可编程数据平面的分布式在网神经网的流量控制方法，包括下述步骤：

4、构建分布式在网神经网，所述分布式在网神经网包括多个神经元，所述神经元由可编程交换机形成，所述可编程交换机采取主动发送数据包的源路由方法确定神经元通信链路；

5、根据不同的网络拓扑下构建不同结构的分布式在网神经网的需求，对分布式在网神经网进行模型剪枝；所述模型剪枝是删减神经元、删减神经元间的权重连接中的至少一种；

6、利用带标签的分布式时空联合的网络行为特征数据集迭代训练分布式在网神经网，计算损失函数的损失值，直至模型参数收敛至标签值，完成模型训练后，获得最优的神经元权重；

7、将最优的神经元权重与流量控制的网络行为特征之间建立映射关系；通过映射关系将最优的神经元权重转换为流量控制的网络行为特征，利用权重概率转发策略，完成数据中心网络的近似最优的流量控制；所述流量控制包括负载均衡、拥塞控制、流量整形、路由调度或者流调度。

8、作为优选的技术方案，所述分布式在网神经网，利用可编程交换机经过矩阵向量线性运算形成神经元，具体为：

9、所述矩阵向量线型运算，具体如下式：

10、

11、将上一层第i个神经元的输出信号xi与上一层第i个神经元到本神经元之间的权重wi相乘，得到wixi，然后对上层多个神经元的输出求和，再减去神经元的激活偏置θ，最后通过激活函数f后获得输出y，作为下层神经元的输入。

12、作为优选的技术方案，所述矩阵向量线性运算，由可编程交换机基于匹配-动作表mat执行map-reduce机制进行等效计算实现，具体为：

13、矩阵向量线性运算中的向量到向量由map-reduce中的map等效，矩阵向量线性运算中的向量到标量由map-reduce中的reduce等效；

14、所述map-reduce机制位于可编程交换机的两个mat之间，实现与mat、解析器、调度的流水线运行。

15、作为优选的技术方案，所述可编程交换机采取主动发送数据包的源路由方法确定神经元通信链路，具体为：

16、根据分布式在网神经网模型的神经元之间传递的模型参数的需要，确定一条源路由路径；

17、神经元间通信时，可编程交换机主动发送利用p4编程语言定制化头部的数据包，然后将模型参数嵌入数据包中；所述定制化头部包括源路由所需的沿途交换机的地址；

18、数据包按照前述所确定的源路由路径进行转发，完成分布式在网神经网模型参数在神经元之间的传输，确保神经元之间通信传输的时延是确定性的。

19、作为优选的技术方案，所述带标签的分布式时空联合的网络行为特征数据集，具体为：

20、在分布式在网神经网的所有输入层的神经元中，在每一个时隙内，提取同一个网络行为特征，并在不同的时隙提取不同的网络行为特征；所有输入层的神经元即各个检测节点；

21、使用多个检测节点的多个时隙的网络行为特征构建带标签的分布式时空联合的网络行为特征数据集。

22、作为优选的技术方案，所述分布式在网神经网，利用可编程交换机经过矩阵向量线性运算形成神经元，具体为：

23、所述矩阵向量线型运算，具体如下式：

24、

25、将上一层第i个神经元的输出信号xi与上一层第i个神经元到本神经元之间的权重wi相乘，得到wixi，然后对上层多个神经元的输出求和，再减去神经元的激活偏置θ，最后通过激活函数f后获得输出y，作为下层神经元的输入。

26、作为优选的技术方案，所述矩阵向量线性运算，由可编程交换机基于匹配-动作表mat执行map-reduce机制进行等效计算实现，具体为：

27、矩阵向量线性运算中的向量到向量由map-reduce中的map等效，矩阵向量线性运算中的向量到标量由map-reduce中的reduce等效；

28、所述map-reduce机制位于可编程交换机的两个mat之间，实现与mat、解析器、调度的流水线运行。

29、作为优选的技术方案，所述可编程交换机采取主动发送数据包的源路由方法确定神经元通信链路，具体为：

30、根据分布式在网神经网模型的神经元之间传递的模型参数的需要，确定一条源路由路径；

31、神经元间通信时，可编程交换机主动发送利用p4编程语言定制化头部的数据包，然后将模型参数嵌入数据包中；所述定制化头部包括源路由所需的沿途交换机的地址；

32、数据包按照前述所确定的源路由路径进行转发，完成分布式在网神经网模型参数在神经元之间的传输，确保神经元之间通信传输的时延是确定性的。

33、作为优选的技术方案，所述带标签的分布式时空联合的网络行为特征数据集，具体为：

34、在分布式在网神经网的所有输入层的神经元中，在每一个时隙内，提取同一个网络行为特征，并在不同的时隙提取不同的网络行为特征；所有输入层的神经元即各个检测节点；

35、使用多个检测节点的多个时隙的网络行为特征构建带标签的分布式时空联合的网络行为特征数据集。

36、作为优选的技术方案，所述构建带标签的分布式时空联合的网络行为特征数据集，具体为：

37、分布式在网神经网的所有输入层神经元，在每一个时隙内，从所转发的分组中提取链路流量密度，所述链路流量密度为单位时间内的分组数量；

38、使用分组所经过路径上的多个关键交换机的多个关键时隙的链路流量密度构建带标签的分布式时空联合的网络行为特征数据集。

39、作为优选的技术方案，所述神经元在一个时隙内等待其所有输入到齐，所述时隙用于神经元之间的同步，使得每个神经元能够在新输入到达之前处理其输入。

40、作为优选的技术方案，利用带标签的分布式时空联合的网络行为特征数据集迭代训练分布式在网神经网，所述迭代训练需要多次前向传播和后向传播的迭代，使得在网神经网模型的预测值收敛至标签值，1次前向传播和后向传播的迭代具体包括以下步骤：

41、所述前向传播，将网络行为特征数据集转化为标准的数值，然后将数值并行输入分布式在网神经网的输入层，逐层地在所述分布式在网神经网的中间层向前传播，在输出层输出预测值，最后通过计算损失函数的损失值计算所述预测值与标签值之间的误差；

42、所述后向传播，基于链式法则逐层地将所述误差从输出层逐层地向后传播回到输入层，在此过程中更新分布式在网神经网的权重和偏置。

43、作为优选的技术方案，所述完成数据中心网络的近似最优的流量控制，具体包括如下步骤：

44、数据中心网络采用等价多路径路由方法ecmp转发分组，可编程交换机每一个时隙收集一次网络行为特征，并存储在可编程交换机的寄存器中；网络控制器每隔时间t从所述寄存器收集数据，构建带标签的分布式时空联合的网络行为特征数据集；每隔时间t，带标签的分布式时空联合的网络行为特征数据集增加一组数据；

45、利用带标签的分布式时空联合的网络行为特征数据集，被迭代地训练分布式在网神经网，当损失值的滑动平均值减小到预定阈值时，停止训练；

46、在网络控制器，从训练好的神经网模型获得各个神经元权重，将神经元权重下发到可编程交换机；

47、可编程交换机收到下发的神经元权重，存储在自己的寄存器；

48、当分组到达可编程交换机时，可编程交换机采用权重概率转发策略为分组选择转发端口。

49、作为优选的技术方案，所述标签为流量控制的优化目标具体为：当网络完全无拥塞的情况下的端到端时延、流完成时间和截止时间满足率。

50、作为优选的技术方案，所述在神经元权重与流量控制的网络行为特征之间建立映射关系，具体为：

51、神经元权重与流量控制的网络行为特征的映射关系是相等关系；

52、可编程交换机之间链路的链路流量密度是所述流量控制的网络行为特征，可编程交换机之间链路的链路流量密度的值等于所述神经元权重的值。

53、作为优选的技术方案，在分布式在网神经网训练中的损失函数loss，具体为：

54、

55、其中，mse表示均方误差函数，表示预测到的分组在数据中心网络中的第i个端到端时延、流完成时间、截止时间满足率，di表示对应的第i个标签，n表示特征个数。

56、作为优选的技术方案，所述权重概率转发策略，具体为：根据链路流量密度与神经元权重的映射，一个分组被第i个交换机端口转发的概率为：

57、

58、其中，wi为第i个交换机端口的权重，pi为端口i被选中的概率，所述交换机端口的权重为对应神经元的神经元权重。

59、作为优选的技术方案，在k＝4胖树网络拓扑下，所述带标签的分布式时空联合的网络行为特征数据集，包括以下步骤：

60、设置可编程交换机的3号和4号端口的链路流量密度；

61、在第t时隙，获得用于训练在网神经网的数据集的一个没有时空联合相关特性的样本，如下式：

62、

63、其中，表示第t时隙第n个交换机的第i个端口的链路流量密度。

64、作为优选的技术方案，在k＝4胖树网络拓扑下，所述带标签的分布式时空联合的网络行为特征数据集的获取，还包括以下步骤：

65、设置可编程交换机的3号和4号端口的链路流量密度；

66、设置在网神经网输入层的第1个神经元的输入

67、设置输入层的第2个神经元的输入

68、设置输入层的第n个神经元的输入in(t+n-1)为：

69、

70、在第t时隙，获得用于训练在网神经网的数据集的一个具有时间相关特性的样本，如下式：

71、

72、其中，in(t+n-1)表示在第t时隙在网神经网输入层的第n个神经元的输入，表示第t时隙第n个交换机的第i个端口的链路流量密度。

73、作为优选的技术方案，在k＝4胖树网络拓扑下，所述带标签的分布式时空联合的网络行为特征数据集的获取，还包括以下步骤：

74、设置可编程交换机的3号和4号端口的链路流量密度；

75、将可编程交换机s1、s9、s17作为在网神经网输入层的第1个神经元的输入，如下式：

76、将可编程交换机s2、s10、s19作为在网神经网输入层的第2个神经元的输入，如下式：

77、将可编程交换机s3、s11、s18作为在网神经网输入层的第3个神经元的输入，

78、将可编程交换机s4、s12、s20作为在网神经网输入层的第4个神经元的输入，

79、在第t时隙，获得用于训练在网神经网的数据集的一个具有时空联合相关特性的样本，如下式：

80、

81、其中，in(t)表示在第t时隙在网神经网输入层的第n个神经元的输入，表示第t时隙第n个交换机的第i个端口的链路流量密度。

82、作为优选的技术方案，在k＝4胖树网络拓扑下，还包括将端到端时延设置为分布式时空联合的网络行为特征数据集的标签的具体方法为：

83、当网络完全无拥塞的情况下，在第t时隙，分组在交换机s1和s5、s2和s6、s3和s7、s4和s8之间的平均端到端时延分别为ds1-s5(t)、ds2-s6(t)、ds3-s7(t)、ds4-s8(t)；

84、第t时隙，设定样本的标签d(t)为：

85、d(t)＝[ds1-s5(t),ds2-s6(t),ds3-s7(t),ds4-s8(t)]

86、那么，在第t时隙，前述带标签的分布式时空联合的网络行为特征数据集中的1个带标签的样本为c1(t)—d(t)、c2(t)—d(t)、c3(t)—d(t)；c1(t)是指没有时空联合相关特性的样本，c2(t)是指具有时间相关特性的样本，c3(t)是指具有时空联合相关特性的样本；

87、使用所述多个带标签的样本构建带标签的分布式时空联合的网络行为特征数据集。

88、第二方面，本发明还提供了一种分布式在网神经网的带内去中心化协作负载均衡系统，应用于所述的基于可编程数据平面的分布式在网神经网的流量控制方法，包括在网神经网构建模块、模型剪枝模块、在网神经网训练模块和流量控制模块；

89、所述在网神经网构建模块，用于构建分布式在网神经网，所述分布式在网神经网包括多个神经元，所述神经元由可编程交换机形成，所述可编程交换机采取主动发送数据包的源路由方法确定神经元通信链路；

90、所述模型剪枝模块，用于根据不同的网络拓扑下构建不同结构的分布式在网神经网的需求，对分布式在网神经网进行模型剪枝；所述模型剪枝是删减神经元、删减神经元间的权重连接中的至少一种；

91、所述网络训练模块，用于利用带标签的分布式时空联合的网络行为特征数据集迭代训练分布式在网神经网，计算损失函数的损失值，直至模型参数收敛至标签值，完成模型训练后，获得最优的神经元权重；

92、所述流量控制模块，用于将最优的神经元权重与流量控制的网络行为特征之间建立映射关系；通过映射关系将最优的神经元权重转换为流量控制的网络行为特征，利用权重概率转发策略，完成数据中心网络的近似最优的流量控制；所述流量控制包括负载均衡、拥塞控制、流量整形、路由调度或者流调度。

93、第三方面，本发明提供了一种电子设备，所述电子设备包括：

94、至少一个处理器；以及，

95、与所述至少一个处理器通信连接的存储器；其中，

96、所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于可编程数据平面的分布式在网神经网的流量控制方法。

97、第四方面，本发明提供了一种计算机可读存储介质，包括计算机可读指令，当所述计算机可读指令在计算设备或计算设备集群上运行时，使得所述计算设备或计算设备集群执行基于可编程数据平面的分布式在网神经网的流量控制方法。

98、本发明与现有技术相比，具有如下优点和有益效果：

99、(1)本发明通过利用可编程交换机经过矩阵向量线性运算形成神经元，接着可编程交换机采取主动发送数据包的源路由方法确定神经元通信链路，能够使得网络的分组转发过程与神经网络模型的训练过程统一起来，从而实现带内去中心化协作的近似最优的流量控制。

100、(2)本发明采用的分布式部署范式可使得神经元的输入来自许多时空分布的网络设备，实际上是为模型增加了一种关联多个对网络状态的时空联合观察和实时推断其行为的能力，利用这种能力，神经网络模型可以根据网络行为的分布式时空联合相关性，为网络任务做出更准确的决策。

101、(3)本发明通过按照需求对分布式在网神经网进行模型剪枝能够使得分布式在网神经网适应不同的网络拓扑结构。