一种图卷积神经网络辅助的大数据存储转发调度方法

本发明属于网络数据传输调度方法类，尤其是涉及广域网、跨数据中心网络和算力网络等计算机网络，具体涉及一种图卷积神经网络辅助的大数据存储转发调度方法。

背景技术：

1、以数字孪生、元宇宙等新兴在线应用的飞速发展推动了位于不同地域数据中心之间的海量大数据传输需求。然而，随着时空波动的网络背景流量使得网络运营商难为大数据流量提供高带宽、长时间的端到端传输通道。为了满足在网络流量高峰期不断增长的大数据传输需求，即使面对较低的网络带宽利用率，网络运营商仍然不得花费重金不断升级链路容量。大数据存储转发调度方法是缓解上述困境的有效方案。该方法利用数据传输过程途经的中继网络节点(例如，数据中心等)，当数据传输路径的下一跳链路出现拥塞，数据可以临时存储在中继节点，直到下一跳链路空闲再继续传输。研究表明，存储转发通过在中继网络节点存储转发，将原有端到端传输通道分割为多段独立传输通路，不仅提高了大数据传输调度的灵活性，缓解了原有端到端传输对带宽资源的严苛要求，而且提高了网络带宽利用率。

2、存储转发效能的发挥取决于如何高效求解存储转发调度问题。然而，现有存储转发调度方法通常利用ten网络捕捉全局网络状态信息，以全局ten网络的形式构建存储转发调度问题，并将该问题转变为小规模网络、静态网络流量场景下优化问题进行求解。然而，面对大规模网络、动态网络流量场景，现有调度方法将由于全局ten网络规模与存储转发调度问题复杂度的激增，导致调度方法的计算复杂度过高、计算时间过长而无法求解调度问题。这极大导阻碍存储转发调度的实用性。

3、机器学习因其在解决复杂问题方面的优异表现而备受关注。现有研究工作通常利用机器学习模型直接学习了特定网络场景下的最优调度、路由解决方案。然而，当网络场景发生变化时，机器学习模型将由于其泛化能力不足，而遭遇预测准确不足的困境。

4、综上所述，本发明一方面将全局ten网络分解为多个基于特定路由的子网络，从而将庞大的存储转发调度问题分解为多个小规模子问题；另一方面，采用gcn模型辅助存储转发调度问题求解，通过预测子网络中节点的可到达性，并将不可到达节点从子网络的路由搜索过程中排除，进一步缩小子网络的搜索范围、降低调度问题求解难度。本发明无需以牺牲调度方法调度灵活性为代价，即可在降低问题求解难度的同时提供良好调度性能，满足大数据网络传输需求。

技术实现思路

1、本发明的目的在于解决现有大数据存储转发调度方法难以应用于大规模网络、动态网络流量场景的困境，提供一种图卷积神经网络辅助的大数据存储转发调度方法，有助于提高调度过程的灵活性、提升大数据网络传输的效能，属于广域网、跨数据中心网络和算力网络等计算机网络技术领域。

2、为实现上述目的，本发明的技术方案是：一种图卷积神经网络辅助的大数据存储转发调度方法，利用时间扩展网络ten捕捉网络全局状态信息随时间动态变化的情况，以全局ten网络的形式构建涵盖网络全局信息的存储转发调度问题模型，根据数据源与目的节点之间存在的不同备选路由，将全局ten网络逐一分解为多个基于特定路由的子网络，以将复杂的调度问题分解为多个子问题，缩小子网络规模，降低了调度问题求解难度。

3、在本发明一实施例中，利用图卷积神经网络gcn对基于特定路由的子网络中节点是否可以被有效路径到达进行预测，即利用图卷积神经网络gcn求解子网络中节点的可到达性问题，并将该问题转换成节点分类问题；同时，根据图卷积神经网络gcn预测结果，将不可到达节点从子网络的路由搜索过程中排除，缩小子网络搜索范围，降低问题求解难度，从而减轻调度方法的计算负担。

4、在本发明一实施例中，根据数据源与目的节点之间的不同备选路由将涵盖网络全局信息的全局ten网络分解为基于特定路由的子网络，仅将子网络而非全局ten网络作为样本用于图卷积神经网络gcn的训练。一方面，减小了用于gcn模型训练的网络图规模，降低了gcn模型的训练难度、提高了训练效率；另一方面，使得gcn模型训练无需考虑网络拓扑特征，提高了不同网络拓扑场景下gcn模型的通用性与泛化能力。

5、在本发明一实施例中，通过以下过程实现图卷积神经网络gcn辅助的存储转发调度：

6、获取当前到达网络并等待调度的大数据传输请求和当前网络全局状态信息，以全局ten网络的形式构建存储转发调度问题模型；为备选路由计算构建辅助图，并按照网络优化目标计算辅助图的链路权重；使用路由算法在辅助图上计算从数据源节点到目的节点的多条备选路由；选择一条备选路由，根据备选路由将全局ten网络分解为子网络；根据传输请求所要求的传输截止时间，计算子网络中每条链路在截止时间内的链路最大吞吐量/最大数据存储量；根据最大吞吐量/最大数据存储量和传输请求所要求的传输数据量，判断子网络中每条链路是否能够满足传输/存储要求，并创建辅助子图，以链路权重反映判断结果；获取辅助子图的邻接矩阵与节点特征矩阵；使用图卷积神经网络gcn预测辅助子图中不同层上目的节点的可到达性；使用路由算法对于辅助子图中被预测为可到达的目的节点逐一进行路由搜索，寻找从数据源节点到目的节点的有效路径，直到找到一条有效路径或者所有辅助子图均完成路由搜索；判断是否接受请求，若请求能够成功传输，则根据有效路径更新全局ten网络、配置网络资源以服务请求传输。

7、在本发明一实施例中，所述方法具体包括以下步骤：

8、步骤1、当大数据传输请求r到达网络等待调度，获取传输请求r信息和当前网络全局状态信息，并构建存储转发调度问题：

9、传输请求r信息包括：数据源节点s、传输目的节点d、请求所需传输的数据量f，以及请求传输截止时间tddl；利用时间扩展网络ten捕捉当前网络全局状态信息，以全局ten网络gl构建存储转发调度问题模型，其中全局ten网络gl为多层图，即gl＝{g(1),…,g(l),…,g(l)}，l表示gl的层数，g(l)为gl中第l层的子图，g(l)＝(v(l),e(l))，v(l)表示第l层子图g(l)的节点集合，e(l)表示第l层子图g(l)的链路集合，g(l)与网络拓扑图g＝(v,e)具有相同节点，即v(l)＝v，g(l)中各个节点之间链路连接关系e(l)反映tl时刻网络中各条链路状态信息；g(l)中不同节点v(l)与u(l)通过空间链路相连，其中v(l)≠u(l)且v(l),u(l)∈v(l)，位于子图g(l)上的节点v(l)与位于子图g(l+1)上节点v(l+1)通过时间链路相连，节点v(l)与节点v(l+1)在空间维度上属于同一节点；

10、步骤2、为备选路由计算构建辅助图g'，并按照网络优化目标计算图g'的链路权重：

11、根据全局ten网络gl，构建网络拓扑图g的辅助图g'，根据网络运营商的网络优化目标(例如，降低网络延迟、提高资源利用率、负载均衡)计算g'的链路权重，例如，为实现负载均衡目标，链路权重可以等于gl上每条链路在传输截止时间tddl内的剩余带宽之和的倒数；

12、步骤3、使用路由算法在辅助图g'上计算从源节点s到目的节点d的k条备选路由：

13、使用路由算法(例如，k条最短路径算法)在辅助图g'上计算从源节点s到目的节点d之间的k条备选路由，并记录在集合r(s,d)，其中备选路由ri∈r(s,d)；

14、步骤4、从集合r(s,d)中选择一条备选路由ri，根据ri，将全局ten网络gl分解为基于备选路由ri的子网络

15、根据备选路由ri将包含网络全局状态信息的ten网络gl分解为仅包含单条路由ri状态信息的小规模子网络与gl不同，子网络的每一层子图仅包含路由ri上的节点与链路，而gl的每一层子图包含网络拓扑图g上的所有节点与链路；

16、步骤5、计算请求传输截止时间tddl内子网络中每条链路的链路最大吞吐量te或者最大数据存储量se：

17、根据请求传输截止时间tddl和子网络的链路使用情况，计算中每条空间链路e在传输截止时间tddl内的最大吞吐量te，最大吞吐量te用来表示请求在传输截止时间tddl内被允许在该空间链路上传输的最大的数据量，计算中每条时间链路e在传输截止时间tddl内最大数据存储量se，最大数据存储量se用来表示请求在传输截止时间tddl内被允许在该时间链路上存储的最大的数据量；

18、步骤6、根据传输请求r所要求的传输数据量f和子网络中每条链路e最大吞吐量te或最大数据存储量se，创建子网络的辅助子图g'i，以子图g'i链路权重反映子网络中每条链路e是否能够满足请求r的传输要求；

19、创建辅助子图g'i并确定其连通性，由步骤5得到子网络中每条链路的最大吞吐量te或最大数据存储量se，根据传输请求所需传输数据量f，判断中每条链路是否能够满足传输要求，如果中链路e的te或者se≥f，能满足传输请求r的传输要求，则将链路e添加到辅助子图g'i，并将链路权重设置为1，否则将链路权重设置为无穷，即∞；

20、步骤7、获取辅助子图g'i的邻接矩阵a和特征矩阵x：

21、获得辅助子图g'i的邻接矩阵a，逐一提取g'i中第l层子图上节点的特征向量xl,i，并将xl,i组成特征矩阵x，其中为辅助子图g'i中第l层子图上任意节点vi；

22、步骤8、使用图卷积神经网络gcn预测辅助子图g'i中不同层子图上目的节点的可到达性

23、将步骤7得到的邻接矩阵a和特征矩阵x输入到训练好的图卷积神经网络gcn，预测g'i中不同层子图上目的节点的可到达性合集并将中预测结果为可达的目的节点d(j)存储于目的节点集dest，其中d(j)∈dest；

24、步骤9、逐一从节点集dest中选择一个可到达目的节点d(j)进行路由搜索：

25、逐一选择集合dest中一个目的节点d(j)，使用路由算法(例如，dijkstra算法等)对辅助子图g'i进行路由搜索，寻找从数据源节点s(1)到目的节点d(j)的有效路径，其中s(1)为辅助子图g'i中第1层子图上的源节点s；

26、若g'i中能够找到有效路径p，则传输请求r可以成功传输，终止路由搜索过程；否则继续选择下一个目的节点d(j+1)；若dest中所有目的节点都无法找到有效路径，则重复步骤4至步骤9，尝试搜索下一个子网络直到所有子网络均完成路由搜索；

27、步骤10、判断是否接受传输请求r，并根据有效路径p更新全局ten网络gl、配置网络资源以服务请求传输：

28、若路由搜索算法成功找到有效路径p，则网络接受数据传输请求r，并根据有效路径p更新全局ten网络gl、配置网络资源以服务传输请求r传输；反之直接拒绝传输请求r，算法运行结束。

29、在本发明一实施例中，步骤7中，提取辅助子图g'i中每个节点的特征xl,i，具体如下：

30、节点在图g'i的特征xl,i包括：节点的入度inl,i，节点的出度outl,i，从源节点s(1)到该节点的空间链路跳数shcl,i，从源节点s(1)到该节点的时间链路跳数thcl,i，从源节点s(1)到该节点的总链路跳数hcl,i，从源节点s(1)到该节点的所有时空链路的链路空闲率rlul,i；其中，rlul,i表示在所有从源节点s(1)到节点路径的链路中，空闲链路数即权重为1的链路占其总链路数的比例；源节点s(1)的rlul,i规定为1。

31、在本发明一实施例中，节点的特征xl,i＝[inl,i,out,i,shcl,i,thcl,i,hcl,i,rlul,i]的获取方式如下：

32、inl,i表示指向节点的总链路数，其获取方式即将网络中指向节点的所有链路数相加；

33、outl,i表示从节点出发的总链路数，其获取方式即将网络中从节点出发的所有链路数相加；

34、shcl,i表示在空间维度上，节点所处位置距离源节点的空间跳数，其获取方式即统计从源节点s(1)出发到节点的任意一条路径上空间链路数；

35、thcl,i表示在时间维度上，节点所处位置距离源节点的时间跳数，其获取方式即统计从源节点s(1)出发到节点的任意一条路径上时间链路数；

36、hcl,i表示从源节点s(1)到节点的总链路跳数，其获取方式为空间链路跳数与时间链路跳数之和；

37、rlul,i表示在所有从源节点s(1)到节点路径的链路中，空闲链路数占其总链路数的比例，其获取方式为：首先，遍历从源节点s(1)到节点的所有路径，统计路径的总链路数与空闲链路数；然后，将不同路径上被重复统计的链路从总链路数与空闲链路数去除，获得实际总链路数与实际空闲链路数；最后将空闲链路数除以总链路数即可获得rlul,i。

38、在本发明一实施例中，所述图卷积神经网络gcn包括输入层、隐藏层和输出层，其中隐藏层的神经元个数由训练调参获取，采用relu作为激活函数；输出层采用softmax作为激活函数，用于分类任务；同时，采用交叉熵损失函数，通过精确率、查准率、查全率和f1性能指标判断模型的训练效果，对模型进行离线的训练调参，得到图卷积神经网络gcn最佳的超参数设置。

39、相较于现有技术，本发明具有以下有益效果：

40、1)本发明方法将涵盖网络全局信息的存储转发调度问题构建为以全局ten网络上的路由问题，根据数据源与目的节点之间存在的不同备选路由，将全局ten网络逐一分解为多个基于特定路由的子网络，从而将庞大的调度问题分解为多个子问题。同时，本方法利用gcn模型求解子网络中节点的可到达性问题，并将该问题转换成节点分类问题，根据预测结果，将不可到达节点从子网络的路由搜索过程中排除，进一步缩小子网络的搜索范围，降低问题求解难度，从而减轻调度方法的计算负担；

41、2)本发明方法仅将子网络而非全局ten网络作为训练样本用于gcn模型的训练，一方面，减小了用于gcn模型训练的网络图规模，降低了gcn模型的训练难度、提高了训练效率；另一方面，使得gcn模型训练无需考虑网络拓扑特征，提高了不同网络拓扑场景下gcn模型的通用性与泛化能力；

42、3)借助gcn，本发明方法无需以牺牲调度方法调度灵活性为代价，即可在降低问题求解难度的同时提供良好调度性能，满足大数据网络传输需求。