面向大数据的高性能网络中多条固定路径带宽调度方法与流程

本发明属于计算机网络技术领域，涉及一种面向大数据传输的多路径带宽分配及预留的方法。

背景技术：

电子科研、电子商务、社交媒体等各种各样的大型应用产生的海量数据，目前是10¹²、10¹⁵、10¹⁸数量级，未来更高，这些大数据经常需要远程传输以实现远程作业。下一代的科学计算就是一个典型应用，由超级计算机产生的大量的仿真数据集由分布于各地的科学家团队共享，以便进行协同可视化分析处理。如何快速可靠地完成大数据传输任务，是一个亟待解决的问题。传统的因特网无法胜任如此艰巨的任务。高性能网络(High-Performance Networks,HPNs)通过带宽预留可提供专用通道，被公认是一种有效的解决方案。

在HPN中,作为控制平面中心单元的带宽调度器，可以根据网络拓扑和不同时隙的可用带宽为用户计算合适的路径并将该路径预留给该用户作为专用传输通道。多路径路由相比单路径在吞吐量、负载均衡、鲁棒性等方面具有明显的优势，因而单路径扩展到多路径是一个自然的趋势。

目前有关多路径路由的各种计算方法均是针对带宽不随时间变化的静态网络场景，并不适宜网络可用带宽随时间变化的动态应用场景。而针对可用带宽动态变化的带宽调度研究都是单路径调度策略，不能更充分地利用网络带宽资源，不能适应更大规模数据传输及更高实时性的传输需求。

技术实现要素：

本发明的目的是提供一种高性能网络中面向大数据传输的多条固定路径的带宽调度方法。在具有带宽预留功能的高性能网络中剩余带宽动态变化情况下，计算两条节点不相交的固定路径为用户数据的传输进行带宽预留，分配一个专用通道，以使数据传输尽早完成的技术。解决了现有多路径技术只能针对带宽不变的静态网络传输的局限，以及现有的针对带宽动态变化的高性能网络中单路径带宽调度技术带宽利用不充分的缺陷。

面向大数据的高性能网络中多条固定路径带宽调度方法，包括以下步骤：

步骤1，建立网络拓扑图G(V,E)：

G＝(V,E)

其中，V表示高性能网络中的节点集合，V＝(v₀,v₁,…,v_n-1)，n≥1；E表示高性能网络中的链路集合；

在高性能网络的拓扑图G的基础上，建立链路l的时间-带宽三元组(t_l[i],t_l[i+1],b_l[i])；

其中，t_l[i]表示链路l的第i时刻，t_l[i+1]表示链路l的第i+1时刻，(t_l[i],t_l[i+1])表示链路l的第i时隙，b_l[i]表示链路l在第i时隙的带宽值，i＝0,1,2...T_l-1,T_l是链路l的总时隙数，T_l≥1；

将所有链路的时间-带宽三元组合成一个总的时间-带宽表，即为ATB表；

步骤2，在一个带有ATB表的G(V,E)中，设一个用户请求UR(v_s,v_d,δ),其中v_s是起点，v_d是终点，δ是待传输的数据量，根据网络和用户请求的两种服务模式，寻找两条的固定的节点不相交路径，使数据传输结束时间最早；

所述两种服务模式分别为：2FPFB和2FPVB；

所述2FPFB是指：寻找两条的固定的节点不相交路径，每条路径都具有固定带宽,使数据传输结束时间最早；

所述2FPVB是指：寻找两条的固定的节点不相交路径，在数据传输的过程中允许每条路径带宽在不同时隙变化,使数据传输结束时间最早。

进一步地，步骤2中所述的根据网络和用户请求的两种情况，寻找两条固定的节点不相交路径，使数据传输结束时间最早，包括：

(1)网络和用户请求的服务模式为2FPFB

Step1，在网络拓扑图G(V,E)中，寻找δ从v_s传输到v_d时，传输结束最早的一条路径p₁，路径p₁的固定带宽为BW₁；

Step2，在G(V,E)中去掉路径p₁上所有节点和链路，得到G'(V,E)；

Step3，在G'(V,E)中，寻找δ从v_s传输到v_d时，传输结束最早的一条路径p₂，路径p₂的固定带宽为BW₂；

Step4，通过BW₁和BW₂，得到路径p₁和路径p₂的带宽和β；

Step5，通过带宽和β，寻找δ从v_s传输到v_d的两条路径p₁和p₂并行传输的时间τ，其中p₁传输的数据量为δ₁，p₂传输的数据量为δ₂；

Step6，G(V,E)中，在[0,τ-1]时隙，寻找δ₁从v_s传输到v_d的一条传输结束最早的路径p₁'，路径p₁'的固定带宽为β₁'；

Step7，在G(V,E)中去掉路径p₁'上所有节点和链路，得到G'(V,E)；

Step8，G'(V,E)中，在[0,τ-1]时隙，寻找δ₂从v_s传输到v_d的一条传输结束最早的路径p₂'，路径p₂'的固定带宽为β₂'；

(2)网络和用户请求的服务模式为2FPVB

Step1，在G(V,E)中，寻找δ从v_s传输到v_d的传输结束时间最早的一条路径p₁，路径p₁的带宽为BW₁[i]，i＝0,1...τ-1；

Step2，在G(V,E)中去掉路径p₁上所有节点和链路，得到G'(V,E)；

Step3，在G'(V,E)中，寻找δ从v_s传输到v_d时，传输结束最早的一条路径p₂，路径p₂的带宽为BW₂[i]，i＝0,1...τ-1；

Step4，根据BW₁[i]和BW₂[i]，计算路径p₁和路径p₂的带宽和β[i]，通过β[i]计算δ同时用路径p₁和路径p₂并行传输的结束时间τ；

Step5，依据BW₁[i]和BW₂[i]按比例分配数据量δ使路径p₁和路径p₂的传输同时结束，得到路径p₁的数据量为δ₁，路径p₂的数据量为δ₂；

Step6，G(V,E)中，在时隙[0,τ-1]内，寻找δ₁从v_s传输到v_d时，传输结束最早的一条路径p₁',路径p₁'的带宽为BW₁'[i],i＝0,1...τ-1；

Step7，在G(V,E)中去掉路径p₁'上所有节点和链路，得到G'(V,E)；

Step8，G'(V,E)中，在[0,τ-1]时隙，寻找δ₂从v_s传输到v_d的一条传输结束最早的路径p₂'，路径p₂'的带宽为BW₂'[i],i＝0,1...τ-1。

与现有技术相比，本发明具有以下技术效果：

在高性能网络中，通过两条节点不相交的固定路径的带宽调度为用户提供专用传输通道。进一步分为两种服务模式的带宽调度问题：固定路径固定带宽(Two Fixed Paths wi th Fixed Bandwidth,2FPFB)和固定路径可变带宽(Two Fixed Paths with Variab le Bandwidth,2FPVB)。在每种模式下,计算节点不相交的两条带宽和最大的固定路径，通过两条路径并行传输，并根据两条路径带宽大小按比例分配数据，使两条路径传输同时结束。采用两条路径并行传输极大地增加了传输吞吐量减少数据传输时间；另一方面当出现节点故障时可提高传输可靠性。从总体上提高了网络服务质量。

附图说明

图1是融合三条链路TB形成ATB表的示意图；

图2是一个带有四个时隙链路带宽的网络示意图；

图3(a)是Greedy2FPFB算法传输实施例1数据的时间图；(b)为Imp2FPFB的传输实施例1数据的时间图；

图4(a)是Greedy2FPVB算法传输实施例1数据的时间图；(b)为Imp2FPVB的传输实施例1数据的时间图；

图5是2FPFB算法性能比较(随机大规模网络中数据量为1000GByte)；

图6是2FPVB算法性能比较(随机大规模网络中数据量为1000GByte)；

图7是美国能源科学网ESnet的拓扑图(57个节点，65条链路)；

图8是2FPFB算法性能比较(ESnet网络中数据量为1000GByte)；

图9是2FPVB算法性能比较(ESnet网络中数据量为1000GByte)。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

实施例1

本实施例提供了面向大数据的高性能网络中两条固定路径带宽调度方法,包括以下步骤：

步骤1，建立高性能网络(HPN)的拓扑图G(V,E)：

G＝(V,E)

其中，V表示高性能网络中的节点集合，V＝(v₀,v₁,…,v_n-1)，n≥1；E表示高性能网络中的链路集合；

链路的可用带宽在每个时间段变化，可以在高性能网络的拓扑图G的基础上，建立链路l的时间-带宽三元组(t_l[i],t_l[i+1],b_l[i])；

其中，t_l[i]表示链路l的第i时刻，t_l[i+1]表示链路l的第i+1时刻，(t_l[i],t_l[i+1])表示链路l的第i时隙，b_l[i]表示链路l在第i时隙的带宽值，i＝0,1,2...T_l-1,T_l是链路l的总时隙数，T_l≥1；

将所有链路的TB表合成一个总的TB(Aggregated TB,ATB)表，其中存储着所有链路在每个分割时隙的带宽值。如图1，由3个链路TB合成6个新时隙的ATB表。我们用(t[i],t[i+1],b₀[i],b₁[i],...,b_m-1[i]),i＝0,1,2...T-1,表示第i个时隙m条链路的带宽值，其中T为综合m条链路的TB后形成的ATB表的总时隙数，第i时隙对应(t[i],t[i+1])时间区间。

步骤2，给定一个带有所有链路ATB表的HPN网络G(V,E)，一个用户请求UR(v_s,v_d,δ),其中v_s是起点，v_d是终点，δ是待传输的数据量，根据网络和用户请求的两种服务模式，寻找两条的固定的节点不相交路径，使数据传输结束时间最早；

本实施例以图2所示的HPN网络G(7,11)为例，每条链路上标有从时隙0到时隙3的带宽值，源节点v_s，目的节点v_d，传输数据大小δ＝18，为方便说明问题，设当前时隙为0，且每个时隙为一个单位时间。

所述两种服务模式分别为：固定路径固定带宽(2FPFB)和固定路径可变带宽(2FPVB)；

所述2FPFB是指：寻找两条的固定的节点不相交路径，每条路径都具有固定带宽,使数据传输结束时间最早；

所述2FPVB是指：寻找两条的固定的节点不相交路径，在数据传输的过程中允许每条路径带宽在不同时隙变化,使数据传输结束时间最早。

(1)网络和用户请求的服务模式为2FPFB

Step1，在网络拓扑图G(V,E)中，寻找δ从节点v_s传输到节点v_d时，传输结束最早的一条路径p₁，路径p₁的固定带宽为BW₁；

本实施例采用最优算法寻找数据量δ从节点v_s传输到节点v_d时，传输结束时间最早的一条路径p₁；

Step2，在G(V,E)中去掉路径p₁上所有节点和链路，得到G'(V,E)；

Step3，在G'(V,E)中，寻找δ从节点v_s传输到节点v_d时，传输结束最早的一条路径p₂，路径p₂的固定带宽为BW₂；

本实施例采用最优算法寻找数据量δ从节点v_s传输到节点v_d时，传输结束时间最早的一条路径p₂；

Step4，通过BW₁和BW₂，得到路径p₁和路径p₂的带宽和β，通过带宽和β，计算数据量δ从节点v_s传输到节点v_d的两条路径p₁和p₂并行传输的时间τ；

所述β＝BW₁+BW₂；

此时寻找到的两条路径p₁和p₂是基于文献Y.Lin,Q.Wu,Complexity analysis and algorithm design for advance bandwidth scheduling in dedicated networks,IEEE/ACM Transactions on Networking 21(1)(2013)14–27.利用该文献中的单条固定路径固定带宽的最优算法(OptFPFB)所设计的一个多项式时间的两条节点不相交路径的简单贪心算法(Greedy2FPFB)。

本实施例中，该Greedy2FPFB算法首先对δ＝18，在时隙0,1,2,3，用optFPFB找出一条从节点v_s到v_d的传输结束时间最短的路径p₁:v_s-v₃-v_d，删掉该路径后，再利用optFPFB找出另一条从节点v_s到v_d的传输结束时间最短的路径p₂:v_s-v₁-v₄-v_d。在时隙0,1,2,3，p₁的带宽值分别为6,6,5,5，则p₁的固定带宽为5；p₂的带宽值分别为4,6,6,5，则p₂的固定带宽为4。因此对数据量δ＝18，用Greedy2FPFB算法计算的并行传输结束时间τ＝t_end＝18/(5+4)＝2，如图3(a)所示。

Step5，根据BW₁和BW₂的大小，将数据量δ按比例分配给路径p₁和p₂，得到p₁传输的数据量为δ₁，p₂传输的数据量为δ₂；

其中，

Step6，G(V,E)中，在[0,τ-1]时隙，计算δ₁从v_s传输到v_d的一条传输结束最早的路径p₁'，路径p₁'的固定带宽为β₁'；

本实施例采用最优算法寻找δ₁从v_s传输到v_d时，传输结束最早的一条路径p₁'；

Step7，在G(V,E)中去掉路径p₁'上所有节点和链路，得到G'(V,E)；

Step8，G'(V,E)中，在[0,τ-1]时隙，寻找δ₂从v_s传输到v_d的一条传输结束最早的路径p₂'，路径p₂'的固定带宽为β₂'；

本实施例采用最优算法寻找δ₂从v_s传输到v_d时，传输结束最早的一条路径p₂'；

本实施例中，Imp2FPFB算法，对δ＝18大小的数据，用上述Greedy2FPFB算法计算出τ＝2，在两个时隙可完成数据传输任务。改进算法Imp2FPFB在此基础上进一步优化，找出在前两个时隙[0,1]内带宽最大的两条路径：p₁′:v_s-v₃-v_d具有最大的固定带宽6,和p₂′:v_s-v₁-v₄-v_d具有最大的固定带宽4。因此，对δ＝18大小的数据，用Imp2FPFB计算的并行传输结束时间为t_end＝18/(6+4)＝1.8。如图3(b)所示，由于在整个数据传输期间路径的带宽固定，路径带宽值是整条路径上所有链路在传输时间段内各时隙带宽的最小值，所以在不同时间段，有不同的带宽最大的路径。在本例中，提高算法Imp2FPFB，重新寻找带宽最大的路径，使传输时间完成提前了0.2个时间单位。

(2)网络和用户请求服务模式为2FPVB

Step1，在G(V,E)中，计算δ从v_s传输到v_d的传输结束时间最早的一条路径p₁，路径p₁在每个时隙的带宽为BW₁[i]，i＝0,1...τ-1；

本实施例采用最优算法计算δ从v_s传输到v_d时，传输结束最早的一条路径p₁；

Step2，在G(V,E)中去掉路径p₁上所有节点和链路，得到G'(V,E)；

Step3，在G'(V,E)中，计算δ从v_s传输到v_d时，传输结束时间最早的一条路径p₂，路径p₂的带宽为BW₂[i]，i＝0,1...τ-1；

本实施例采用最优算法计算δ从v_s传输到v_d时，传输结束最早的一条路径p₂；

Step4，根据BW₁[i]和BW₂[i]，计算每个时隙路径p₁和路径p₂的带宽和β[i]，通过β[i]计算数据量δ同时用路径p₁和路径p₂并行传输的结束时间τ；

此时寻找到的两条路径p₁和p₂是基于文献Y.Lin,Q.Wu,Complexity analysis and algorithm design for advance bandwidth scheduling in dedicated networks,IEEE/ACM Transactions on Networking 21(1)(2013)14–27.利用该文献中的单条固定路径可变带宽的启发式算法(MinFPVB)所设计的一个多项式时间的两条节点不相交路径的简单贪心算法(Greedy2FPVB)。

本实施例中，该Greedy2FPVB算法首先对δ＝18，在时隙0,1,2,3，用单路径算法minFPVB找出一条从节点v_s到v_d的传输结束时间最短的路径p₁:v_s-v₂-v₅-v_d,删掉p₁后，再用minFPVB算法找出一条从节点v_s到v_d的传输结束时间最短的路径p₂:v_s-v₃-v_d。在不同时隙，每条路径的带宽都可以变化。在时隙0,1,2,3，路径p₁的带宽分别是3,6,9,4；路径p₂的带宽分别是6,6,5,5.因此，通过Greedy2FPVB计算的传输结束时间是τ＝t_end＝9/(3+6)+9/(6+6)＝1.75，如图4(a)所示。

本发明(Imp2FPVB)以所述的Greedy2FPVB算法为基础，进一步缩短传输时间。

Step5，在每个时隙，依据BW₁[i]和BW₂[i]按比例分配数据量δ使路径p₁和路径p₂的传输同时结束，得到路径p₁的数据量为δ₁，路径p₂的数据量为δ₂；

本实施例中，

Step6，G(V,E)中，在时隙[0,τ-1]内，计算δ₁从v_s传输到v_d时，传输结束时间最早的一条路径p₁',路径p₁'的带宽为BW₁'[i],i＝0,1...τ-1；

本实施例采用最优算法寻找δ₁从v_s传输到v_d时，传输结束最早的一条路径p₁'；

Step7，在G(V,E)中去掉路径p₁'上所有节点和链路，得到G'(V,E)；

Step8，G'(V,E)中，在[0,τ-1]时隙，计算数据量δ₂从节点v_s传输到节点v_d的一条传输结束最早的路径p₂'，路径p₂'在每个时隙的带宽为BW₂'[i],i＝0,1...τ-1,；

本实施例采用最优算法寻找δ₂从v_s传输到v_d时，传输结束最早的一条路径p₂'；

采用改进算法Imp2FPVB计算传输结束时间:对δ＝18大小的数据，用上述Greedy2FPVB算法计算出τ＝1.75，在1.75个时间单位(两个时隙内)可完成数据传输任务。因此，Imp2FPVB算法主要是在前两个时隙[0,1]找出带宽和更大的两条节点不相交路径p₁′,p₂′。在时隙[0,1]，首先利用单路径调度算法minFPVB先计算出一条传输结束时间最早的路径p₁′:v_s-v₃-v₅-v_d，该路径在时隙0,1的带宽分别是8,6；删掉p₁′后，再用同样方法找到另一条路径p₂′:v_s-v₁-v₄-v_d，其在时隙0,1的带宽分别是4,6.然后出用两条新路径(p₁′,p₂′)并行传输的结束时间t_end＝12/(8+4)+6/(6+6)＝1.5，如图4(b)所示。可见，改进算法Imp2FPVB将传输结束时间提前了0.25个时间单位。

为了进一步分析所提出算法的性能，将对其在大规模网络中进行仿真。首先创建一系列不同数量节点和链路的随机拓扑的网络，链路带宽值也是随机产生，服从正态分布：其中b_max为100Gbps,x是[0,1]之间的一个随机变量。总带宽时间表(ATB)包含了100时隙，从t[0]＝0开始。

随机产生15个的大规模网络，按从从小到大，编号1,2...,15，如表1所示，对每一个用户请求，随机选择源节点v_s和目的节点v_d，并设传输数据大小为1000GByte。

在15个大规模网络中的每个规模的随机网络实例中，分别运行贪心算法Greedy2FPFB/Greedy2FPVB和提高算法Imp2FPFB/Imp2FPVB 10次。注意到因为Opt2FPFB/Opt2FPVB是指数复杂度的，所以没有在大规模网络中进行测试。对2FPFB和2FPVB问题的算法性能比较分别见图5和图6。对2FPFB,可以发现Imp2FPFB算法性能总是优于Greedy2FPFB，对于2FPVB,提高算法Imp2FPVB也总是优于贪心算法Greedy2FPVB。

表1

Index _of 15 large-scale networks.

以图7所示的一个现实的高性能网络，美国能源科学网ESnet网络拓扑为例，该网络有57个节点，65条链路，每条链路带宽在30Gbps-100Gbps之间的一个随机值。在此实验设置下对2FPFB和2FPVB问题的几种算法性能进行实验测试。

测试当用户请求的数据传输量变化时，对2FPFB和2FPVB两个问题用各自的算法，计算的传输时间的均值和标准差，相应的性能测量分别见图8和图9。由图可见，提高算法Imp2FPFB/Imp2FPVB的性能分别远远超过贪心算法Greedy2FPFB/Greedy2FPVB。