数据中心间有截止时间约束的大数据传输带宽调度方法与流程

本发明属于计算机网络
技术领域：
，涉及一种数据中心间有截止时间约束的大数据传输带宽调度方法。
背景技术：
：与internet服务提供商(isps)类似，云服务提供商(csps)旨在利用现有网络资源满足尽可能多的客户的数据传输需求。许多大型csps都在不同的地方部署了数据中心(dcs)来为客户提供各类服务，这些数据中心通常通过高带宽的广域网(wan)连接，现有的高性能网络中的带宽调度方法考虑的是单一类型的大数据传输请求，不能满足当下需要传输多种用户请求的要求，且对网络资源充分利用率低。接收尽可能多的数据传输请求,同时最大化整个网络系统的吞吐量，以提高整个网络资源的利用率是csp面临的一个重要技术挑战。技术实现要素：针对现有技术中存在的单一类型的大数据传输请求，不能满足需要传输多种用户请求，且对网络资源利用率低的问题，本发明的目的在于，提供了一种数据中心间有截止时间约束的大数据传输带宽调度方法。为了实现上述目的，本申请采用如下技术方案予以实现：一种数据中心间有截止时间约束的大数据传输带宽调度方法，具体包括以下步骤：步骤1，将用户输入的多个请求ri分为固定带宽的大数据请求fbbr和可变带宽的大数据请求vbbr两种类型，并基于分类结果对所有请求进行排序，得到排序后的请求序列；其中，ri表示第i个请求，ri表示为其中为第i个请求的源节点；为第i个请求的目的节点；是第i个请求的截止时间，δi为第i个请求的数据量,δi>0；为第i个请求的最大带宽，为第i个请求的布尔变量；步骤2，对排序后的请求序列中的请求依次进行处理，在当前请求为固定带宽的大数据请求fbbr时，执行步骤3；在当前请求为可变带宽的大数据请求vbbr时，执行步骤4；步骤3，根据当前请求的截止时间，得到时隙组合序列，将时隙组合序列中的第一个时隙组合作为当前时隙组合，对当前时隙组合中的路径进行如下操作：对当前时隙组合中的路径进行处理，得到当前请求在具有带宽预留机制的网络中的最终传输路径，并在所述最终传输路径上传输当前请求的数据量；当所述最终传输路径能够传输的数据量大于等于当前请求的数据量时，当前请求操作结束；当所述最终传输路径能够传输的数据量大于等于当前请求的数据量不满足时，对所述时隙组合序列中的下一个时隙组合的路径执行与当前时隙组合中的路径相同的操作，同时删去当前时隙组合；直至所述时隙组合序列中时隙组合个数为零，当前请求操作结束；步骤4，根据当前请求的截止时间得到时隙k，其中，k为大于等于0的整数；并计算得到传输当前请求的具有带宽预留机制的网络中各链路每条边的带宽；时隙m依次取0,1，…，k，将第一个时隙作为当前时隙；根据得到的带宽，对当前时隙中的路径进行如下操作：对当前时隙中的路径进行处理，得到最大带宽的路径，并在所述路径上传输当前请求的数据量；当所述路径的最大带宽大于等于当前请求的数据量时，当前请求操作结束；当所述路径的最大带宽小于δi时，将请求传输的剩余数据量作为当前请求的数据量，并对时隙m的下一个时隙中的路径执行与当前时隙中的路径相同的操作,同时删去当前时隙；直至时隙个数为零，当前请求操作结束。进一步的，所述步骤1具体操作如下：对用户输入的多个请求，按照请求的截止时间从小到大的顺序对请求进行排序；当请求的截止时间相等时，按照截止时间相等的请求的数据量从小到大的顺序对请求进行排序；当请求的截止时间相等，且请求的数据量相等时，按照固定带宽的大数据请求fbbr优先于可变带宽的大数据请求vbbr的顺序对请求进行排序；最终得到排序后的请求序列r1,r2，…ri，…ri，其中i表示请求的总数，0<i≤i，i为大于等于2的整数。进一步的，所述步骤3具体操作如下：步骤31，通过当前请求的截止时间tid，得到所述截止时间所在的时隙k为大于等于0的整数，j表示请求的时间间隔，且j>0；以q为结束时隙，p为起始时隙，进行如下运算得到时隙组合[p,q]的序列：将q依次取0,1,2，…，k；对于每个q，p依次取q，q-1，…，0；其中，所述时隙组合[p,q]表示0时隙和q时隙以及0到q之间的所有时隙；步骤32，将时隙组合序列中第一个时隙组合作为当前时隙组合；步骤33，在当前时隙组合中，对传输请求的具有带宽预留机制的网络中的可变路径固定带宽路径采用路径寻找算法得到一条最大带宽为b1的路径，其中b1≥0；所述具有带宽预留机制的网络中可变路径固定带宽路径是指多条不同的路径的集合，不同路径的带宽不同，且每条路径带宽固定不变；步骤34，在当前时隙组合中，对所述具有带宽预留机制的网络中的固定路径固定带宽路径采用路径寻找算法得到一条最大带宽为b2的路径，其中b2≥0，所述具有带宽预留机制的网络中的固定路径固定带宽路径指多条不同的路径集合，不同路径的带宽不同，且每条路径带宽固定不变；步骤35，选取b1和b2两者的较大值所对应的路径作为当前请求的最终传输路径；步骤36，当前请求沿所述最终传输路径进行传输，当条件满足时，表示当前请求传输的数据量传输成功，当前请求操作结束；当条件不满足时，表示当前请求传输的数据量传输失败；此时将时隙组合序列中的下一个时隙组合作为当前时隙组合，返回步骤33，同时删去当前时隙组合；直至所述时隙组合序列中时隙组合个数为零，当前请求操作结束；其中，b[p,q]＝max(b1,b2)，δi表示当前请求传输的数据量，t[q+1]表示q+1时隙的起始时间，t[q+1]>0，t[p]表示p时隙的起始时间，t[p]≥0。进一步的，所述步骤4具体操作如下：步骤41，通过当前请求的截止时间tid，得到所述截止时间所在的时隙k为大于等于0的整数，j为请求的时间间隔；计算传输当前请求的具有带宽预留机制的网络中各链路每条边的带宽其中为当前请求的最大带宽，cl为网络中每条边带宽的初始容量，cl>0；步骤42，在当前时隙m中，根据所述具有带宽预留机制的网络的路径中各链路每条边的带宽bl，对所述具有带宽预留机制的网络中的可变路径可变带宽路径采用路径寻找算法得到一条最大带宽的路径；其中，m依次取0,1，…，k；所述具有带宽预留机制的网络中可变路径可变带宽路径指多条不同的集合，不同时隙路径可变，不同时隙带宽可变；步骤43，当步骤42中得到的路径的最大带宽大于等于δi时，表示当前请求的数据量传输成功，当前请求操作结束；当所述路径的最大带宽小于δi时，表示当前请求的数据量传输失败，将请求传输的剩余剩余数据量δi'＝δi-bi[q]·(ti[q+1]-ti[q])作为当前请求的数据量，当前时隙m的下一个时隙作为当前时隙,返回步骤42，同时删去当前时隙；直至时隙个数为零，当前请求操作结束；其中，bi[q]表示q时隙上的带宽；ti[q+1]表示q+1时隙的起始时间，ti[q+1]>0；ti[q]表示q时隙的起始时间，ti[q]≥0。与现有技术相比，本发明的有益效果如下：1、本发明能够传输要求吞吐量稳定的大数据传输请求(固定带宽的大数据传输请求fbbr)和吞吐量最大化的大数据传输请求(带宽可变的大数据传输请求vbbr)两种不同类型的请求，针对不同的请求采用不同的服务模式，提高了用户请求的调度成功率，更充分的利用了网络资源。2、本发明处理固定带宽的大数据传输请求fbbr时，针对每个时隙组合，使用对高性能网络中的固定路径固定带宽路径和可变路径固定带宽路径分别采用路径寻找算法得到一条最大带宽路径这两种调度模式，并选择两者中的最大带宽所在路径作为请求的最终传输路径，可更快的完成固定带宽的大数据请求传输。3、本发明处理可变带宽的大数据传输请求时，在每个时隙中，针对高性网络中的可变路径可变带宽路径采用路径寻找算法得到最大带宽路径的调度模式进行调度，使调度成功率和用户满意度最大化。附图说明图1为本发明的流程图；图2为网络拓扑的示例和该拓扑中两条边的带宽示例图；图3为esnet5的拓扑图；图4为本发明与optfpfb-mrvt、fixed-mrvt两个算法在esnet5网络中用户满意度usd的对比图；图5为本发明与optfpfb-mrvt、fixed-mrvt两个算法在esnet网络中调度成功率ssr的对比图；图6为本发明与optfpfb-mrvt、fixed-mrvt两个算法在不同的随机网络中调度500个大数据传输请求的用户满意度usd的对比图；图7为本发明与optfpfb-mrvt、fixed-mrvt两个算法在不同的随机网络中调度500个大数据传输请求的调度成功率ssr的对比图；图8为本发明与optfpfb-mrvt、fixed-mrvt两个算法在不同的随机网络中调度不同数量的大数据传输请求的用户满意度usd的对比图；图9为本发明与optfpfb-mrvt、fixed-mrvt两个算法在不同的随机网络中调度不同数量的大数据传输请求的调度成功率ssr的对比图。具体实施方式本发明提供的一种数据中心间有截止时间约束的大数据传输带宽调度方法，包括以下步骤：步骤1，将用户输入的多个请求ri分为固定带宽的大数据请求fbbr和可变带宽的大数据请求vbbr两种类型，并基于分类结果对所有请求进行排序，得到排序后的请求序列；其中，ri表示第i个请求，ri表示为其中为第i个请求的源节点；为第i个请求的目的节点；是第i个请求的截止时间，δi为第i个请求的数据量,δi>0；为第i个请求的最大带宽，为第i个请求的布尔变量，当布尔变量的值为true表示第i个请求为固定带宽的大数据请求fbbr，当布尔变量的值为false表示第i个请求为可变带宽的大数据请求vbbr；步骤2，对排序后的请求序列中的请求依次进行处理，在当前请求为固定带宽的大数据请求fbbr时，执行步骤3；在当前请求为可变带宽的大数据请求vbbr时，执行步骤4；步骤3，根据当前请求的截止时间，得到时隙组合序列，将时隙组合序列中的第一个时隙组合作为当前时隙组合，对当前时隙组合中的路径进行如下操作：对当前时隙组合中的路径进行处理，得到当前请求在具有带宽预留机制的网络中的最终传输路径，并在所述最终传输路径上传输当前请求的数据量；当所述最终传输路径能够传输的数据量大于等于当前请求的数据量时，表示当前请求的数据量传输成功，当前请求操作结束；当所述最终传输路径能够传输的数据量大于等于当前请求的数据量不满足时，表示当前请求的数据量传输失败，对所述时隙组合序列中的下一个时隙组合的路径执行与当前时隙组合中的路径相同的操作，同时删去当前时隙组合；直至所述时隙组合序列中时隙组合个数为零，当前请求操作结束；步骤4，根据当前请求的截止时间得到时隙k，其中，k为大于等于0的整数；并计算得到传输当前请求的具有带宽预留机制的网络中各链路每条边的带宽；时隙m依次取0,1，…，k，将第一个时隙作为当前时隙；根据得到的带宽，对当前时隙中的路径进行如下操作：对当前时隙中的路径进行处理，得到最大带宽的路径，并在所述路径上传输当前请求的数据量；当所述路径的最大带宽大于等于当前请求的数据量时，表示当前请求的数据量传输成功，当前请求操作结束；当所述路径的最大带宽小于δi时，表示当前请求的数据量传输失败，将请求传输的剩余数据量作为当前请求的数据量，并对时隙m的下一个时隙中的路径执行与当前时隙中的路径相同的操作,同时删去当前时隙；直至时隙个数为零，当前请求操作结束。本发明能够传输吞吐量稳定的大数据传输请求(固定带宽的大数据传输请求fbbr)和吞吐量最大化的大数据传输请求(带宽可变的大数据传输请求vbbr)两种不同类型的请求，针对不同类型的请求采用不同的服务模式，提高了请求的调度成功率，更充分的利用了网络资源。具体的，所述步骤1具体操作如下：对用户输入的多个请求，按照请求的截止时间从小到大的顺序对请求进行排序；当请求的截止时间相等时，按照截止时间相等的请求的数据量从小到大的顺序对请求进行排序；当请求的截止时间相等，且请求的数据量相等时，按照固定带宽的大数据请求fbbr优先于可变带宽的大数据请求vbbr的顺序对请求进行排序；最终得到排序后的请求序列r1,r2，…ri，…ri，其中i表示请求的总数，0<i≤i，i为大于等于2的整数；该方式中所述用户请求分为固定带宽的大数据请求fbbr和可变带宽的大数据请求vbbr两种类型，，避免了仅对单一类型的请求进行处理,通过对请求进行排序，在处理请求过程中，按照请求序列的先后顺序，可提高整体的数据传输率。具体的，所述步骤3具体操作如下：步骤31，通过当前请求的截止时间tid，得到所述截止时间所在的时隙k为大于等于0的整数，j表示请求的时间间隔，且j>0；以q为结束时隙，p为起始时隙，进行如下运算得到时隙组合[p,q]的序列：将q依次取0,1,2，…，k；对于每个q，p依次取q，q-1，…，0；其中，所述时隙组合[p,q]表示0时隙和q时隙以及0到q之间的所有时隙；步骤32，将时隙组合序列中第一个时隙组合作为当前时隙组合；步骤33，在当前时隙组合中，对传输请求的具有带宽预留机制的网络中的可变路径固定带宽路径采用路径寻找算法得到一条最大带宽为b1的路径，其中b1≥0；所述具有带宽预留机制的网络中可变路径固定带宽路径是指多条不同的路径的集合，不同路径的带宽不同，且每条路径带宽固定不变；步骤34，在当前时隙组合中，对所述具有带宽预留机制的网络中的固定路径固定带宽路径采用路径寻找算法得到一条最大带宽为b2的路径，其中b2≥0，所述具有带宽预留机制的网络中的固定路径固定带宽路径指多条不同的路径集合，不同路径的带宽不同，且每条路径带宽固定不变；步骤35，选取b1和b2两者的较大值所对应的路径作为当前请求的最终传输路径；步骤36，当前请求沿所述最终传输路径进行传输，当条件满足时，表示当前请求的数据量传输成功，当前请求操作结束；当条件不满足时，表示当前请求的数据量传输失败；此时将时隙组合序列中的下一个时隙组合作为当前时隙组合，返回步骤33，同时删去当前时隙组合；直至所述时隙组合序列中时隙组合个数为零，当前请求操作结束；其中，b[p,q]＝max(b1,b2)，δi表示当前请求传输的数据量，t[q+1]表示q+1时隙的起始时间，t[q+1]>0，t[p]表示p时隙的起始时间，t[p]≥0。上述方式针对固定带宽的大数据传输请求fbbr，针对每个时隙组合，使用对高性能网络中的固定路径固定带宽路径和可变路径固定带宽路径分别采用路径寻找算法得到一条最大带宽路径这两种调度模式，并选择两者中的最大带宽所在路径作为请求的最终传输路径，可更快的完成固定带宽的大数据请求传输。具体的，所述步骤4具体操作如下：步骤41，通过当前请求的截止时间tid，得到所述截止时间所在的时隙k为大于等于0的整数，j为请求的时间间隔；计算传输当前请求的具有带宽预留机制的网络中各链路每条边的带宽其中为当前请求的最大带宽，cl为网络中每条边带宽的初始容量，cl>0；步骤42，在当前时隙m中，根据所述具有带宽预留机制的网络的路径中各链路每条边的带宽bl，对所述具有带宽预留机制的网络中的可变路径可变带宽路径采用路径寻找算法得到一条最大带宽的路径；其中，m依次取0,1，…，k；所述具有带宽预留机制的网络中可变路径可变带宽路径指多条不同的集合，不同时隙路径可变，不同时隙带宽可变；步骤43，当步骤42中得到的路径的最大带宽大于等于δi时，表示当前请求的数据量传输成功，当前请求操作结束；当所述路径的最大带宽小于δi时，表示当前请求的数据量传输失败，将请求传输的剩余剩余数据量δi'＝δi-bi[q]·(ti[q+1]-ti[q])作为当前请求的数据量，当前时隙m的下一个时隙作为当前时隙,返回步骤42，同时删去当前时隙；直至时隙个数为零，当前请求操作结束；其中，bi[q]表示q时隙上的带宽；ti[q+1]表示q+1时隙的起始时间，ti[q+1]>0；ti[q]表示q时隙的起始时间，ti[q]≥0。上述方式针对可变带宽的大数据传输请求，在每个时隙中，针对高性网络中的可变路径可变带宽路径采用路径寻找算法得到最大带宽路径的调度模式进行调度，使调度成功率和用户满意度最大化。实施例为了更好的解释本发明的方法，在图2表示的网络上传输表1中的用户输入请求，图2中各个链路的可用带宽见表2，具体处理如下：表1r1(fbbr):(vs,vd,4s,10gb,15gb/s,true)r2(vbbr):(vs,vd,5s,20gb,12gb/s,false)表2步骤1，对表1中的两个用户输入请求排序，得到排序后的请求序列r1,r2；步骤2，依次对排序后的请求序列依次进行处理；处理请求r1：判断r1为固定带宽的大数据请求ffbr；结合表2，通过截止时间4s得到时隙3，计算时隙组合的序列为：[0,0],[1,1],[0,1],[2,2],[1,2][0,2],[3,3],[2,3],[1,3],[0,3]对[0,0]时隙中,对传输请求的高性能网络中的可变路径固定带宽路径采用的路径寻找算法得到vs-v1-vd路径，b1＝4gb/s,对所述高性能网络中的固定路径固定带宽路径采用路径寻找算法得到vs-v1-vd路径，b2＝4gb/s,选取b1所在的vs-v1-vd路径作为该请求的最终传输路径，判断得出不能成功传输该请求数据量；对下一个时隙[1,1]，对可变路径固定带宽路径采用路径寻找算法得到vs-v2-vd路径，b1＝14gb/s,对固定路径固定带宽路径采用路径寻找算法得到vs-v2-vd路径，b2＝14gb/s,在时间区间[1,1]内找到拥有最大带宽14gb/s的固定路径固定带宽路径vs-v2-vd作为该请求的最终传输路径，并判断得出成功传输该请求数据量,根据得到根据得到用户满意度然后处理r2：判断r2为可变带宽的大数据请求vbbr；结合表2，通过截止时间5s得到时隙4；在时隙0用可变路径可变带宽的路径寻找算法找到vs-v1-vd路径，路径带宽4gb/s，剩余要传输的数据量为:δ2'＝δ2-b2[q]·(t2[q+1]-t2[q])＝16gb，判断得出不能成功传输请求的数据量；在时隙1用可变路径可变带宽的路径寻找算法找到vs-v1-vd路径，路径带宽2gb/s，剩余要传输的数据量为：δ2'＝δ2-b2[q]·(t2[q+1]-t2[q])＝14gb/s，判断得出不能成功传输请求的数据量；在时隙2用可变路径可变带宽的路径寻找算法找到vs-v2-vd路径，路径带宽17gb/s，成功传输剩余数据量；根据得到传输结束时间为根据得到用户满意度为步骤3，由于r1和r2请求的数据量成功传输，得到总成功传输的请求数为2，计算得到总用户满意度usd＝usd1+usd2＝0.7+0.639＝1.339,调度成功率ssr＝成功调度的请求数/总请求数＝100％.实验验证：为了验证本发明提出的数据中心间有截止时间约束的大数据传输带宽调度方法(即fms-mrvt)的性能，分别在esnet5网络、表3规模的随机网络及网络规模和大数据传输请求数量同时变化的三种实验环境下进行评估，并与optfpfb-mrvt、fixed-mrvt两个算法进行对比。表3设定总的时隙为20个时间单位，起始时间为0，网络中链路上的带宽满足正态分布，即其中bmax设置为100gb/s，x的变化区间为(0,1]。随机产生100-1500个大数据传输请求，每一个请求和是两个随机选择的节点，为1到20的一个随机的整数，是区间[1gbps,20gbps]的一个随机的整数，δi是一个不大于的整数，是一个随机的布尔值。(1)在esnet5网络中的性能对比在esnet5环境下，根据三种方法得到的用户满意度usd(如图4所示)和调度成功率ssr(如图5所示)，从图4和图5可以得出本法明的方法分别与optfpfb-mrvt和fixed-mrvt相比，用户满意度分别高18％-22％和15％-20％，成功率分别高50％和3-5倍。(2)在随机的网络中的性能对比在表3中的15种不同规模的随机网络中设置数量为500个的大数据传输请求，根据三种方法得到的用户满意度usd(如图6所示)和调度成功率ssr(如图7所示)，从图6和图7可以得到本发明提供的方法分别与optfpfb-mrvt和fixed-mrvt相比，用户满意度分别高23％-26％和17％-24％，调度成功率分别高50％和3倍。(3)网络和用户请求数量同时变化时的性能对比在表3中的随机网络中调度100-1500个随机的大数据传输请求，根据三种方法得到的用户满意度usd(如图8所示)和调度成功率ssr(如图9所示)，从图8和图9中可以得出，本发明提供的方法分别与optfpfb-mrvt和fixed-mrvt相比，当网络规模增大时，usd和ssr增大，发明提供的方法具有更好的性能。当前第1页12