一种数据中心间的数据调度方法及系统的制作方法

文档序号:7803061阅读:122来源:国知局
一种数据中心间的数据调度方法及系统的制作方法
【专利摘要】本发明公开了一种数据中心间的数据调度方法及系统,包括CSP管理平台收集中间节点信息并通知给控制节点,控制节点存储各CSP管理平台提供的中间节点信息;需要传输数据的CSP管理平台,根据当前网络中中间节点信息及数据业务计算出数据传输路径,记录路径上使用的各中间节点的使用信息并通知给控制节点;控制节点标记这些中间节点为使用中间节点。一方面,通过各个云服务提供商主动提供自身管辖下的可使用节点作为中间节点,大大增加了合适的中间节点的数量,提高了数据中心间的数据调度的数据传输效率;另一方面,随着合适的中间节点数量的增加,也增加了空闲存储空间,为在中间节点间每次传送的大数据量提供了中转保证,提高了数据中心间的数据调度的成功率。
【专利说明】一种数据中心间的数据调度方法及系统
【技术领域】
[0001]本发明涉及云计算技术,尤指一种数据中心间的数据调度方法及系统。
【背景技术】
[0002]随着互联网业务和云计算的蓬勃发展,网络业务正在越来越多地转移到拥有大量服务器和存储集群的数据中心。同时,为了提供更好的用户体验,云服务提供商(CSP,CloudService Provider)建设了大量分布式的、跨地域的数据中心,用户的访问请求交由离用户最近的数据中心处理。分布式部署的数据中心加快了用户访问速度,但是,同时也加大了管理的难度。数据中心之间经常需要传送大量的信息,包括信息同步、数据备份和数据迁移等,已有的研究结果显示,数据中心之间的数据流量与用户对数据中心的访问流量基本一致。因此,如何调度数据中心间的流量以降低对用户访问的影响已经成为一个亟待解决的问题。
[0003]通常,用户对数据中心的访问会遵循一定的模式,即凌晨的流量小而白天和夜间的流量较大,也就是说,数据中心在凌晨会处于资源空闲的状态。因此,在凌晨实施数据中心间的数据调度会使得对用户访问的影响达到最小。然而,大型的云服务提供商根据业务需求会在全球部署多个数据中心,由于这些数据中心跨越多个不同的时区,这就给数据中心间的数据传输带来了一定挑战,需要传递数据的数据中心节点很难同时处在资源空闲的状态。当源数据中心处在空闲时刻时,与源数据中心处于不同时区的目的数据中心有可能正处在业务繁忙的阶段,此时,如果直接向目的数据中心发送数据反而会加重其负担,影响了用户对目的数据中心的访问。
[0004]为了减少处于不同时区的数据中心间的数据调度所带来的对用户访问的影响,目前的做法大致为:对于同一 CSP,其CSP管理平台在源数据中心与目的数据中心间,寻找合适的中间数据中心即中间节点,由中间节点完成数据的中转,该中间节点需要和源数据中心、目的数据中心都有重叠的空闲时间窗口。当源数据中心和中间节点都处于空闲状态时,源数据中心将数据发送到中间节点并由中间节点缓存,当目的数据中心空闲后,再由中间节点将数据发送到目的数据中心。上述方法的关键是找到一个或者多个合适的中间节点,然而,在实际的运营中,现有的数据中心是根据业务需求所部署的,基本上没有考虑数据中心的时区问题,因此,合适的中间节点通常会很少,这样降低了数据中心间的数据调度的数据传输效率;另外,由于在中间节点间每次传送的数据量通常是很大的,在中间节点很少且空闲存储较少的情况下,是很难在重叠的空闲时间窗口间隔内完成数据的传输,同样降低了数据中心间的数据调度的成功率。

【发明内容】

[0005]为了解决上述技术问题,本发明提供了一种数据中心间的数据调度方法及系统,能够提高数据中心间的数据调度的数据传输效率,同时提高数据中心间的数据调度的成功率。[0006]为了达到本发明目的,本发明提供了一种数据中心间的数据调度方法,包括:
[0007]云服务提供商CSP管理平台收集中间节点信息并通知给控制节点,控制节点存储各CSP管理平台提供的中间节点信息;
[0008]控制节点收到来自CSP管理平台的中间节点信息后,将其广播给其他的CSP管理平台;
[0009]需要传输数据的CSP管理平台,根据当前网络中中间节点信息及当前数据业务大小计算出数据传输路径,记录路径上使用的每个中间节点的使用信息,并将被使用的中间节点的使用信息通知给控制节点;
[0010]控制节点按照中间节点的使用信息,标记被使用的中间节点为正在使用的使用中间节点。
[0011 ] 该方法还包括:所述控制节点将中间节点的使用信息广播给所述其他的CSP管理
T D O
[0012]所述中间节点信息包括中间节点所属时区、空闲时间,以及存储空间大小。
[0013]所述中间节点使用信息包括空间使用大小,和使用时间。
[0014]本发明还提供一种数据中心间的数据调度系统,至少包括一个或一个以上CSP管理平台、控制节点,属于不同CSP管理平台下的一个或一个以上数据中心;其中,
[0015]CSP管理平台,用于将中间节点信息通知给控制节点,接收控制节点广播的其他CSP管理平台的中间节点信息;需要传输数据时,根据当前网络中中间节点信息及当前数据业务大小计算出数据传输路径,记录路径上使用的每个中间节点的使用信息,并将中间节点的使用信息通知给控制节点;
[0016]控制节点,用于存储来自CSP管理平台的中间节点信息后,并将其广播给其他的CSP管理平台;接收来自CSP管理平台的中间节点的使用信息,标记被使用的中间节点为正在使用的使用中间节点。
[0017]所述控制节点,还用于将所述中间节点的使用信息广播给所述其他的CSP管理平台。
[0018]与现有技术相比,本发明包括CSP管理平台收集中间节点信息并通知给控制节点,控制节点存储各CSP管理平台提供的中间节点信息;需要传输数据的CSP管理平台,根据当前网络中中间节点信息及当前数据业务大小计算出数据传输路径,记录路径上使用的每个中间节点的使用信息,并将中间节点的使用信息通知给控制节点;控制节点按照中间节点的使用信息,标记被使用的中间节点为正在使用的使用中间节点。一方面,通过各个云服务提供商主动提供自身管辖下的可用节点作为中间节点,大大增加了合适的中间节点的数量,从而提高了数据中心间的数据调度的数据传输效率;另一方面,随着合适的中间节点数量的增加,也增加了空闲存储空间,为在中间节点间每次传送的大数据量提供了中转保证,从而提高了数据中心间的数据调度的成功率。
[0019]本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
【专利附图】

【附图说明】[0020]附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
[0021]图1为本发明数据中心间的数据调度系统的组成结构示意图;
[0022]图2为本发明数据中心间的数据调度方法的流程图;
[0023]图3为本发明数据中心间的数据调度实施例的示意图;
[0024]图4为本发明基于时间扩展的数据中心间的数据调度实施例的示意图。
【具体实施方式】
[0025]为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
[0026]在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
[0027]图1为本发明数据中心间的数据调度系统的组成结构示意图,如图1所示,至少包括一个或一个以上CSP管理平台、控制节点,属于不同CSP管理平台下的一个或一个以上数据中心;其中,
[0028]CSP管理平台,用于负责管理其所控制的数据中心节点,并主动向控制节点提供可以使用的数据中心节点,这些数据中心节点可以作为数据传递的中间节点使用,具体地,CSP管理平台将中间节点信息,至少包括该中间节点的位置即所属时区、空闲时间,存储空间大小等,通知给控制节点,同时接收控制节点广播的其他CSP管理平台的中间节点信息;需要传输数据的CSP管理平台,根据当前网络中空闲的中间节点信息及需要传输数据的当前数据业务大小计算出从源数据中心到目的数据中心的路径,并记录路径上使用的每个中间节点的使用信息即存储空间使用大小和使用时间等,并将使用的中间节点的使用信息通知给控制节点;
[0029]需要说明的是,CSP管理平台是这些数据中心的管理者,数据中心什么时候空闲、什么时候繁忙等,CSP管理平台是可以获知的,具体实现属于本领域技术人员的公知技术,并不用于限定本发明的保护范围。对于CSP管理平台根据当前网络中中间节点信息及数据业务计算出从源数据中心到目的数据中心的路径的算法,最简单的算法是,CSP管理平台根据中间节点的空闲信息穷举计算出一条从源数据中心到目的数据中心的路径,也可以是其他更高效的算法,具体实现数据本领域技术人员的惯用技术手段,这里不再赘述,也不用于限定本发明的保护范围。
[0030]控制节点,用于存储和维护各CSP管理平台提供的中间节点信息;在收到来自CSP管理平台的中间节点信息后,将其广播给其他的CSP管理平台,以便CSP管理平台可以根据这些中间节点信息计算出数据传输的路径;接收来自CSP管理平台的中间节点的使用信息,即CSP管理平台经过路径计算后,路径上使用的每个中间节点的使用信息即存储空间使用大小和使用时间等,标记被使用的中间节点为正在使用的使用中间节点。
[0031 ] 数据中心,用于实现数据的存储和中转。
[0032]控制节点,还用于将中间节点的使用信息,如存储空间使用大小和使用时间等,广播给其他的CSP管理平台。这样保证了其他CSP管理平台对当前网络中的中间节点信息的及时更新。
[0033]图2为本发明数据中心间的数据调度方法的流程图,如图2所示,包括:
[0034]步骤200 =CSP管理平台收集中间节点信息并通知给控制节点,控制节点存储各CSP管理平台提供的中间节点信息。
[0035]本步骤中,中间节点信息至少包括该中间节点所属时区、空闲时间,存储空间大小等。CSP管理平台是数据中心的管理者,数据中心什么时候空闲、什么时候繁忙等,CSP管理平台收集其所能提供的空闲的中间节点信息属于本领域技术人员的公知技术,具体实现属于现有技术,并不用于限定本发明的保护范围。
[0036]需要说明的是,CSP管理平台并不需要将自身可使用的全部的数据中心都提供出来作为中间节点,CSP管理平台可以根据自身的业务状态提供可使用的中间节点,比如:数据中心I在晚上10点?11点有空,CSP管理平台可以按照预先设置的策略如预设提供中间节点的阈值,将数据中心I作为中间节点或不作为中间节点;或者,CSP管理平台也可以采用或轮询方式将可使用的数据中心提供出来作为中间节点等等。
[0037]步骤201:控制节点收到来自CSP管理平台的中间节点信息后,将其广播给其他的CSP管理平台。这样,CSP管理平台可以根据这些中间节点信息计算出数据传输的路径。
[0038]步骤202:需要传输数据的CSP管理平台,根据当前网络中中间节点信息及当前数据业务大小计算出从源数据中心到目的数据中心的数据传输路径,记录路径上使用的每个中间节点的使用信息,并将被使用的中间节点的使用信息通知给控制节点。
[0039]本步骤中,中间节点的使用信息为空间使用大小、使用时间等。
[0040]CSP管理平台根据当前网络中中间节点信息及当前数据业务大小计算出从源数据中心到目的数据中心的路径的算法可以采用很多现有方法来实现,最简单的算法是,CSP管理平台根据中间节点的空闲信息穷举计算出一条从源数据中心到目的数据中心的路径,也可以是其他更高效的算法,具体实现数据本领域技术人员的惯用技术手段,这里不再赘述,也不用于限定本发明的保护范围。
[0041]步骤203:控制节点按照使用的中间节点的使用信息即存储空间使用大小和使用时间等,标记被使用的中间节点为正在使用的使用中间节点。
[0042]本发明方法还包括:控制节点将中间节点的使用信息,如存储空间使用大小和使用时间等,广播给其他的CSP管理平台。这样保证了其他CSP管理平台对当前网络中的中间节点信息的及时更新。
[0043]通过本发明提供的本发明数据中心间的数据调度系统及方法,一方面,通过各个云服务提供商主动提供自身管辖下的可以使用的节点作为中间节点,大大增加了合适的中间节点的数量,从而提高了数据中心间的数据调度的数据传输效率;另一方面,随着合适的中间节点数量的增加,也增加了空闲存储空间,为在中间节点间每次传送的大数据量提供了中转保证,从而提高了数据中心间的数据调度的成功率。
[0044]下面结合具体实施例对本发明方法进行详细描述。
[0045]图3为本发明数据中心间的数据调度实施例的示意图,如图3所示,本实施例中,以包括三个云服务提供商即CSP1,CSP2和CSP3为例,其中,CSPl包括节点Al、节点A2、节点A3和节点A4共四个数据中心,CSP2包括节点BI和节点B2两个数据中心,CSP3包括节点Cl和节点C2两个数据中心,每个数据中心所在的时区如3图所示。假设各个数据中心的空闲时段都为其所在时区的当地时间凌晨I点到凌晨3点。
[0046]本实施例中,假设CSP的数据传输需求如下:节点Al需要向节点A3发送ITB数据,节点BI需要向节点B2发送500GB数据,节点Cl需要向节点C2发送250GB数据。其中,节点A4、节点BI和节点C2为各CSP的CSP管理平台主动提供给控制节点的中间节点,如图3中双线框表示,而且假设各中间节点的可用存储空间大小都为500GB。节点A2作为CSPl自身使用的用于中转的节点,可用空间大小为750GB。
[0047]数据中心的数据调度可以用基于节点(即数据中心)的时间扩展图表示,图4为本发明基于时间扩展的数据中心间的数据调度实施例的示意图,如图4所示,图4中单圈空心节点表示在所示时刻该节点为空闲节点,双圈空心节点表示在所示时刻该节点为空闲中间节点,带阴影圆圈节点表示在所示时刻该节点为繁忙节点(非空闲节点)。图4中所示的时间t表示节点Al和节点Cl所在时区O的时间。
[0048]如图4所示,在t = I时刻,CSPI管理平台,CSP2管理平台和CSP3管理平台分别向控制节点通告其可用的中间节点以及中间节点信息,本实施例中,结合图3,可用的中间节点包括节点A4、节点BI和节点C2,中间节点信息可以包括如位置即所属时区,存储空间大小和空闲时间等;控制节点汇总所有可用的中间节点信息并将该信息广播通知给每个CSP
管理平台;
[0049]在t = 2时亥lj,CSPl管理平台和CSP3管理平台分别开始节点Al到节点A3,节点Cl到节点C2的数据传输,其中,节点A2可以作为CSPl管理平台自有的作为中转的节点使用,但是,由于节点A2的空闲存储空间(本实施例中假设为750GB)有限,CSPl管理平台需要借助额外的存储空间完成数据传输。对于CSP3管理平台,由于节点Cl和节点C2没有重叠的空闲时间窗口,因此,也只能借助其他节点来完成数据传输。因此,CSPl管理平台和CSP3管理平台分别向控制节点申请占用节点BI (本实施例中假设其可用存储空间大小为500GB)的250G存储空间,使用时间为节点BI的整个空闲时段。
[0050]这样,节点Al到节点A3的整个数据传输过程为:在t = 2到t = 3的时间间隔内,节点Al向节点A2发送750G数据,向节点BI发送250G数据,并将发送的数据分别存储在节点A2和节点BI中,从t = 3的时刻开始,节点A2和节点BI分别向节点A3发送存储的数据(一共为ITB数据),并在t = 4的时刻内完成数据传输。经过节点A2和节点BI的中转,节点Al完成了向节点A3的数据传输。
[0051]同样地,节点Cl利用节点BI进行中转实现到节点C2的250G数据传输,具体地,在t = 2到t = 3时间间隔内,节点Cl向节点BI发送数据其中的250G并存储在节点BI中,在t = 3到t = 4的时间间隔内,节点BI向节点C2发送数据,完成数据调度。
[0052]在t = 4的时刻,CSPl管理平台和CSP3管理平台对节点BI的存储空间占用完成,并由CSPl管理平台和CSP3管理平台通知控制节点,控制节点在收到通知后,将当前可用的中间节点及中间节点信息通告给所有的CSP管理平台。此时,CSP2管理平台实施节点BI到节点B2的数据调度过程如下:CSP2管理平台向控制节点申请占用节点A4和节点C2这两个中间节点各250G的存储空间,使用时间为这两个节点的所有空闲时间段,在t = 3到t=4时间间隔内,节点BI分别向节点A4节点和节点C2节点发送250G数据并存储在这两个节点中。从t = 4时刻开始,节点A4和节点C2分别向节点B2发送自身存储的250G数据,并在t = 5时刻内完成数据传输。当CSP2管理平台完成数据传输后,对节点A4和节点C2的存储空间被占用完,并通知控制节点,控制节点在收到通知后,将当前可用的中间节点及中间节点信息通告给所有的CSP管理平台。
[0053]需要说明的是,CSP管理平台对数据的调度是根据自身业务需求决定的,一般情况下,CSP管理平台数据中心的调度会在凌晨进行,在本实施例中,CSPl管理平台和CSP3管理平台的数据中心所处的时区最先进入凌晨,因此CSPl管理平台和CSP3管理平台的调度最早。
[0054]虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
【权利要求】
1.一种数据中心间的数据调度方法,其特征在于,包括: 云服务提供商CSP管理平台收集中间节点信息并通知给控制节点,控制节点存储各CSP管理平台提供的中间节点信息; 控制节点收到来自CSP管理平台的中间节点信息后,将其广播给其他的CSP管理平台; 需要传输数据的CSP管理平台,根据当前网络中中间节点信息及当前数据业务大小计算出数据传输路径,记录路径上使用的每个中间节点的使用信息,并将被使用的中间节点的使用信息通知给控制节点; 控制节点按照中间节点的使用信息,标记被使用的中间节点为正在使用的使用中间节点。
2.根据权利要求1所述的数据调度方法,其特征在于,该方法还包括:所述控制节点将中间节点的使用信息广播给所述其他的CSP管理平台。
3.根据权利要求1或2所述的数据调度方法,其特征在于,所述中间节点信息包括中间节点所属时区、空闲时间,以及存储空间大小。
4.根据权利要求1或2所述的数据调度方法,其特征在于,所述中间节点使用信息包括空间使用大小,和使用时间。
5.一种数据中心间的数据调度系统,其特征在于,至少包括一个或一个以上CSP管理平台、控制节点,属于不同CSP管理平台下的一个或一个以上数据中心;其中, CSP管理平台,用于将中间节点信息通知给控制节点,接收控制节点广播的其他CSP管理平台的中间节点信息;需要传输数据时,根据当前网络中中间节点信息及当前数据业务大小计算出数据传输路径,记录路径上使用的每个中间节点的使用信息,并将中间节点的使用信息通知给控制节点; 控制节点,用于存储来自CSP管理平台的中间节点信息后,并将其广播给其他的CSP管理平台;接收来自CSP管理平台的中间节点的使用信息,标记被使用的中间节点为正在使用的使用中间节点; 数据中心,用于实现数据的存储和中转。
6.根据权利要求5所述的数据调度系统,其特征在于,所述控制节点,还用于将所述中间节点的使用信息广播给所述其他的CSP管理平台。
【文档编号】H04L29/08GK103945004SQ201410188199
【公开日】2014年7月23日 申请日期:2014年5月6日 优先权日:2014年5月6日
【发明者】杨宇, 李希金, 朱峰 申请人:中国联合网络通信集团有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1