文件传输调度方法、管理平台、请求平台以及存储介质与流程

文档序号:15394650发布日期:2018-09-08 01:53阅读:158来源:国知局

本发明涉及文件传输领域,尤其涉及一种文件传输的调度方法、管理平台、请求平台以及计算机可读存储介质。



背景技术:

服务器间文件传输方案的主要设计目标是提升文件传输效率。目前,文件传输方案主要采用两种策略,一种是基于冗余链路的策略,另外一种是基于协议优化的策略。

具体地,基于冗余链路的策略适用于网络质量较差的环境,主要是通过提供冗余链路的方式来减少单次传输失败后的寻路时间,从而从整体上提高文件传输效率;而基于协议优化的策略主要是通过对tcp协议慢启动的特性进行修改,以调大拥塞窗口的方式来缩短文件传输的时间,从而达到提高文件传输速度的目的。

然而,由于目前的数据中心内部网络抖动的情况很少,因此,由网络质量差而导致的失败重传几率会很低,这样基于冗余链路的策略对数据中心内文件传输效率的提升效果就不明显。而基于协议优化的策略需要对协议栈参数进行调整,这样要求在文件传输过程中对收发双方服务器进行配置,普适性较差。

因此,在相关技术中,为了提升文件传输效率,通常是尽可能地增加服务器间的带宽资源占用,如此,高速率文件传输会导致服务器的负载迅速上升,在这种情况下,会大大提高数据中心网络拥塞的风险。



技术实现要素:

为解决现有技术存在的问题,本发明实施例期望提供一种文件传输的调度方法、管理平台、请求平台以及计算机可读存储介质,能够根据文件的资源大小,以按需交付的方式分配带宽资源对文件进行传输,这样能够大大降低网络拥塞的风险。

本发明实施例的技术方案是这样实现的:

本发明实施例提供了一种文件传输的调度方法,应用于管理平台,所述方法包括:

从已评估成功的传输任务中筛选获得待执行传输任务的关联传输任务,所述关联传输任务的传输时间段与所述待执行传输任务的配置信息中的传输时间段至少部分重叠;

利用将所述关联传输任务的传输路径逐跳拆分得到的第一路径集合和将所述待执行传输任务的传输路径逐跳拆分得到的第二路径集合,确定时间路径关联集合;所述时间路径关联集合为所述第一路径集合和第二路径集合的交集;

根据所述时间路径关联集合,确定所述待执行传输任务对应的最大可用带宽;

基于确定的最大可用带宽确定允许所述待执行传输任务以所述配置信息对应的资源执行时,将文件传输指令下发至请求平台,以使所述请求平台利用所述对应的资源执行所述待执行传输任务。

上述方案中,所述根据所述时间路径关联集合,确定所述待执行传输任务对应的最大可用带宽,包括:

针对所述时间路径关联集合中的每条路径,确定在所述待执行传输任务中对应的可用带宽;

基于确定的所述可用带宽,确定所述待执行传输任务对应的最大可用带宽。

上述方案中,所述针对所述时间路径关联集合中的每条路径,确定在所述待执行传输任务中对应的可用带宽,包括:

针对所述时间路径关联集合中的每条路径,获取分配给相应路径的传输带宽;

确定所述相应路径在所述关联传输任务进行文件传输时所需要占用的传输带宽用量;

将分配的传输带宽减去所述传输带宽用量获得的结果确定为所述相应路径在所述待执行传输任务中对应的可用带宽。

上述方案中,所述方法还包括:

接收所述请求平台的上报信息;

根据所述上报信息中所述待执行传输任务对应的实际传输带宽,对所述待执行传输任务对应的传输带宽用量进行更新。

上述方案中,基于确定的最大可用带宽确定允许所述待执行传输任务以所述配置信息对应的资源执行,包括:

若所述最大可用带宽大于或等于所述待执行传输任务对应的最小传输带宽,确定允许所述待执行传输任务以所述配置信息对应的资源执行。

本发明实施例还提供了一种文件传输的调度方法,应用于请求平台,所述方法包括:

接收管理平台下发的文件传输指令,所述文件传输指令包括待执行传输任务的配置信息;

利用所述配置信息对应的资源执行所述待执行传输任务。

上述方案中,所述利用所述配置信息对应的资源执行所述待执行传输任务,包括:

基于所述配置信息,确定所述待执行传输任务对应的最小传输带宽;

基于所述最小传输带宽,确定所述待执行传输任务对应的目标传输带宽;

基于所述目标传输带宽,执行所述待执行传输任务。

本发明实施例还提供了一种文件传输的调度方法,所述方法包括:

管理平台从已评估成功的传输任务中筛选获得待执行传输任务的关联传输任务,所述关联传输任务的传输时间段与所述待执行传输任务的配置信息中的传输时间段至少部分重叠;利用将所述关联传输任务的传输路径逐跳拆分得到的第一路径集合和将所述待执行传输任务的传输路径逐跳拆分得到的第二路径集合,确定时间路径关联集合;所述时间路径关联集合为所述第一路径集合和第二路径集合的交集;根据所述时间路径关联集合,确定所述待执行传输任务对应的最大可用带宽;

基于确定的最大可用带宽确定允许所述待执行传输任务以所述配置信息对应的资源执行时,所述管理平台将文件传输指令下发至请求平台;

所述请求平台接收所述管理平台下发的文件传输指令,所述文件传输指令包括所述待执行传输任务的配置信息;利用所述配置信息中对应的资源执行所述待执行传输任务。

本发明实施例还提供了一种管理平台,所述管理平台包括:第一处理器、用于存储能够在第一处理器上运行的计算机程序的第一存储器;其中,

所述第一处理器,用于运行所述计算机程序时实现上述管理平台侧文件传输的调度方法。

本发明实施例还提供了一种管理平台,所述管理平台包括:筛选模块、第一确定模块、第二确定模块和发送模块;其中,

所述筛选模块,用于从已评估成功的传输任务中筛选获得待执行传输任务的关联传输任务,所述关联传输任务的传输时间段与所述待执行传输任务的配置信息中的传输时间段至少部分重叠;

所述第一确定模块,用于利用将所述关联传输任务的传输路径逐跳拆分得到的第一路径集合和将所述待执行传输任务的传输路径逐跳拆分得到的第二路径集合,确定时间路径关联集合;所述时间路径关联集合为所述第一路径集合和第二路径集合的交集;

所述第二确定模块,用于根据所述时间路径关联集合,确定所述待执行传输任务对应的最大可用带宽;

所述发送模块,用于基于确定的最大可用带宽确定允许所述待执行传输任务以所述配置信息对应的资源执行时,将文件传输指令下发至请求平台,以使所述请求平台利用所述对应的资源执行所述待执行传输任务。

本发明实施例还提供了一种请求平台,所述请求平台包括:第二处理器、用于存储能够在第二处理器上运行的计算机程序的第二存储器;其中,

所述第二处理器,用于运行所述计算机程序时实现请求平台侧文件传输的调度方法。

本发明实施例还提供了一种请求平台,所述请求平台包括:接收模块和任务执行模块;其中,

所述接收模块,用于接收管理平台下发的文件传输指令,所述文件传输指令包括待执行传输任务的配置信息;

所述任务执行模块,用于利用所述配置信息对应的资源执行所述待执行传输任务。

本发明实施例还提供了一种文件传输的调度系统,所述文件传输的调度系统包括:管理平台和请求平台;其中,

所述管理平台,用于从已评估成功的传输任务中筛选获得待执行传输任务的关联传输任务,所述关联传输任务的传输时间段与所述待执行传输任务的配置信息中的传输时间段至少部分重叠;利用将所述关联传输任务的传输路径逐跳拆分得到的第一路径集合和将所述待执行传输任务的传输路径逐跳拆分得到的第二路径集合,确定时间路径关联集合;所述时间路径关联集合为所述第一路径集合和第二路径集合的交集;根据所述时间路径关联集合,确定所述待执行传输任务对应的最大可用带宽;

所述管理平台,还用于基于确定的最大可用带宽确定允许所述待执行传输任务以所述配置信息对应的资源执行时,将文件传输指令下发至请求平台;

所述请求平台,用于接收管理平台下发的文件传输指令,所述文件传输指令包括待执行传输任务的配置信息;利用所述配置信息对应的资源执行所述待执行传输任务。

本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令的计算机程序被第一处理器执行时实现管理平台侧文件传输的调度方法,或者被第二处理器执行时实现请求平台侧文件传输的调度方法。

可见,本发明实施例中,一方面,由管理平台根据文件传输任务中的资源占用情况对文件传输任务中所需要的带宽资源进行集中调度,具体地,根据与所述待执行传输任务在时间上和路径上都关联的已评估成功的传输任务的带宽资源占用情况对待执行传输任务进行评估,以提高评估的准确性,从而能够避免由于评估不准确而导致网络拥塞的风险;进一步地,若待执行传输任务评估成功,即管理平台确定待执行传输任务的传输时间段内的可用带宽资源能够满足待执行传输任务以配置信息对应的资源执行时,将文件传输指令下发至请求平台。另一方面,由请求平台接收包括待执行传输任务的配置信息的文件传输指令,并利用所述配置信息对应的资源执行所述待执行传输任务。

这样,管理平台能够调度请求平台根据传输文件的资源大小,以按需交付的方式分配带宽资源对文件进行传输,从而能够在保证传输时效的前提下,降低文件传输对服务器负载和网络容量的压力,能够解决突发文件传输导致的服务器负载上升的问题,同时还能够降低多个文件传输任务同时进行而导致的网络拥塞的风险。并且,由于是以按需交付的方式分配带宽资源对文件进行传输,因此,对于按带宽付费的使用场景,能够有效减少文件传输所带来的带宽毛刺,从而能够优化文件传输的成本。

附图说明

图1为本发明实施例文件传输的调度方法的实现流程示意图之一;

图2为图1所示实现流程中步骤103的具体实现流程示意图;

图3为本发明实施例文件传输的调度方法的实现流程示意图之二;

图4为本发明实施例文件传输的调度方法的实现流程示意图之三;

图5为本发明实施例管理平台组成结构示意图;

图6为图5所示平台中第二确定模块的具体组成结构示意图;

图7为本发明实施例管理平台硬件组成结构示意图;

图8为本发明实施例请求平台组成结构示意图;

图9为本发明实施例请求平台硬件组成结构示意图。

具体实施方式

从背景技术的描述可以看出,相关技术中,在进行文件传输时尽可能地增加服务器间的带宽资源占用会大大提高数据中心网络拥塞的风险。

比如,服务器间在进行文件传输时,为了提升文件传输效率,通常是按照尽快交付的方式,以最快的传输速度对文件进行传输;这样,在该场景下,由于该传输任务占用的带宽资源较多,因此会导致服务器的负载迅速上升。

又比如,在上述场景下,若服务器间同时存在多个传输任务,服务器针对多个传输任务对带宽资源进行争夺,希望争取到最大的传输带宽对文件进行传输,由于网络带宽资源有限,因此,这种文件传输的调度方式会导致网络拥塞的风险很高。

基于此,本发明实施例提供的文件传输的调度方案,一方面,由管理平台根据文件传输任务中的资源占用情况对文件传输任务中所需要的带宽资源进行集中调度,具体地,根据与所述待执行传输任务在时间上和路径上都关联的已评估成功的传输任务的带宽资源占用情况对待执行传输任务进行评估,以提高评估的准确性,从而能够避免由于评估不准确而导致网络拥塞的风险;进一步地,若待执行传输任务评估成功,即管理平台确定待执行传输任务的传输时间段内的可用带宽资源能够满足待执行传输任务以配置信息对应的资源执行时,将文件传输指令下发至请求平台。另一方面,由请求平台接收包括待执行传输任务的配置信息的文件传输指令,并利用所述配置信息对应的资源执行所述待执行传输任务。

这样,管理平台能够调度请求平台根据传输文件的资源大小,以按需交付的方式分配带宽资源对文件进行传输,从而能够在保证传输时效的前提下,降低文件传输对服务器负载和网络容量的压力,能够解决突发文件传输导致的服务器负载上升的问题,同时还能够降低多个文件传输任务同时进行而导致的网络拥塞的风险。并且,由于是以按需交付的方式分配带宽资源对文件进行传输,因此,对于按带宽付费的使用场景,能够有效减少文件传输所带来的带宽毛刺,从而能够优化文件传输的成本。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

图1为本发明实施例文件传输的调度方法的实现流程示意图之一。参照图1所示,本实施例的文件传输的调度方法应用于管理平台中,该方法包括以下步骤:

步骤101,从已评估成功的传输任务中筛选获得待执行传输任务的关联传输任务,所述关联传输任务的传输时间段与所述待执行传输任务的配置信息中的传输时间段至少部分重叠;

本发明实施例的文件传输的调度方法,应用于管理平台,一方面,所述管理平台用于对待执行传输任务进行评估,以确定在待执行传输任务的配置信息中的传输时间段内的可用带宽资源是否能够满足待执行传输任务的文件传输;另一方面,若管理平台确定允许所述待执行传输任务以配置信息对应的资源执行时,将文件传输指令下发至请求平台,以使所述请求平台利用所述对应的资源执行所述待执行传输任务。

本发明实施例中,管理平台至少需要集中调度以下三种传输任务,第一种为用户创建需要评估的传输任务即待执行传输任务,第二种为已评估成功的待处理传输任务,第三种为已评估成功的正在处理的传输任务。

这里,所述已评估成功的传输任务包括第二种和第三种传输任务。根据待执行传输任务对应的传输时间段和已评估成功的传输任务的传输时间段,从已评估成功的传输任务筛选出传输时间段与所述待执行传输任务对应的传输时间段至少部分重叠的关联传输任务,即获得在时间上与待执行传输任务有关联的传输任务。

为了从已评估成功的传输任务中筛选获得待执行传输任务的关联传输任务,管理平台还需要获取待执行传输任务的传输时间段,因此,所述方法还包括:

获取待执行传输任务的配置信息,所述配置信息包括用于指示所述待执行传输任务对应的最小传输带宽和传输时间段的第一传输信息、以及用于指示所述待执行传输任务的传输路径的第二传输信息。

这里,该方法可以应用在数据中心场景,也可以应用在云计算场景,不管应用在什么场景,其实质都是通过特定的传输路径实现服务器与服务器之间的文件传输。在本实施例中,将以数据中心场景为例进行详细说明。

具体地,数据中心m可以包括多个区域,例如核心区域与dnz区域,每个区域都可以包括多个服务器,为实现多个区域的服务器间进行文件传输,其传输路径中需要经过交换机和/或路由器;比如,核心区域的服务器a,通过交换机c与dnz区域的服务器b进行文件传输,其传输路径为a->c->b。当然,在实际应用中,不同数据中心的服务器间也可以进行文件传输,只是不同数据中心的管理平台之间需要建立互通,且传输路径更为复杂。为了更加清楚地描述本发明实施例的方法,在本实施例中,数据中心场景将以单个数据中心的不同服务器间进行文件传输为例进行详细说明。

具体地,用户为了获取数据中心的服务器记录的日记数据等文件,可以在管理平台上创建待执行传输任务,目的是让管理平台进行集中调度,以将一服务器的文件调度传输至另一服务器进行数据处理分析。用户可以在管理平台上提交待执行传输任务的配置信息,相应地,管理平台在接收到提交指令之后,获取提交指令中的配置信息,该配置信息包括用于指示所述待执行传输任务对应的最小传输带宽和传输时间段的第一传输信息、以及用于指示所述待执行传输任务的传输路径的第二传输信息。

比如,第一传输信息可以包括待执行传输任务的启动时刻(可以支持即时调度或支持周期性定时调度)、预估文件大小、超时时间和源文件信息(可以包括文件名和源文件名支持正则)。管理平台可以根据该第一传输信息,预估待执行传输任务所需要的最小传输带宽,该预估的最小传输带宽可以为预估文件大小/超时时间;管理平台还可以根据该第一传输信息,确定所述待执行传输任务进行文件传输时的传输时间段,比如,若待执行传输任务的启动时刻为凌晨1点,超时时间为20分钟,则目标时间为凌晨1点至凌晨1点20分。第二传输信息可以包括传输源信息(可以包括源ip地址、端口和路径)和传输目标信息(可以包括目的ip地址、端口和路径)。管理平台可以根据传输源信息和传输目标信息,确定待执行传输任务的传输路径。

当然,在实际应用中,该配置信息还可以包括请求服务器的标识信息(可以为主机名或ip地址)、访问鉴权信息(可以包括用户名和密码)、文件传输方向(可以为从远端服务器拉取文件到本地或推送文件到远端服务器)和传输任务告警信息,该请求服务器为请求平台中的服务器。

步骤102,利用将所述关联传输任务的传输路径逐跳拆分得到的第一路径集合和将所述待执行传输任务的传输路径逐跳拆分得到的第二路径集合,确定时间路径关联集合;所述时间路径关联集合为所述第一路径集合和第二路径集合的交集;

本发明实施例中,不仅从时间维度上,还从路径维度上综合考虑网络负载,对待执行传输任务进行评估,以确定在待执行传输任务对应的传输时间段内的可用带宽资源是否能够满足待执行传输任务的文件传输。如此,从两个维度上综合考虑网络负载,能够更加准确地对待执行传输任务进行评估,从而能够避免由于评估不当造成服务器的负载压力过大的情况发生,进而能够降低网络拥塞的风险。

具体地,对所述关联传输任务的传输路径进行逐跳拆分,获得第一路径集合p,对所述待执行传输任务的传输路径进行逐跳拆分,获得第二路径集合q,对集合p和集合q取交集,获得时间路径关联集合y。

举个例子来说,设关联传输任务中包括待处理传输任务1和待处理传输任务2,其传输路径分别为e->a->c->d和f->a->c->b,待执行传输任务为e->a->c->b,对关联传输任务进行逐跳拆分,获得集合p,为{e->a、a->c、c->d、c->b、f->a},对待执行传输任务进行逐跳拆分,获得集合q,为{e->a、a->c、c->b},对集合p和集合q取交集,获得集合y,为{e->a、a->c、c->b}。

步骤103,根据所述时间路径关联集合,确定所述待执行传输任务对应的最大可用带宽;

本发明实施例中,图2为图1所示实现流程中步骤103的具体实现流程示意图,参照图2所示,步骤103具体包括以下步骤:

步骤1031,针对所述时间路径关联集合中的每条路径,确定在所述待执行传输任务中对应的可用带宽;

具体地,本发明实施例中,所述针对所述时间路径关联集合中的每条路径,确定在所述待执行传输任务中对应的可用带宽,包括:

针对所述时间路径关联集合中的每条路径,获取分配给相应路径的传输带宽;

确定所述相应路径在所述关联传输任务进行文件传输时所需要占用的传输带宽用量;

将分配的传输带宽减去所述传输带宽用量获得的结果确定为所述相应路径在所述待执行传输任务中对应的可用带宽。

还以上述步骤102的例子来说,针对集合y中路径e->a,管理平台分配给该路径的传输带宽为100mhz,且该路径在待处理传输任务1进行文件传输时需要占用50mhz,则该路径在所述待执行传输任务中对应的可用带宽只有50mhz。针对集合y中路径a->c,管理平台分配给该路径的传输带宽为200mhz,且该路径在待处理传输任务1和待处理传输任务2进行文件传输时需要占用100mhz,则该路径在所述待执行传输任务中对应的可用带宽为100mhz。针对集合y中路径c->b,管理平台分配给该路径的传输带宽为1000mhz,且该路径在待处理传输任务2进行文件传输时需要占用50mhz,则该路径在所述待执行传输任务中对应的可用带宽为950mhz。

步骤1032,基于确定的所述可用带宽,确定所述待执行传输任务对应的最大可用带宽。

具体地,由于待执行传输任务在进行文件传输时,受到传输路径中各单跳路径的限制,因此,将确定的可用带宽中最小的可用带宽确定为所述待执行传输任务对应的最大可用带宽。

例如,针对集合y中三条路径,确定对应的三个可用带宽,分别为50mhz、100mhz和950mhz,则所述待执行传输任务对应的最大可用带宽确定为50mhz。

步骤104,基于确定的最大可用带宽确定允许所述待执行传输任务以所述配置信息对应的资源执行时,将文件传输指令下发至请求平台,以使所述请求平台利用所述对应的资源执行所述待执行传输任务。

本发明实施例中,所述方法还包括:

基于确定的最大可用带宽,确定是否允许所述待执行传输任务以所述配置信息对应的资源执行。

具体地,当所述最大可用带宽小于所述最小传输带宽时,则说明在待执行传输任务的传输时间段内的可用带宽资源不能够满足待执行传输任务的文件传输,此时,管理平台确定不允许所述待执行传输任务进行文件传输。相应地,管理平台会根据配置信息中的传输任务告警信息,将任务评估失败信息发送给相应用户,提示相应用户在待执行传输任务的传输时间段内的网络负载过重,不允许该待执行传输任务在该传输时间段内进行文件传输,并提示用户可以对传输任务的启动时刻和超时时间进行调整,以在其他时间段内或者降低传输带宽进行文件传输。例如,可以将超时时间从20分钟调整到40分钟,以降低传输带宽,或者可以将启动时刻从凌晨1点调整到早上7点,以在其他网络负载较小的时间段内进行文件传输。

当所述最大可用带宽大于或等于所述最小传输带宽时,则说明在该传输时间段内的可用带宽资源能够满足待执行传输任务以配置信息对应的资源进行文件传输,此时,管理平台确定允许所述待执行传输任务进行文件传输。相应地,管理平台基于所述配置信息生成文件传输指令,并将文件传输指令下发至请求平台,以使所述请求平台利用所述对应的资源执行所述待执行传输任务。

应当说明的是,若所述待执行传输任务为即时任务,则在评估成功之后立即将文件传输指令下发至请求平台,若所述待执行传输任务为周期调度任务,则评估成功之后,在所述待执行传输任务的启动时刻将文件传输指令下发至请求平台。

另外,管理平台通过调用接口将文件传输指令下发至请求平台,请求平台基于对应的接口接收所述文件传输指令,并根据文件传输指令中配置信息对应的资源执行所述待执行传输任务。在执行传输任务过程中请求平台还对实际传输带宽进行监测。文件传输完成后,根据远端服务器配置的不同,可提供文件大小检验和摘要校验等方式,对文件的传输结果进行校验。校验后,基于校验结果和实际传输带宽,生成上报信息上报至管理平台。

管理平台接收到请求服务器的上报信息后,根据配置信息中的传输任务告警信息,将校验结果通知给相应用户。同时,根据所述上报信息中所述待执行传输任务对应的实际传输带宽,对所述待执行传输任务对应的传输带宽用量进行更新,用于对后续创建的待执行传输任务进行评估。

应当说明的是,在首次对传输带宽用量进行更新时,更新的是预估的传输带宽用量。

综上,本发明实施例的方案,主要应用在管理平台,根据文件传输任务中的资源占用情况对文件传输任务中所需要的带宽资源进行集中调度,具体地,根据与所述待执行传输任务在时间上和路径上都关联的已评估成功的传输任务的带宽资源占用情况对待执行传输任务进行评估,以提高评估的准确性,从而能够避免由于评估不准确而导致网络拥塞的风险;进一步地,若待执行传输任务评估成功,即管理平台确定待执行传输任务的传输时间段内的可用带宽资源能够满足待执行传输任务以配置信息对应的资源执行时,将文件传输指令下发至请求平台,以使所述请求平台利用所述对应的资源执行所述待执行传输任务。

这样,管理平台能够调度请求平台根据传输文件的资源大小,以按需交付的方式分配带宽资源对文件进行传输,从而能够在保证传输时效的前提下,降低文件传输对服务器负载和网络容量的压力,能够解决突发文件传输导致的服务器负载上升的问题,同时还能够降低多个文件传输任务同时进行而导致的网络拥塞的风险。并且,由于是以按需交付的方式分配带宽资源对文件进行传输,因此,对于按带宽付费的使用场景,能够有效减少文件传输所带来的带宽毛刺,从而能够优化文件传输的成本。

本发明实施例中,请求平台在接收到文件传输指令之后,可以根据所述文件传输指令中配置信息对应的资源执行所述待执行传输任务。具体地,图3为本发明实施例文件传输的调度方法的实现流程示意图之二,参照图3所示,本实施例的文件传输的调度方法包括以下步骤:

步骤201,接收管理平台下发的文件传输指令,所述文件传输指令包括待执行传输任务的配置信息;

本发明实施例主要应用于请求平台,用于根据文件传输指令中配置信息对应的资源执行所述待执行传输任务,也就是说,对待执行传输任务对应的待传输文件启动限速传输。

本发明实施例中,所述请求平台包括调度框架应用和请求服务器,所述调度框架应用可以部署在请求服务器中,也可以部署在其他设备上。本实施例中,所述调度框架应用将以部署在请求服务器中为例进行详细说明。

具体地,可以将与管理平台进行通信的接口部署在所述调度框架应用中,相应地,所述调度框架应用接收管理平台下发的文件传输指令。

步骤202,利用所述配置信息对应的资源执行所述待执行传输任务。

具体地,所述利用所述配置信息对应的资源执行所述待执行传输任务,包括:

基于所述配置信息,确定所述待执行传输任务对应的最小传输带宽;

基于所述最小传输带宽,确定所述待执行传输任务对应的目标传输带宽;

基于所述目标传输带宽,执行所述待执行传输任务。

本发明实施例中,所述最小传输带宽可以为待传输文件对应的实际最小传输带宽。具体地,可以基于所述配置信息中第一传输信息的源文件信息,从请求服务器中获取相应的源文件,根据该源文件的大小和超时时间,确定待传输文件的最小传输带宽,该最小传输带宽为源文件的大小/超时时间。

在实际生产中,考虑到文件传输指令下发的耗时、处理过程的耗时以及慢启动过程的耗费等因素,通常会将最小传输带宽进行适当增大,以确保在超时时间内完成待传输文件的传输。例如,将最小传输带宽提升预设比例(如10%),以确定所述待传输文件对应的目标传输带宽,该预设值可以根据数据中心的网络质量进行适当调整。

本发明实施例中,还可以基于所述配置信息中第二传输信息,确定所述待传输文件的传输路径,并基于所述传输路径,对所述待传输文件以目标传输带宽启动文件传输。

在传输过程中,调度框架应用对实际传输带宽进行监测,文件传输完成后,根据远端服务器配置的不同,可提供文件大小检验和摘要校验等方式,对文件的传输结果进行校验。校验后,基于校验结果和实际传输带宽,生成上报信息上报至管理平台。

应当说明的是,调度框架应用可兼容常见的ftp(filetransferprotocol)、http(hypertexttransferprotocol)、sftp(securefiletransferprotocol)、scp(securecopy)以及rsync(remotesynchronize)等传统文件传输方式。

综上,本发明实施例中,通过在请求服务器中部署调度框架应用,以接收管理平台下发的文件传输指令,并根据该文件传输指令中配置信息,以目标传输带宽启动限速文件传输。如此,管理平台能够根据文件传输任务中的资源占用情况对文件传输任务中所需要的带宽资源进行集中调度,以调度请求平台中调度框架应用根据传输文件的资源大小,以按需交付的方式分配带宽资源对文件进行传输,在保证传输时效的前提下,能够降低文件传输对服务器负载和网络容量的压力,解决突发文件传输导致的服务器负载迅速上升的问题,降低多个文件传输任务同时进行而导致的网络拥塞的风险。对于按带宽付费的使用场景,还能够有效减少文件传输所带来的带宽毛刺,从而能够优化文件传输的成本。同时,可兼容常见的ftp、http、sftp、scp以及rsync等传统文件传输方式,兼容性较好。

为了更加清楚的描述本发明实施例提供的方案,以下将详细介绍本发明实施例文件传输的调度方法的具体实现过程。

图4为本发明实施例文件传输的调度方法的实现流程示意图之三,应用于文件传输的调度系统中,该文件传输的调度系统包括管理平台和请求平台,参照图4所示,本实施例的文件传输的调度方法具体包括以下步骤:

步骤301,管理平台获取待执行传输任务的配置信息,所述配置信息包括用于指示所述待执行传输任务对应的最小传输带宽和传输时间段的第一传输信息、以及用于指示所述待执行传输任务的传输路径的第二传输信息;

步骤302,所述管理平台从已评估成功的传输任务中筛选获得所述待执行传输任务的关联传输任务,所述关联传输任务的传输时间段与所述待执行传输任务的传输时间段至少部分重叠;

步骤303,所述管理平台基于所述关联传输任务的传输路径进行逐跳拆分获得的第一路径集合和所述待执行传输任务的传输路径进行逐跳拆分获得的第二路径集合,确定时间路径关联集合,所述时间路径关联集合为所述第一路径集合和第二路径集合的交集;

步骤304,所述管理平台根据所述时间路径关联集合,确定所述待执行传输任务对应的最大可用带宽;

步骤305,若所述最大可用带宽大于或等于所述最小传输带宽,所述管理平台将基于所述配置信息生成的文件传输指令下发至请求平台;

步骤306,所述请求平台中调度框架应用接收所述管理平台下发的文件传输指令;

步骤307,所述请求平台中调度框架应用基于所述配置信息中第一传输信息,确定待执行传输任务中待传输文件对应的最小传输带宽;

步骤308,所述请求平台中调度框架应用基于所述最小传输带宽,确定所述待传输文件对应的目标传输带宽;

步骤309,所述请求平台中调度框架应用基于所述配置信息中第二传输信息,确定所述待执行传输任务对应的传输路径;

步骤310,所述请求平台中调度框架应用基于所述传输路径,对所述待传输文件以目标传输带宽进行文件传输。

本发明实施例中,步骤301至步骤310的实现过程与上述实施例一和实施例二中各步骤的实现过程类似,这里将不对其进行赘述。

为实现本发明实施例的方法,本发明实施例还提供了一种管理平台,用于实现管理平台侧文件传输的调度方法的具体细节,达到相同的效果。

图5为本发明实施例管理平台组成结构示意图,参照图5所示,本实施例的管理平台包括:筛选模块41、第一确定模块42、第二确定模块43和发送模块44;其中,

所述筛选模块41,用于从已评估成功的传输任务中筛选获得待执行传输任务的关联传输任务,所述关联传输任务的传输时间段与所述待执行传输任务的配置信息中的传输时间段至少部分重叠;

所述第一确定模块42,用于利用将所述关联传输任务的传输路径逐跳拆分得到的第一路径集合和将所述待执行传输任务的传输路径逐跳拆分得到的第二路径集合,确定时间路径关联集合;所述时间路径关联集合为所述第一路径集合和第二路径集合的交集;

所述第二确定模块43,用于根据所述时间路径关联集合,确定所述待执行传输任务对应的最大可用带宽;

所述发送模块44,用于基于确定的最大可用带宽确定允许所述待执行传输任务以所述配置信息对应的资源执行时,将文件传输指令下发至请求平台,以使所述请求平台利用所述对应的资源执行所述待执行传输任务。

可选地,图6为图5所示管理平台中第二确定模块的具体组成结构示意图,参照图6所示,所述第二确定模块43包括:第一确定单元431和第二确定单元432;其中,

所述第一确定单元431,用于针对所述时间路径关联集合中的每条路径,确定在所述待执行传输任务中对应的可用带宽;

所述第二确定单元432,用于基于确定的所述可用带宽,确定所述待执行传输任务对应的最大可用带宽。

可选地,所述第一确定单元431,具体用于针对所述时间路径关联集合中的每条路径,获取分配给相应路径的传输带宽;确定所述相应路径在所述关联传输任务进行文件传输时所需要占用的传输带宽用量;将分配的传输带宽减去所述传输带宽用量获得的结果确定为所述相应路径在所述待执行传输任务中对应的可用带宽。

可选地,本实施例的管理平台还包括:接收模块45和更新模块46;其中,

所述接收模块45,用于接收所述请求平台的上报信息;

所述更新模块46,用于根据所述上报信息中所述待执行传输任务对应的实际传输带宽,对所述待执行传输任务对应的传输带宽用量进行更新。

可选地,本实施例的管理平台还包括:

第三确定模块47,用于若所述最大可用带宽大于或等于所述待执行传输任务对应的最小传输带宽,确定允许所述待执行传输任务以所述配置信息对应的资源执行。

在实际应用中,筛选模块41、第一确定模块42、第二确定模块43、发送模块44、接收模块45、更新模块46、第三确定模块47、以及第一确定单元431和第二确定单元432均可由位于管理平台中的第一处理器结合第一通信接口实现。

上述实施例提供的管理平台在进行文件传输的调度时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将管理平台的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的管理平台与管理平台侧文件传输的调度方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

图7为本发明实施例管理平台硬件组成结构示意图,参照图7所示,本实施例中的管理平台包括:第一处理器51、用于存储能够在第一处理器51上运行的计算机程序的第一存储器52、以及第一通信接口53;其中,

所述第一通信接口53,能够与请求平台进行信息交互;

所述第一处理器51,与所述第一通信接口53连接,以实现与请求平台进行信息交互,用于运行所述计算机程序时,执行上述管理平台侧文件传输的调度方法。

具体地,所述第一处理器51用于运行所述计算机程序时,执行:

从已评估成功的传输任务中筛选获得待执行传输任务的关联传输任务,所述关联传输任务的传输时间段与所述待执行传输任务的配置信息中的传输时间段至少部分重叠;

利用将所述关联传输任务的传输路径逐跳拆分得到的第一路径集合和将所述待执行传输任务的传输路径逐跳拆分得到的第二路径集合,确定时间路径关联集合;所述时间路径关联集合为所述第一路径集合和第二路径集合的交集;

根据所述时间路径关联集合,确定所述待执行传输任务对应的最大可用带宽;

基于确定的最大可用带宽确定允许所述待执行传输任务以所述配置信息对应的资源执行时,将文件传输指令下发至请求平台,以使所述请求平台利用所述对应的资源执行所述待执行传输任务。

可选地,所述第一处理器51用于运行所述计算机程序时,执行:

针对所述时间路径关联集合中的每条路径,确定在所述待执行传输任务中对应的可用带宽;

基于确定的所述可用带宽,确定所述待执行传输任务对应的最大可用带宽。

可选地,所述第一处理器51用于运行所述计算机程序时,执行:

针对所述时间路径关联集合中的每条路径,获取分配给相应路径的传输带宽;

确定所述相应路径在所述关联传输任务进行文件传输时所需要占用的传输带宽用量;

将分配的传输带宽减去所述传输带宽用量获得的结果确定为所述相应路径在所述待执行传输任务中对应的可用带宽。

可选地,所述第一处理器51用于运行所述计算机程序时,执行:

接收所述请求平台的上报信息;

根据所述上报信息中所述待执行传输任务对应的实际传输带宽,对所述待执行传输任务对应的传输带宽用量进行更新。

可选地,所述第一处理器51用于运行所述计算机程序时,执行:

若所述最大可用带宽大于或等于所述待执行传输任务对应的最小传输带宽,确定允许所述待执行传输任务以所述配置信息对应的资源执行。

当然,实际应用时,如图7所示,各个组件通过总线系统54耦合在一起。可理解,总线系统54用于实现这些组件之间的连接通信。总线系统54除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图7中将各种总线都标为总线系统54。

本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有可执行程序,所述可执行程序被第一处理器51执行时,以实现以下步骤:

从已评估成功的传输任务中筛选获得待执行传输任务的关联传输任务,所述关联传输任务的传输时间段与所述待执行传输任务的配置信息中的传输时间段至少部分重叠;

利用将所述关联传输任务的传输路径逐跳拆分得到的第一路径集合和将所述待执行传输任务的传输路径逐跳拆分得到的第二路径集合,确定时间路径关联集合;所述时间路径关联集合为所述第一路径集合和第二路径集合的交集;

根据所述时间路径关联集合,确定所述待执行传输任务对应的最大可用带宽;

基于确定的最大可用带宽确定允许所述待执行传输任务以所述配置信息对应的资源执行时,将文件传输指令下发至请求平台,以使所述请求平台利用所述对应的资源执行所述待执行传输任务。

可选地,所述可执行程序被第一处理器51执行时,以具体实现根据所述时间路径关联集合,确定所述待执行传输任务对应的最大可用带宽的步骤:

针对所述时间路径关联集合中的每条路径,确定在所述待执行传输任务中对应的可用带宽;

基于确定的所述可用带宽,确定所述待执行传输任务对应的最大可用带宽。

可选地,所述可执行程序被第一处理器51执行时,以具体实现针对所述时间路径关联集合中的每条路径,确定在所述待执行传输任务中对应的可用带宽的步骤:

针对所述时间路径关联集合中的每条路径,获取分配给相应路径的传输带宽;

确定所述相应路径在所述关联传输任务进行文件传输时所需要占用的传输带宽用量;

将分配的传输带宽减去所述传输带宽用量获得的结果确定为所述相应路径在所述待执行传输任务中对应的可用带宽。

可选地,所述可执行程序被第一处理器51执行时,以实现以下步骤:

接收所述请求平台的上报信息;

根据所述上报信息中所述待执行传输任务对应的实际传输带宽,对所述待执行传输任务对应的传输带宽用量进行更新。

可选地,所述可执行程序被第一处理器51执行时,以实现以下步骤:

若所述最大可用带宽大于或等于所述待执行传输任务对应的最小传输带宽,确定允许所述待执行传输任务以所述配置信息对应的资源执行。

为实现本发明实施例的方法,本发明实施例还提供了一种请求平台,用于实现上述请求平台侧文件传输的调度方法的具体细节,达到相同的效果。

图8为本发明实施例请求平台组成结构示意图,参照图8所示,本实施例的请求平台包括:接收模块61和任务执行模块62;其中,

所述接收模块61,用于接收管理平台下发的文件传输指令,所述文件传输指令包括待执行传输任务的配置信息;

所述任务执行模块62,用于利用所述配置信息对应的资源执行所述待执行传输任务。

可选地,所述任务执行模块62,具体用于基于所述配置信息,确定所述待执行传输任务对应的最小传输带宽;基于所述最小传输带宽,确定所述待执行传输任务对应的目标传输带宽;基于所述目标传输带宽,执行所述待执行传输任务。

在实际应用中,接收模块61和任务执行模块62均可由位于请求平台中的第二处理器结合第二通信接口实现。

上述实施例提供的请求平台在进行文件传输的调度时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将请求平台的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的请求平台与请求平台侧文件传输的调度方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

图9为本发明实施例请求平台硬件组成结构示意图,参照图9所示,本实施例中的请求平台包括:第二处理器71、用于存储能够在第二处理器71上运行的计算机程序的第二存储器72、以及第二通信接口73;其中,

所述第二通信接口73,能够与管理平台进行信息交互;

所述第二处理器71,与所述第二通信接口73连接,以实现与管理平台进行信息交互,用于运行所述计算机程序时,执行上述请求平台侧文件传输的调度方法。

具体地,所述第二处理器71用于运行所述计算机程序时,执行:

接收管理平台下发的文件传输指令,所述文件传输指令包括待执行传输任务的配置信息;

利用所述配置信息对应的资源执行所述待执行传输任务。

可选地,所述第二处理器71用于运行所述计算机程序时,执行:

基于所述配置信息,确定所述待执行传输任务对应的最小传输带宽;

基于所述最小传输带宽,确定所述待执行传输任务对应的目标传输带宽;

基于所述目标传输带宽,执行所述待执行传输任务。

当然,实际应用时,如图9所示,各个组件通过总线系统74耦合在一起。可理解,总线系统74用于实现这些组件之间的连接通信。总线系统74除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图9中将各种总线都标为总线系统74。

本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有可执行程序,所述可执行程序被第二处理器71执行时,以实现以下步骤:

接收管理平台下发的文件传输指令,所述文件传输指令包括待执行传输任务的配置信息;

利用所述配置信息对应的资源执行所述待执行传输任务。

可选地,所述可执行程序被第二处理器71执行时,以实现以下步骤:

基于所述配置信息,确定所述待执行传输任务对应的最小传输带宽;

基于所述最小传输带宽,确定所述待执行传输任务对应的目标传输带宽;

基于所述目标传输带宽,执行所述待执行传输任务。

以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1