一种基于网络拓扑结构的作业分配方法

文档序号:7861296阅读:282来源:国知局
专利名称:一种基于网络拓扑结构的作业分配方法
技术领域
本发明涉及网络管理技术领域,具体涉及一种基于网络拓扑结构的作业分配方法。
背景技术
随着信息产业的发展,大规模计算机集群越来越普及,节点数量大幅增长,网络结构越来越复杂。作业运行节点之间的网络质量和联系程度,对作业运行效率的影响越来越大。根据网络拓扑结构进行节点分配,减少网络通信对作业的影响,能明显提升高“通信/计算”比率作业的运行效率。现有技术中,Cray XT3/XT4systems :使用第一个可用的处理器;Maui和Slurm :忽视拓扑结构,看做平面网络;用节点序号的差值当做网络距离。blue gene family :同一应用的任务调度到8*4*4的节点上。可以看出,许多作业调度系统对基于网络拓扑的调度方法有简单的支持。而节点规模越大,节点分配策略对执行速度的影响越大,节点分配对应用的影响程度取决于通信/计算的比率,该比率越大,影响越明显。大多数调度器的网络模型过于简单了,并没有考虑具体的网络结构。忽视了异构节点,以及不同型号交换机、路由器的区别。简单的用节点序号的差值当做网络距离,或者调度至某一个物理区域的服务器上。这样的方案只能一定程度缓解网络的影响,效果有限。

发明内容
本发明一种基于网络拓扑结构的作业分配方法,所述方法应用于计算机集群,选择节点的方法包括步骤SI,选取一个节点,得到所述节点所属的交换机;步骤S2,根据所述节点所属交换机和拓扑关系,获得与所述节点所属交换机的拓扑距离小于等于TopologyChoosedDepth的所有交换机,判断所述所有交换机包含的所有节点的总数是否符合要求,是,执行步骤S3,否,执行步骤SI ;所述TopologyChoosedDepth为网络拓扑结构的调查深度;步骤S3,选取所述所有节点中权值最大的节点,结束。本发明提供的第一优选实施例中所述步骤SI从可用节点中的第一个节点,依次选取一个节点,步骤S2中在得到的所有交换机包含的所有节点的总数不符合要求时,执行步骤SI,选取下一个节点,具体操作方法为步骤SI中,设置节点的编号i=0,选取编号为i的节点,得到所述编号为i的节点所属的交换机;步骤S2中,在得到的所有交换机包含的所有节点的总数不符合要求时,对所述编号i进行加一操作后,执行所述步骤Si选取下一个节点。本发明提供的第二优选实施例中在对所述编号i进行加一操作后,判断所述i小于或等于节点长时执行步骤Si。本发明提供的第三优选实施例中判断所述i大于所述节点长时,根据尽可能交付MaximumDelivery值判断是否放弃调度。本发明提供的第四优选实施例中根据所述MaximumDelivery值判断是否放弃调度的方法为判断所述MaximumDelivery值是否为I,是,按照顺序选取可用节点,否,放弃调
/又,彡口 O本发明提供的第五优选实施例中步所述骤S2中根据所述节点所属交换机和拓扑关系获得与所述节点所属交换机的拓扑距离小于等于TopologyChoosedDepth的所述所有交换机的方法为 步骤S201,设置拓扑距离j=0 ;步骤S202,判断所述j是否满足小于或等于TopologyChoosedDepth,是,执行步骤S203,否,执行步骤S3 ;步骤S203,获得与所述节点所属交换机的拓扑距离小于或等于j的所有交换机,判断所述所有交换机包含的所有节点的总数是否符合要求,是,执行步骤S3,否,对所述j进行加一操作后执行步骤S202。本发明提供的第六优选实施例中所述步骤S203中,判断所述所有节点的总数是否符合要求的方法为,判断所述所有节点的总数是否满足大于或等于要求的节点数值,如果满足则该节点的总数符合要求。本发明提供的第七优选实施例中所述步骤S3包括步骤S301,计算所述所有节点中各个所述节点的权值;步骤S302,将所述各个节点按照权值进行排序;步骤S303,选取所述所有节点中权值最高的所述节点。本发明提供的一种基于网络拓扑结构的作业分配方法的有益效果包括本发明提供的一种基于网络拓扑结构的作业分配方法,基于网络拓扑结构的调度算法根据服务器所处网络位置,将同一作业的任务尽可能的调度至同一网络区域中,能够提升高“通信/计算”比率作业的运行效率,比率越高,提升效果越好。相对于其他现有技术,网络模型更为精确,适应性更好,执行效率提升更加明显。


如图I所示为本发明提供的一种基于网络拓扑结构的作业分配方法中选择节点的方法流程图;如图2所示为本发明提供的一种基于网络拓扑结构的作业分配方法中选择节点的实施例的方法流程图。
具体实施例方式本发明提供一种基于网络拓扑结构的作业分配方法,该方法应用于计算机集群,节点为计算机集群系统中的单个计算机,选择节点的方法如图I所示,包括步骤SI,选取一个节点,得到该节点所属的交换机。
步骤S2,根据节点所属交换机和拓扑关系,获得与该节点所属交换机的拓扑距离小于等于TopologyChoosedDepth的所有交换机,判断该所有交换机包含的所有节点的总数是否符合要求,是,执行步骤S3,否,执行步骤SI。TopologyChoosedDepth为网络拓扑结构的调查深度。步骤S3,选取所有节点中权值最大的节点,结束。实施例一本发明提供的实施例为一种基于网络拓扑结构的作业分配方法中选择节点的实施例,其方法流程图如图2所示。
具体的,步骤SI从可用节点中的第一个节点,依次选取一个节点,步骤S2中在得到的所有交换机包含的所有节点的总数不符合要求时,执行步骤Si,选取下一个节点,具体操作方法为步骤SI中,设置节点的编号i=0,选取编号为i的节点,得到编号为i的节点所属的交换机。步骤S2中,在得到的所有交换机包含的所有节点的总数不符合要求时,对编号i进行加一操作后,执行步骤Si选取下一个节点。优选的,在对编号i进行加一操作后,判断i是否小于或等于节点长,是,执行步骤SI,否,根据尽可能交付MaximumDelivery值判断是否放弃调度。具体为判断尽可能交付MaximumDelivery值是否为I,是,按照顺序选取可用节点,否,放
弃调度,结束。步骤S2中根据节点所属交换机和拓扑关系获得与该节点所属交换机的拓扑距离小于等于TopologyChoosedDepth的所有交换机的方法为步骤S201,设置拓扑距离j=0。步骤S202,判断j是否满足小于或等于TopologyChoosedDepth,是,执行步骤S203,否,执行步骤S3。步骤S203,获得与节点所属交换机的拓扑距离小于或等于j的所有交换机,判断该所有交换机包含的所有节点的总数是否符合要求,是,执行步骤S3,否,对j进行加一操作后执行步骤S202。具体的,判断所有节点的总数是否符合要求的方法为,判断该所有节点的总数是否满足大于或等于要求的节点数值,如果满足则该节点的总数符合要求。步骤S3包括步骤S301,计算所有节点中各个节点的权值。步骤S302,将该各个节点按照权值进行排序。步骤S303,选取所有节点中权值最高的节点。以上虽然根据附图对本发明的实施例进行了详细说明,但不仅限于此具体实施方式
,本领域的技术人员根据此具体技术方案进行的各种等同、变形处理,也在本发明的保护范围之内。
权利要求
1.一种基于网络拓扑结构的作业分配方法,所述方法应用于计算机集群,其特征在于,选择节点的方法包括 步骤Si,选取一个节点,得到所述节点所属的交换机; 步骤S2,根据所述节点所属交换机和拓扑关系,获得与所述节点所属交换机的拓扑距离小于等于TopologyChoosedDepth的所有交换机,判断所述所有交换机包含的所有节点的总数是否符合要求,是,执行步骤S3,否,执行步骤SI ; 所述TopologyChoosedDepth为网络拓扑结构的调查深度; 步骤S3,选取所述所有节点中权值最大的节点,结束。
2.如权利要求I所述的方法,其特征在于,所述步骤SI从可用节点中的第一个节点,依次选取一个节点,步骤S2中在得到的所有交换机包含的所有节点的总数不符合要求时,执行步骤SI,选取下一个节点,具体操作方法为 步骤SI中,设置节点的编号i=0,选取编号为i的节点,得到所述编号为i的节点所属的交换机; 步骤S2中,在得到的所有交换机包含的所有节点的总数不符合要求时,对所述编号i进行加一操作后,执行所述步骤SI选取下一个节点。
3.如权利要求2所述的方法,其特征在于,在对所述编号i进行加一操作后,判断所述i小于或等于节点长时执行步骤SI。
4.如权利要求3所述的方法,其特征在于,判断所述i大于所述节点长时,根据尽可能交付MaximumDelivery值判断是否放弃调度。
5.如权利要求4所述的方法,其特征在于,根据所述MaximumDelivery值判断是否放弃调度的方法为 判断所述MaximumDelivery值是否为I,是,按照顺序选取可用节点,否,放弃调度,结束。
6.如权利要求I所述的方法,其特征在于,步所述骤S2中根据所述节点所属交换机和拓扑关系获得与所述节点所属交换机的拓扑距离小于等于TopologyChoosedDepth的所述所有交换机的方法为 步骤S201,设置拓扑距离j=0 ; 步骤S202,判断所述j是否满足小于或等于TopologyChoosedDepth,是,执行步骤S203,否,执行步骤S3 ; 步骤S203,获得与所述节点所属交换机的拓扑距离小于或等于j的所有交换机,判断所述所有交换机包含的所有节点的总数是否符合要求,是,执行步骤S3,否,对所述j进行加一操作后执行步骤S202。
7.如权利要求6所述的方法,其特征在于,所述步骤S203中,判断所述所有节点的总数是否符合要求的方法为,判断所述所有节点的总数是否满足大于或等于要求的节点数值,如果满足则该节点的总数符合要求。
8.如权利要求I所述的方法,其特征在于,所述步骤S3包括 步骤S301,计算所述所有节点中各个所述节点的权值; 步骤S302,将所述各个节点按照权值进行排序; 步骤S303,选取所述所有节点中权值最高的所述节点。
全文摘要
本发明提供一种基于网络拓扑结构的作业分配方法,应用于计算机集群,选择节点的方法包括步骤S1,选取一个节点,得到所述节点所属的交换机;步骤S2,根据所述节点所属交换机和拓扑关系,获得与所述节点所属交换机的拓扑距离小于等于TopologyChoosedDepth的所有交换机,判断所述所有交换机包含的所有节点的总数是否符合要求,是执行步骤S3,否,执行步骤S1;所述TopologyChoosedDepth为网络拓扑结构的调查深度;步骤S3,选取所述所有节点中权值最大的节点,结束。本发明提供一种基于网络拓扑结构的作业分配方法,根据服务器所处网络位置,将同一作业的任务尽可能的调度至同一网络区域中,能够提升高“通信/计算”比率作业的运行效率,网络模型更为精确,适应性更好,执行效率提升更加明显。
文档编号H04L12/751GK102904750SQ201210359410
公开日2013年1月30日 申请日期2012年9月24日 优先权日2012年9月24日
发明者原帅, 张涛 申请人:曙光信息产业(北京)有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1