任务管理、调度方法及装置、系统的制作方法_3

文档序号:9891205阅读:来源:国知局
0074]优选地,网元任务中至少包含网元身份标识码ID以及对应于网元ID的操作任务;
[0075]其中,子网线程池调度器1004,用于根据归属于第一子网管理器的网元任务中各个网元任务的网元ID以及对应于网元ID的操作任务,建立并发调度线程,执行归属于第一子网管理器的网元任务。
[0076]通过本发明,网络管理器采用确定待执行任务中归属于第一子网管理器的网元任务后,将该归属于第一子网管理器的网元任务发送给第一子网管理器,由第一子网管理器建立调度线程执行该网元任务,进而网络管理器接收来自第一子网管理器的用于指示第一子网管理器已执行归属于第一子网管理器的网元任务的执行结果,解决了相关技术由于由网络管理器建立调度线程执行网任务,导致的执行大数据任务时消耗的内存大和时间长的问题,进而达到了执行耗时短、负载均衡的效果。
[0077]在本实施例中还提供了一种任务管理系统,包括具有上述任意特征的网络管理器以及与网络管理器连接的具有上述任意特征的第一子网管理器。
[0078]本实施例的目的是为了克服现有电信网管系统大数据任务执行耗时和网元规模呈线性增长的缺点,提出了一种基于电信网管系统解决大数据任务线性耗时的方法,使得耗时和网元规模无关。
[0079]本实施例的方法模型涉及网络管理器和子网管理器两大部分,网络管理器提供网络级数据的组织、计算和结果呈现;子网管理器提供子网级较小规模网元管理和维护。如图11所示,本实施例中网络管理器包括:负责人机交互的任务管理器802、负责数据持久的数据库902、状态控制器806以及子网命令分发器804。子网管理器包括:负责和上层(即网络管理器)交换信息的子网命令接收器1002、负责子网任务调度的子网线程池调度器1004以及子网任务状态控制器1006。
[0080]用户创建一个大数据任务首先交给任务管理器分析处理并将数据通过数据库持久化。然后将大数据任务按照网元划分,并将归属一个子网管理器的所有网元任务下发到对应子网管理器。依次地将大数据任务的所有网元任务下发到各个对应的子网管理器,并启动网络级状态控制器监控和接收各个子网上报的调度结果。
[0081]子网管理器接收到上层网络管理器分发来的命令,将命令中的数据按网元单元拆分并加入到子网线程池调度器中,以待调度。子网的每个调度单元(相当于网元)的调度状态都会被子网管理器中的任务状态控制器监控、分析处理,当所有调度单元完成以后,子网任务状态控制器将该任务的调度完成情况反馈給网络管理器。
[0082]网络管理器会根据各个子网管理器反馈的状态综合计算分析得出任务的总执行状态。
[0083]优选地,本发明实施例的方法步骤如下:
[0084]第一部分,准备就绪:
[0085]1、在网络管理器中部署任务管理器、数据库、子网命令分发器、状态任务控制器。
[0086]2、在子网管理器中部署子网命令接收器、子网状态控制器、子网线程池调度器。
[0087]3、网管系统处于正常运行状态。
[0088]第二部分,网络管理器步骤:
[0089]1、用户向系统请求创建一个任务,该任务包含大规模网元实例,该请求被系统中任务管理器接收。
[0090]2、任务管理器分析、整理、组织该大数据任务对象。
[0091]3、系统将该大数据任务对象交给数据库存储,实现数据对象的持久化。
[0092]4、任务管理器将整理后的任务交给子网命令分发器,子网分发器根据任务里的网元查找其归属的子网管理器,并将子任务分发給对应子网管理器。
[0093]5、分发完成后,网络管理器会创建总任务状态控制器,控制器监听各子网管理器的任务执行结果上报。
[0094]6、等待子网管理器执行并上报执行结果。
[0095]7、判断网络管理器是否收到所有子网管理器上报的结果,如果不是则进入第6步,直至收到所有子网管理器执行结果上报。
[0096]8、网络管理器里的任务状态控制器会分析、计算任务总的状态。
[0097]9、大数据任务执行结束。
[0098]第三部分,子网管理器步骤:
[0099]1、子网管理器收到网络管理器分发的命令。
[0100]2、子网管理器启动子网状态控制器,该控制器用于监控和记录该子网内调度单元的执行结果状态。
[0101]3、子网管理器将命令按网元对象拆分成多个调度单元,并将调度单元加入线程池调度队列中等待调度。
[0102]4、子网线程池调度器收到调度单元,启动并发调度线程,执行网管代理和网元实体的命令交互。
[0103]5、子网状态控制器监控到有调度单元执行完成。
[0104]6、子网状态控制器会计算子任务状态,并向上层网络管理器上报该子任务的执行状态。
[0105]7、判断子网所有调度单元是否执行完成,如果没完成则跳转到第5步,继续等待所有调度单元调度完成。
[0106]8、清理子网管理器该子任务的全部临时数据。
[0107]9、调度结束。
[0108]本发明提供了完整的基于网管系统如何将大数据任务的管理和调度分离的方法,该方法与相关技术相比有以下优点:(I)将任务的管理、存储和任务的调度分离,网络管理器提供全网级的数据组织、分析和计算,对用户提供统一的视角。(2)任务的调度部分从网络管理器分离后,网络管理器不再有调度性能瓶颈。(3)任务调度下移、分拆到各个子网管理器,实现了负载均衡。(4)由于子网管理器规模上限是一定的,所以大数据任务的调度总耗时和网元规模无关,解决了大数据任务线性耗时的问题。(5)缩短了大数据任务的执行时间,减少了系统性能压力,提升了用户体验。
[0109]下面结合附图和具体实施实例对本发明实施例的作进一步的详细描述:
[0110]I)网络模型
[0111]在支持分布式部署的电信网管架构下,将原本部署在网络管理器中的网络级任务线程池调度器和任务管理器分离,将调度器下移到子网管理器。充分利用子网管理器可以随管理网元规模大小做水平扩展的特点,将原本集中式的网络级调度分摊到多个子网管理器,从而避免大数据任务执行耗时和网元规模成线性增长。
[0112]如图11所示,在网络管理器中部署网络级任务管理器、数据库、状态任务控制器以及子网命令分发器。这几个模块充分协作并管理网络级任务的归类、分发、状态汇总等功能。子网管理器负责从网络管理器中接收分发来的命令信息,并将这些信息整理成可供线程池调度的调度单元,这些调度单元被推送到线程池调度队列中等待调度。子任务状态控制器负责监控每个调度单元的执行状态,并负责将子网内任务执行汇总状态上报給网络管理器。
[0113]2)实施步骤
[0114]第一部分大数据任务在网络管理器中处理步骤:
[0115]本部分描述了大数据任务在网络管理器中的处理流程,流程图如图12所示。
[0116]具体步骤描述如下:
[0117]S1202:创建含网络级规模单元任务。
[0118]用户创建网络级任务,包含规模较大的网元。任务管理器生成大数据任务对象,并分析、抽象、整理任务对象。
[0119]S1204:存储任务于数据库。
[0120]数据库存储模块将整理后的任务对象存库持久化。
[0121]S1206:根据任务包含的网元对象查找子网管理器。
[0122](说明:由于每个网元的代理分布在一个子网管理器中,所以和实体网元的命令交互都需要通过子网管理器的各个网元代理进行。)拆分成多个子任务。
[0123]S1208:由子网分发器分发到对应子网。
[0124]子网分发器将拆分的子任务分发到对应子网管理器。
[0125]S1210:分发。
[0126]如果分发失败,则跳转到步骤1214,任务执行失败,结束。
[0127]S1212:创建状态控制器。
[0128]状态控制器用于监控和接收各子网管理器的子任务执行状态。
[0129]S1214:控制器侦听子网结果。
[0130]状态控制器开始监听各子网管理器子任务执行结果状态上报。
[0131]S
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1