云计算任务调度方法、装置、电子设备及存储介质与流程

文档序号:30419395发布日期:2022-06-15 12:35阅读:94来源:国知局
云计算任务调度方法、装置、电子设备及存储介质与流程

1.本技术涉及云计算领域,具体而言,涉及一种云计算任务调度方法、装置、电子设备及存储介质。


背景技术:

2.云计算系统,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间内完成对数以万计的数据的处理,从而达到强大的网络服务。
3.现有技术中,各种专业领域的云计算往往是针对单机和固定计算环境设计和实现的,但是这些云计算经常只能覆盖小部分需求,现实需求往往是跨多专业和多领域的,因此,现有技术中存在可扩展能力低、可用性低等缺点,不满足现实需求。


技术实现要素:

4.本技术的目的在于,针对上述现有技术中的不足,提供一种云计算任务调度方法、装置、电子设备及存储介质,能够提升系统的扩展能力以及可用性。
5.为实现上述目的,本技术实施例采用的技术方案如下:
6.第一方面,本技术实施例提供了一种云计算任务调度方法,应用于分布式节点系统,所述分布式节点系统包括:管理节点池以及多个计算节点池,所述管理节点池中包括多个管理节点,各所述管理节点预先与一个或多个计算节点池建立通信连接;所述方法包括:
7.管理节点池中的各管理节点接收待调度的任务需求,并根据所述任务需求确定目标管理节点;
8.所述目标管理节点根据所述任务需求对应的配置信息和环境信息,生成与所述任务需求匹配的计算任务,根据所述计算任务从与所述目标管理节点通信连接的计算节点池中确定目标计算节点池,并将所述计算任务发送至所述目标计算节点池中的各计算节点;
9.所述目标计算节点池中的各计算节点根据所述计算任务确定目标计算节点;
10.所述目标计算节点执行所述计算任务并向所述目标管理节点返回执行结果。
11.可选的,所述根据所述任务需求确定目标管理节点,包括:
12.所述管理节点池中的各管理节点根据各管理节点的资源占用信息确定所述目标管理节点。
13.可选的,所述目标管理节点根据所述任务需求对应的配置信息和环境信息,生成与所述任务需求匹配的计算任务,根据所述计算任务从与所述管理节点通信连接的计算节点池中确定目标计算节点池,包括:
14.所述目标管理节点将所述任务需求对应的配置信息和环境信息加载至所述任务需求中,得到与所述任务需求匹配的计算任务;
15.所述目标管理节点根据所述计算任务中的配置信息和环境信息以及与所述目标管理节点通信连接的各计算节点池的配置信息和环境信息确定所述目标计算节点池。
16.可选的,所述目标计算节点池中的各计算节点根据所述计算任务确定目标计算节点,包括:
17.所述目标计算节点池中的各计算节点根据所述计算任务中的配置信息和环境信息以及各计算节点的配置信息和环境信息,确定满足所述计算任务的配置信息和环境信息的目标计算节点。
18.可选的,所述目标计算节点执行所述计算任务并向所述目标管理节点返回执行结果,包括:
19.所述目标计算节点将所述计算任务增加至所述目标计算节点的任务队列中;
20.所述目标计算节点根据所述任务队列中各任务的优先级调度并执行所述任务队列中的各计算任务,并返回各计算任务的执行结果。
21.可选的,所述方法还包括:
22.所述目标计算节点根据所述任务队列中的任务的数量和/或所述计算节点池系统的状态信息,确定是否休眠;
23.若是,则目标计算节点休眠预设时长,并在结束休眠后重新读取所述任务队列中的任务。
24.可选的,所述方法还包括:
25.所述目标计算节点按照预设周期检测当前正在执行的任务的执行状态。
26.第二方面,本技术实施例还提供了一种云计算任务调度装置,所述装置包括:
27.确定模块,用于管理节点池中的各管理节点接收待调度的任务需求,并根据所述任务需求确定目标管理节点;
28.确定模块,用于所述目标管理节点根据所述任务需求对应的配置信息和环境信息,生成与所述任务需求匹配的计算任务,根据所述计算任务从与所述目标管理节点通信连接的计算节点池中确定目标计算节点池,并将所述计算任务发送至所述目标计算节点池中的各计算节点;
29.确定模块,用于所述目标计算节点池中的各计算节点根据所述计算任务确定目标计算节点;
30.执行模块,用于所述目标计算节点执行所述计算任务并向所述目标管理节点返回执行结果。
31.可选的,所述确定模块具体用于:
32.所述管理节点池中的各管理节点根据各管理节点的资源占用信息确定所述目标管理节点。
33.可选的,所述目标管理节点根据所述任务需求对应的配置信息和环境信息,生成与所述任务需求匹配的计算任务,根据所述计算任务从与所述管理节点通信连接的计算节点池中确定目标计算节点池,包括:
34.所述目标管理节点将所述任务需求对应的配置信息和环境信息加载至所述任务需求中,得到与所述任务需求匹配的计算任务;
35.所述目标管理节点根据所述计算任务中的配置信息和环境信息以及与所述目标
管理节点通信连接的各计算节点池的配置信息和环境信息确定所述目标计算节点池。
36.可选的,所述确定模块具体用于:
37.所述目标计算节点池中的各计算节点根据所述计算任务中的配置信息和环境信息以及各计算节点的配置信息和环境信息,确定满足所述计算任务的配置信息和环境信息的目标计算节点。
38.可选的,所述执行模块具体用于:
39.所述目标计算节点将所述计算任务增加至所述目标计算节点的任务队列中;
40.所述目标计算节点根据所述任务队列中各任务的优先级调度并执行所述任务队列中的各计算任务,并返回各计算任务的执行结果。
41.可选的,所述执行模块具体用于:
42.所述目标计算节点根据所述任务队列中的任务的数量和/或所述计算节点池系统的状态信息,确定是否休眠;
43.若是,则目标计算节点休眠预设时长,并在结束休眠后重新读取所述任务队列中的任务。
44.可选的,所述执行模块具体用于:
45.所述目标计算节点按照预设周期检测当前正在执行的任务的执行状态。
46.第三方面,本技术实施例还提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的程序指令,当应用程序运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述程序指令,以执行上述第一方面所述的云计算任务调度方法的步骤。
47.第四方面,本技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被读取并执行上述第一方面所述的云计算任务调度方法的步骤。
48.本技术的有益效果是:
49.本技术提供的一种云计算任务调度方法、装置、电子设备及存储介质,通过管理节点池中的各管理节点接收待调度的任务需求,并根据任务需求确定目标管理节点;目标管理节点根据任务需求对应的配置信息,生成与任务需求匹配的计算任务,根据计算任务从与目标管理节点通信连接的计算节点池中确定目标计算节点池,并将计算任务发送至目标计算节点中的各计算节点;目标节点池中的各计算节点根据计算任务确定目标计算节点;目标计算节点执行计算任务并向目标管理节点返回执行结果。通过计算任务确定目标计算节点池以及目标计算节点,可以实现执行多种需求的计算任务,提升系统面对跨多专业多领域的扩展能力。
附图说明
50.为了更清楚地说明本技术实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本技术的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
51.图1为本技术实施例提供的一种示例性场景示意图;
52.图2为本技术实施例提供的执行环境配置流程示意图;
53.图3为本技术实施例提供的任务验证流程示意图;
54.图4为本技术实施例提供的一种云计算任务调度方法的流程示意图;
55.图5为本技术实施例提供的确定目标计算节点流程示意图;
56.图6为本技术实施例提供的待执行任务的调度流程示意图;
57.图7为本技术实施例提供的目标计算节点获取任务状态流程示意图;
58.图8为本技术实施例提供的一种云计算任务调度方法的装置示意图;
59.图9为本技术实施例提供的一种电子设备的结构框图。
具体实施方式
60.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,应当理解,本技术中附图仅起到说明和描述的目的,并不用于限定本技术的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本技术内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
61.另外,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围,而是仅仅表示本技术的选定实施例。基于本技术的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本技术保护的范围。
62.需要说明的是,本技术实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
63.图1为本技术实施例提供的一种示例性场景示意图,如图1所示,该方法应用于分布式节点系统,该分布式节点系统可以包括管理节点池以及多个计算节点池,其中,管理节点池中可以包括多个管理节点,各管理节点可以预先与一个或多个计算节点池建立通信连接,则各管理节点可以向与其建立通信连接的一个或多个计算节点池发送计算任务,每个计算节点池中可以包括多个计算节点。应当理解,图1所示的结构图仅为示意,即该分布式节点系统可以具有比图1更多或者更少的节点,或者具有与图1 所示不同的配置。
64.可选的,一个计算节点池可以同时与多个管理节点建立通信连接,但一个计算节点不能同时属于多个计算节点池。
65.可选的,在计算任务调度之前,用户可以对计算任务进行自定义配置。
66.例如可以对计算任务的执行环境、资源损耗、计算任务优先级等进行自定义配置,并将自定义配置完成的计算任务进行验证,将验证通过的计算任务的配置信息进行存储。
67.图2为本技术实施例提供的执行环境配置流程示意图,如图2所示,执行环境配置流程包括:
68.s101、选择执行语言。
69.可选的,执行环境具体地可以包括执行语言、语言版本、编译器版本、构建参数、执
行参数。其中,执行语言可以指的是执行计算任务使用的编程语言,例如可以是c语言、c++语言、java语言、python语言等,用户可以从执行语言中选择一种语言类型对计算任务进行配置。
70.s102、选择执行语言版本。
71.可选的,语言版本可以指的是编程语言的版本,例如可以是java8、 c++15、python3.6,用户可以从编程语言的版本中选择一种语言版本对计算任务进行配置。
72.s103、选择编译器版本。
73.可选的,编辑器版本可以指的是编程语言编译器使用的版本,例如可以是gcc14.5、语言自带编译器等,用户可以从编辑器的版本中选择一种编辑器版本对计算任务进行配置。
74.s104、配置构建参数。
75.可选的,构建参数可以指的是计算任务从源代码经过编译器编译时需要传给编译器的参数。
76.s105、配置执行参数。
77.可选的,执行参数可以指的是云计算环境内计算任务执行命令后需要传入的命令参数,用户可以对构建参数和执行参数进行自定义配置。
78.应理解,上述步骤s101-s105中部分步骤的执行顺序可以互换,并不限于上述的顺序。例如,也可以先执行步骤s105,再执行步骤s104。
79.可选的,计算任务优先级具体地可以包括用户权限以及用户权限对应的优先级。其中,用户权限可以指的是用户是否有发布计算任务的权限,使用用户权限可以认证该用户是否是合法用户。用户权限对应的优先级可以指的是,用户对计算任务可以配置的优先级低于用户权限等级的所有优先级,例如,若用户的优先级等级为10,则用户可以配置0-10等级中的所有优先级。
80.可选的,资源损耗具体地可以包括计算任务对cpu需求量、gpu需求量、资源需求函数。其中,cpu需求量例如核心数、频率等;gpu需求量例如显卡版本、数量、频率等;资源需求函数具体地可以包括内存需求函数、显卡需求函数、存储需求函数。其中计算任务的资源需求函数可以根据计算任务的入参列表计算资源需求量,其中计算任务的入参列表可以来源于其他任务属性配置,可以由用户设置的此计算任务的所有参数。
81.图3为本技术实施例提供的任务验证流程示意图,如图3所示,任务验证流程包括:
82.s201、构建与计算任务匹配的虚拟环境,若无法成功构建与计算任务匹配的虚拟环境,则计算任务验证也视为不通过。
83.可选的,用户通过前述自定义方法对计算任务需求的执行环境、优先级以及资源损耗进行自定义配置之后,可以对配置后的计算任务进行验证,具体地,可以在云计算系统中构建一个执行虚拟环境,该执行虚拟环境可以是一个独立于操作系统且符合计算任务需求的虚拟环境,在该执行虚拟环境中可以对自定义配置的计算任务进行编译和执行,例如可以使用一种沙盒技术(sandbox)来构建虚拟环境。
84.s202、验证计算任务优先级与用户权限是否匹配,若匹配,执行步骤 s203,若不匹配则验证不通过。
85.可选的,当云计算系统构建执行虚拟环境成功后,在该虚拟环境下验证计算任务
的优先级与用户权限是否匹配,若匹配,则继续执行计算任务。
86.s203、执行计算任务,若执行任务过程出现任务程序等其他问题,导致无法成功执行任务,则计算任务验证不通过。
87.可选的,若执行计算任务过程中未出现异常情况,计算任务执行完成,则继续执行下述步骤s204。
88.s204、收集计算任务的执行信息。
89.其中,计算任务的执行信息可以包括执行计算任务的实际资源损耗。
90.s205、验证计算任务实际资源损耗与自定义资源损耗之间的差异是否超过预设阈值,若超过,则验证不通过,若不超过,则验证通过,执行步骤s206。
91.示例性的,该预设阈值可以设置为5%或者10%之间。
92.s206、验证通过,将计算任务对应的配置进行存储。
93.可选的,若计算任务验证通过,则将该计算任务的所有配置存储至预设数据库中,便于后续接收到同一类型任务需求时可以调用该计算任务的所有配置。
94.图4为本技术实施例提供的一种云计算任务调度方法的流程示意图,该方法应用于如前述的分布式节点系统。如图4所示,该方法包括:
95.s301、管理节点池中的各管理节点接收待调度的任务需求,并根据任务需求确定目标管理节点。
96.可选的,待调度的任务需求可以包括待调度任务的标识、待调度的具体任务,其中,该标识可以是名称、id等信息,通过待调度任务的需求可以确定待调度任务的任务类型。
97.可选的,可以根据预设规则从管理节点池中的各管理节点中选择合适的管理节点作为目标管理节点,将待调度的任务需求下发至该目标管理节点。
98.s302、目标管理节点根据任务需求对应的配置信息,生成与任务需求匹配的计算任务,根据计算任务从与目标管理节点通信连接的计算节点池中确定目标计算节点池,并将计算任务发送至目标计算节点中的各计算节点。
99.可选的,目标管理节点接收到任务需求后,根据预设规则以及任务需求对应的配置信息生成与任务需求匹配的计算任务,其中,该计算任务中可以具体包括计算任务所需的优先级、执行环境以及资源损耗等所有的配置信息。
100.可选的,与目标管理节点对应通信连接的计算节点池有一个或多个,其中,各计算节点池的配置信息也不相同,其中,该配置信息可以包括计算节点池的环境信息配置、资源信息配置等,则可以根据预设规则从与其通信连接的一个或多个计算节点池中选择合适的计算节点池,作为目标计算节点池。
101.可选的,目标计算节点池将接收到的计算任务发送至目标计算节点池中的各计算节点。
102.s303、目标节点池中的各计算节点根据计算任务确定目标计算节点。
103.其中,各计算节点的配置信息并不相同,配置信息可以包括计算节点的计算环境、计算资源配置以及计算类型等配置信息。
104.可选的,目标节点池中的各计算节点接收到计算任务后,可以根据预设规则,从各计算节点中选择最合适的计算节点作为目标计算节点,最终使用该目标计算节点执行计算
任务。
105.s304、目标计算节点执行计算任务并向目标管理节点返回执行结果。
106.可选的,目标计算节点可以根据预设规则执行计算任务,在执行计算任务中可以返回任务信息以及最终执行结果,其中,执行结果可以包括执行成功或者执行失败。
107.综上所述,本实施例通过管理节点池中的各管理节点接收待调度的任务需求,并根据任务需求确定目标管理节点;目标管理节点根据任务需求对应的配置信息,生成与任务需求匹配的计算任务,根据计算任务从与目标管理节点通信连接的计算节点池中确定目标计算节点池,并将计算任务发送至目标计算节点中的各计算节点;目标节点池中的各计算节点根据计算任务确定目标计算节点;目标计算节点执行计算任务并向目标管理节点返回执行结果。通过计算任务确定目标计算节点池以及目标计算节点,可以实现执行多种需求的计算任务,提升系统面对跨多专业多领域的扩展能力。
108.可选的,上述步骤s301中根据任务需求确定目标管理节点,可以包括:
109.可选的,管理节点池中的各管理节点根据各管理节点的资源占用信息确定目标管理节点。其中,资源占用信息可以指的是管理节点的空闲程度以及管理节点内存占用量,若管理节点内存占用量较大,则该管理节点可以不接受发送的任务需求,若管理节点的内存占用量较少,比较空闲,则可以选择该管理节点作为目标管理节点接收任务需求。
110.可选的,上述步骤s302目标管理节点根据任务需求对应的配置信息,生成与任务需求匹配的计算任务,根据计算任务从与目标管理节点通信连接的计算节点池中确定目标计算节点池,并将计算任务发送至目标计算节点中的各计算节点,可以包括:
111.可选的,目标管理节点将任务需求对应的配置信息加载至任务需求中,得到与任务需求匹配的计算任务。
112.可选的,任务需求对应的配置信息可以从预设数据库中获取,其中,该预设数据库可以指的是前述对验证通过的自定义的计算任务进行存储的预设数据库,目标管理节点可以根据接收到的任务需求中的任务标识确定预设数据库是否存在该任务需求的配置信息,若存在,说明该类型的任务需求已经通过验证,可以接收并执行;若不存在,说明该任务需求是一个新的任务需求,云计算系统需要根据前述的验证过程对该任务需求进行验证,若验证通过则可以对该任务需求继续执行并存储至预设数据库,若验证不通过,则拒绝接收该任务需求。
113.可选的,目标管理节点根据计算任务中的配置信息以及目标管理节点通信连接的各计算节点池的配置信息确定目标计算节点池。
114.可选的,计算任务的配置信息可以包括计算任务资源损耗以及计算任务需求环境,例如计算任务cpu需求量、gpu需求量、内存需求量、计算任务所需的执行语言、执行语言版本等。
115.可选的,计算节点池的配置信息可以包括计算节点池的资源信息以及计算节点池的环境信息,其中计算节点池的资源信息可以包括计算节点池的内存占用量,计算节点池的环境信息可以包括计算节点池可以支持的语言类型、语言版本等信息。
116.可选的,可以先根据计算任务的需求环境匹配与计算任务的需求环境一致的计算节点池,再从环境匹配的计算节点池中选择与计算任务的资源损耗匹配的计算节点池作为目标计算节点池,则目标计算节点池接收计算任务。
117.图5为本技术实施例提供的确定目标计算节点流程示意图,如图5所示,上述步骤s303目标节点池中的各计算节点根据计算任务确定目标计算节点,可以包括:
118.s401、目标计算节点池接收计算任务,将计算任务的资源损耗发送至可用计算节点。
119.可选的,目标计算节点将计算任务的资源损耗发送至可用的计算节点,其中,该可用计算节点可以指的是有剩余资源可用量的计算节点。
120.可选的,计算节点中可以有一个或多个正在执行的其他计算任务,也可以无计算任务,若计算节点无可用的计算资源或者剩余计算资源可用量不足以执行计算任务,则该计算节点不接收计算任务。
121.s402、可用计算节点计算该计算节点的资源可用量。
122.可选的,接收到计算任务的资源损耗的计算节点计算该计算节点的资源可用量。
123.s403、根据计算节点的资源可用量以及计算任务的资源损耗匹配最合适的计算节点作为目标计算节点。
124.可选的,目标计算节点池中各计算节点根据计算任务中的配置信息以及各计算节点的配置信息,确定满足计算任务的配置信息的目标计算节点。
125.可选的,可以选择资源可用量最多的计算节点作为目标计算节点。
126.s404、向目标计算节点发送计算任务,目标计算节点将计算任务增加至目标计算节点的任务队列中。
127.s405、目标计算节点根据优先级调度并执行任务队列中的各计算任务。
128.可选的,上述步骤s304目标计算节点执行计算任务并向目标管理节点返回执行结果,可以包括:
129.可选的,目标计算节点将计算任务增加至目标计算节点的任务队列中。其中,各计算节点的任务队列中可以包括预设数量的计算任务,若计算任务的数量超过该预设数量,则该计算节点不接收其他计算任务,示例性的,该预设数量可以例如为10,则每个计算节点最多可以有10个计算任务。
130.可选的,目标计算节点根据任务队列中各任务的优先级调度并执行任务队列中的各计算任务,并返回各计算任务的执行结果。
131.图6为本技术实施例提供的待执行任务的调度流程示意图,如图6所示,待执行任务的调度流程包括:
132.s501、目标计算节点根据优先级调度任务队列中计算任务作为待执行任务。
133.s502、目标计算节点判断计算节点的资源可用量与待执行任务的资源损耗是否匹配。
134.s503、若匹配,则目标计算节点执行待执行任务;若不匹配,则重新从任务队列中调度新的待执行任务。
135.可选的,若目标计算节点当前的资源可用量可以满足待执行任务的资源损耗,则目标计算节点开始执行该待执行任务,若目标计算节点的当前资源可用量不满足待执行任务的资源损耗,则目标计算节点将该待执行任务放回至任务队列中,按照优先级重新选择新的计算任务作为待执行任务,并判断目标计算节点当前资源可用量与新的待执行任务的资源损耗是否匹配,若匹配,则执行新的待执行任务,若不匹配,则又重新选择待执行任务
直至目标计算节点当前资源可用量与新的待执行任务的资源损耗匹配。
136.s504、目标计算节点执行任务时,记录任务属性以及系统状态。
137.可选的,目标计算节点在执行计算任务的时候,可以记录任务队列中的任务属性以及更新系统状态,可以将任务属性发送至目标管理节点,将云计算系统状态更新至计算节点池。
138.可选的,上述目标计算节点根据任务队列中的优先级调度并执行任务队列中的各计算任务,可以包括:
139.可选的,目标计算节点根据任务队列中的任务数量或分布式系统的状态信息,确定是否休眠,若需求休眠,则目标计算节点休眠预设时长,并在结束休眠后重新读取任务队列中的任务。
140.图7为本技术实施例提供的目标计算节点获取任务状态流程示意图,如图7所示,目标计算节点获取任务状态流程包括:
141.s601、获取当前目标计算节点的任务队列。
142.s602、从当前任务队列中获取各计算任务的属性。
143.可选的,目标计算节点可以读取任务队列中的任务属性,其中,任务属性可以指的是任务标识。目标计算节点可以获取目标计算节点当前执行的任务队列,从当前任务队列中获取各计算任务的属性。
144.s603、根据各计算任务属性获取各任务执行状态。
145.其中,各任务的执行状态包括执行成功、正在执行、执行失败等。
146.s604、判断是否存在剩余计算任务,若有,则继续获取各计算任务的属性。
147.605、若无,则休眠预设时长,并在预设时长后重新获取当前目标计算的任务队列。
148.可选的若当前任务队列中不存在剩余计算任务,也就是说目标计算节点中当前队列中的计算任务已全部执行完毕,则目标计算节点休眠预设时长,在预设时长后可以重新获取目标计算节点的当前队列。
149.示例性的,上述预设时长例如可以为20秒。
150.本实施例通过对执行状态的获取可以使目标计算节点实现对任务执行状态的追踪。
151.可选的,目标计算节点可以每隔预设时长获取当前计算节点池系统的状态,其中,系统状态可以包括系统当前的资源占用率、cpu占用率、gpu 占用率等,并将系统的当前状态发送至计算节点池中,计算节点池对系统状态进行更新。
152.示例性的,上述预设时长例如可以为20秒。
153.可选的,上述步骤s304目标计算节点执行计算任务并向目标管理节点返回执行结果,可以包括:
154.可选的,目标计算节点按照预设周期检测当前正在执行的任务执行状态。
155.本实施例通过预设时长获取系统状态可以便于对系统状态进行维护。
156.可选的,可选的,上述目标计算节点根据任务队列中的优先级调度并执行任务队列中的各计算任务,还可以包括:
157.可选的,目标计算节点按照预设周期检测当前正在执行的任务的执行状态,其中,各计算任务中包括自身所需的虚拟环境,则目标计算节点可以向正在执行的计算任务的虚
拟环境发送检测命令,通过该检测命令可以检测正在执行的计算任务是否正常运行。
158.示例性的,上述预设时长例如可以为20秒。
159.图8为本技术实施例提供的一种云计算任务调度方法的装置示意图,如图8所示,该装置包括:
160.确定模块701,用于管理节点池中的各管理节点接收待调度的任务需求,并根据所述任务需求确定目标管理节点;
161.确定模块701,用于所述目标管理节点根据所述任务需求对应的配置信息和环境信息,生成与所述任务需求匹配的计算任务,根据所述计算任务从与所述目标管理节点通信连接的计算节点池中确定目标计算节点池,并将所述计算任务发送至所述目标计算节点池中的各计算节点;
162.确定模块701,用于所述目标计算节点池中的各计算节点根据所述计算任务确定目标计算节点;
163.执行模块702,用于所述目标计算节点执行所述计算任务并向所述目标管理节点返回执行结果。
164.可选的,确定模块701具体用于:
165.所述管理节点池中的各管理节点根据各管理节点的资源占用信息确定所述目标管理节点。
166.可选的,所述目标管理节点根据所述任务需求对应的配置信息和环境信息,生成与所述任务需求匹配的计算任务,根据所述计算任务从与所述管理节点通信连接的计算节点池中确定目标计算节点池,包括:
167.所述目标管理节点将所述任务需求对应的配置信息和环境信息加载至所述任务需求中,得到与所述任务需求匹配的计算任务;
168.所述目标管理节点根据所述计算任务中的配置信息和环境信息以及与所述目标管理节点通信连接的各计算节点池的配置信息和环境信息确定所述目标计算节点池。
169.可选的,确定模块701具体用于:
170.所述目标计算节点池中的各计算节点根据所述计算任务中的配置信息和环境信息以及各计算节点的配置信息和环境信息,确定满足所述计算任务的配置信息和环境信息的目标计算节点。
171.可选的,执行模块702具体用于:
172.所述目标计算节点将所述计算任务增加至所述目标计算节点的任务队列中;
173.所述目标计算节点根据所述任务队列中各任务的优先级调度并执行所述任务队列中的各计算任务,并返回各计算任务的执行结果。
174.可选的,执行模块702具体用于:
175.所述目标计算节点根据所述任务队列中的任务的数量和/或所述计算节点池系统的状态信息,确定是否休眠;
176.若是,则目标计算节点休眠预设时长,并在结束休眠后重新读取所述任务队列中的任务。
177.可选的,执行模块702具体用于:
178.所述目标计算节点按照预设周期检测当前正在执行的任务的执行状态。
179.图9为本技术实施例提供的一种电子设备800的结构框图,如图9所示,该电子设备可包括:处理器801、存储器802。
180.可选的,还可以包括总线803,其中,所述存储器802用于存储有所述处理器801可执行的机器可读指令(例如,图8中的装置中确定模块、执行模块对应的执行指令等),当电子设备800运行时,所述处理器801与所述存储器802存储之间通过总线803通信,所述机器可读指令被所述处理器801执行时执行上述方法实施例中的方法步骤。
181.本技术实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述云计算任务调度方法实施例中的方法步骤。
182.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本技术中不再赘述。在本技术所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
183.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
184.以上仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1