工作流协调平台的资源处理方法、装置、设备及存储介质与流程

本发明数据处理，具体而言，涉及一种工作流协调平台的资源处理方法、装置、设备及存储介质。

背景技术：

1、yarn(yet another resource negotiator)是一种新的hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

2、hadoop集群上可以运行多种分布式计算框架的任务，可通过代码命令行提交，也可通过第三方的任务调度框架提交任务到yarn上，但是当yarn的资源使用情况过高时，现有的分布式计算框架还是会将任务直接提交到yarn上，从而造成yarn的任务阻塞，出现任务堆积的情况。

技术实现思路

1、本发明的目的在于，针对上述现有技术中的不足，提供一种工作流协调平台的资源处理方法、装置、设备及存储介质，以便在提交待提交定时任务之前，对预设资源管理器的资源使用率进行查询，然后根据预设规则，确定待提交定时任务的提交策略。

2、为实现上述目的，本申请实施例采用的技术方案如下：

3、第一方面，本申请实施例提供了一种工作流协调平台的资源处理方法，应用于工作流协调平台，该方法包括：

4、创建待提交定时任务；

5、向预设资源管理器发送资源查询请求，以使得所述预设资源管理器根据所述资源查询请求查询资源使用率，并将所述资源使用率发送至所述工作流协调平台；

6、接收所述预设资源管理器发送的所述资源使用率；

7、根据所述资源使用率和预设规则，确定所述待提交定时任务的提交策略。

8、在可选的实施方式中，所述根据所述资源使用率和预设规则，确定所述待提交定时任务的提交策略，包括：

9、对所述资源使用率和预设阈值进行比较，得到比较结果；

10、根据所述比较结果和预设规则，确定所述待提交定时任务的提交策略。

11、在可选的实施方式中，所述根据所述比较结果和预设规则，确定所述待提交定时任务的提交策略，包括：

12、若所述资源使用率大于所述预设阈值，将所述待提交定时任务提交至所述预设资源管理器。

13、在可选的实施方式中，所述根据所述比较结果和预设规则，确定所述待提交定时任务的提交策略，包括：

14、若所述资源使用率小于等于所述预设阈值，对所述待提交定时任务进行异常处理。

15、在可选的实施方式中，所述对所述待提交定时任务进行异常处理，包括：

16、输出所述资源使用率，以及所述预设资源管理器的目前执行任务时间。

17、在可选的实施方式中，所述向预设资源管理器发送资源查询请求，包括：

18、根据所述待提交定时任务的定时时间，向预设资源管理器发送资源查询请求。

19、第二方面，本申请实施例还提供了一种工作流协调平台的资源处理方法，应用于预设资源管理器，该方法包括：

20、接收工作流协调平台发送的资源查询请求；

21、根据所述资源查询请求查询资源使用率；

22、将所述资源使用率发送至所述工作流协调平台，以使所述工作流协调平台根据所述资源使用率和预设规则，确定所述待提交定时任务的提交策略。

23、第三方面，本申请实施例还提供了一种工作流协调平台的资源处理装置，应用于工作流协调平台，该装置包括：

24、创建模块，用于创建待提交定时任务；

25、发送模块，用于向预设资源管理器发送资源查询请求，以使得所述预设资源管理器根据所述资源查询请求查询资源使用率，并将所述资源使用率发送至所述工作流协调平台；

26、接收模块，用于接收所述预设资源管理器发送的所述资源使用率；

27、确定模块，用于根据所述资源使用率和预设规则，确定所述待提交定时任务的提交策略。

28、第四方面，本申请实施例还提供了一种工作流协调平台的资源处理装置，应用于预设资源管理器，该方法包括：

29、接收模块，用于接收工作流协调平台发送的资源查询请求；

30、查询模块，用于根据所述资源查询请求查询资源使用率；

31、发送模块，用于将所述资源使用率发送至所述工作流协调平台，以使所述工作流协调平台根据所述资源使用率和预设规则，确定所述待提交定时任务的提交策略。

32、第五方面，本申请实施例还提供了一种处理设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当计算机设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如第一方面或第二方面任一所述的工作流协调平台的资源处理方法的步骤。

33、第六方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面或第二方面任一所述的工作流协调平台的资源处理方法的步骤。

34、本申请的有益效果是：

35、本申请实施例提供了一种工作流协调平台的资源处理方法、装置、设备及存储介质，包括：创建待提交定时任务，然后向预设资源管理器发送资源查询请求，以使得预设资源管理器根据资源查询请求查询资源使用率，并将资源使用率发送至工作流协调平台，并接收预设资源管理器发送的资源使用率，最后根据资源使用率和预设规则，确定待提交定时任务的提交策略。本申请的方法，通过在提交待提交定时任务之前，向预设资源管理器发送资源查询请求，用于对预设资源管理器的资源使用率进行查询，然后根据预设规则，确定待提交定时任务的提交策略即是否将待提交定时任务提交至预设资源管理器中，可有效避免在预设资源管理器的资源使用率过高的情况下，还将待提交定时任务进行提交，造成预设资源管理器的任务阻塞，出现任务堆积的情况，减少预设资源管理器的运行压力。

技术特征：

1.一种工作流协调平台的资源处理方法，其特征在于，应用于工作流协调平台，该方法包括：

2.如权利要求1所述的方法，其特征在于，所述根据所述资源使用率和预设规则，确定所述待提交定时任务的提交策略，包括：

3.如权利要求2所述的方法，其特征在于，所述根据所述比较结果和预设规则，确定所述待提交定时任务的提交策略，包括：

4.如权利要求2所述的方法，其特征在于，所述根据所述比较结果和预设规则，确定所述待提交定时任务的提交策略，包括：

5.如权利要求4所述的方法，其特征在于，所述对所述待提交定时任务进行异常处理，包括：

6.如权利要求1所述的方法，其特征在于，所述向预设资源管理器发送资源查询请求，包括：

7.一种工作流协调平台的资源处理方法，其特征在于，应用于预设资源管理器，该方法包括：

8.一种工作流协调平台的资源处理装置，其特征在于，应用于工作流协调平台，该装置包括：

9.一种处理设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当计算机设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如权利要求1至7任一所述的工作流协调平台的资源处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的工作流协调平台的资源处理方法的步骤。

技术总结
本申请提供了一种工作流协调平台的资源处理方法、装置、设备及存储介质，涉及数据处理技术领域。包括：创建待提交定时任务，然后向预设资源管理器发送资源查询请求，以使得预设资源管理器根据资源查询请求查询资源使用率，并将资源使用率发送至工作流协调平台，并接收预设资源管理器发送的资源使用率，最后根据资源使用率和预设规则，确定待提交定时任务的提交策略。通过在提交待提交定时任务之前，对预设资源管理器的资源使用率进行查询，然后根据预设规则，确定是否将待提交定时任务提交至预设资源管理器中，可有效避免在资源使用率过高的情况下，还将待提交定时任务进行提交，造成预设资源管理器的任务阻塞，出现任务堆积的情况。

技术研发人员：胡聪,黄乙元,姜雪明
受保护的技术使用者：浙江中控信息产业股份有限公司
技术研发日：
技术公布日：2024/4/17