一种任务处理方法、装置、设备及介质与流程

本技术涉及软件开发，尤其是涉及一种任务处理方法、装置、设备及介质。

背景技术：

1、相关技术中，任务的开发、修改以及发布通常是在任务调度系统中逐个创建并编辑任务，当任务需要进行修改时，也需要逐个修改，任务调度系统与git代码仓库之间无法打通，通过本地ide进行开发，数仓任务中往往有大量的sql任务，相关技术对任务进行逐个编辑效率低下。

技术实现思路

1、为了解决现有技术任务处理效率低的问题，本技术提供一种任务处理方法、装置、设备及介质。

2、第一方面，本技术提供了一种任务处理方法，采用如下技术方案：

3、一种任务处理方法，包括：

4、获取发布参数和代码配置目录，所述发布参数包括：调度系统、调度环境、指定发布项目；

5、对所述代码配置目录进行解析，得到工程配置对象类；

6、根据所述工程配置对象类，生成所述调度系统对应的任务和工作流；

7、根据所述调度环境和所述指定发布项目，将所述任务和所述工作流发布至所述调度系统。

8、通过采用上述技术方案，获取发布参数和代码配置目录，发布参数包括：调度系统、调度环境、指定发布项目，可以得到任务发布的参数信息和配置信息，为后续的任务生成和发布提供数据基础；对代码配置目录进行解析，得到工程配置对象类；根据工程配置对象类，生成调度系统对应的任务和工作流，避免了手动创建任务和工作流的繁琐过程；根据调度环境和指定发布项目，将任务和工作流发布至调度系统，简化了发布过程，提高了任务和工作流开发和发布的效率。

9、本技术在一较佳示例中可以进一步配置为：所述工程配置对象类包括：任务配置对象、工作流配置对象以及全局任务配置对象，

10、根据所述工程配置对象类，生成所述调度系统对应的任务，包括：

11、根据所述任务配置对象、所述工作流配置对象以及所述全局任务配置对象，生成抽象任务；

12、根据所述抽象任务和任务调度程序，生成所述调度系统对应的任务，所述任务调度程序用于调度与所述调度系统相关的任务。

13、通过采用上述技术方案，根据任务配置对象、工作流配置对象以及全局任务配置对象中包含的任务配置信息，生成抽象任务，根据抽象任务和任务调度程序，能够生成调度系统对应的任务，将任务与对应的调度系统关联，提高了任务开发的效率。

14、本技术在一较佳示例中可以进一步配置为：所述工程配置对象类还包括全局工作流配置对象，

15、根据所述工程配置对象类，生成所述调度系统对应的工作流，包括：

16、根据所述全局工作流配置对象和所述工作流配置对象，生成所述调度系统对应的工作流。

17、通过采用上述技术方案，根据全局工作流配置对象和工作流配置对象中与工作流相关的配置信息，生成调度系统对应的工作流，简化了工作流的开发流程，提高了工作流的开发效率。

18、本技术在一较佳示例中可以进一步配置为：所述代码配置目录包括根目录、一级目录、二级目录以及三级目录，所述方法还包括：

19、将工程名称设置为所述代码配置目录的根目录；

20、将任务代码目录和项目目录分别设置为所述代码配置目录的一级目录，所述任务代码目录用于存放任务代码，所述项目目录用于存放配置信息；

21、根据任务类型为所述任务代码目录设置二级目录；

22、根据配置信息的类型为所述项目目录设置二级目录，所述项目目录的二级目录包括任务目录和工作流目录；

23、将任务全局配置文件设置为所述任务目录对应的三级目录；

24、将工作流配置文件和工作流全局配置文件分别设置为所述工作流目录对应的三级目录。

25、通过采用上述技术方案，将代码配置目录设置为根目录、一级目录、二级目录以及三级目录，不仅提高了代码和配置信息的管理效率，还使得不同项目或工作流之间的代码和配置信息能够清晰地区分开，并且有利于全局配置文件的统一管理和访问。

26、本技术在一较佳示例中可以进一步配置为：所述将任务代码目录设置为所述代码配置目录的一级目录，包括：

27、将第一任务的代码放置于对应的文件，得到多个任务各自对应的文件，所述第一任务为待配置的多个任务中任一个；

28、根据对应的任务的类型设置各个文件的格式，

29、将所述多个任务各自对应的包含格式的文件设置于所述任务代码目录下；

30、将所述任务代码目录设置为所述代码配置目录的一级目录。

31、通过采用上述技术方案，将任务代码目录设置为代码配置目录的一级目录，实现了任务代码的规范化和有序化管理，提高了管理效率，通过自定义文件格式有助于统一管理和访问任务代码，满足了不同任务的需求并提高了代码组织的灵活性。

32、本技术在一较佳示例中可以进一步配置为：所述将工作流配置文件设置为所述工作流目录对应的三级目录，包括：

33、获取目标工作流的配置文件，所述目标工作流为待配置的多个工作流中任一个，所述目标工作流的配置文件包括目标工作流的全局参数、定时执行计划、所述目标工作流包含的第二任务以及所述第二任务之间的依赖关系；

34、将所述多个工作流各自对应的配置文件，分别设置为所述工作流目录对应的三级目录。

35、通过采用上述技术方案，目标工作流的配置文件包括目标工作流的全局参数、定时执行计划、目标工作流包含的第二任务以及第二任务之间的依赖关系，有助于全面了解和掌握工作流的配置细节，将工作流配置文件设置为工作流目录对应的三级目录，使得工作流配置文件的存储和管理更加规范化和有序化。

36、本技术在一较佳示例中可以进一步配置为：定义所述目标工作流包含的第二任务，包括：

37、以数组形式定义所述目标工作流包含的第二任务，所述第二任务包含任务名、代码目录地址以及任务类型。

38、通过采用上述技术方案，以数组形式定义目标工作流包含的第二任务，并包含任务名、代码目录地址以及任务类型，能够结构化存储任务信息、提高了任务代码的可读性和可维护性。

39、第二方面，本技术提供一种任务处理装置，采用如下的技术方案：

40、一种任务处理装置，包括：

41、获取模块，用于获取发布参数和代码配置目录，所述发布参数包括：调度系统、调度环境、指定发布项目；

42、解析模块，用于对所述代码配置目录进行解析，得到工程配置对象类；

43、生成模块，用于根据所述工程配置对象类，生成所述调度系统对应的任务和工作流；

44、发布模块，用于根据所述调度环境和所述指定发布项目，将所述任务和所述工作流发布至所述调度系统。

45、第三方面，本技术提供一种电子设备，采用如下的技术方案：

46、一个或多个处理器；

47、存储器；

48、至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行如第一方面任一项所述的任务处理方法。

49、第四方面，本技术提供一种计算机可读存储介质，采用如下的技术方案：

50、一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令所述计算机执行如第一方面任一项所述的任务处理方法。

51、综上所述，本技术包括以下有益技术效果：

52、本技术通过获取发布参数和代码配置目录，发布参数包括：调度系统、调度环境、指定发布项目，可以得到任务发布的参数信息和配置信息，为后续的任务生成和发布提供数据基础；对代码配置目录进行解析，得到工程配置对象类；根据工程配置对象类，生成调度系统对应的任务和工作流，避免了手动创建任务和工作流的繁琐过程；根据调度环境和指定发布项目，将任务和工作流发布至调度系统，简化了发布过程，提高了任务和工作流开发和发布的效率。