一种任务部署的方法、装置、设备及存储介质与流程

本申请涉及数据处理，特别是涉及一种任务部署的方法、装置、设备及存储介质。

背景技术：

1、随着云计算和大数据的兴起和发展，大数据处理平台受到广泛的应用，运用大数据平台完成数据处理，可以提升加快数据处理效率。

2、现有技术中需要通过在大数据平台上进行大量的手动操作以实现任务部署，例如建立数据表、配置系统表信息、上传数据加工脚本、上传工作流配置文件以及上传部署脚本文件等操作。

3、然而，现有技术中人为干预程度较高，为任务部署过程引入了许多不确定因素，特别是面对日益庞大的数据量，任务部署过程的安全性以及可靠性都不能得到有效的保障。

技术实现思路

1、基于上述问题，本申请提供了一种任务部署的方法、装置、设备及存储介质。

2、本申请实施例公开了如下技术方案：

3、本申请实施例提供一种任务部署的方法，包括：

4、根据用户的任务部署请求，配置任务部署的策略文件；

5、根据所述策略文件中的数据表和工作流，更新大数据平台的原数据表和原工作流，获得更新后的数据表和更新后的工作流；

6、将系统数据添加至所述更新后的数据表，获得已配置数据表；所述系统数据用于调用所述更新后的工作流中的任务；

7、根据所述已配置数据表，调用所述更新后的工作流中的任务。

8、进一步地，所述根据所述策略文件中的数据表和工作流，更新大数据平台的原数据表和原工作流，获得更新后的数据表和更新后的工作流，包括：

9、将所述策略文件中的数据表和工作流与所述原数据表和所述原工作流进行对比，获得对比结果；

10、若所述对比结果表示更新数据表和工作流，将所述原数据表和所述原工作流更新为所述策略文件中的数据表和工作流，获得所述更新后的数据表和所述更新后的工作流；

11、若所述对比结果表示新增数据表和工作流，根据所述策略文件中的数据表和工作流创建数据表和工作流，获得所述更新后的数据表和所述更新后的工作流。

12、进一步地，所述若所述对比结果表示更新数据表和工作流，将所述原数据表和所述原工作流更新为所述策略文件中的数据表和工作流，获得所述更新后的数据表和所述更新后的工作流之后，还包括：

13、将所述原数据表和所述原工作流进行备份。

14、进一步地，还包括：

15、当需要终止所述工作流中的任务时，对所述任务进行冻结、终止和/或停止。

16、进一步地，还包括：

17、查询所述工作流的状态，获得所述工作流的当前状态；

18、反馈所述当前状态。

19、本申请实施例还提供一种任务部署的装置，包括：

20、配置模块、更新模块、获得模块以及调用模块；

21、所述配置模块，用于根据用户的任务部署请求，配置任务部署的策略文件；

22、所述更新模块，用于根据所述策略文件中的数据表和工作流，更新大数据平台的原数据表和原工作流，获得更新后的数据表和更新后的工作流；

23、所述获得模块，用于将系统数据添加至所述更新后的数据表，获得已配置数据表；所述系统数据用于调用所述更新后的工作流中的任务；

24、所述调用模块，用于根据所述已配置数据表，调用所述更新后的工作流中的任务。

25、进一步地，所述更新模块，包括：

26、第一获得单元、第二获得单元以及第三获得单元；

27、所述第一获得单元，用于将所述策略文件中的数据表和工作流与所述原数据表和所述原工作流进行对比，获得对比结果；

28、所述第二获得单元，用于若所述对比结果表示更新数据表和工作流，将所述原数据表和所述原工作流更新为所述策略文件中的数据表和工作流，获得所述更新后的数据表和所述更新后的工作流；

29、所述第三获得单元，用于若所述对比结果表示新增数据表和工作流，根据所述策略文件中的数据表和工作流创建数据表和工作流，获得所述更新后的数据表和所述更新后的工作流。

30、进一步地，所述第二获得单元中，还包括：

31、备份单元；

32、所述备份单元，用于将所述原数据表和所述原工作流进行备份。

33、进一步地，还包括：终止模块；

34、所述终止模块，用于当需要终止所述工作流中的任务时，对所述任务进行冻结、终止和/或停止。

35、进一步地，还包括：查询模块和反馈模块；

36、所述查询模块，用于查询所述工作流的状态，获得所述工作流的当前状态；

37、所述反馈模块，用于反馈所述当前状态。本申请实施例还提供一种计算机设备，所述计算机设备包括处理器以及存储器：

38、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

39、所述处理器用于根据所述程序代码中的指令执行如上所述的一种任务部署的方法的步骤。

40、本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的一种任务部署的方法的步骤。

41、相较于现有技术，本申请具有以下有益效果：

42、本申请通过根据用户的任务部署请求，配置任务部署的策略文件；根据所述策略文件中的数据表和工作流，更新大数据平台的原数据表和原工作流，获得更新后的数据表和更新后的工作流；将系统数据添加至所述更新后的数据表，获得已配置数据表；所述系统数据用于调用所述更新后的工作流中的任务；根据所述已配置数据表，调用所述更新后的工作流中的任务。本申请通过配置的策略文件，根据已配置数据表，调用更新后的工作流中的任务，实现自动部署和调度，有效降低了作业过程中的人为干预程度，提高了任务部署和调度的安全性以及可靠性。

技术特征：

1.一种任务部署的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述策略文件中的数据表和工作流，更新大数据平台的原数据表和原工作流，获得更新后的数据表和更新后的工作流，包括：

3.根据权利要求2所述的方法，其特征在于，所述若所述对比结果表示更新数据表和工作流，将所述原数据表和所述原工作流更新为所述策略文件中的数据表和工作流，获得所述更新后的数据表和所述更新后的工作流之后，还包括：

4.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

5.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

6.一种任务部署的装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述更新模块，包括：

8.根据权利要求7所述的装置，其特征在于，所述第二获得单元中，还包括：

9.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的一种任务部署的方法的步骤。

技术总结
本申请公开了一种任务部署的方法、装置、设备及存储介质，可应用于大数据领域或金融领域。通过根据用户的任务部署请求，配置任务部署的策略文件；根据所述策略文件中的数据表和工作流，更新大数据平台的原数据表和原工作流，获得更新后的数据表和更新后的工作流；将系统数据添加至所述更新后的数据表，获得已配置数据表；所述系统数据用于调用所述更新后的工作流中的任务；根据所述已配置数据表，调用所述更新后的工作流中的任务。本申请通过配置的策略文件，根据已配置数据表，调用更新后的工作流中的任务，实现自动调度和部署，有效降低了作业过程中的人为干预程度，提高了任务调度和部署的安全性以及可靠性。

技术研发人员：黄钊港,敖倩
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/14