一种应用于大数据开发的调度方法与流程

本发明涉及计算机，特别是一种应用于大数据开发的调度方法。

背景技术：

1、随着企业的发展，企业数据需要搭建诸如离线、实时等数据仓库，数据开发人员在日常工作中除了需要梳理数据需求，进行数据开发外，还需要花费大量的时间在数据任务的执行与维护上，因此数据的可靠性、数据开发的高效性就显得尤为重要了，而目前的数据开发都无法兼顾这些问题。

2、基于此本发明提出了一种应用于大数据的调度平台方案，为用户提供简单易上手的操作逻辑，方便用户将数据开发任务交给调度器，实现任务的自动化执行；同时为用户提供便捷高效的作业执行维护方式，帮助企业更为高效、流畅的管理大量的数据开发任务；另外该方案还支持结合kerberos、ldap、sentry等大数据组件保证企业数据安全。

技术实现思路

1、本发明目的在于提供一种应用于大数据领域的调度平台方案，解决任务多、难维护以及数据安全等大数据任务调度过程中遇到的相关问题。

2、为实现上述技术目的，达到上述技术效果，本发明公开了一种应用于大数据开发的调度方法，包括步骤如下：

3、s1：声明配置大数据集群，支持常见的大数据组件包括hive、hdfs、yarn、datax、flink、spark、hbase、kafka、kerberos、ldap、sentry等，通过配置kerberos、ldap、sentry等大数据认证与授权的服务，同时配置集群用户及相关用户授权，可以极大的提高大数据集群的数据安全性；

4、s2：声明配置执行资源组，调度任务的执行完全依托于资源组，由资源组负责将任务提交到指定的大数据集群中执行，资源组支持横向扩展，提高作业执行的并行度，在大数据集群资源允许的条件下，最大化的降低整体作业的执行时间，提高整个业务流程数据的产出效率；

5、s3：声明配置数据源，数据源配置中需要设置资源组，资源组主要用于数据源的数据预览、元数据查询、数据同步等，当项目环境所在集群开启了数据安全管控时，资源组能够根据配置为执行任务提供数据安全功能；

6、s4：声明创建项目；

7、s5：声明创建项目环境；

8、s6：资源组、数据源授权，项目环境中使用资源组、数据源时，需要首先对资源组和数据源进行授权，防止乱用、误用的情况发生，占用集群资源；

9、s7：配置项目环境，包括环境需要的数据源、资源组、参数等，多环境配置构成环境间的发布功能，构成上下游关系的环境，上游环境可以很方便的通过发布功能实现一键同步作业到下游环境中，实现开发、测试、生产的发布流程；

10、s8：在项目环境中创建工作流；

11、s9：配置工作流作业，配置工作包括配置作业的依赖关系、定时配置、输入参数、输出参数、资源依赖、规则校验、运行监控等；

12、s10：作业执行测试，通过作业执行测试，查看作业执行结果和日志，即可知晓作业的内容，配置是否正确以及作业能否正确执行；

13、s11：工作流整体测试；

14、s12：作业提交，对于经过测试的作业，可以进行作业提交，当作业提交后，已提交的作业将在运维中心及发布中心查阅到并进行相关操作；

15、s13：作业运维，在作业运维中心内，可以查看作业运行历史及日志，可以进行作业重跑、补数等操作，确保数据的完整及准确性；

16、s14：作业发布，多级环境配置构成环境间的发布功能，构成上下游关系的环境，上游环境可以很方便的通过发布功能实现一键同步作业到下游环境中，实现开发、测试、生产的发布流程，对于物理隔离的环境，通过导入/导出功能实现发布功能。

17、本发明具有以下有益效果：在充分保证数据安全的条件下，用户只需要通过简单的操作，即可完成以往纷繁复杂的数据开发流程，同时解决任务多难维护的技术问题。

技术特征：

1.一种应用于大数据开发的调度方法，其特征在于：包括步骤如下：

技术总结
本发明涉及计算机技术领域，公开了一种应用于大数据开发的调度方法，包括声明配置大数据集群、声明配置执行资源组、声明配置数据源、声明创建项目、声明创建项目环境、资源组数据源授权、配置项目环境、在项目环境中创建工作流、配置工作流作业、作业执行测试、工作流整体测试、作业提交、作业运维、作业发布；在充分保证数据安全的条件下，用户只需要通过简单的操作，即可完成以往纷繁复杂的数据开发流程，同时解决任务多难维护的技术问题。

技术研发人员：邵健锋,方友仓,洪森权
受保护的技术使用者：深圳市今天国际物流技术股份有限公司
技术研发日：
技术公布日：2024/5/8