作业调度配置信息生成方法及其装置与流程

本申请涉及计算机，尤其涉及数据库技术、机器学习技术及自然语言处理技术等，特别的涉及一种作业调度配置信息生成方法、装置、电子设备及存储介质。

背景技术：

1、随着互联网及科技水平的发展，数据的重要性渐渐地被发掘。数据已经渗透到每个人的生活中。当前每个企业级项目几乎都有数据方面的加工、复制等的需求，各项目之间、本项目中都存在着数据的关联和依赖，下游的业务需要上游数据的支撑。当前系统之间的数据需求，都是业务人员沟通完成之后，再将具体的需求给数据人员讲解。中间因为信息的传递，可能会存在信息偏差，再加上数据在每个系统中存在不同的数据口径，加工逻辑也比较复杂，数据人员理解需求就需要花费比较大的时间，沟通成本比较大，从而导致项目开发效率变低。

技术实现思路

1、本申请提供一种作业调度配置信息生成方法、装置、电子设备及存储介质，以至少解决相关技术中数据需求理解花费时间长、沟通成本大而导致项目开发效率变低等的问题。本申请的技术方案如下：

2、根据本申请实施例的第一方面，提供一种作业调度配置信息生成方法，包括：

3、获取待处理的数据需求信息；

4、对所述数据需求信息进行梳理操作，以得到所述数据需求信息之中源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息；

5、根据所述源表与所述目标表各自的物理模型、以及所述源表与所述目标表间的数据映射信息，基于对应数据库的语句特性，生成目标sql语句；其中，所述目标sql语句用于将所述源表中的数据映射到所述目标表的对应字段；

6、确定用于执行目标sql语句的作业，并根据所述源表、所述目标表、所述源系统信息和所述目标表系统信息，确定与所述作业存在依赖关系的上下游作业；

7、根据所述上下游作业、所述业务、以及作业依赖关系，生成作业调度配置信息。

8、根据本申请实施例的第二方面，提供一种作业调度配置信息生成装置，包括：

9、第一获取模块，用于获取待处理的数据需求信息；

10、第二获取模块，用于对所述数据需求信息进行梳理操作，以得到所述数据需求信息之中源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息；

11、第一生成模块，用于根据所述源表与所述目标表各自的物理模型、以及所述源表与所述目标表间的数据映射信息，基于对应数据库的语句特性，生成目标sql语句；其中，所述目标sql语句用于将所述源表中的数据映射到所述目标表的对应字段；

12、确定模块，用于确定用于执行目标sql语句的作业，并根据所述源表、所述目标表、所述源系统信息和所述目标表系统信息，确定与所述作业存在依赖关系的上下游作业；

13、第二生成模块，用于根据所述上下游作业、所述业务、以及作业依赖关系，生成作业调度配置信息。

14、根据本申请实施例的第三方面，提供一种电子设备，包括：

15、处理器，以及与所述处理器通信连接的存储器；

16、所述存储器存储计算机执行指令；

17、所述处理器执行所述存储器存储的计算机执行指令，以实现如前述第一方面所述的方法。

18、根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如前述第一方面所述的方法。

19、根据本申请实施例的第五方面，提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现前述第一方面所述方法的步骤。

20、本申请的实施例提供的技术方案至少带来以下有益效果：可以根据数据需求信息中的源表、目标表、服务方式及加工规则等信息生成sql语句，并根据作业的源表及系统信息生成作业调度配置信息。整个过程中实现智能化，贯穿数据开发人员的开发过程，可以简化数据开发人员的工作，并可以简化开发流程，对于当下越来越多的数据需求，对提升开发、工作效率有着至关的重要性。

21、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种作业调度配置信息生成方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述对所述数据需求信息进行梳理操作，以得到所述数据需求信息之中源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息，包括：

3.如权利要求1所述的方法，其特征在于，所述根据所述源表与所述目标表各自的物理模型、以及所述源表与所述目标表间的数据映射信息，基于对应数据库的语句特性，生成目标sql语句，包括：

4.如权利要求1至3中任一项所述的方法，其特征在于，还包括：

5.如权利要求1所述的方法，其特征在于，所述根据所述上下游作业、所述业务、以及作业依赖关系，生成作业调度配置信息，包括：

6.如权利要求1所述的方法，其特征在于，在所述对所述数据需求信息进行梳理操作，以得到所述数据需求信息之中源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息之后，所述方法还包括：

7.如权利要求6所述的方法，其特征在于，所述对所述源表与目标表各自的物理模型、所述源表与所述目标表间的数据映射信息、源系统信息和目标表系统信息进行校验，包括：

8.一种作业调度配置信息生成装置，其特征在于，包括：

9.如权利要求8所述的装置，其特征在于，所述第二获取模块具体用于：

10.如权利要求8所述的装置，其特征在于，所述第一生成模块具体用于：

11.如权利要求8至10中任一项所述的装置，其特征在于，还包括：

12.如权利要求8所述的装置，其特征在于，所述第二生成模块具体用于：

13.如权利要求8所述的装置，其特征在于，还包括：

14.如权利要求13所述的装置，其特征在于，所述校验模块具体用于：

15.一种电子设备，其特征在于，包括：

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1至8中任一项所述方法的步骤。

技术总结
本申请关于一种作业调度配置信息生成方法及其装置。具体方案为：获取待处理的数据需求信息；对数据需求信息进行梳理操作，以得到数据需求信息之中源表与目标表各自的物理模型、源表与目标表间的数据映射信息、源系统信息和目标表系统信息；根据源表与目标表各自的物理模型、以及源表与目标表间的数据映射信息，基于对应数据库的语句特性，生成目标SQL语句；确定用于执行目标SQL语句的作业，并根据源表、目标表、源系统信息和目标表系统信息，确定与作业存在依赖关系的上下游作业；根据上下游作业、业务、以及作业依赖关系，生成作业调度配置信息。本申请对提升开发、工作效率有着至关的重要性。

技术研发人员：黄二明,苏培煌,吴胜
受保护的技术使用者：中国建设银行股份有限公司
技术研发日：
技术公布日：2024/1/13