一种数据加工方法、装置、设备及存储介质与流程

本发明涉及数据处理领域，特别涉及一种数据加工方法、装置、设备及存储介质。

背景技术：

1、目前，产品运行在oracle数据库(oracle database，甲骨文公司的关系数据库管理系统)环境下，与其他产品同属一个系统被部署在同一个数据库实例下。产品由多个具有先后依赖关系的模块组成，其中有部分模块的数据加工涉及到的数据量非常大，需要执行比较长的时间。由于系统配置的运维策略，以及系统非常严重的资源争用情况，导致长时间执行的数据加工过程的session(会话)经常被杀掉。且session被杀掉这种操作完全不可预测，不知道什么时候发生，因此在每次session被杀掉之后都得从头开始执行，就会陷入一种死循环，产品能够跑出来结果只能完全寄希望于session不被杀掉，这也就导致数据加工所耗的时间过长、效率低下。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种数据加工方法、装置、设备及存储介质，能够有效提高数据加工的效率，并实现了数据加工的完全自动化。其具体方案如下：

2、第一方面，本申请提供了一种数据加工装置，包括：

3、正常执行主模块，用于读取预先配置的与目标产品对应的目标加工步骤配置表，并基于得到的配置信息进行数据加工；其中，所述目标加工步骤配置表用于存储与所述目标产品的各个待执行的业务类数据加工流程分别对应的流程名称、传入参数以及执行状态信息；

4、监护模块，用于基于分别从所述目标加工步骤配置表及预设oracle数据字典实时读取到的所述执行状态信息以及与所述目标产品对应的产品执行状态信息，判断当前是否满足预设断点续跑条件，并得到相应的判断结果；

5、断点续跑模块，用于当所述判断结果表明当前满足所述预设断点续跑条件时，通过读取所述目标加工步骤配置表依次调用并执行所述执行状态信息为未完成的所述业务类数据加工流程，以完成与所述目标产品对应的数据加工操作。

6、可选的，所述监护模块，包括：

7、第一信息获取单元，用于基于预设信息获取时间间隔从所述目标加工步骤配置表实时读取所述执行状态信息；

8、第二信息获取单元，用于当存在所述执行状态信息为未完成的所述业务类数据加工流程，则从预设oracle数据字典中读取与所述目标产品对应的产品执行状态信息。

9、可选的，所述监护模块，包括：

10、条件判断单元，用于判断当前是否存在所述执行状态信息为未完成的所述业务类数据加工流程，若存在则基于所述产品执行状态信息判断当前与所述正常执行主模块或所述断点续跑模块对应的会话是否已被杀，以得到相应的判断结果。

11、可选的，所述监护模块，包括：

12、第一判断结果确定单元，用于当基于所述产品执行状态信息判定当前与所述正常执行主模块或所述断点续跑模块对应的会话已被杀，则确定当前满足所述预设断点续跑条件。

13、可选的，所述正常执行主模块，还包括：

14、第一状态设置单元，用于基于预设信息设置规则在所述预设oracle数据字典中设置当前与所述目标产品对应的所述产品执行状态信息；

15、参数初始化单元，用于在读取所述目标加工步骤配置表之前，对所述目标产品的上下文参数进行初始化，以基于得到的初始化后上下文参数进行数据加工。

16、可选的，所述断点续跑模块，包括：

17、第二状态设置单元，用于基于所述预设信息设置规则在所述预设oracle数据字典中设置当前与所述目标产品对应的所述产品执行状态信息。

18、可选的，所述断点续跑模块，包括：

19、断点续跑单元，用于基于所述初始化后上下文参数，并通过读取所述目标加工步骤配置表依次调用并执行所述执行状态信息为未完成的所述业务类数据加工流程，以完成与所述目标产品对应的数据加工操作。

20、第二方面，本申请提供了一种数据加工方法，包括：

21、读取预先配置的与目标产品对应的目标加工步骤配置表，并基于得到的配置信息进行数据加工；其中，所述目标加工步骤配置表用于存储与所述目标产品的各个待执行的业务类数据加工流程分别对应的流程名称、传入参数以及执行状态信息；

22、基于分别从所述目标加工步骤配置表及预设oracle数据字典实时读取到的所述执行状态信息以及与所述目标产品对应的产品执行状态信息，判断当前是否满足预设断点续跑条件，并得到相应的判断结果；

23、当所述判断结果表明当前满足所述预设断点续跑条件时，通过读取所述目标加工步骤配置表依次调用并执行所述执行状态信息为未完成的所述业务类数据加工流程，以完成与所述目标产品对应的数据加工操作。

24、第三方面，本申请提供了一种电子设备，包括：

25、存储器，用于保存计算机程序；

26、处理器，用于执行所述计算机程序，以实现前述的数据加工方法的步骤。

27、第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的数据加工方法的步骤。

28、可见，本申请中，正常执行主模块，用于读取预先配置的与目标产品对应的目标加工步骤配置表，并基于得到的配置信息进行数据加工；其中，所述目标加工步骤配置表用于存储与所述目标产品的各个待执行的业务类数据加工流程分别对应的流程名称、传入参数以及执行状态信息；监护模块，用于基于分别从所述目标加工步骤配置表及预设oracle数据字典实时读取到的所述执行状态信息以及与所述目标产品对应的产品执行状态信息，判断当前是否满足预设断点续跑条件，并得到相应的判断结果；断点续跑模块，用于当所述判断结果表明当前满足所述预设断点续跑条件时，通过读取所述目标加工步骤配置表依次调用并执行所述执行状态信息为未完成的所述业务类数据加工流程，以完成与所述目标产品对应的数据加工操作。也就是说，本申请通过实时监控产品是否正常执行，若否则自动执行断点续跑过程，使得产品的所有数据加工过程不用从头开始就都能得到执行。这样一来，避免了目前由于在产品被非正常中断时需要从头执行，并需要安排运维人员时时监控进行人工干预等的问题，能够有效提高数据加工的效率，并实现了数据加工的完全自动化。

技术特征：

1.一种数据加工装置，其特征在于，包括：

2.根据权利要求1所述的数据加工方法，其特征在于，所述监护模块，包括：

3.根据权利要求2所述的数据加工方法，其特征在于，所述监护模块，包括：

4.根据权利要求3所述的数据加工方法，其特征在于，所述监护模块，包括：

5.根据权利要求1至4任一项所述的数据加工方法，其特征在于，所述正常执行主模块，还包括：

6.根据权利要求5所述的数据加工方法，其特征在于，所述断点续跑模块，包括：

7.根据权利要求5所述的数据加工方法，其特征在于，所述断点续跑模块，包括：

8.一种数据加工方法，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求8所述的数据加工方法。

技术总结
本申请公开了一种数据加工方法、装置、设备及存储介质，涉及数据处理领域，包括：正常执行主模块，用于基于读取预先配置的目标加工步骤配置表得到的配置信息进行数据加工；其中，目标加工步骤配置表用于存储与目标产品的各个待执行的业务类数据加工流程分别对应的流程名称、传入参数及执行状态信息；监护模块，用于基于分别从目标加工步骤配置表及预设Oracle数据字典实时读取到的执行状态信息及与目标产品对应的产品执行状态信息，判断当前是否满足预设断点续跑条件；断点续跑模块，用于当是时，通过读取目标加工步骤配置表依次调用并执行所述执行状态信息为未完成的业务类数据加工流程，以完成数据加工。有效提高了数据加工的效率。

技术研发人员：汤宇航,母思路,钱晓雷,王培勇
受保护的技术使用者：税友软件集团股份有限公司
技术研发日：
技术公布日：2024/1/25