一种数据处理方法、装置、设备及计算机可读存储介质与流程

本申请涉及数据处理，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。

背景技术：

1、目前数据的加工多采用批量系统进行批量处理。具体地，可以先将待处理的数据根据业务逻辑分为多个作业，然后根据每个作业的优先级依次处理作业。但在实际的应用中，作业中的数据受到作业本身的限制，需要完成整个作业才可以获得。而且由于部分系统中业务逻辑较为复杂，处理一个作业的耗时较长。因此，急需一种更灵活且更快速的数据处理方法。

技术实现思路

1、有鉴于此，本申请的目的在于提供了一种数据处理方法、装置、设备及计算机可读存储介质，用于更加灵活且更加快速地生成作业中的特定数据，其具体技术方案如下：

2、第一方面，本申请提供了一种数据处理方法，所述方法包括：

3、获得待划分作业，所述待划分作业包括源数据和作业加工逻辑；

4、基于所述源数据的业务属性，对所述作业加工逻辑进行拆分，得到属性加工逻辑；

5、基于所述源数据的所属时区，对所述待划分作业进行划分，得到时区作业；

6、基于所述属性加工逻辑，对所述时区作业中的所述源数据进行加工处理，得到时区数据报表。

7、在一种可能的实现方式中，所述基于所述属性加工逻辑，对所述时区作业中的所述源数据进行加工处理，得到时区数据报表，包括：

8、确定所述时区作业中优先级最高的第一时区作业；

9、根据所述第一时区作业中所述源数据的业务属性，确定所述第一时区作业中所述源数据对应的属性加工逻辑；

10、按照所述第一时区作业中所述源数据对应的属性加工逻辑，对所述第一时区作业中的所述源数据进行加工处理，得到第一时区数据报表。

11、在一种可能的实现方式中，在所述得到第一时区数据报表之后，所述方法还包括：

12、确定所述时区作业中优先级次高的第二时区作业；

13、根据所述第二时区作业中所述源数据的业务属性，确定所述第二时区作业中所述源数据对应的属性加工逻辑；

14、按照所述第二时区作业中所述源数据对应的属性加工逻辑，对所述第二时区作业中的所述源数据进行加工处理，得到第二时区数据报表。

15、在一种可能的实现方式中，在所述得到时区作业之后，所述方法还包括：

16、基于所述时区作业中所述源数据的业务属性，对所述时区作业进行划分，得到时区子作业；

17、所述基于所述属性加工逻辑，对所述时区作业中的所述源数据进行加工处理，得到时区数据报表，包括：

18、基于所述属性加工逻辑，对所述时区子作业中的所述源数据进行加工处理，得到时区数据子报表；

19、对时区数据子报表进行整合，得到所述时区数据报表。

20、在一种可能的实现方式中，在所述得到时区数据报表之后，所述方法还包括：

21、若存在多个时区数据报表，对所述多个时区数据报表进行整合，得到作业数据报表。

22、第二方面，本申请还提供了一种数据处理装置，所述装置包括：

23、获取模块，用于获得待划分作业，所述待划分作业包括源数据和作业加工逻辑；

24、拆分模块，用于基于所述源数据的业务属性，对所述作业加工逻辑进行拆分，得到属性加工逻辑；

25、划分模块，用于基于所述源数据的所属时区，对所述待划分作业进行划分，得到时区作业；

26、处理模块，用于基于所述属性加工逻辑，对所述时区作业中的所述源数据进行加工处理，得到时区数据报表。

27、在一种可能的实现方式中，所述处理模块，包括：

28、第一作业确定单元，用于确定所述时区作业中优先级最高的第一时区作业；

29、第一逻辑确定单元，用于根据所述第一时区作业中所述源数据的业务属性，确定所述第一时区作业中所述源数据对应的属性加工逻辑；

30、第一处理单元，用于按照所述第一时区作业中所述源数据对应的属性加工逻辑，对所述第一时区作业中的所述源数据进行加工处理，得到第一时区数据报表。

31、在一种可能的实现方式中，所述装置还包括：

32、作业划分模块，用于基于所述时区作业中所述源数据的业务属性，对所述时区作业进行划分，得到时区子作业；

33、所述处理模块，包括：

34、处理单元，用于基于所述属性加工逻辑，对所述时区子作业中的所述源数据进行加工处理，得到时区数据子报表；

35、整合单元，用于对时区数据子报表进行整合，得到所述时区数据报表。

36、第三方面，本申请还提供了一种计算机设备，其特征在于，包括：存储器以及处理器；

37、其中，所述存储器用于存储计算机程序；

38、所述处理器用于执行所述存储器中的计算机程序，以实现上述第一方面或第一方面任一项所述的方法。

39、第四方面，本申请还提供了一种计算机可读存储介质，其特征在于，存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一项所述的方法。

40、在本申请实施例中，获得待划分作业；基于源数据的业务属性，对作业加工逻辑进行拆分，得到属性加工逻辑；基于源数据的所属时区，对待划分作业进行划分，得到时区作业；基于属性加工逻辑，对时区作业中的源数据进行加工处理，得到时区数据报表。本申请实施例可以根据时区对待划分作业进行划分，得到更细粒度的时区作业，从而满足同一时区的数据集中加工的要求，而不必在加工整个待划分作业后，才从得到的报表中选取特定时区的数据，使得获得特定时区的数据更加快速和灵活。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述属性加工逻辑，对所述时区作业中的所述源数据进行加工处理，得到时区数据报表，包括：

3.根据权利要求2所述的方法，其特征在于，在所述得到第一时区数据报表之后，所述方法还包括：

4.根据权利要求1至3任一项所述的方法，其特征在于，在所述得到时区作业之后，所述方法还包括：

5.根据权利要求1至3任一项所述的方法，其特征在于，在所述得到时区数据报表之后，所述方法还包括：

6.一种数据处理装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述处理模块，包括：

8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：

9.一种计算机设备，其特征在于，包括：存储器以及处理器；

10.一种计算机可读存储介质，其特征在于，存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1至5任一项所述的方法。

技术总结
本申请实施例提供了一种数据处理方法、装置、设备及计算机可读存储介质，可应用于大数据领域或金融领域，该方法包括：在本申请实施例中，获得待划分作业；基于源数据的业务属性，对作业加工逻辑进行拆分，得到属性加工逻辑；基于源数据的所属时区，对待划分作业进行划分，得到时区作业；基于属性加工逻辑，对时区作业中的源数据进行加工处理，得到时区数据报表。本申请实施例可以根据时区对待划分作业进行划分，得到更细粒度的时区作业，从而满足同一时区的数据集中加工的要求，而不必在加工整个待划分作业后，才从得到的报表中选取特定时区的数据，使得获得特定时区的数据更加快速和灵活。

技术研发人员：朱明微,吴兴华,徐一茗
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/15