数据处理方法和装置、电子设备及存储介质与流程

本技术涉及金融科技领域，尤其涉及一种数据处理方法和装置、电子设备及存储介质。

背景技术：

1、目前，在金融业务领域中，金融平台(例如保险系统、理财系统等)常常需要高效地对数据量巨大的业务数据(例如用户量巨大、交易金额巨大等)进行清算处理。针对这一需求，相关技术中常常针对清算任务采用单线程技术进行数据清算处理。但是，金融平台上往往会在较短时间内产生大量的待处理业务数据，基于上述方式的数据清算，往往会导致数据处理效率低下。

技术实现思路

1、本技术实施例的主要目的在于提出一种数据处理方法和装置、电子设备及存储介质，旨在提高数据处理效率。

2、为实现上述目的，本技术实施例的第一方面提出了一种数据处理方法，所述方法包括：

3、获取目标对象的目标业务数据，其中，所述目标业务数据用于指示所述目标对象产生的金融事务，每个所述金融事务与所述目标对象的目标资源池相关联，所述目标资源池具有目标资源池标识，所述目标资源池用于存储所述目标对象的虚拟资源；

4、基于所述目标资源池标识，对所述目标业务数据进行数据分片处理，得到多个数据分片，其中，每个所述数据分片用于存储一个所述目标对象的所有金融事务；

5、将所述数据分片按照预设顺序存储至预设数据库；其中，所述预设数据库包含多个数据分库，每个所述数据分库用于存储预设数量的所述数据分片；

6、针对每个所述数据分片，将所述数据分片添加到所述数据分库的资源槽，其中，每个所述资源槽中存储一个所述数据分片；

7、基于所述资源槽中的计算资源，对多个所述数据分片进行并行清算处理，得到每一所述数据分片的数据清算结果。

8、在一些实施例，所述将所述数据分片按照预定顺序依次存储至预设数据库，包括：

9、对所述数据分库进行编号，得到分库序号；

10、将多个所述数据分片按照所述预设顺序存储至所述分库序号在第一位的所述数据分库，直至所述数据分库的已存储数据量大于预设阈值；

11、将未存储的所述数据分片按所述预设顺序存储至所述分库序号排在下一位的所述数据分库，直至将所述数据分片全部存储完毕。

12、在一些实施例，在所述将所述数据分片按照预设顺序存储至预设数据库之前，所述方法还包括：

13、针对每个所述目标对象，从所述资源池标识中提取资源池时间戳，所述资源池时间戳用于指示所述目标对象的资源池的创建时间；

14、基于所述时间戳，对多个所述目标对象的所述数据分片进行排序，得到所述预设顺序。

15、在一些实施例，所述基于所述资源槽中的计算资源，对多个所述数据分片进行并行清算处理，得到每一所述数据分片的数据清算结果，包括：

16、针对每个所述数据分片，基于所述计算资源确定所述数据分片所指向的所述目标对象的原始资源；

17、针对所述目标对象，基于多个所述金融事务，确定所述目标对象的资源增量数据；

18、基于所述原始资源和所述资源增量数据，确定所述目标对象的总资源；

19、基于所述总资源和所述金融事务生成所述数据清算结果。

20、在一些实施例，所述基于所述目标资源池标识，对所述目标业务数据进行数据分片处理，得到多个数据分片，包括：

21、比较所述目标资源池标识；

22、将所述目标资源池标识相同的多个所述金融事务存储至同一个数据分片，得到多个所述数据分片。

23、在一些实施例，在所述基于所述资源槽中的计算资源，对多个所述数据分片进行并行清算处理，得到每一所述数据分片的数据清算结果之后，所述方法还包括：

24、将所述数据清算结果发送至审核端；

25、接收所述审核端根据所述数据清算结果反馈的数据确认信息，以将所述数据确定信息存储至所述预设数据库，并将所述数据确定信息发送给业务平台端。

26、在一些实施例，所述获取目标对象的目标业务数据，包括：

27、从预设的目标业务平台中获取各个所述目标对象在预设时间内产生的多个金融事务；

28、基于多个所述金融事务的事务信息，确定所述目标业务数据。

29、为实现上述目的，本技术实施例的第二方面提出了一种数据处理装置，所述装置包括：

30、数据获取单元，用于获取目标对象的目标业务数据，其中，所述目标业务数据用于指示所述目标对象产生的金融事务，每个所述金融事务与所述目标对象的目标资源池相关联，所述目标资源池具有目标资源池标识，所述目标资源池用于存储所述目标对象的虚拟资源；

31、数据分片单元，用于基于所述目标资源池标识，对所述目标业务数据进行数据分片处理，得到多个数据分片，其中，每个所述数据分片用于存储一个所述目标对象的所有金融事务；

32、分片存储单元，用于将所述数据分片按照预设顺序存储至预设数据库；其中，所述预设数据库包含多个数据分库，每个所述数据分库用于存储预设数量的所述数据分片；

33、添加单元，用于针对每个所述数据分片，将所述数据分片添加到所述数据分库的资源槽，其中，每个所述资源槽中存储一个所述数据分片；

34、处理单元，用于基于所述资源槽中的计算资源，对多个所述数据分片进行并行清算处理，得到每一所述数据分片的数据清算结果。

35、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

36、为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

37、本技术提出的数据处理方法、数据处理装置、电子设备及存储介质，其通过获取目标对象的目标业务数据，其中，目标业务数据用于指示目标对象产生的金融事务，每个金融事务与目标对象的目标资源池相关联，目标资源池具有目标资源池标识，目标资源池用于存储目标对象的虚拟资源，能够较为方便地获取到多个目标对象产生的金融事务，从而实现对多个目标对象的事务清算。进一步地，基于目标资源池标识，对目标业务数据进行数据分片处理，得到多个数据分片，其中，每个数据分片用于存储一个目标对象的所有金融事务，利用数据分片的方式对不同目标对象的业务数据进行区分，实现了静态数据的分布式处理。进一步地，将数据分片按照预设顺序存储至预设数据库；其中，预设数据库包含多个数据分库，每个数据分库用于存储预设数量的数据分片；针对每个数据分片，将数据分片添加到数据分库的资源槽，其中，每个资源槽中存储一个数据分片，通过设置多个数据分库和多个资源槽来针对不同目标对象的数据分片进行存储和提供计算资源，为数据并行处理建立了基础。最后，基于资源槽中的计算资源，对多个数据分片进行并行清算处理，得到每一数据分片的数据清算结果，能够实现多个业务数据的并行清算，相较于相关技术中的单线程数据处理，提高了数据处理效率。