一种数据处理方法、装置、电子设备及计算机可读介质与流程

本申请涉及大数据数据存储，尤其涉及一种数据处理方法、装置、电子设备及计算机可读介质。

背景技术：

1、随着用户每天产生的转账流水笔数越来庞大，数量级达到亿级，服务端保存流水时都保存在一个oracle数据库分区表，数据库因并发访问tps太高导致一系列资源瓶颈问题，如数据库连接数达到上限、cpu负载100％、磁盘io高、内存消耗大、sql执行变慢、网络带宽有限等直接导致服务端业务逻辑处理出现超时，移动端响应缓慢，业务高峰期各个功能出现更明显的缓慢，用户体验变差，业务处理效率低。

技术实现思路

1、有鉴于此，本申请实施例提供一种数据处理方法、装置、电子设备及计算机可读介质，能够解决现有的移动端响应缓慢，业务高峰期各个功能出现更明显的缓慢，用户体验变差，业务处理效率低的问题。

2、为实现上述目的，根据本申请实施例的一个方面，提供了一种数据处理方法，包括：

3、接收数据处理请求，获取对应的记录流水标识，进而调用记录流水标识对应的业务方法，以获取逻辑分库注解；

4、调用逻辑分库拦截器，以基于逻辑分库注解，获取对应的分库策略标识和分库关键参数；

5、根据分库策略标识，获取对应的自定义分库策略，根据分库关键参数，确定对应的分库关键参数值；

6、基于分库关键参数值和自定义分库策略，确定目标逻辑分库和目标单元库；

7、响应于数据库连接获取请求，基于目标逻辑分库和目标单元库，获取对应的数据库连接并输出。

8、可选地，在获取对应的数据库连接之后，方法还包括：

9、基于数据库连接，执行数据写入进程。

10、可选地，在获取对应的自定义分库策略之前，方法还包括：

11、调用核心框架，以在核心框架的预留接口基于预设的数据库节点的数量、数据源前缀和自定义分库规则生成自定义分库策略。

12、可选地，确定对应的分库关键参数值，包括：

13、根据分库关键参数，确定对应的参数值；

14、将参数值与预设数据源前缀进行拼接，以得到对应的分库关键参数值。

15、可选地，确定目标逻辑分库和目标单元库，包括：

16、将分库关键参数值传入自定义分库策略，计算得到对应的目标逻辑分库标识和目标单元库标识；

17、分别根据目标逻辑分库标识和目标单元库标识，确定对应的目标逻辑分库和目标单元库。

18、可选地，获取对应的数据库连接，包括：

19、根据目标逻辑分库，确定对应的单元库集合；

20、从单元库集合中查找是否存在目标单元库，若是则从目标单元库中获取对应的数据库连接。

21、可选地，在从单元库集合中查找是否存在目标单元库之后，方法还包括：

22、响应于单元库集合中不存在目标单元库，生成报错信息并输出。

23、另外，本申请还提供了一种数据处理装置，包括：

24、接收单元，被配置成接收数据处理请求，获取对应的记录流水标识，进而调用记录流水标识对应的业务方法，以获取逻辑分库注解；

25、获取单元，被配置成调用逻辑分库拦截器，以基于逻辑分库注解，获取对应的分库策略标识和分库关键参数；

26、参数值确定单元，被配置成根据分库策略标识，获取对应的自定义分库策略，根据分库关键参数，确定对应的分库关键参数值；

27、数据库确定单元，被配置成基于分库关键参数值和自定义分库策略，确定目标逻辑分库和目标单元库；

28、数据库连接获取单元，被配置成响应于数据库连接获取请求，基于目标逻辑分库和目标单元库，获取对应的数据库连接并输出。

29、可选地，数据处理装置还包括写入单元，被配置成：

30、基于数据库连接，执行数据写入进程。

31、可选地，数据处理装置还包括策略生成单元，被配置成：

32、调用核心框架，以在核心框架的预留接口基于预设的数据库节点的数量、数据源前缀和自定义分库规则生成自定义分库策略。

33、可选地，参数值确定单元进一步被配置成：

34、根据分库关键参数，确定对应的参数值；

35、将参数值与预设数据源前缀进行拼接，以得到对应的分库关键参数值。

36、可选地，数据库确定单元进一步被配置成：

37、将分库关键参数值传入自定义分库策略，计算得到对应的目标逻辑分库标识和目标单元库标识；

38、分别根据目标逻辑分库标识和目标单元库标识，确定对应的目标逻辑分库和目标单元库。

39、可选地，数据库连接获取单元进一步被配置成：

40、根据目标逻辑分库，确定对应的单元库集合；

41、从单元库集合中查找是否存在目标单元库，若是则从目标单元库中获取对应的数据库连接。

42、可选地，数据处理装置还包括报错单元，被配置成：

43、响应于单元库集合中不存在目标单元库，生成报错信息并输出。

44、另外，本申请还提供了一种数据处理电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述的数据处理方法。

45、另外，本申请还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述的数据处理方法。

46、为实现上述目的，根据本申请实施例的又一个方面，提供了一种计算机程序产品。

47、本申请实施例的一种计算机程序产品，包括计算机程序，程序被处理器执行时实现本申请实施例提供的数据处理方法。

48、上述发明中的一个实施例具有如下优点或有益效果：本申请通过接收数据处理请求，获取对应的记录流水标识，进而调用记录流水标识对应的业务方法，以获取逻辑分库注解；调用逻辑分库拦截器，以基于逻辑分库注解，获取对应的分库策略标识和分库关键参数；根据分库策略标识，获取对应的自定义分库策略，根据分库关键参数，确定对应的分库关键参数值；基于分库关键参数值和自定义分库策略，确定目标逻辑分库和目标单元库；响应于数据库连接获取请求，基于目标逻辑分库和目标单元库，获取对应的数据库连接并输出。分库分表实现了数据库层面的横向扩展能力，分散了使用集中数据库的系统整体不可用的风险，提升用户体验，并可以提高业务处理效率。

49、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述获取对应的数据库连接之后，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，在所述获取对应的自定义分库策略之前，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述确定对应的分库关键参数值，包括：

5.根据权利要求1所述的方法，其特征在于，所述确定目标逻辑分库和目标单元库，包括：

6.根据权利要求1所述的方法，其特征在于，所述获取对应的数据库连接，包括：

7.根据权利要求6所述的方法，其特征在于，在所述从所述单元库集合中查找是否存在所述目标单元库之后，所述方法还包括：

8.一种数据处理装置，其特征在于，包括：

9.根据权利要求8所述的装置，其特征在于，所述装置还包括写入单元，被配置成：

10.根据权利要求8所述的装置，其特征在于，所述装置还包括策略生成单元，被配置成：

11.根据权利要求8所述的装置，其特征在于，所述参数值确定单元进一步被配置成：

12.根据权利要求8所述的装置，其特征在于，所述数据库确定单元进一步被配置成：

13.根据权利要求8所述的装置，其特征在于，所述数据库连接获取单元进一步被配置成：

14.一种数据处理电子设备，其特征在于，包括：

15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

16.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

技术总结
本申请公开了数据处理方法、装置、电子设备及计算机可读介质，涉及大数据数据存储技术领域，一具体实施方式包括接收数据处理请求，获取对应的记录流水标识，进而调用记录流水标识对应的业务方法，以获取逻辑分库注解；调用逻辑分库拦截器，以基于逻辑分库注解，获取对应的分库策略标识和分库关键参数；根据分库策略标识，获取对应的自定义分库策略，根据分库关键参数，确定对应的分库关键参数值；基于分库关键参数值和自定义分库策略，确定目标逻辑分库和目标单元库；响应于数据库连接获取请求，基于目标逻辑分库和目标单元库，获取对应的数据库连接并输出。分库分表实现了数据库层面的横向扩展能力，可以提高业务处理效率。

技术研发人员：郭崇波,王炬华,关宇坤
受保护的技术使用者：中国建设银行股份有限公司
技术研发日：
技术公布日：2024/1/13