数据处理方法、装置、设备及存储介质与流程

本发明涉及数据处理，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术：

1、在金融科技领域中，由于金融转入、金融转出、金融收益等各种类型数据分别存储在各自独立的系统上，导致用户在查询数据时，需要根据经验判断所查询的数据所存储的具体系统，造成查询效率有所限制。

技术实现思路

1、鉴于以上内容，有必要提供一种数据处理方法、装置、设备及存储介质，能够解决如何提高查询效率的技术问题。

2、一方面，本发明提出一种数据处理方法，所述数据处理方法包括：

3、响应于数据写入请求，识别所述数据写入请求中交易用户的用户标识；

4、对所述用户标识进行哈希处理，得到哈希标识；

5、基于所述数据写入请求中目标数据的业务类型，定位出配置数据库中与所述业务类型所对应的业务存储表，所述配置数据库包括第一数据库及第二数据库；

6、若所述配置数据库中均不存在所述业务存储表，或者所述业务存储表的剩余存储空间小于预设容量，在所述配置数据库中创建与所述业务类型所对应的目标存储表；

7、将所述目标数据及所述哈希标识写入所述目标存储表中；

8、当接收到数据查询请求时，对所述配置数据库进行异常检测；

9、若所述第一数据库存在异常，则基于所述数据查询请求对所述第二数据库进行查询处理，得到交易数据。

10、根据本发明优选实施例，所述用户标识包括多个标识符，所述对所述用户标识进行哈希处理，得到哈希标识包括：

11、获取每个标识符所对应的映射区段符；

12、识别出所述映射区段符的已读取映射符；

13、检测所述映射区段符中是否存在与所述已读取映射符不同的映射符；

14、若所述映射区段符中存在与所述已读取映射符不同的映射符，则基于所述已读取映射符，从所述映射区段符中选取目标映射符；

15、拼接多个所述目标映射符，得到所述哈希标识。

16、根据本发明优选实施例，在检测所述映射区段符中是否存在与所述已读取映射符不同的映射符之后，所述数据处理方法还包括：

17、若所述映射区段符中不存在与所述已读取映射符不同的映射符，则识别所述标识符对所述映射区段符的获取序号；

18、统计所述映射区段符中映射符的映射数量；

19、若所述获取序号大于所述映射数量，则计算所述获取序号与所述映射数量的差值；

20、基于所述差值及所述映射区段符中最后一个映射符，生成与所述标识符所对应的目标映射符。

21、根据本发明优选实施例，所述对所述配置数据库进行异常检测包括：

22、获取所述第一数据库的第一运行标识及所述第二数据库的第二运行标识；

23、若所述第一运行标识为预设标识，及所述第二运行标识不为所述预设标识，识别所述第一运行标识的生成时刻；

24、计算所述数据查询请求的请求时刻与所述生成时刻的时刻差值；

25、若所述时刻差值小于预设差值，则确定所述第一数据库存在异常。

26、根据本发明优选实施例，所述基于所述数据写入请求中目标数据的业务类型，定位出配置数据库中与所述业务类型所对应的业务存储表包括：

27、基于所述目标数据的数据字段识别出所述业务类型；

28、基于所述业务类型，对所述配置数据库中的存储路由表进行遍历，得到与所述业务类型所对应的目标路径；

29、将所述目标路径所存储的数据表确定为所述业务存储表。

30、根据本发明优选实施例，所述在所述配置数据库中创建与所述业务类型所对应的目标存储表包括：

31、获取与所述业务类型所对应的业务字段，所述业务字段包括所述数据字段；

32、基于所述业务字段的字段格式及所述业务字段，在所述配置数据库中创建所述目标存储表；

33、将所述目标存储表在所述配置数据库中的创建路径及所述业务类型，写入所述存储路由表中。

34、根据本发明优选实施例，所述基于所述数据查询请求对所述第二数据库进行查询处理，得到交易数据包括：

35、基于所述数据查询请求的查询字段，从所述第二数据库中定位出至少一个账单查询表；

36、统计所述至少一个账单查询表的表数量；

37、基于所述数据查询请求的用户识别码及与所述表数量所对应的处理线程，并行遍历所述至少一个账单查询表，得到所述交易数据。

38、另一方面，本发明还提出一种数据处理装置，所述数据处理装置包括：

39、识别单元，用于响应于数据写入请求，识别所述数据写入请求中交易用户的用户标识；

40、哈希单元，用于对所述用户标识进行哈希处理，得到哈希标识；

41、定位单元，用于基于所述数据写入请求中目标数据的业务类型，定位出配置数据库中与所述业务类型所对应的业务存储表，所述配置数据库包括第一数据库及第二数据库；

42、创建单元，用于若所述配置数据库中均不存在所述业务存储表，或者所述业务存储表的剩余存储空间小于预设容量，在所述配置数据库中创建与所述业务类型所对应的目标存储表；

43、写入单元，用于将所述目标数据及所述哈希标识写入所述目标存储表中；

44、检测单元，用于当接收到数据查询请求时，对所述配置数据库进行异常检测；

45、查询单元，用于若所述第一数据库存在异常，则基于所述数据查询请求对所述第二数据库进行查询处理，得到交易数据。

46、另一方面，本发明还提出一种电子设备，所述电子设备包括：

47、存储器，存储计算机可读指令；及

48、处理器，执行所述存储器中存储的计算机可读指令以实现所述数据处理方法。

49、另一方面，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被电子设备中的处理器执行以实现所述数据处理方法。

50、由以上技术方案可以看出，本申请通过对所述用户标识进行哈希处理，能够确保所述哈希标识的唯一性，通过对所述数据写入请求中目标数据的业务类型的识别，能够将所述目标数据准确的写入所述目标存储表中，从而有利于后续进行数据查询时，能够准确的定位出相应的存储表，提高查询效率，此外，由于所有类型数据均存储在所述配置数据库中，因此，在响应所述数据查询请求时，无需对查询系统进行判断，因此，能够进一步提高所述数据查询请求的响应效率，进一步地，通过在所述配置数据库中设置所述第一数据库及所述第二数据库，能够保证查询服务的高可用性，以便在所述第一数据库或者所述第二数据库存在异常时，通过对另一数据库的查询，确保所述交易数据的查询时效性。

技术特征：

1.一种数据处理方法，其特征在于，所述数据处理方法包括：

2.如权利要求1所述的数据处理方法，其特征在于，所述用户标识包括多个标识符，所述对所述用户标识进行哈希处理，得到哈希标识包括：

3.如权利要求2所述的数据处理方法，其特征在于，在检测所述映射区段符中是否存在与所述已读取映射符不同的映射符之后，所述数据处理方法还包括：

4.如权利要求1所述的数据处理方法，其特征在于，所述对所述配置数据库进行异常检测包括：

5.如权利要求1所述的数据处理方法，其特征在于，所述基于所述数据写入请求中目标数据的业务类型，定位出配置数据库中与所述业务类型所对应的业务存储表包括：

6.如权利要求5所述的数据处理方法，其特征在于，所述在所述配置数据库中创建与所述业务类型所对应的目标存储表包括：

7.如权利要求1所述的数据处理方法，其特征在于，所述基于所述数据查询请求对所述第二数据库进行查询处理，得到交易数据包括：

8.一种数据处理装置，其特征在于，所述数据处理装置包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被电子设备中的处理器执行以实现如权利要求1至7中任意一项所述的数据处理方法。

技术总结
本发明涉及金融科技，提供一种数据处理方法、装置、设备及存储介质。该方法对数据写入请求中交易用户的用户标识进行哈希处理，得到哈希标识，基于数据写入请求中目标数据的业务类型，定位出配置数据库中的业务存储表，若配置数据库中均不存在所述业务存储表，或者业务存储表的剩余存储空间小于预设容量，创建目标存储表，并写入目标数据及哈希标识，当接收到数据查询请求时，对配置数据库进行异常检测，若第一数据库存在异常，对第二数据库进行查询处理，提高交易数据的生成效率。此外，本发明还涉及区块链技术，所述交易数据可存储于区块链中。

技术研发人员：王均涛,何自兴,徐仪博,赵飞,朱敏兰,吴娜娜
受保护的技术使用者：平安付科技服务有限公司
技术研发日：
技术公布日：2024/1/15