一种数据分类存储方法、装置、计算机设备及存储介质与流程

本技术涉及大数据和保险金融领域，具体涉及一种数据分类存储方法、装置、计算机设备及存储介质。

背景技术：

1、在大数据背景下，业务数据规模越来越大，对业务系统数据库的要求也越来越高，例如，保险金融业务系统，业务数据的规模和复杂度不断增加，同时对数据的安全性、可靠性和实时性的要求也越来越高。如何有效地进行业务数据存储，使得业务系统能够满足各种业务场景的需求，成为了备受关注的问题。

2、目前，为了方便数据调用和管理，大部分业务系统都设置有对应的关系数据库用于存储业务数据，如oracle关系数据库，但在目前大多数业务系统的数据库都没有进行数据分类存储，使得不同的业务数据存储在同一个数据库内，且同一种业务核心数据和非核心数据也存储在同一个数据库中，数据存储存在较大耦合，使得数据库负载大，对数据库稳定运行造成极大的威胁。

技术实现思路

1、本技术实施例的目的在于提出一种数据分类存储方法、装置、计算机设备及存储介质，以解决现有大多数业务系统的数据库都没有进行数据分类存储，数据存储存在较大耦合，导致数据库负载大，对数据库稳定运行造成极大威胁的技术问题。

2、为了解决上述技术问题，本技术实施例提供一种数据分类存储，采用了如下所述的技术方案：

3、一种数据分类存储方法，包括：

4、接收数据分类存储指令，并根据所述数据分类存储指令构建数据综合存储系统，其中，所述数据综合存储系统包括若干个数据库；

5、对原始数据库中的初始数据进行信息抽取，得到初始数据信息；

6、对所述初始数据信息进行标签匹配，得到所述初始数据对应的数据存储标签；

7、根据所述数据存储标签将所述初始数据迁移至所述数据综合存储系统对应的数据库进行存储。

8、进一步地，所述数据综合存储系统的每一个数据库均设置有对应的关联标签，所述对所述初始数据信息进行标签匹配，得到所述初始数据对应的数据存储标签，具体包括：

9、对所述初始数据信息进行特征提取，得到初始数据特征；

10、将所述初始数据特征导入训练好的数据特征识别模型，输出所述初始数据特征的特征识别结果；

11、将所述初始数据特征的特征识别结果与所述数据综合存储系统中每一个数据库的关联标签进行匹配，得到所述初始数据对应的数据存储标签。

12、进一步地，所述关联标签包括数据类型标签、业务类型标签和冗余类型标签，所述初始数据特征的特征识别结果包括数据类型特征识别结果、业务类型特征识别结果和冗余类型特征识别结果，所述将所述初始数据特征的特征识别结果与所述数据综合存储系统中每一个数据库的关联标签进行匹配，得到所述初始数据对应的数据存储标签，具体包括：

13、将所述数据类型特征识别结果与所述数据综合存储系统中每一个数据库的数据类型标签进行匹配，得到数据类型匹配标签；

14、将所述业务类型特征识别结果与所述数据综合存储系统中每一个数据库的业务类型标签进行匹配，得到业务类型匹配标签；

15、将所述冗余类型特征识别结果与所述数据综合存储系统中每一个数据库的冗余类型标签进行匹配，得到冗余类型匹配标签；

16、组合所述数据类型匹配标签、所述业务类型匹配标签和所述冗余类型匹配标签，构建所述初始数据对应的数据存储标签。

17、进一步地，所述根据所述数据存储标签将所述初始数据迁移至所述数据综合存储系统对应的数据库进行存储，具体包括：

18、根据所述数据存储标签确定所述初始数据在所述数据综合存储系统中的存储位置，其中，所述存储位置为所述数据存储标签对应的所述数据综合存储系统中的数据库；

19、基于预设的流处理框架对所述初始数据进行数据加工处理，得到预处理数据；

20、对所述预处理数据进行存储快照处理，并将所述预处理数据迁移至所述数据综合存储系统对应的数据库进行存储。

21、进一步地，所述基于预设的流处理框架对所述初始数据进行数据加工处理，得到预处理数据，具体包括：

22、基于所述流处理框架对所述初始数据进行反序列化定义操作，得到初始数据序列；

23、利用预设的匹配规则对所述初始数据序列进行规则匹配，并从所述初始数据序列中截取符合所述匹配规则的数据字段，得到所述预处理数据。

24、进一步地，所述对所述预处理数据进行存储快照处理，并将所述预处理数据迁移至所述数据综合存储系统对应的数据库进行存储，具体包括：

25、基于预设的数据切分规则对所述预处理数据进行数据切分，得到初始数据块；

26、将所述初始数据块以数据存储快照处理的方式写入所述数据综合存储系统对应的数据库。

27、进一步地，在所述对所述预处理数据进行存储快照处理，并将所述预处理数据迁移至所述数据综合存储系统对应的数据库进行存储之后，还包括：

28、接收所述初始数据的数据查询请求，调用预设的数据查询引擎；

29、解析所述数据查询请求，获取初始数据的存储位置信息；

30、基于所述初始数据的存储位置信息利用所述数据查询引擎对所述数据综合存储系统进行快照查询，输出快照查询结果。

31、为了解决上述技术问题，本技术实施例还提供一种数据分类存储，采用了如下所述的技术方案：

32、一种数据分类存储装置，包括：

33、系统构建模块，用于接收数据分类存储指令，并根据所述数据分类存储指令构建数据综合存储系统，其中，所述数据综合存储系统包括若干个数据库；

34、信息抽取模块，用于对原始数据库中的初始数据进行信息抽取，得到初始数据信息；

35、标签匹配模块，用于对所述初始数据信息进行标签匹配，得到所述初始数据对应的数据存储标签；

36、数据存储模块，用于根据所述数据存储标签将所述初始数据迁移至所述数据综合存储系统对应的数据库进行存储。

37、为了解决上述技术问题，本技术实施例还提供一种计算机设备，采用了如下所述的技术方案：

38、一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，处理器执行计算机可读指令时实现如上述的数据分类存储方法的步骤。

39、为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，采用了如下的技术方案：

40、一种计算机可读存储介质，计算机可读存储介质上存储有计算机可读指令，计算机可读指令被处理器执行时实现如上述的数据分类存储方法的步骤。

41、与现有技术相比，本技术实施例主要有以下有益效果：

42、本技术公开一种数据分类存储方法、装置、计算机设备及存储介质，涉及大数据技术领域和保险金融领域。本技术通过接收数据分类存储指令，并根据数据分类存储指令构建数据综合存储系统，其中，数据综合存储系统包括若干个数据库；对原始数据库中的初始数据进行信息抽取，得到初始数据信息；对初始数据信息进行标签匹配，得到初始数据对应的数据存储标签；根据数据存储标签将初始数据迁移至数据综合存储系统对应的数据库进行存储。本技术通过构建包含多个数据库的数据综合存储系统，例如保险金融业务系统，并根据标签匹配对原始数据库的初始数据进行分类后，将初始数据迁移至数据综合存储系统对应的数据库进行分类存储，降低数据存储的耦合，使得数据库负载下降，提高保险金融业务系统的数据库稳定性。