基于元数据的数据存储方法、装置、设备及存储介质与流程

本申请涉及数据管理统计领域，尤其涉及一种基于元数据的数据存储方法、装置、设备及存储介质。

背景技术：

1、随着统计局内部信息化的推进，现在的统计局已经实施了多个信息化项目，每个项目存储了海量的统计数据。由于统计局内部存在有多个相互独立的业务系统，统计数据分散存储在各个业务系统中，而通过不同业务系统存储的统计数据对应的指标口径存在多种规格，进而使得多个子系统存储的统计数据形成信息孤岛，不同子系统之间存储的统计数据难以共享。现有技术中通过建立元数据对进行管理的方式从而实现对数据进行存储，从而满足统计局内不同子系统之间的数据共享需求。

2、现有技术中公开的元数据管理方法包括：数据发现、数据目录、数据字典、数据搜索和发现，以及数据血缘分析功能。

3、由于统计局内存储的统计数据行业属性强烈，且不同方案强调的侧重点也各有差异，因此，通过现有技术中公开的元数据管理方法管理统计数据时数据量太过庞杂，难以满足统计局的数据管理需求。

技术实现思路

1、本申请的主要目的在于提供一种基于元数据的数据存储方法、装置、设备及存储介质，旨在解决通过现有技术中公开的元数据管理方法管理统计数据时数据量太过庞杂，难以满足统计局的数据管理需求的技术问题。

2、为实现上述目的，本申请提供一种基于元数据的数据存储方法，所述数据存储方法包括以下步骤：

3、获取统计的历史存储数据，并确定对应的业务指标；

4、基于所述业务指标，构建多个用于存储实际数据的存储模板；

5、基于所述存储模板拆分待存储数据，获取对应待存储数据的分类类型及存储数据；

6、转化所述待存储数据的分类类型及存储数据，生成用于存放至所述存储模板，并将所述对象存储至所述存储模板。

7、可选地，所述基于获取的业务指标，构建多个用于存储实际数据的存储模板的步骤，包括：

8、基于所述业务指标，获得指标分类类别和类别属性数据；

9、基于所述指标分类类别和类别属性数据，构建多个存储模板。

10、可选地，所述多个存储模板包括：数据存储表和类别存储表；

11、其中，所述数据存储表被配置为存储类别属性数据，所述数据存储表包括元数据数据表；所述类别存储表被配置为存储指标分类类别，所述类别存储表包括：元数据指标代码表、目录指标表、分组指标表和/或组合指标表。

12、可选地，所述基于所述构建的存储模板拆分待存储数据的步骤，包括：

13、获取待存储数据，判断对应的数据类型；

14、在所述待存储数据的数据类型为单指标数据时，基于所述构建的存储模板拆分所述待存储数据。

15、可选地，所述基于所述构建的存储模板拆分待存储数据的步骤，还包括：

16、在所述获取的待存储数据为分组指标数据时，获取对应待存储数据的组合结构，并按照组合结构拆分所述待存储数据为单指标数据，再基于所述构建的存储模板拆分所述待存储数据。

17、可选地，所述转化所述待存储数据的分类类型及存储数据，生成用于存放至所述存储模板的步骤，包括：

18、获取所述分类类型及存储数据，将分类类型及存储数据转化为数据编码；

19、对所述数据编码进行转码，生成数据库主键；

20、组合所述数据库主键，生成用于存放至所述存储模板的对象。

21、可选地，所述对所述数据编码进行转码，生成数据库主键的步骤，包括：

22、通过uuid生成的方式处理所述数据编码，或通过分布式雪花id生成的方式处理所述数据编码，生成数据库主键。

23、此外，为实现上述目的，本申请还提供一种基于元数据的数据存储装置，所述数据存储装置包括：

24、指标获取模块，被配置为，获取统计的历史存储数据，并确定对应的业务指标；

25、模板构建模块，被配置为，基于所述获取的业务指标，构建多个用于存储实际数据的存储模板；

26、数据拆分模块，被配置为，基于所述构建的存储模板拆分待存储数据，获取对应待存储数据的分类类型及存储数据；

27、数据存储模块，被配置为，转化所述待存储数据的分类类型及存储数据，生成用于存放至所述存储模板，并将所述对象存储至所述存储模板。

28、此外，为实现上述目的，本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行以下步骤：

29、获取统计的历史存储数据，并确定对应的业务指标；

30、基于所述业务指标，构建多个用于存储实际数据的存储模板；

31、基于所述存储模板拆分待存储数据，获取对应待存储数据的分类类型及存储数据；

32、转化所述待存储数据的分类类型及存储数据，生成用于存放至所述存储模板，并将所述对象存储至所述存储模板。

33、此外，为实现上述目的，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

34、获取统计的历史存储数据，并确定对应的业务指标；

35、基于所述业务指标，构建多个用于存储实际数据的存储模板；

36、基于所述存储模板拆分待存储数据，获取对应待存储数据的分类类型及存储数据；

37、转化所述待存储数据的分类类型及存储数据，生成用于存放至所述存储模板，并将所述对象存储至所述存储模板。

38、本申请所能实现的有益效果。

39、本申请实施例提出的一种基于元数据的数据存储方法、装置、设备及存储介质，本申请提供的方法通过分析统计局统计的历史存储数据，从而得到能够表征统计数据内容的业务指标，之后根据获取的业务指标构建存储模板；同时根据获取的业务指标单独拆分每个待存储的数据，之后将拆分的待存储数据存储至对应的存储模板；由于通过业务指标对待存储数据进行拆分，方便筛出待存储的数据繁杂的客观表述，进而在一定程度上能够降低待存储数据数据量庞杂的概率；同时，将拆分后的统计数据添加至存储模板，进而实现对获取的统计数据进行管理，从而实现满足统计局的数据管理需求的目的。

技术特征：

1.一种基于元数据的数据存储方法，其特征在于，所述数据存储方法包括以下步骤：

2.如权利要求1所述的基于元数据的数据存储方法，其特征在于，所述基于获取的业务指标，构建多个用于存储实际数据的存储模板的步骤，包括：

3.如权利要求2所述的基于元数据的数据存储方法，其特征在于，所述多个存储模板包括：数据存储表和类别存储表；

4.如权利要求1所述的基于元数据的数据存储方法，其特征在于，所述基于所述构建的存储模板拆分待存储数据的步骤，包括：

5.如权利要求4所述的基于元数据的数据存储方法，其特征在于，所述基于所述构建的存储模板拆分待存储数据的步骤，还包括：

6.权利要求1所述的基于元数据的数据存储方法，其特征在于，所述转化所述待存储数据的分类类型及存储数据，生成用于存放至所述存储模板的对象的步骤，包括：

7.如权利要求6所述的基于元数据的数据存储方法，其特征在于，所述对所述数据编码进行转码，生成数据库主键的步骤，包括：

8.一种基于元数据的数据存储装置，其特征在于，所述数据存储装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请公开了一种基于元数据的数据存储方法、装置、设备及存储介质，所述数据存储方法包括以下步骤：获取统计的历史存储数据，并确定对应的业务指标；基于所述业务指标，构建多个用于存储实际数据的存储模板；基于所述存储模板拆分待存储数据，获取对应待存储数据的分类类型及存储数据；转化所述待存储数据的分类类型及存储数据，生成用于存放至所述存储模板的对象，并将所述对象存储至所述存储模板。本申请通过基于统计的历史存储数据，获取业务指标并构建存储模板，同时将基于业务指标拆分待存储的数据并存储至存储模板，一定程度上能够减少待存储数据数据量庞杂的概率，从而实现满足统计局的数据管理需求的目的。

技术研发人员：何亚,吕晓斌,王近来,苏怀强,周鑫,许露,唐光圣,黄浩森,唐远泉
受保护的技术使用者：中科院成都信息技术股份有限公司
技术研发日：
技术公布日：2024/1/15