数据管理系统、方法和计算机可读存储介质与流程

本公开涉及大数据，尤其涉及数据管理系统、方法和计算机可读存储介质。

背景技术：

1、随着企业内部的信息化建设发展，在数据处理方面也在不断经受着考验。

2、为了应对越来越多的数据类型与持续增长的数据流量，数据库已经无法满足不同数据特性产生的性能和使用层面上的需求。

3、同时，随着微服务架构风格的引入，多类型、多业务边界的数据库分散部署，容易形成数据孤岛和多副本数据，导致数据利用效率和数据价值的可挖掘性降低。

技术实现思路

1、本公开实施例提供一种数据管理系统、方法和计算机可读存储介质，能够解决数据利用效率不高的问题。所述技术方案如下：

2、根据本公开实施例的第一方面，提供一种数据管理系统，包括：业务逻辑层、数据抽象层和存储层；所述业务逻辑层通过数据入口接收待存储数据；所述业务逻辑层通过数据格式转换工具对待存储数据进行格式转换，得到转换后的待存储数据；所述业务逻辑层将所述转换后的待存储数据进行数据汇总，得到汇总后的数据；所述业务逻辑层根据所述汇总后的数据通过所述数据抽象层生成相应的指令，在所述存储层建立数据源。

3、在一个实施例中，所述待存储数据包括：第一数据和第二数据，所述第一数据是分系统汇入的，所述第二数据是目标设备的前置终端产生的；所述业务逻辑层通过数据格式转换工具对待存储数据进行格式转换，得到转换后的待存储数据，包括：

4、所述业务逻辑层通过数据格式转换工具对第一数据的格式进行重组，得到第一转换后的待存储数据；

5、所述业务逻辑层通过http类型接口将所述第一转换后的待存储数据发送到数据中台；

6、所述业务逻辑层通过数据格式转换工具对第二数据的格式进行重组，得到第二转换后的待存储数据；

7、所述业务逻辑层通过消息中间件将所述第二转换后的待存储数据发送到所述数据中台。

8、所述业务逻辑层将转换后的待存储数据进行数据汇总，得到汇总后的数据，包括：

9、所述业务逻辑层通过数据中台将所述第一转换后的待存储数据和所述第二转换后的待存储数据进行数据汇总，得到汇总后的数据。

10、在一个实施例中，所述转换后的待存储数据中包含：所述转换后的待存储数据的数据标识、所述转换后的待存储数据的数据说明、所述转换后的待存储数据的数据字段说明和所述转换后的待存储数据的数据类型描述中的至少一种。

11、在一个实施例中，所述业务逻辑层将所述转换后的待存储数据进行数据汇总，得到汇总后的数据，包括：

12、所述业务逻辑层在确定所述转换后的待存储数据的数据源已经存在的情况下，将所述转换后的待存储数据进行数据汇总，得到汇总后的数据。

13、在一个实施例中，所述业务逻辑层还用于：

14、所述业务逻辑层在确定所述转换后的待存储数据的数据源不存在的情况下，根据所述转换后的待存储数据建立目标数据源；将所述转换后的待存储数据存入临时数据池；

15、所述业务逻辑层根据所述目标数据源，创建对应的目标数据集，所述目标数据集中包括存储介质和/或名称；

16、所述业务逻辑层将存入所述临时数据池的转换后的待存储数据，存储至所述目标数据集，得到汇总后的数据。

17、在一个实施例中，所述业务逻辑层根据所述目标数据源，创建对应的目标数据集之后，还包括：

18、所述业务逻辑层若有所述目标数据集对应的新的待存储数据，则将所述新的待存储数据存储至所述目标数据集。

19、在一个实施例中，所述业务逻辑层根据所述目标数据源，创建对应的目标数据集之后，还包括：

20、所述业务逻辑层根据所述目标数据集，建立目标数据查询接口，所述目标数据查询接口对应的查询参数包括主键、开始时间和截止时间中的至少一种。

21、在一个实施例中，所述数据管理系统还包括：表示层；所述表示层用于显示所述数据管理系统的数据源和数据集管理及展示相关的人机交互页面。

22、根据本公开实施例的第二方面，提供一种数据管理方法，应用于如上述第一方面任一所述的数据管理系统；所述方法包括：

23、所述业务逻辑层通过数据入口接收待存储数据；

24、所述业务逻辑层通过数据格式转换工具对待存储数据进行格式转换，得到转换后的待存储数据；

25、所述业务逻辑层将所述转换后的待存储数据进行数据汇总，得到汇总后的数据；

26、所述业务逻辑层根据所述汇总后的数据通过所述数据抽象层生成相应的指令，在所述存储层建立数据源。

27、根据本公开实施例的第四方面，提供一种计算机可读存储介质，存储介质中存储有至少一条计算机指令，指令由处理器加载并执行以实现第一方面以及第二方面的任一实施例所描述的数据管理方法中所执行的步骤。

28、本公开实施例提供的数据管理系统、方法和计算机可读存储介质，业务逻辑层可以通过数据格式转换工具对不同类型以及不同数据格式的待存储数据进行格式转换，得到转换后的待存储数据；由于进行了格式转换，使得待存储数据具有统一的数据格式，便于业务逻辑层将转换后的待存储数据进行数据汇总，得到汇总后的数据；业务逻辑层根据汇总后的数据通过数据抽象层生成相应的指令，在存储层建立数据源。提供统一的数据入口及数据格式转换，将各种数据汇聚在一起，无论需要汇聚的数据是什么格式都可以接入系统并动态建立数据源，避免多类型、多业务边界的数据库分散部署，避免形成多副本数据，在一定程度上能够缓解企业内微服务架构应用造成的信息孤岛现象，本系统能够在一定程度上改变企业微服务内公共数据调用过程的拓扑结构，由“网状结构”向“星型结构”转变，使之有序并易于管理，提高数据利用效率，并提高了数据价值的可挖掘性，由系统本身解决了不同业务数据收集过程的差异性，用户只需要了解使用什么存储方式更适合当前业务，而不需要了解这种存储技术的细节。提升用户体验。

29、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种数据管理系统，其特征在于，包括：业务逻辑层、数据抽象层和存储层；所述业务逻辑层通过数据入口接收待存储数据；所述业务逻辑层通过数据格式转换工具对待存储数据进行格式转换，得到转换后的待存储数据；所述业务逻辑层将所述转换后的待存储数据进行数据汇总，得到汇总后的数据；所述业务逻辑层根据所述汇总后的数据通过所述数据抽象层生成相应的指令，在所述存储层建立数据源。

2.根据权利要求1所述的系统，其特征在于，所述待存储数据包括：第一数据和第二数据，所述第一数据是分系统汇入的，所述第二数据是目标设备的前置终端产生的；所述业务逻辑层通过数据格式转换工具对待存储数据进行格式转换，得到转换后的待存储数据，包括：

3.根据权利要求1所述的系统，其特征在于，所述转换后的待存储数据中包含：所述转换后的待存储数据的数据标识、所述转换后的待存储数据的数据说明、所述转换后的待存储数据的数据字段说明和所述转换后的待存储数据的数据类型描述中的至少一种。

4.根据权利要求1所述的系统，其特征在于，所述业务逻辑层将所述转换后的待存储数据进行数据汇总，得到汇总后的数据，包括：

5.根据权利要求4所述的系统，其特征在于，所述业务逻辑层还用于：

6.根据权利要求5所述的系统，其特征在于，所述业务逻辑层根据所述目标数据源，创建对应的目标数据集之后，还包括：

7.根据权利要求5所述的系统，其特征在于，所述业务逻辑层根据所述目标数据源，创建对应的目标数据集之后，还包括：

8.根据权利要求1所述的系统，其特征在于，所述数据管理系统还包括：表示层；所述表示层用于显示所述数据管理系统的数据源和数据集管理及展示相关的人机交互页面。

9.一种数据管理方法，其特征在于，应用于如权利要求1-8任一所述的数据管理系统；所述方法包括：

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机指令，所述指令由处理器加载并执行以实现权利要求9所述的数据管理方法中所执行的步骤。

技术总结
本公开提供一种数据管理系统、方法和计算机可读存储介质，业务逻辑层可以通过数据格式转换工具对待存储数据进行格式转换，得到转换后的待存储数据；业务逻辑层将转换后的待存储数据进行数据汇总，得到汇总后的数据；业务逻辑层根据汇总后的数据通过数据抽象层生成相应的指令，在存储层建立数据源。提供统一的数据入口及数据格式转换，将各种数据汇聚在一起，无论需要汇聚的数据是什么格式都可以接入系统并动态建立数据源，避免多类型、多业务边界的数据库分散部署，避免形成多副本数据，在一定程度上能够缓解企业内微服务架构应用造成的信息孤岛现象，使之有序并易于管理，提高数据利用效率，并提高了数据价值的可挖掘性。提升用户体验。

技术研发人员：罗斌,李国庆,邹洋,王铮
受保护的技术使用者：陕西星邑空间技术有限公司
技术研发日：
技术公布日：2024/3/4