一种数据存储方法、系统、存储介质及计算机设备与流程

本发明涉及数据存储领域，具体涉及一种数据存储方法、系统、存储介质及计算机设备。

背景技术：

1、在医疗健康领域，每天都会生成几十tb、几百tb，甚至几pb的原始数据，包括医疗诊断数据、申请检查数据、影像数据、诊断报告数据等。这些领域通常采用传统的开源大数据组件来搭建大数据平台，例如hdfs(hadoop distributed file system，hadoop分布式文件系统)、hive(一种数据仓库工具)、hbase(一种分布式大数据存储系统)、kafka(一种分布式发布订阅消息系统)、kudu(一种开源的列式存储系统)等，结构化数据使用库表的方法进行组织数据，并存储到本地或者分布式文件系统，而非结构化数据使用对象存储系统或者分布文件系统进行存储，这些传统组件通常都是采用特定的数据存储工具将数据存储成特定的数据格式，并且管理特定的元数据，各自运行方式、读写方式、计算方式、运维方式都是有很大区别。

2、在实现本发明过程中，申请人发现现有技术中至少存在如下问题：

3、采用特定的数据存储工具针对特定的数据结构进行管理和存储，管理和存储方式比较单一和场景固定，无法将数据灵活存储到任意地方并统一进行管理和组织，并且数据的海量性和复杂性对存储工具有较高的要求，产生昂贵的开发和资源部署成本，造成存储资源的浪费和高昂的维护成本，而且同一逻辑需要开发维护多套代码，不利于数据的集中、统一管理。

技术实现思路

1、本发明实施例提供一种数据存储方法、系统、存储介质及计算机设备，能够解决现有技术中管理和存储方式比较单一，无法将数据灵活存储到任意地方的技术问题。

2、为达上述目的，第一方面，本发明实施例提供一种数据存储方法，包括：

3、步骤1：创建与存储相关的必备要素，通过所述与存储相关的必备要素构建与各类型存储器均匹配的数据存储插件；

4、步骤2：通过启动数据读写服务端在存储器内运行数据存储插件；

5、步骤3：采用统一的数据读写客户端与所述存储器内的所述数据存储插件进行交互，通过所述数据读写客户端将所要存储的数据发送给所述数据存储插件，所述数据存储插件将所要存储的数据写入到所述数据存储插件所在的存储器；或者，通过所述数据存储插件自所在的存储器内读取所要请求的数据，将所要请求的数据返回给所述数据读写客户端；其中，所述数据包括：非结构化数据或结构化数据；所述存储器为任一类型的存储器，各类型所述存储器存储非结构化数据和/或结构化数据；且匹配于所有类型的所述存储器的所述数据存储插件采用统一的存储接口协议。

6、第二方面，本发明实施例提供一种数据存储系统，包括：

7、数据存储插件运行单元，用于通过启动数据读写服务端在存储器内运行数据存储插件；

8、数据读写客户端，用于与所述存储器内的所述数据存储插件进行交互，将所要存储的数据发送给所述数据存储插件；

9、数据存储插件，用于将所要存储的数据写入到本数据存储插件所在的存储器；

10、所述数据存储插件，还用于自所在的存储器内读取所要请求的数据，将所要请求的数据返回给所述数据读写客户端；

11、所述数据读写客户端，还用于接收所述数据存储插件返回的请求的数据；

12、其中，所述数据包括：非结构化数据或结构化数据；所述存储器为任一类型的存储器，各类型所述存储器存储非结构化数据和/或结构化数据；且匹配于所有类型的所述存储器的所述数据存储插件采用统一的存储接口协议；

13、所述数据存储系统还包括数据存储插件构建单元；

14、所述数据存储插件构建单元，用于在本数据存储系统使用之前，创建与存储相关的必备要素，通过所述与存储相关的必备要素构建与各类型存储器均匹配的数据存储插件。

15、第三方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序当被计算机设备执行时，使得计算机设备执行前述的数据存储方法。

16、第四方面，本发明实施例提供一种计算机设备，包括：

17、处理器；以及，被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行前述的数据存储方法。

18、上述技术方案具有如下有益效果：采用统一的数据读写客户端与存储器具有的数据存储插件进行交互，通过数据读写客户端将所要存储的数据发送给数据存储插件，数据存储插件将所要存储的数据写入到数据存储插件所在的存储器；或者，通过数据存储插件自所在的存储器内读取所要请求的数据，将所要请求的数据返回给数据读写客户端；所有类型的存储器对应的数据存储插件均采用相同的存储接口协议，只需要开发一套代码，适用于各类存储器，不需要为每类存储器单独开发特定的数据存储插件，采用统一的数据存储插件就能够连接到任一类存储器，实现统一集中的管理和组织数据，降低了开发特定的数据存储工具的成本。

技术特征：

1.一种数据存储方法，其特征在于，包括：

2.根据权利要求1所述的数据存储方法，其特征在于，步骤1具体包括：

3.根据权利要求1所述的数据存储方法，其特征在于，步骤2具体包括：

4.根据权利要求1所述的数据存储方法，其特征在于，步骤3具体包括步骤31和步骤32，或者步骤3具体包括步骤33和步骤34，其中：

5.根据权利要求4所述的数据存储方法，其特征在于，在步骤31中，所述数据读写客户端将所要存储的数据读取为第一转化数据，具体包括：

6.根据权利要求2所述的数据存储方法，其特征在于，还包括：

7.根据权利要求6所述的数据存储方法，其特征在于，还包括：

8.一种数据存储系统，其特征在于，包括：

9.根据权利要求8所述的数据存储系统，其特征在于，所述数据存储插件构建单元包括：

10.根据权利要求9所述的数据存储系统，其特征在于，所述数据存储插件运行单元包括：

11.根据权利要求9所述的数据存储系统，其特征在于，

12.根据权利要求9所述的数据存储系统，其特征在于，还包括：

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被计算机设备执行时，使得所述计算机设备执行权利要求1-7中任意一项所述的数据存储方法。

14.一种计算机设备，其特征在于，包括：

技术总结
本发明实施例提供一种数据存储方法、系统、存储介质及计算机设备，涉及数据存储领域，所述方法包括：创建与存储相关的必备要素，通过与存储相关的必备要素构建数据存储插件；通过启动数据读写服务端在存储器内运行数据存储插件；采用统一的数据读写客户端将所要存储的数据发送给数据存储插件，将所要存储的数据写入到数据存储插件所在的存储器；通过数据存储插件自所在的存储器内读取所要请求的数据，返回给数据读写客户端；匹配于所有类型的存储器的数据存储插件采用统一的存储接口协议，数据存储插件适用于各类存储器，不需要为每类存储器单独开发特定的数据存储插件，实现统一集中的管理和组织数据，降低了开发特定的数据存储工具的成本。

技术研发人员：陈晚林,雷鹏,王晓伟
受保护的技术使用者：中国电子投资控股有限公司
技术研发日：
技术公布日：2024/3/4