一种用于信息系统的数据分布式存储方法及系统与流程

本发明涉及信息存储，尤其涉及一种用于信息系统的数据分布式存储方法及系统。

背景技术：

1、随着数据规模的日益扩大，数据业务的急速扩增，传统的集中化数据存储遇到了很大的瓶颈，其中一种解决方式就是对数据进行分布式存储，其中分布式存储是由多个节点，通过组网连接，共同提供存储服务的一种技术，它具有诸多优点，例如：通过对数据进行分布式存储不仅可以提高数据的存储效率、数据存储的可靠性和可用性，还可以更为高效地进行数据检索和处理；在数据的存储过程中，为避免数据丢失，还会对数据进行备份，这也进一步加剧了数据存储的繁杂程度。

2、因此，在数据进行分布式存储的过程中，不光需要对原数据进行存储，在原数据使用修改后，还需要对修改后的数据进行存储，这需要占用大量的存储空间；当需要调用数据时，需要在大量的数据中进行检索，这也就极大地限制了数据的调用效率，不利于快速响应数据调用请求，影响用户体验，因此，如何在保证数据稳定存储的同时，降低数据的存储空间是本发明所要解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种用于信息系统的数据分布式存储方法，以解决上述背景技术中提出的如何降低数据的存储空间的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种用于信息系统的数据分布式存储方法，所述方法包括：

4、确定用于进行数据存储的节点数量并建立节点架构；

5、分片待存储数据，获取分片待存储数据，获取分片单元，并根据所述分片单元中的关键字确定对应分片单元所在的目标节点，将所述分片单元存储至目标节点中；

6、确定目标节点中的数据为第一数据；将第一数据调用完成后再次存储在目标节点中的数据确定为第二数据，比对统计得到的第一数据和第二数据的数据跨度，计算以数据跨度为索引的区别值，所述数据跨度用于表征数据的始位置和终位置；

7、基于所述节点架构对所述区别值进行备份。

8、进一步的，所述确定用于进行数据存储的节点数量并建立节点架构的步骤包括：

9、获取待存储的数据；确定用于数据存储的节点数量和节点所对应的服务角色；

10、基于所述服务角色建立所有节点的拓扑逻辑结构；

11、根据所述拓扑逻辑结构和所有节点的访问延迟，建立节点架构并确定每个节点的数据份数和数据种类。

12、进一步的，所述分片待存储数据，获取分片单元，并根据所述分片单元中的关键字确定对应分片单元所在的目标节点，将所述分片单元存储至目标节点中的步骤包括：

13、对待存储的数据进行数据封包；并将所述数据封包指派至存储队列中存放；

14、向数据封包中插入分片特征并对数据封包进行分片，获取分片单元；

15、基于所述分片单元中的关键字，根据所述节点的数据种类，建立关键字和节点的对应关系；其中一个分片单元仅对应一个节点；

16、根据所述对应关系将分片单元路由至对应的节点中。

17、进一步的，所述计算以数据跨度为索引的区别值的步骤包括：

18、在所述节点架构中选取第一节点，并将所述第一节点中的数据确定为第一数据；

19、当第一数据调用完成后，将再次存储在第一节点中的数据确定为第二数据；

20、基于第一数据和第二数据的数据跨度，确定第一数据和第二数据的区别值；其中数据跨度至少包括：范围跨度和维度跨度；

21、生成区别值与所述第一数据的索引关系，将所述索引关系存储至索引数据库。

22、进一步的，所述基于所述节点架构对所述区别值进行备份的步骤包括：

23、在所述节点架构中添加备份节点；

24、对所述区别值进行备份并将备份数据存储到备份节点中。

25、进一步的，所述方法还包括：

26、向节点架构中添加额外节点，在额外节点中组建伪分布式数据集群；

27、将节点架构复制到伪分布式数据集群中；

28、同步节点架构和伪分布式数据集群。

29、进一步的，所述方法还包括：

30、根据节点的所述数据种类，对节点进行分类；

31、将分类后的节点进行转换和整合，以建立符合格式和结构的节点集合。

32、进一步的，所述系统包括：

33、确认模块，可以确定用于进行数据存储的节点数量并建立节点架构；

34、节点对应模块，能够分片待存储数据，获取分片单元，并根据所述分片单元中的关键字确定对应分片单元所在的目标节点，将所述分片单元存储至目标节点中；

35、区别值计算模块，用于确定目标节点中的数据为第一数据；将第一数据调用完成后再次存储的数据确定为第二数据，比对统计得到的第一数据和第二数据的数据跨度，计算以数据跨度为索引的区别值，所述数据跨度用于表征数据的始位置和终位置；

36、备份模块，用于基于所述节点架构对所述区别值进行备份。

37、进一步的，所述确认模块包括：

38、节点确定单元，用于获取待存储的数据；确定用于数据存储的节点数量和节点所对应的服务角色；

39、架构建立单元，能够基于所述服务角色建立所有节点的拓扑逻辑结构；根据所述拓扑逻辑结构和所有节点的访问延迟，建立节点架构并确定每个节点的数据份数和数据种类。

40、进一步的，所述节点对应模块包括：

41、封包单元，可以对待存储的数据进行数据封包；并将所述数据封包指派至存储队列中存放；

42、切片单元，用于向数据封包中插入分片特征并对数据封包进行分片，获取分片单元；

43、对应单元，能够基于所述分片单元中的关键字，根据所述节点的数据种类，建立关键字和节点的对应关系；其中一个分片单元仅对应一个节点；

44、传输单元，用于根据所述对应关系将分片单元路由至对应的节点中。

45、与现有技术相比，本发明的有益效果是：

46、1、通过确定节点数量、节点结构、数据份数和数据种类，可对数据进行分布式存储，从而满足繁杂的数据存储需求，同时通过对区别值进行备份，在避免了数据丢失的同时，大大降低了数据的存储量，从而在根本上降低了数据的存储空间；此外，由于存储量的减少，数据的调用效率也得到了极大地提高。

47、2、通过伪分布式数据集群的设置，可对节点架构进行校错，并通过建立节点集合，缩小了数据的调用范围，进一步提高了数据的调用效率，使得数据的使用更为方便。

技术特征：

1.一种用于信息系统的数据分布式存储方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述确定用于进行数据存储的节点数量并建立节点架构的步骤包括：

3.根据权利要求2所述的方法，其特征在于，所分片待存储数据，获取分片单元，并根据所述分片单元中的关键字确定对应分片单元所在的目标节点，将所述分片单元存储至目标节点中的步骤包括：

4.根据权利要求2所述的方法，其特征在于，所述计算以数据跨度为索引的区别值的步骤包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述节点架构对所述区别值进行备份的步骤包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求3所述的方法，其特征在于，所述方法还包括：

8.一种用于信息系统的数据分布式存储系统，其特征在于，所述系统包括：

9.根据权利要求8所述的系统，所述确认模块包括：

10.根据权利要求8所述的系统，所述节点对应模块包括：

技术总结
本发明适用于信息存储技术领域，尤其涉及一种用于信息系统的数据分布式存储方法及系统，所述方法包括：确定用于进行数据存储的节点数量并建立节点架构；分片待存储数据，获取分片单元，并根据所述分片单元中的关键字确定对应分片单元所在的目标节点，将所述分片单元存储至目标节点中；确定目标节点中的数据为第一数据；将第一数据调用完成后再次存储的数据确定为第二数据，比对统计得到的第一数据和第二数据的数据跨度，计算以数据跨度为索引的区别值，所述数据跨度用于表征数据的始位置和终位置。本发明通过对信息变量进行备份，从根本上减少信息存储、备份的占用空间，在保证了信息安全性的同时，提高了信息存储、提取的效率。

技术研发人员：杜睿,吴凯,陆斌,曲秀华
受保护的技术使用者：南京扬子信息技术有限责任公司
技术研发日：
技术公布日：2024/2/8