一种大数据安全存储方法、系统、设备及存储介质

文档序号:37906409发布日期:2024-05-09 21:54阅读:17来源:国知局
一种大数据安全存储方法、系统、设备及存储介质

本技术涉及大数据存储,更具体的说,本技术涉及一种大数据安全存储方法、系统、设备及存储介质。


背景技术:

1、大数据存储是存储和管理大规模数据集的技术和方法,随着信息技术的发展,企业和组织产生的数据量急剧增加,从而提出了对大数据存储的需求,大数据存储系统需要具备高容量、高性能、高可用性等特性,以有效地存储、管理和检索庞大的数据集,数据的备份和保护,以及数据恢复,大数据存储不仅是政府和大型企业的需要,越来越多的中小企业也需要依赖大数据存储中的数据备份和恢复以在面临灾难性事件保证业务和数据。

2、大数据安全存储系统中的灾备存档能够在灾难性事件发生时迅速恢复数据和业务运营,现有技术中大数据安全存储系统中的灾备存档多采用对存储副本进行定期存档的方式,若定期存档周期过于频繁,这种方式则会大量增加存储成本、网络负载以及灾难恢复的时长,若定期存档周期过长,这种方式则会导致灾备存档的数据不够完整,因此,在大数据安全存储系统进行灾备存档时,如何选择合适的存档周期,以保证灾备存档数据的完整程度,是业界迫切需要解决的问题。


技术实现思路

1、本技术提供一种大数据安全存储方法、系统、设备及存储介质,可对灾备存档副本的存档周期进行分区动态选择,实现了对大数据存储的轻量化灾备存档。

2、第一方面,本技术提供一种大数据安全存储方法,包括:

3、采集大数据存储池中的安全存储副本的访问信息,得到存储副本访问数据流;

4、根据所述存储副本访问数据流确定冗余分解系数,由所述冗余分解系数将所述安全存储副本分解为多个灾备余裕量,通过所述存储副本访问数据流和所有灾备余裕量得到每个灾备余裕量的安全响应容灾度;

5、获取所述大数据存储池的故障响应周期,通过所述大数据存储池的故障响应周期和所有灾备余裕量的安全响应容灾度得到副本容灾振幅;

6、根据所有灾备余裕量的安全响应容灾度确定所述安全存储副本对应的各个容灾存档毗邻区,进而由所有容灾存档毗邻区得到所述安全存储副本的冗余存储损益参量;

7、由所述副本容灾振幅和所述冗余存储损益参量对所述大数据存储池中的安全存储副本进行灾备存档。

8、在一些实施例中,根据所述存储副本访问数据流确定冗余分解系数具体包括:

9、通过所述存储副本访问数据流,得到冗余访问集;

10、确定所述冗余访问集对应的所有灾备数据点;

11、确定每个灾备数据点的灾备特征值,进而得到冗余分解系数。

12、在一些实施例中,通过所述存储副本访问数据流和所有灾备余裕量得到每个灾备余裕量的安全响应容灾度具体包括:

13、通过所述存储副本访问数据流,得到所有存储副本访问数据组;

14、确定每个存储副本访问数据组的异常或然度;

15、确定每个灾备余裕量的数据容忍度;

16、确定每个灾备余裕量的灾备恢复力;

17、确定每个存储副本访问数据组对应的灾备余裕量的灾备特征度;

18、对于每个灾备余裕量,根据所述每个存储副本访问数据组的异常或然度、所述灾备余裕量的数据容忍度、所述灾备余裕量的灾备恢复力和所述每个存储副本访问数据组对应的灾备余裕量的灾备特征度,确定所述灾备余裕量的安全响应容灾度,进而得到每个灾备余裕量的安全响应容灾度。

19、在一些实施例中,所述大数据存储池的故障响应周期是所述大数据存储池在发生故障时从异常状态恢复到正常状态所需要的时间。

20、在一些实施例中,根据所有灾备余裕量的安全响应容灾度确定所述安全存储副本对应的各个容灾存档毗邻区具体包括:

21、根据所有灾备余裕量的安全响应容灾度,确定所有存档毗邻数据点。

22、通过所有存档毗邻数据点将所述安全存储副本分割为多个容灾存档毗邻区,得到所述安全存储副本对应的各个容灾存档毗邻区。

23、在一些实施例中,通过所述大数据存储池的故障响应周期和所有灾备余裕量的安全响应容灾度得到副本容灾振幅具体包括:

24、确定故障响应周期与每个灾备余裕量之间的灾备响应度;

25、获取所有灾备余裕量的安全响应容灾度;

26、获取大数据存储池的故障响应周期;

27、根据所述故障响应周期与所有灾备余裕量之间的灾备响应度、所有灾备余裕量的安全响应容灾度和所述大数据存储池的故障响应周期,确定副本容灾振幅。

28、在一些实施例中,由所述副本容灾振幅和所述冗余存储损益参量对所述大数据存储池中的安全存储副本进行灾备存档是当所述副本容灾振幅大于预设响应振幅时,将所述冗余存储损益参数大于预设损益值的所有容灾存档毗邻区进行存档。

29、第二方面,本技术提供一种大数据安全存储系统,包括有存储单元,所述存储单元包括:

30、采集模块,用于根据所述存储副本访问数据流确定冗余分解系数;

31、处理模块,用于根据所述存储副本访问数据流确定冗余分解系数,由所述冗余分解系数将所述安全存储副本分解为多个灾备余裕量,通过所述存储副本访问数据流和所有灾备余裕量得到每个灾备余裕量的安全响应容灾度;

32、所述处理模块,还用于获取所述大数据存储池的故障响应周期,通过所述大数据存储池的故障响应周期和所有灾备余裕量的安全响应容灾度得到副本容灾振幅;

33、所述处理模块,还用于根据所有灾备余裕量的安全响应容灾度确定所述安全存储副本对应的各个容灾存档毗邻区,进而由所有容灾存档毗邻区得到所述安全存储副本的冗余存储损益参量;

34、存档模块,用于由所述副本容灾振幅和所述冗余存储损益参量对所述大数据存储池中的安全存储副本进行灾备存档。

35、第三方面,本技术提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于从所述存储器中调用并运行所述计算机程序,使得所述计算机设备执行上述的大数据安全存储方法。

36、第四方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令或代码,当指令或代码在计算机上运行时,使得计算机执行时实现上述的大数据安全存储方法。

37、本技术公开的实施例提供的技术方案具有以下有益效果:

38、本技术中,首先,通过存储副本访问数据流和用于描述不同灾备特征的灾备余裕量,得到用来描述灾难响应能力大小的安全响应容灾度,使用安全响应容灾度能够在后续对灾备存档的数据完整度要求进行更精准的评估,然后,使用安全响应容灾度分别结合故障响应周期和容灾存档毗邻区,依次得到副本容灾振幅和冗余存储损益残量,所述副本容灾振幅用来控制大数据的灾备存档的数据安全距离,所述冗余存储损益残量用来描述灾备存档中每个分区在发生数据灾难时的数据损失程度,最后,由副本容灾振幅和冗余存储损益参量对大数据存储池中的安全存储副本进行灾备存档,确保灾备存档在发生灾难性事件时能够迅速、有效地还原数据,综上所述,本技术实现了对灾备存档副本的存档周期进行分区动态选择,在保证灾备存档的数据完整度的前提下,实现了对大数据存储的轻量化灾备存档。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1