一种综合硬件故障率和环境故障率的分布式存储备份方法与流程

本发明涉及数据存储，具体涉及一种基于跨地域的分布式存储备份方法及装置。

背景技术：

1、分布式存储，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也存在可靠性和安全性的问题，不能满足大规模存储应用的需要。分布式存储采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

2、为了能够提供服务器级别的故障域隔离，跨地域的分布式存储应运而生。但是在跨地域的分布式存储方案中，当服务器节点数量增多时，其中的一部分服务器节点出现故障的概率会随之上升。如何在部分服务器节点出现故障的时候依旧能够提供相应的分发服务是亟待解决的问题。

技术实现思路

1、有鉴于此，本发明实施例提供了一种基于跨地域的分布式存储备份方法及装置，以解决现有跨地域的分布式存储方案中部分服务器节点出现故障的时候导致局部分发服务无法执行的问题。

2、根据第一方面，本发明实施例提供了一种基于跨地域的分布式存储备份方法，所述方法包括：

3、基于分布式存储系统中各个存储服务器节点对应的故障概率，选取故障概率前第一预设数量对应的存储服务器节点作为次级节点，选取故障概率后第二预设数量对应的存储服务器节点作为备份节点；

4、由故障概率自高至低并基于备份节点与次级节点之间的距离，为故障概率对应的次级节点配置备份节点，以利用备份节点备份次级节点的数据。

5、结合第一方面，在第一方面第一实施方式中，所述基于分布式存储系统中各个存储服务器节点对应的故障概率，选取故障概率前第一预设数量对应的存储服务器节点作为次级节点，选取故障概率后第二预设数量对应的存储服务器节点作为备份节点，具体包括：

6、确定分布式存储系统中各个存储服务器节点对应的故障概率；

7、基于存储服务器节点的故障概率，由故障概率从高至低对存储服务器节点排序，得到排列序列；

8、从排列序列头部依次选取第一预设数量的存储服务器节点为次级节点，从排列序列尾部依次选取第二预设数量的存储服务器节点作为备份节点。

9、结合第一方面第一实施方式，在第一方面第二实施方式中，所述确定分布式存储系统中各个存储服务器节点对应的故障概率，具体包括：

10、确定存储服务器节点对应的硬件故障率；

11、确定存储服务器节点对应的环境故障率；

12、基于存储服务器节点对应的硬件故障率以及环境故障率，确定存储服务器节点对应的故障概率。

13、结合第一方面第二实施方式，在第一方面第三实施方式中，其特征在于，所述确定存储服务器节点对应的硬件故障率，具体包括：

14、确定存储服务器节点各个硬件的型号；

15、每当存储服务器节点出现硬件故障时，记录下存储服务器节点对应的硬件及硬件对应的型号；

16、统计所有存储服务器节点每一硬件在第一预设时间段内出现硬件故障的次数；

17、针对每一存储服务器节点，基于其对应的硬件、硬件对应的型号、第一预设时间段以及硬件故障的次数，得到存储服务器节点在相邻两次维护的时间间隔内的硬件故障率。

18、结合第一方面第二实施方式，在第一方面第四实施方式中，所述确定存储服务器节点对应的环境故障率，具体包括：

19、将属于同一变电站的存储服务器节点划分至同一环境区块；

20、每当存储服务器节点出现环境故障时，记录下引起环境故障的类型；

21、统计属于同一环境区块中，由于环境因素导致存储服务器节点在第二预设时间段内出现环境故障的次数；

22、针对每一台存储服务器节点，基于其环境因素的类型、第二预设时间段以及环境故障的次数，得到存储服务器节点在相邻两次维护的时间间隔内的环境故障率。

23、结合第一方面第四实施方式，在第一方面第五实施方式中，所述由故障概率自高至低并基于备份节点与次级节点之间的距离，为故障概率对应的次级节点配置备份节点，以利用备份节点备份次级节点的数据，具体包括：

24、从未被配置的次级节点中选择故障概率最高的次级节点作为待配置次级节点；

25、将待配置次级节点对应的环境区块确定为禁区区块；

26、确定未被配置的备份节点对应的环境区块，并确定环境区块与禁区区块之间的距离，将与禁区区块之间的距离最近的环境区块确定为优选区块；

27、从优选区块对应的备份节点中选择故障概率最低的备份节点作为待配置备份节点，将待配置备份节点配置给待配置次级节点。

28、结合第一方面第五实施方式，在第一方面第六实施方式中，所述由故障概率自高至低并基于备份节点与次级节点之间的距离，为故障概率对应的次级节点配置备份节点，以利用备份节点备份次级节点的数据，还包括：

29、确定待配置备份节点是否满足待配置次级节点的数据存储要求；

30、确定不满足数据存储要求，从优选区块对应的备份节点中选择未被配置且故障概率最低的备份节点作为待配置备份节点，将待配置备份节点配置给待配置次级节点。

31、根据第二方面，本发明实施例还提供 一种基于跨地域的分布式存储备份装置，所述装置包括：

32、筛选模块，用于基于分布式存储系统中各个存储服务器节点对应的故障概率，选取故障概率前第一预设数量对应的存储服务器节点作为次级节点，选取故障概率后第二预设数量对应的存储服务器节点作为备份节点；

33、配置模块，用于由故障概率自高至低并基于备份节点与次级节点之间的距离，为故障概率对应的次级节点配置备份节点，以利用备份节点备份次级节点的数据。

34、根据第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于跨地域的分布式存储备份方法的步骤。

35、根据第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于跨地域的分布式存储备份方法的步骤。

36、本发明的基于跨地域的分布式存储备份方法及装置，根据分布式存储系统中各个存储服务器节点对应的故障概率筛选出次级节点与备份节点，在减少因故障导致分发服务无法执行的缺陷的情况下，尽可能降低需要备份的数据量，降低因此给整体系统带来的额外负载，在次级节点与备份节点之间相互配置过程中，考虑了备份节点与次级节点的距离，并以故障概率为优先级依次进行次级节点的配置，进一步降低为网络链路带来的负载以及减小因网络拨动导致备份过程出故障的情况发生，本发明能够在极大程度上消除因故障导致分布式存储系统中的一部分存储服务器节点出现故障导致局部分发服务无法执行的缺陷，确保在部分服务器节点出现故障的时候依旧能够提供相应的分发服务。

技术特征：

1.一种综合硬件故障率和环境故障率的分布式存储备份方法，其特征在于，所述方法包括：

2.根据权利要求1所述的综合硬件故障率和环境故障率的分布式存储备份方法，其特征在于，所述基于分布式存储系统中各个存储服务器节点对应的故障概率，选取故障概率前第一预设数量对应的存储服务器节点作为次级节点，选取故障概率后第二预设数量对应的存储服务器节点作为备份节点，具体包括：

3.根据权利要求1所述的综合硬件故障率和环境故障率的分布式存储备份方法，其特征在于，所述确定存储服务器节点对应的硬件故障率，具体包括：

4.根据权利要求1所述的综合硬件故障率和环境故障率的分布式存储备份方法，其特征在于，所述确定存储服务器节点对应的环境故障率，具体包括：

5.根据权利要求4所述的综合硬件故障率和环境故障率的分布式存储备份方法，其特征在于，所述由故障概率自高至低并基于备份节点与次级节点之间的距离，为故障概率对应的次级节点配置备份节点，以利用备份节点备份次级节点的数据，具体包括：

6.根据权利要求5所述的综合硬件故障率和环境故障率的分布式存储备份方法，其特征在于，所述由故障概率自高至低并基于备份节点与次级节点之间的距离，为故障概率对应的次级节点配置备份节点，以利用备份节点备份次级节点的数据，还包括：

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述综合硬件故障率和环境故障率的分布式存储备份方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述综合硬件故障率和环境故障率的分布式存储备份方法的步骤。

技术总结
本发明公开了一种一种综合硬件故障率和环境故障率的分布式存储备份方法，涉及数据存储技术领域，该方法包括：基于分布式存储系统中各个存储服务器节点对应的故障概率，选取故障概率前第一预设数量对应的存储服务器节点作为次级节点，选取故障概率后第二预设数量对应的存储服务器节点作为备份节点；由故障概率自高至低并基于备份节点与次级节点之间的距离，为故障概率对应的次级节点配置备份节点，以利用备份节点备份次级节点的数据。本发明能够在极大程度上消除因故障导致分布式存储系统中的一部分存储服务器节点出现故障导致局部分发服务无法执行的缺陷，确保在部分服务器节点出现故障的时候依旧能够提供相应的分发服务。

技术研发人员：卢会春,林静,郎志龙
受保护的技术使用者：浙江省公众信息产业有限公司
技术研发日：
技术公布日：2024/1/15