一种分布式数据存储系统的制作方法

1.本发明涉及分布式数据存储技术领域，尤其涉及一种分布式数据存储系统。


背景技术：

2.分布式数据存储是将数据分散存储在多台独立的设备上，分布式数据存储能够弥补数据损坏问题，其主要通过存活数据替换修复损坏数据，然而在众多分布式数据存储中如何准确、快速地替换修复损坏的数据，是分布式数据存储急需解决的问题。
3.中国专利公开号：cn107145306b公开了一种分布式数据存储方法，通过将分布式系统的存储空间分成多个存储区域，每个区域中设有若干存储设备，查找并获得所有存储设备的起始物理地址、端口信息以及为每一个存储设备分配唯一的存储设备标识符；监视每个存储设备的工作状态，当存在故障存储设备时，根据所述起始物理地址、端口信息或者存储设备标识符中的任意一种或几种来确定故障存储设备中的出现故障的部分的具体位置并且确定所述出现故障的全部数据组。由此可见该方法是根据存储设备起始物理地址、端口信息或者存储设备标识符来确定故障存储设备中的出现故障的部分的具体位置，然而，通过存储设备起始物理地址、端口信息或者存储设备标识符，该方法能够确定存储设备，却不能在众多存储的数据中精确定位故障数据，因此存在故障数据定位精度低、数据存储效率低的问题。


技术实现要素：

4.为此，本发明提供一种分布式数据存储系统，用以克服现有技术中不能在众多存储的数据中精确定位故障数据，导致故障数据定位精度低、数据存储效率低的问题。
5.为实现上述目的，本发明提供一种分布式数据存储系统，包括,获取模块，用以获取数据存储信息，所述数据存储信息包括存储信息和数据信息，所述存储信息包括存储设备编号、存储设备存储层数量、存储层中数据组数量、存储设备故障频率和数据存储量，所述数据信息包括数据组数据类型数量、数据故障频率、数据损坏量平均值和数据修复时长；分析模块，用以对获取的数据进行数据分析，其与所述获取模块连接，所述分析模块包括识别单元、调节单元、修正单元、校验单元和判断单元，所述识别单元用以在数据出现故障时识别故障位置a，其与所述调节单元连接，所述调节单元用以根据存储层数量对故障位置a进行调节,其与所述修正单元连接，所述修正单元用以根据存储层中数据组数量对调节后的故障位置a’进行修正，其与所述校验单元连接，所述校验单元用以根据数据组数据类型数量对修正后的故障位置a
’’
进行校验，其与判断单元连接，所述判断单元用以根据校验后的故障位置a
’’’
当前数据存储量判断数据损坏级别，并根据损坏级别设定数据替换方式；评估模块，用以计算数据存储安全指数y，计算完成后根据安全指数评估数据存储安全风险，并根据数据存储安全风险判断是否更换存储设备，其与所述分析模块连接；
处理模块，用以根据评估判断结果对数据存储进行处理，其与所述评估模块连接。
6.进一步地，所述识别单元在识别故障位置a时，获取故障数据存储设备编号，将该编号对应的数据存储设备设定为故障位置a。
7.进一步地，所述调节单元在对故障位置a进行调节时，获取该存储设备的存储层数量s,并将其与存活相同存储层数量s0进行比对，并根据比对结果对故障位置a进行调节，其中，当s＜s0时，所述调节单元判定该存储层数量缺失，并将该存储层标记为a1，并对故障位置a进行调节，设定调节后的故障位置为a’，设定a’=a+a1；当s≥s0时，所述调节单元不进行调节。
8.进一步地，所述修正单元在对调节后的故障位置a’进行修正时，获取存储层中数据组数量b,并将其与存活相同存储层中数据组数量b0进行比对，并根据比对结果对调节后的故障位置a’进行修正，其中，当b＜b0时，所述修正单元判定该数据组缺失，并将该数据组标记为a2，并对调节后的故障位置a’进行修正，设定修正后的故障位置为a
’’
，设定a
’’
=a’+a2= a+a1+a2；当b≥b0时，所述修正单元不进行修正。
9.进一步地，所述校验单元在对修正后的故障位置a
’’
校验时，获取数据组数据类型数量c，并将其与存活相同数据组数据类型数量c0进行比对，并根据比对结果对修正后的故障位置a
’’
进行校验，其中，当c＜c0时，所述校验单元判定该数据组数据类型缺失，并将该缺失的数据类型存储位置标记为a3，并对修正后的故障位置a
’’
进行校验，设定校验后的故障位置为a
’’’
，设定a
’’’
=a
’’
+a3=a’+a2= a+a1+a2；当c≥c0时，所述校验单元不进行校验。
10.进一步地，所述判断单元在判断数据损坏量时，获取校验后的故障位置当前数据存储量k，并将其与存活相同位置数据量各预设数据量进行比对，并根据比对结果判断数据损坏级别，其中，当k≤k1时，所述判断单元判断数据损坏级别为一级；当k1＜k＜k2时，所述判断单元判断数据损坏级别为二级；当k≥k2时，所述判断单元判断数据损坏级别为三级；其中，k1 为第一预设数据量，k2为第二预设数据量，k1＜k2，数据损坏级别大小关系为一级＞二级＞三级。
11.进一步地，所述判断单元在设定数据替换方式时，获取数据损坏级别，并根据数据损坏级别设定数据替换方式，其中，当数据损坏级别为一级时，所述判断单元设定全部替换该故障位置的数据组数据；当数据损坏级别为二级时，所述判断单元设定全部或局部替换该故障位置的数据组数据；当数据损坏级别为三级时，所述判断单元设定局部替换该故障位置的数据组数据。
12.进一步地，所述评估模块在计算数据存储安全指数y时,设定y=0.5
×
n/n0+0.3
×
m/m0+0.2
×
v/v0，式中，n为存储设备故障频率，n0为预设存储设备故障频率，m为数据损坏量平均值，m0为预设数据损坏量平均值，v为数据修复时长，v0为预设数据修复时长；所述评估模块在评估数据存储安全风险时，获取数据存储安全指数y，并将其与预设数据存储安全指数y0进行比对，并根据比对结果判断数据存储安全风险，其中，当y≥y0时，所述评估模块判定该数据存储存在高风险；当y＜y0时，所述评估模块判定该数据存储存在低风险。
13.进一步地，所述评估模块在判断是否更换数据存储设备时，获取数据存储安全风险评估结果，并根据评估结果判断是否更换存储设备，其中，当评估结果为该数据存储存在高风险时，更换数据存储设备；当评估结果为该数据存储存在低风险时，不更换数据存储设备，设定数据存储设备检测频率。
14.进一步地，所述处理模块在进行数据存储处理时，若更换数据存储设备，则将存活数据存储在更换后的数据存储设备中；若不更换数据存储设备，则根据设定的数据存储设备检测频率进行检测。
15.与现有技术相比，本发明的有益效果在于，通过提供一种分布式数据存储系统，通过获取模块获取数据存储信息，通过分析模块对获取的数据进行数据分析，以在数据出现故障时精确定位该数据存储的位置，以提高损坏数据的修复效率，从而提高数据存储效率。通过识别单元、调节单元、修正单元和校验单元以精确定位该数据存储的位置，以提高损坏数据的修复效率，从而提高数据存储效率。通过判断单元根据校验后的故障位置a
’’’
当前数据存储量判断数据损坏级别，并根据损坏级别设定数据替换方式；以提高损坏数据的修复效率，从而提高数据存储效率。通过评估模块计算数据存储安全指数y，计算完成后根据安全指数评估数据存储安全风险，并根据数据存储安全风险判断是否更换存储设备；以提高损坏数据的修复效率，从而提高数据存储效率。通过处理模块根据评估判断结果对数据存储进行处理，以提高损坏数据的修复效率，从而提高数据存储效率。
16.尤其，通过识别单元在识别故障位置a时，获取故障数据存储设备编号，将该编号对应的数据存储设备设定为故障位置a。以确定故障数据的存储设备的位置，以便于对该故障位置的数据进行替换修复，以提高损坏数据的修复效率，从而提高数据存储效率。
17.尤其，所述调节单元在对故障位置a进行调节时，获取该存储设备的存储层数量s,并将其与存活相同存储层数量s0进行比对，当s＜s0时，所述调节单元判定该存储层数量缺失，并将该存储层标记为a1，并对故障位置a进行调节，设定调节后的故障位置为a’，设定a’=a+a1；以保证故障位置的精度，以提高损坏数据的修复效率，从而提高数据存储效率。
18.尤其，所述修正单元在对调节后的故障位置a’进行修正时，获取存储层中数据组数量b,并将其与存活相同存储层中数据组数量b0进行比对，当b＜b0时，所述修正单元判定该数据组缺失，并将该数据组标记为a2，并对调节后的故障位置a’进行修正，设定修正后的故障位置为a
’’
，设定a
’’
=a’+a2= a+a1+a2，以保证故障位置的精度，以提高损坏数据的修复效率，从而提高数据存储效率。
19.尤其，所述校验单元在对修正后的故障位置a
’’
校验时，获取数据组数据类型数量c，并将其与存活相同数据组数据类型数量c0进行比对，当c＜c0时，所述校验单元判定该数据组数据类型缺失，并将该缺失的数据类型存储位置标记为a3，并对修正后的故障位置a
’’
进行校验，设定校验后的故障位置为a
’’’
，设定a
’’’
=a
’’
+a3=a’+a2= a+a1+a2，以保证故障位置的精度，以提高损坏数据的修复效率，从而提高数据存储效率。
20.尤其，所述判断单元在判断数据损坏级别时，获取校验后的故障位置的当前数据存储量k，并将其与存活相同位置数据量各预设数据量进行比对，当k≤k1时，所述判断单元判断数据损坏级别为一级；当k1＜k＜k2时，所述判断单元判断数据损坏级别为二级；当k≥k2时，所述判断单元判断数据损坏级别为三级；其中，k1 为第一预设数据量，k2为第二预设数据量，k1＜k2，数据损坏级别大小关系为一级＞二级＞三级。以精确判断数据损坏级别，以提高损坏数据的修复效率，从而提高数据存储效率。
21.尤其，所述判断单元在设定数据替换方式时，获取数据损坏级别，当数据损坏级别为一级时，所述判断单元设定全部替换该故障位置的数据组数据；当数据损坏级别为二级时，所述判断单元设定全部或局部替换该故障位置的数据组数据；当数据损坏级别为三级时，所述判断单元设定局部替换该故障位置的数据组数据。以提高数据替换精度，以提高损坏数据的修复效率，从而提高数据存储效率。
22.尤其，所述评估模块在计算数据存储安全指数y时,设定y=0.5
×
n/n0+0.3
×
m/m0+0.2
×
v/v0，式中，n为存储设备故障频率，n0为预设存储设备故障频率，m为数据损坏量平均值，m0为预设数据损坏量平均值，v为数据修复时长，v0为预设数据修复时长；所述评估模块在评估数据存储安全风险时，获取数据存储安全指数y，并将其与预设数据存储安全指数y0进行比对，当y≥y0时，所述评估模块判定该数据存储存在高风险；当y＜y0时，所述评估模块判定该数据存储存在低风险。以确定数据存储的安全风险，以提高损坏数据的修复效率，从而提高数据存储效率。
23.尤其，所述评估模块在判断是否更换数据存储设备时，获取数据存储安全风险评估结果，当评估结果为该数据存储存在高风险时，更换数据存储设备；当评估结果为该数据存储存在低风险时，不更换数据存储设备，并设定对数据存储设备的检测频率。以根据数据存储安全风险评估结果确定是否更换数据存储设备，以保证数据存储的安全性，以提高损坏数据的修复效率，从而提高数据存储效率。
24.尤其，所述处理模块在进行数据存储处理时，若更换数据存储设备，则将存活数据存储在更换后的数据存储设备中；若不更换数据存储设备，则根据设定的数据存储设备检测频率进行检测，以保证数据存储的精度，从而提高数据存储效率。
附图说明
25.图1为本发明实施例中一种分布式数据存储系统的结构示意图；图2为本发明实施例中分析模块的结构示意图。
具体实施方式
26.为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
27.下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
28.需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示
的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
29.此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
30.请参阅图1至图2所示，其为本发明实施例中一种分布式数据存储系统，包括，获取模块，用以获取数据存储信息，所述数据存储信息包括存储信息和数据信息，所述存储信息包括存储设备编号、存储设备存储层数量、存储层中数据组数量、存储设备故障频率和数据存储量，所述数据信息包括数据组数据类型数量、数据故障频率、数据损坏量平均值和数据修复时长等；分析模块，用以对获取的数据进行数据分析，其与所述获取模块连接，所述分析模块包括识别单元、调节单元、修正单元、校验单元和判断单元，所述识别单元用以在数据出现故障时识别故障位置a，其与所述调节单元连接，所述调节单元用以根据存储层数量对故障位置a进行调节,其与所述修正单元连接，所述修正单元用以根据存储层中数据组数量对调节后的故障位置a’进行修正，其与所述校验单元连接，所述校验单元用以根据数据组数据类型数量对修正后的故障位置a
’’
进行校验，其与判断单元连接，所述判断单元用以根据校验后的故障位置a
’’’
当前数据存储量判断数据损坏级别，并根据损坏级别设定数据替换方式；评估模块，用以计算数据存储安全指数y，计算完成后根据安全指数评估数据存储安全风险，并根据数据存储安全风险判断是否更换存储设备，其与所述分析模块连接；处理模块，用以根据评估判断结果对数据存储进行处理，其与所述评估模块连接。
31.具体而言，本实施例通过提供一种分布式数据存储系统，通过获取模块获取数据存储信息，通过分析模块对获取的数据进行数据分析，以在数据出现故障时精确定位该数据存储的位置，以提高损坏数据的修复效率，从而提高数据存储效率。通过识别单元、调节单元、修正单元和校验单元以精确定位该数据存储的位置，以提高损坏数据的修复效率，从而提高数据存储效率。通过判断单元根据校验后的故障位置a
’’’
当前数据存储量判断数据损坏级别，并根据损坏级别设定数据替换方式；以提高损坏数据的修复效率，从而提高数据存储效率。通过评估模块计算数据存储安全指数y，计算完成后根据安全指数评估数据存储安全风险，并根据数据存储安全风险判断是否更换存储设备；以提高损坏数据的修复效率，从而提高数据存储效率。通过处理模块根据评估判断结果对数据存储进行处理，以提高损坏数据的修复效率，从而提高数据存储效率。
32.具体而言，所述识别单元在识别故障位置a时，获取故障数据存储设备编号，将该编号对应的数据存储设备设定为故障位置a。
33.具体而言，本实施例中存储设备编号为预先设定的与各存储设备对应的唯一数字编号，以便于区别各存储设备，本实施例中将该编号对应的数据存储设备设定为故障位置a，即定位故障是哪个数据存储设备，将该数据存储设备作为位置a。
34.具体而言，本实施例通过识别单元在识别故障位置a时，获取故障数据存储设备编号，将该编号对应的数据存储设备设定为故障位置a。以确定故障数据的存储设备的位置，以便于对该故障位置的数据进行替换修复，以提高损坏数据的修复效率，从而提高数据存储效率。
35.具体而言，所述调节单元在对故障位置a进行调节时，获取该存储设备的存储层数量s,并将其与存活相同存储层数量s0进行比对，并根据比对结果对故障位置a进行调节，其中，当s＜s0时，所述调节单元判定该存储层数量缺失，并将该存储层标记为a1，并对故障位置a进行调节，设定调节后的故障位置为a’，设定a’=a+a1；当s≥s0时，所述调节单元不进行调节。
36.具体而言，本实施例所述调节单元在对故障位置a进行调节时，获取该存储设备的存储层数量s,并将其与存活相同存储层数量s0进行比对，当s＜s0时，所述调节单元判定该存储层数量缺失，并将该存储层标记为a1，并对故障位置a进行调节，设定调节后的故障位置为a’，设定a’=a+a1；以保证故障位置的精度，以提高损坏数据的修复效率，从而提高数据存储效率。
37.具体而言，所述修正单元在对调节后的故障位置a’进行修正时，获取存储层中数据组数量b,并将其与存活相同存储层中数据组数量b0进行比对，并根据比对结果对调节后的故障位置a’进行修正，其中，当b＜b0时，所述修正单元判定该数据组缺失，并将该数据组标记为a2，并对调节后的故障位置a’进行修正，设定修正后的故障位置为a
’’
，设定a
’’
=a’+a2= a+a1+a2；当b≥b0时，所述修正单元不进行修正。
38.具体而言，本实施例所述修正单元在对调节后的故障位置a’进行修正时，获取存储层中数据组数量b,并将其与存活相同存储层中数据组数量b0进行比对，当b＜b0时，所述修正单元判定该数据组缺失，并将该数据组标记为a2，并对调节后的故障位置a’进行修正，设定修正后的故障位置为a
’’
，设定a
’’
=a’+a2= a+a1+a2，以保证故障位置的精度，以提高损坏数据的修复效率，从而提高数据存储效率。
39.具体而言，所述校验单元在对修正后的故障位置a
’’
校验时，获取数据组数据类型数量c，并将其与存活相同数据组数据类型数量c0进行比对，并根据比对结果对修正后的故障位置a
’’
进行校验，其中，当c＜c0时，所述校验单元判定该数据组数据类型缺失，并将该缺失的数据类型存储位置标记为a3，并对修正后的故障位置a
’’
进行校验，设定校验后的故障位置为a
’’’
，设定a
’’’
=a
’’
+a3=a’+a2= a+a1+a2；当c≥c0时，所述校验单元不进行校验。
40.具体而言，本实施例所述校验单元在对修正后的故障位置a
’’
校验时，获取数据组数据类型数量c，并将其与存活相同数据组数据类型数量c0进行比对，当c＜c0时，所述校验单元判定该数据组数据类型缺失，并将该缺失的数据类型存储位置标记为a3，并对修正后的故障位置a
’’
进行校验，设定校验后的故障位置为a
’’’
，设定a
’’’
=a
’’
+a3=a’+a2= a+a1+a2，以保证故障位置的精度，以提高损坏数据的修复效率，从而提高数据存储效率。
41.具体而言，所述判断单元在判断数据损坏级别时，获取校验后的故障位置的当前
数据存储量k，并将其与存活相同位置数据量各预设数据量进行比对，并根据比对结果判断数据损坏级别，其中，当k≤k1时，所述判断单元判断数据损坏级别为一级；当k1＜k＜k2时，所述判断单元判断数据损坏级别为二级；当k≥k2时，所述判断单元判断数据损坏级别为三级；其中，k1 为第一预设数据量，k2为第二预设数据量，k1＜k2，数据损坏级别大小关系为一级＞二级＞三级。
42.具体而言，本实施例所述判断单元在判断数据损坏级别时，获取校验后的故障位置的当前数据存储量k，并将其与存活相同位置数据量各预设数据量进行比对，当k≤k1时，所述判断单元判断数据损坏级别为一级；当k1＜k＜k2时，所述判断单元判断数据损坏级别为二级；当k≥k2时，所述判断单元判断数据损坏级别为三级；其中，k1 为第一预设数据量，k2为第二预设数据量，k1＜k2，数据损坏级别大小关系为一级＞二级＞三级。以精确判断数据损坏级别，以提高损坏数据的修复效率，从而提高数据存储效率。
43.具体而言，所述判断单元在设定数据替换方式时，获取数据损坏级别，并根据数据损坏级别设定数据替换方式，其中，当数据损坏级别为一级时，所述判断单元设定全部替换该故障位置的数据组数据；当数据损坏级别为二级时，所述判断单元设定全部或局部替换该故障位置的数据组数据；当数据损坏级别为三级时，所述判断单元设定局部替换该故障位置的数据组数据。
44.具体而言，本实施例所述判断单元在设定数据替换方式时，获取数据损坏级别，当数据损坏级别为一级时，所述判断单元设定全部替换该故障位置的数据组数据；当数据损坏级别为二级时，所述判断单元设定全部或局部替换该故障位置的数据组数据；当数据损坏级别为三级时，所述判断单元设定局部替换该故障位置的数据组数据。以提高数据替换精度，以提高损坏数据的修复效率，从而提高数据存储效率。
45.具体而言，所述评估模块在计算数据存储安全指数y时,设定y=0.5
×
n/n0+0.3
×
m/m0+0.2
×
v/v0，式中，n为存储设备故障频率，n0为预设存储设备故障频率，m为数据损坏量平均值，m0为预设数据损坏量平均值，v为数据修复时长，v0为预设数据修复时长；所述评估模块在评估数据存储安全风险时，获取数据存储安全指数y，并将其与预设数据存储安全指数y0进行比对，并根据比对结果判断数据存储安全风险，其中，当y≥y0时，所述评估模块判定该数据存储存在高风险；当y＜y0时，所述评估模块判定该数据存储存在低风险。
46.具体而言，本实施例所述评估模块在计算数据存储安全指数y时,设定y=0.5
×
n/n0+0.3
×
m/m0+0.2
×
v/v0，式中，n为存储设备故障频率，n0为预设存储设备故障频率，m为数据损坏量平均值，m0为预设数据损坏量平均值，v为数据修复时长，v0为预设数据修复时长；所述评估模块在评估数据存储安全风险时，获取数据存储安全指数y，并将其与预设数据存储安全指数y0进行比对，当y≥y0时，所述评估模块判定该数据存储存在高风险；当y＜y0时，所述评估模块判定该数据存储存在低风险。以确定数据存储的安全风险，以提高损坏
数据的修复效率，从而提高数据存储效率。
47.具体而言，所述评估模块在判断是否更换数据存储设备时，获取数据存储安全风险评估结果，并根据评估结果判断是否更换存储设备，其中，当评估结果为该数据存储存在高风险时，更换数据存储设备；当评估结果为该数据存储存在低风险时，不更换数据存储设备，并设定对数据存储设备的检测频率。
48.具体而言，本实施例所述评估模块在判断是否更换数据存储设备时，获取数据存储安全风险评估结果，当评估结果为该数据存储存在高风险时，更换数据存储设备；当评估结果为该数据存储存在低风险时，不更换数据存储设备，并设定对数据存储设备的检测频率。以根据数据存储安全风险评估结果确定是否更换数据存储设备，以保证数据存储的安全性，以提高损坏数据的修复效率，从而提高数据存储效率。
49.具体而言，所述处理模块在进行数据存储处理时，若更换数据存储设备，则将存活数据存储在更换后的数据存储设备中；若不更换数据存储设备，则根据设定的数据存储设备检测频率进行检测。
50.具体而言，本实施例所述处理模块在进行数据存储处理时，若更换数据存储设备，则将存活数据存储在更换后的数据存储设备中；若不更换数据存储设备，则根据设定的数据存储设备检测频率进行检测，以保证数据存储的精度，从而提高数据存储效率。
51.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。