基于磁盘阵列的数据存储方法及系统的制作方法

文档序号:6338293阅读:242来源:国知局
专利名称:基于磁盘阵列的数据存储方法及系统的制作方法
技术领域
本发明涉及数据保护及数据安全技术领域,尤其涉及一种基于磁盘阵列的数据存 储方法及系统。
背景技术
Ρ车歹Ij (Redundant Arrays of Inexpensive Disks, RAID) ^MMi&RWiM 安全领域的一种新型的核心技术和热点问题,致力于提供大容量、高速度、可恢复的数据保 护技术,是目前最常用的海量数据存储系统的解决方案。
现有的较为常用的磁盘阵列模式分为RAID 0 RAID 7,9种主要的规范,分别根 据各自的特点侧重于不同的数据保护及数据安全要求。
RAID 0是连续以位或字节为单位对数据进行分割,并行读/写于多个磁盘上,具 有较高的数据传输率,但由于没有数据冗余,不能算是真正的RAID结构。RAID 0只是单纯 地提高性能,并没有为数据的可靠性提供保证,而且其中的一个磁盘失效将影响到所有数 据。
RAID 1是通过磁盘数据镜像实现数据冗余,在成对的独立磁盘上产生互为备份的 数据。当原始数据繁忙时,可直接从镜像拷贝中读取数据,因此RAID 1可以提高读取性能, 提供了很高的数据安全性和可用性,但是单位成本最高。当一个磁盘失效时,系统可以自动 切换到镜像磁盘上读写,而不需要重组失效的数据。
RAID 0+1也被称为RAID 10标准,实际是将RAID 0和RAID 1标准结合的产物,在 连续地以位或字节为单位分割数据并且并行读/写多个磁盘的同时,为每一块磁盘作磁盘 镜像进行冗余。优点是同时拥有RAID 0的超凡速度和RAID 1的数据高可靠性,但是CPU 占用率同样也更高,而且磁盘的利用率比较低。
RAID 2是将数据条块化地分布于不同的硬盘上,条块单位为位或字节,并使用称 为“加重平均纠错码(海明码),,的编码技术来提供错误检查及恢复,但这种编码技术需要 多个磁盘存放检查及恢复信息,因此RAID 2技术实施更复杂。
RAID 3同RAID 2非常类似,都是将数据条块化分布于不同的硬盘上,区别在于 RAID 3使用简单的奇偶校验,并用单块磁盘存放奇偶校验信息。如果一块磁盘失效,奇偶校 验盘及其他数据盘可以重新产生数据;如果奇偶盘失效则不影响数据使用。RAID 3对于大 量的连续数据可提供很好的传输率,但对于随机数据来说,奇偶盘会成为写操作的瓶颈。
RAID 4同样也将数据条块化并分布于不同的磁盘上,但条块单位为块或记录,并 使用一块磁盘作为奇偶校验盘,每次写操作都需要访问奇偶盘,因此奇偶校验盘成为了写 操作的瓶颈。
RAID 5并不单独指定奇偶校验盘,而是在所有磁盘上交叉地存取数据及奇偶校验 信息,读/写指针可同时对阵列设备进行操作,提供了更高的数据流量。对于RAID 5来说, 大部分数据传输只对一块磁盘操作,并可进行并行操作。在RAID 5中存在“写损失”,即每 一次写操作将产生四个实际的读/写操作,其中两次读旧的数据及奇偶信息,两次写新的4数据及奇偶信息。
RAID 6与RAID 5相比,增加了第二个独立的奇偶校验信息块。两个独立的奇偶校 验系统使用不同的算法,数据的可靠性非常高,即使两块磁盘同时失效也不会影响数据的 使用。但需要分配给奇偶校验信息更大的磁盘空间,相对于RAID 5有更大的“写损失”,因 此“写性能”非常差。
RAID 7是一种较新的RAID标准,其自身带有智能化实时操作系统和用于存储管 理的软件工具,可完全独立于主机运行,不占用主机CPU资源,因此可以看作是一种存储计 算机(Storage Computer),与其他RAID标准有明显区别。
除了以上的各种标准,还可以如RAID 0+1那样结合多种RAID规范来构筑所需的 RAID阵列,例如RAID 5+3 (RAID 53)就是一种应用较为广泛的阵列形式。
虽然磁盘阵列具有多种RAID等级供用户选择,可以满足不同场景的不同需要,但 是,正因为模式过多,也为用户的选择增加了困难,用户无法直观的、有可靠依据的选择最 合适的磁盘阵列RAID等级,大多数只能依靠经验进行判断,一旦出现误判,对数据及成本 都会造成巨大的损失。发明内容
(一)要解决的技术问题
本发明所要解决的技术问题是如何提供一种可直观、合理、且数字化地进行磁盘 阵列模式选择的基于磁盘阵列的数据存储方法及系统。
(二)技术方案
为解决上述问题,本发明提供了一种基于磁盘阵列的数据存储方法,该方法包括 步骤
Si.利用统计学方法,分析不同磁盘阵列模式的特性,获得统计数据,对不同磁盘 阵列模式的安全性、传输速率及空间利用率进行数字化分级;
S2.对将要存储的数据按照项目要求以及需求分析的要求进行分析;
S3.根据步骤Sl得出的磁盘阵列模式数字化分级标准和步骤S2得出的数据要求, 选择磁盘阵列模式;
S4.将要存储的数据按照选择的磁盘阵列模式存储。
其中,步骤Sl进一步包括
Sll.分析不同磁盘阵列模式的安全性特性,统计不同磁盘阵列模式的磁盘阵列的 最长无故障运行时间、故障恢复所需时间以及故障恢复所需资源,并按照统计结果进行数 字化分级;
S12.分析不同磁盘阵列模式的传输速率特性,对三类数据文件分别进行多次读取 和写入操作,记录每次所消耗的时间,对每类数据的读取时间和写入时间分别求取平均值, 之后对每类数据的三种数据类型读取和写入时间进行加权运算,获得唯一的统计结果,并 按照统计结果进行数字化分级;
S13.分析不同磁盘阵列模式的空间利用率特性,记录在对同一磁盘阵列或同一标 准大小的磁盘阵列建立不同磁盘阵列模式情况后,磁盘阵列可被用户使用的空间占总体空 间的比例,并按照统计结果进行数字化分级。
其中,步骤S2中的需求分析包括使用频率、安全性要求、生命周期、以及访问速 度分析。
其中,步骤S2进一步包括
S21.根据项目要求以及需求分析,分析出数据在使用频率方面的要求,包括数据 的读/写次数要求、被访问几率要求、被访问频率信息要求;
S22.根据项目要求以及需求分析,分析出数据在安全能力方面的要求,包括数据的 重要程度要求、是否需要安全保护要求、是否需求数据备份及是否需要数据恢复信息要求;
S23.根据项目要求以及需求分析,分析出数据在生命周期方面的要求,包括数据 的生命周期长短要求、更新频率信息要求;
S24.根据项目要求以及需求分析,分析出数据在访问速度方面的要求,包括数据 的读速度要求、写速度要求。
其中,步骤S3进一步包括
S31.依据所述步骤S2的安全性要求分析,选择所述步骤Sl中的安全性分级中的 两种;
S32.依据所述步骤S2的访问速度和使用频率要求分析,选择所述步骤Sl的传输 速率分级中的两种;
S33.依据所述步骤S2得出的生命周期和使用频率要求分析,选择所述步骤Sl的 空间利用率分级中的两种分值;
S34.选择安全性分级、传输速率分级及生命周期分级三项同时符合数据要求的磁 盘阵列模式。
其中,在步骤S31-S34中,均可选择2或3个连续的分级。
其中,在步骤S34中,若出现多个磁盘阵列模式均满足要求或均不满足要求的情 况,则根据数据的特性比重增加或减少分级的选择数量。
本发明还提供了一种基于磁盘阵列的数据存储系统,该系统包括模式分析模块, 用于利用统计学方法,分析不同磁盘阵列模式的特性,获得统计数据,对不同磁盘阵列模式 的安全性、传输速率及空间利用率进行数字化分级;数据分析模块,用于对将要存储的数据 按照项目要求以及需求分析的要求进行分析;选择模块,用于根据模式分析模块得出的磁 盘阵列模式数字化分级标准和数据分析模块得出的数据要求,选择磁盘阵列模式;存储模 块,用于将要存储的数据按照选择模块选择的磁盘阵列模式存储。
(三)有益效果
本发明的方法及系统可直观、合理、且数字化地进行磁盘阵列模式选,为用户根据 自身的需求选择合适的磁盘阵列RAID模式提供了技术及理论支持,也为对已用的磁盘阵 列提供评估标准。


图1为依照本发明一种实施方式的基于磁盘阵列的数据存储方法。
具体实施方式
对于本发明所提出的基于磁盘阵列的数据存储方法及系统,结合附图和实施例详细说明。
本发明是用于选择合理的RAID模式进行数据存储的一种直观的、合理的、数字化 的新方法及系统。由于RAID模式规范较多,差异性较大,多依靠经验进行选择,对技能要求 较高且容易造成误判,本发明考虑将多种RAID模式规范进行数字化评分,并提出一套合理 的数据分析标准,利用数据分析结构采用合理算法得出可选RAID模式进行数据存储。本发 明分两个阶段进行,第一个阶段是针对RAID模式规范进行分析,对比优势及缺点,对RAID 模式的安全性、传输速率及空间利用率进行合理的数字化评分,同时对数据本身进行分析, 得出数据在安全性、可靠性、速度、空间等方面的要求,最终完成数字化评分;第二个阶段是 分析实际数据需求,与数据特征对应将数据要求与RAID数字化评分相关联,依据数据特性 选择符合要求的RAID模式评分,最终选择三项评分均满足需求的一种RAID模式。
如图1所示,依照本发明一种实施方式的直观、合理、数字化的磁盘阵列模式选择 方法,包括如下步骤
Si.利用工具及统计学方法,分析不同RAID模式的特性,对比优势及缺点,对RAID 模式的安全性、传输速率及空间利用率进行合理的数字化分级;
S2.对将要存储在RAID中的数据按照项目要求说明书、需求分析文档的基本要求 进行分析,包括使用频率、安全性要求、生命周期、以及访问速度;
S3.利用步骤Sl得出的RAID模式评分标准和步骤S2得出的数据详细分析,选择 比较恰当的RAID模式;
S4.根据步骤S3选择的RAID模式存储要存储的数据。
其中,步骤Sl进一步包括
S11、以多种RAID模式的规范标准为基础,分别单独建立RAIDO至RAID6等7种 RAID模式,在不附加其他单独的数据安全保护模块情况下,利用不同RAID模式自身特有的 安全保护能力,采用标准化程序以对磁盘阵列中的数据进行高速存取访问为基本操作,通 过统计不同RAID模式的磁盘阵列在此情形下的“最长无故障运行时间”、“故障恢复所需时 间”以及“故障恢复所需资源(包括硬件损耗、人力资源消耗以及数据损坏程度等)”,分析 多种RAID模式的安全性特性,并进行数字化分级,分级从1开始,1表示最低的安全性能, 即“最长无故障运行时间”最长、“故障恢复所需时间”最高、“故障恢复所需资源”最高,其 他RAID模式按照与1的差别分别进行评分,标准为以“最长无故障运行时间”为最高优先级 别,逐次递减,以“故障恢复所需时间”为第二优先级别,逐次递增,以“故障恢复所需资源” 为第三优先级别,逐次递增,其中,1/2两级表示低甚至无安全保障;3/4/5三级表示中等安 全保障,能通过技术手段,一定程度保证数据的安全;6/7两级表示最高等级安全保证,能 通过技术手段,最大限度保证数据的安全。如表1所示;
表1 RAID等级安全性评价表
权利要求
1.一种基于磁盘阵列的数据存储方法,其特征在于,该方法包括步骤s1.利用统计学方法,分析不同磁盘阵列模式的特性,获得统计数据,对不同磁盘阵列 模式的安全性、传输速率及空间利用率进行数字化分级;s2.对将要存储的数据按照项目要求以及需求分析的要求进行分析;s3.根据步骤Sl得出的磁盘阵列模式数字化分级标准和步骤S2得出的数据要求,选择 磁盘阵列模式;s4.将要存储的数据按照选择的磁盘阵列模式存储。
2.如权利要求1所述的基于磁盘阵列的数据存储方法,其特征在于,步骤Sl进一步包括s11.分析不同磁盘阵列模式的安全性特性,统计不同磁盘阵列模式的磁盘阵列的最长 无故障运行时间、故障恢复所需时间以及故障恢复所需资源,并按照统计结果进行数字化 分级;s12.分析不同磁盘阵列模式的传输速率特性,对三类数据文件分别进行多次读取和写 入操作,记录每次所消耗的时间,对每类数据的读取时间和写入时间分别求取平均值,之后 对每类数据的三种数据类型读取和写入时间进行加权运算,获得唯一的统计结果,并按照 统计结果进行数字化分级;s13.分析不同磁盘阵列模式的空间利用率特性,记录在对同一磁盘阵列或同一标准大 小的磁盘阵列建立不同磁盘阵列模式情况后,磁盘阵列可被用户使用的空间占总体空间的 比例,并按照统计结果进行数字化分级。
3.如权利要求2所述的基于磁盘阵列的数据存储方法,其特征在于,步骤S2中的需求 分析包括使用频率、安全性要求、生命周期、以及访问速度分析。
4.如权利要求3所述的基于磁盘阵列的数据存储方法,其特征在于,步骤S2进一步包括s21.根据项目要求以及需求分析,分析出数据在使用频率方面的要求,包括数据的读 /写次数要求、被访问几率要求、被访问频率信息要求;s22.根据项目要求以及需求分析,分析出数据在安全能力方面的要求,包括数据的重 要程度要求、是否需要安全保护要求、是否需求数据备份及是否需要数据恢复信息要求;s23.根据项目要求以及需求分析,分析出数据在生命周期方面的要求,包括数据的生 命周期长短要求、更新频率信息要求;s24.根据项目要求以及需求分析,分析出数据在访问速度方面的要求,包括数据的读 速度要求、写速度要求。
5.如权利要求4所述的基于磁盘阵列的数据存储方法,其特征在于,步骤S3进一步包括s31.依据所述步骤S2的安全性要求分析,选择所述步骤Sl中的安全性分级中的两种;s32.依据所述步骤S2的访问速度和使用频率要求分析,选择所述步骤Sl的传输速率 分级中的两种;s33.依据所述步骤S2得出的生命周期和使用频率要求分析,选择所述步骤Sl的空间 利用率分级中的两种分值;S34.选择安全性分级、传输速率分级及生命周期分级三项同时符合数据要求的磁盘阵 列模式。
6.如权利要求5所述的基于磁盘阵列的数据存储方法,其特征在于,在步骤S31-S34 中,均可选择2或3个连续的分级。
7.如权利要求5所述的基于磁盘阵列的数据存储方法,其特征在于,在步骤S34中,若 出现多个磁盘阵列模式均满足要求或均不满足要求的情况,则根据数据的特性比重增加或 减少分级的选择数量。
8.一种基于磁盘阵列的数据存储系统,其特征在于,该系统包括模式分析模块,用于利用统计学方法,分析不同磁盘阵列模式的特性,获得统计数据, 对不同磁盘阵列模式的安全性、传输速率及空间利用率进行数字化分级;数据分析模块,用于对将要存储的数据按照项目要求以及需求分析的要求进行分析;选择模块,用于根据模式分析模块得出的磁盘阵列模式数字化分级标准和数据分析模 块得出的数据要求,选择磁盘阵列模式;存储模块,用于将要存储的数据按照选择模块选择的磁盘阵列模式存储。
全文摘要
本发明公开了一种基于磁盘阵列的数据存储方法及系统,该方法包括步骤S1.利用统计学方法,分析不同磁盘阵列模式的特性,获得统计数据,对不同磁盘阵列模式的安全性、传输速率及空间利用率进行数字化分级;S2.对将要存储的数据按照项目要求以及需求分析的要求进行分析;S3.根据步骤S1得出的磁盘阵列模式数字化分级标准和步骤S2得出的数据要求,选择磁盘阵列模式;S4.将要存储的数据按照选择的磁盘阵列模式存储。本发明的方法及系统可直观、合理、且数字化地进行磁盘阵列模式选,为用户根据自身的需求选择合适的磁盘阵列RAID模式提供了技术及理论支持,也为对已用的磁盘阵列提供评估标准。
文档编号G06F3/06GK102033717SQ20101058408
公开日2011年4月27日 申请日期2010年12月7日 优先权日2010年12月7日
发明者孙广路, 张洛什, 薛一波 申请人:清华大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1