专利名称：一种分布式数据存储管理方法
技术领域：
本发明涉及计算机通信技术领域，具体的说是一种分布式数据存储管理方法。
背景技术：
随着互联网时代的数据爆炸式增长，普通数据中心用于存储数据的硬盘的容量在不断增长，越来越多的数据被存储在同一个硬盘或硬盘整列中，但是硬盘部件的硬件故障失效率并没有随之降低。这意味着的单位数据的失效风险在不断加大，数据恢复的时间越来越差，用户的数据可靠性面临着越来越高的挑战。如何有效降低数据失效率，是计算机通信技术面临的一大难题。发明内容
本发明的技术任务是解决现有技术的不足，提供一种分布式数据存储管理方法。
本发明的技术方案是按以下方式实现的，该一种分布式数据存储管理方法，其具体实现步骤为O由数据源层产生数据，该数据源层即为用户的应用程序产生数据来源；2)步骤I)中产生的数据进入数据处理层，该数据处理层将文件数据进行分块处理，所述数据处理层包含EC算法控制端处理原始数据；3)数据处理层处理的分块数据进入数据传输层，该数据传输层将分块数据封装成数据包，通过SCSI协议或者IP协议把数据包传输到数据存储层内；4)所述数据存储层对接收到的数据包解包后存储，该数据存储层是指若干子存储阵列节点，每个存储阵列节点负责存一个数据分块。
上述技术方案中，通过相关算法将传统架构中存储在统一物理位置中数据进行分散管理，通过erasure code算法将文件数据进行分块处理，再通过SCSI或者IP数据包将处理过的分块数据分布存储于多个子阵列节点中。
所述数据存储层的子存储节点之间在物理上相对独立，即每个子存储阵列节点拥有自己的数据冗余保护方法，可独立的进行数据保护、数据备份、数据恢复。该技术方案中的分块数据存储在多个子阵列节点，各子阵列节点只负责存储其相对应的数据，同时各子阵列节点在物理上相对隔离独立。通过算法生成的分块数据的索引数据将子阵列节点进行逻辑顺序、逻辑容量管理。各子阵列都具有一定的数据保护及恢复能力，可以有效降低数据失效率。
本专利提出的配置方式，子阵列节点可配置为不同的容量、不同的RAID级别(例如RAID0、RAID1、RAID5等)，不同的子存储阵列节点都是按照数据数量的重要程度及规模大小的进行数据阵列的配置，因此可以保障服务器硬件配置的成本的优化，能够充分发挥出各个存储于多个子阵列节点的应用优势，从而有效的降低了数据失效风险，也实现成本的优化。
所述数据处理层还包括`Meta Data服务器，该Meta Data服务器将索引数据备份记录。
本发明与现有技术相比所产生的有益效果是本发明的一种分布式数据存储管理方法针对不断增长的数据失效率风险的威胁而设计，通过数据分布管理，将原先存储在一个RAID阵列中的数据通分发到多个RAID阵列中， 利用分布式的RAID存储阵列存储不断增长的用户数据，有效降低数据失效风险，降低数据恢复时间，并且便于存储容量的扩展，实现成本降低，节省大量维护成本。
附图1是本发明的数据存储分层式示意图。
具体实施方式
下面结合附图对本发明的一种分布式数据存储管理方法作以下详细说明。
如附图1所示，该一种分布式数据存储管理方法，其由四部分组成，具体为数据源层用户的应用程序产生数据来源。
数据处理层包含EC算法控制端处理原始数据，Meta Data服务端备份索引数据。
数据传输层通过SCSI/IP协议将分块处理过的原始数据、校验数据分发到各子存储阵列节点。
数据存储层通过各子存储阵列节点分别存储接收到的相应数据块，完成数据存储保护。
其具体实现步骤为1、根据用户实际应用环境，即存储子阵列的数量、容量大小等存储类型生成相关算法参数。根据相关参数，配置修改控制服务器端数据处理层的erasure code (EC)算法处理分块算法。
2、在控制服务器数据源层即通过用户应用程序获得要存储的原始数据，通过EC 算法处理，将原始数据处理为分块数据、校验数据及索引因数据。
3、算法设置冗余保护数量，例如可将原始数据分为M个数据分块，K个校验数据块，共N个数据块(M=N+K)。即可做到M中有任意N个数据块即可恢复原始数据，编码率为 N/(N+M)。
4、控制服务器的数据传输层将处理后的分块数据、校验数据进行数据封装成数据包，通过SCSI或者IP协议，将数据包传输到多个子存储阵列节点进行分布存储。各子存储阵列节点各自负责存一个数据分块。
5、由于控制服务器中的索引数据极其重要，故系统设计将索引数据备份记录于数据处理层的Meta data服务器中，便于后续数据的恢复、组织、查询。
6、子存储阵列节点接收到数据包后，进行数据包进行解包。将解包后的数据存储在其独立控制的存储阵列中。利用其自身的阵列数据冗余纠错特性，对数据进行第二层保护。因为子存储整列中相对独立为一个存储单元，都具备一定的数据保护能力，且在各自在数据恢复 时也相对独立，大大节省在出现硬盘故障时的数据恢复时间，节省大量维护成本。
权利要求
1.一种分布式数据存储管理方法，其特征在于其具体实现步骤为 1)由数据源层产生数据，该数据源层即为用户的应用程序产生数据来源； 2)步骤I)中产生的数据进入数据处理层，该数据处理层将文件数据进行分块处理，所述数据处理层包含EC算法控制端处理原始数据； 3)数据处理层处理的分块数据进入数据传输层，该数据传输层将分块数据封装成数据包，通过SCSI协议或者IP协议把数据包传输到数据存储层内； 4)所述数据存储层对接收到的数据包解包后存储，该数据存储层是指若干子存储阵列节点，每个存储阵列节点负责存一个数据分块。
2.根据权利要求1所述的一种分布式数据存储管理方法，其特征在于所述数据存储层的子存储节点之间在物理上相对独立，即每个子存储阵列节点拥有自己的数据冗余保护方法，可独立的进行数据保护、数据备份、数据恢复。
3.根据权利要求1所述的一种分布式数据存储管理方法，其特征在于所述数据处理层还包括Meta Data服务器,该Meta Data服务器将索引数据备份记录。
全文摘要
本发明提供一种分布式数据存储管理方法，属于计算机通信技术，其具体实现步骤为由数据源层产生数据；产生的数据进入数据处理层；数据处理层处理的分块数据进入数据传输层，该数据传输层将分块数据封装成数据包，通过SCSI协议或者IP协议把数据包传输到数据存储层内；所述数据存储层对接收到的数据包解包后存储，该数据存储层是指若干子存储阵列节点，每个存储阵列节点负责存一个数据分块。该一种分布式数据存储管理方法和现有技术相比，利用分布式的RAID存储阵列存储不断增长的用户数据，有效降低数据失效风险，降低数据恢复时间，并且便于存储容量的扩展，实现成本降低，节省大量维护成本。
文档编号H04L29/08GK103051676SQ20121048634
公开日2013年4月17日 申请日期2012年11月26日 优先权日2012年11月26日
发明者平原 申请人:浪潮电子信息产业股份有限公司