专利名称：一种基于以太网的集群式多级存储管理系统及方法
技术领域：
本发明涉及的是一种存储数据的系统及方法，特别涉及的是一种基于以太网的集群式多级存储管理系统及方法
背景技术：
所谓数据的多级存储，是指数据客体存放在不同级别的存储设备(磁盘、磁盘阵列、光盘库、磁带库等)中，通过多级存储管理软件实现数据客体在存储设备之间的自动迁移。数据迁移的规则是可以人为控制的，通常是根据数据的访问频率、保留时间、容量、性能要求等因素来确定的最佳存储策略。在多级数据存储结构中，磁带库等成本较低、速度慢的存储资源用来存放访问频率较低的信息，而磁盘或磁盘阵列等成本高、速度快的设备，用来存储经常访问的重要信息。
数据从产生到存储、利用、归档，最后超过存储期限被删除，数据被读取的频率会逐渐下降，数据存储的位置也应该随之变化，以提高存储设备的使用率，降低存储成本。以SAN(存储区域网)为核心的数据多级存储管理(HierarchicalStorage Management，HSM)模式应用越来越普及，而在实际应用过程事中，用户通过以太网访问存储在SAN中的数据，特别是在多并发状态下访问近线、离线存储区中的数据时，由于管理服务器(负责实现数据在在线、近线与离线存储区间迁移和提供数据交互访问服务)只有一台，尽管其能控制多台磁带驱动器，但在海量数据的迁移与访问时，将会造成服务器负载的双重压力，出现数据迁移速度及数据访问性能瓶颈，严重时可能出现系统瘫痪，不能发挥SAN的优势，影响应用系统整体性能。
用户在使用HSM相关软件产品进行存储管理时，存在不可弥补的缺陷，主要表现在以下方面 首先HSM相关软件安装在一台服务器上，负责整个存储系统的管理，并将数据共享给用户。因系统只能运行在一台服务器上不支持服务器集群技术，任务处理能力有限，可扩展性不强，若出现大量的并发数据访问任务时，系统将出现I/O瓶颈，严重时导致单点故障； 其次一个好的HSM软件，数据迁移功能的设计尤为重要。HSM相关软件安装在一台服务器上，负责整个存储系统的管理，并按用户既定的数据迁移规则，实现数据在各级存储区间的自动迁移。一般地，把在线存储区中的数据迁移至近线、离线存储区时，数据迁移可利用系统空闲时段进行集中处理，但发生多并发访问近线、离线存储区中的数据，特别是大数据量时，由于一台服务器数据迁移速度及管理磁带驱动器能力有限，势必出现迁移任务排队现象，形成数据迁移瓶颈，严重时出现机器崩溃，最终导致业务处理系统等待、闲置； 再次HSM相关软件在实现数据迁移时是以单个文件为单位，在读写小而多的文件时，会因磁带驱动器读写速度缓慢影响数据迁移速度； 最后由于HSM相关软件产品的数据存储、迁移的控制信号不能与数据的实际传输通路相分离，部分数据仍然需要通过以太网来传送，因此，数据迁移策略不能和磁盘阵列SAN共享技术并存； 为克服上述的技术缺陷，本发明创作人经过长时间的研究和开发终于获得本发明的产生。
发明内容
本发明的目的在于，提供一种基于以太网的集群式多级存储管理系统及方法，用以克服上述的技术缺陷。
为实现上述目的，本发明采用的技术方案在于，提供一种基于以太网的集群式多级存储管理系统，其包括客户端、存储单元，控制调度单元，所述的存储单元包括在线存储区、近线存储区以及离线存储区，其中，所述的控制调度单元包括至少一网络文件系统服务器、至少一数据迁移器以及一多级存储管理数据服务器，通过以太网连接并相互传输命令； 所述的网络文件系统服务器通过以太网与所述的客户端相互连接，根据客户端的访问请求提供相关数据信息； 所述数据迁移器接收迁移命令控制存储单元中的数据从原始存储位置迁移到目标位置； 所述多级存储管理数据服务器接收所述网络文件系统服务器的访问指令，控制所述数据迁移器进行对存储单元数据的迁移操作； 所述的在线存储区、近线存储区以及离线存储区通过存储区域网相互连接进行数据传输，所述的网络文件系统服务器、数据迁移器以及多级存储管理数据服务器也通过所述的存储区域网实现对存储单元的控制； 较佳的，所述的在线存储区为至少一磁盘阵列构成； 较佳的，所述的近线存储区为磁带库或光盘库； 较佳的，所述的离线存储区为离线磁带架或光盘架； 较佳的，还包括一作为缓冲池的低速磁盘阵列设置与所述在线存储区与近线存储区之间； 其次提供一种基于以太网的集群式多级存储管理方法，其是通过上述基于以太网的集群式多级存储管理系统实现的，其包括的步骤为 步骤a客户端向网络文件系统服务器集群发送访问指令； 步骤b所述的网络文件系统服务器集群判断访问命令的类型，是浏览命令则执行下述步骤c；若是拷贝、读写操作、移动文件命令，则执行下述步骤d； 步骤c获取在线存储区、近线存储区和离线存储区中的所有数据文件列表传输给客户端，执行下述步骤i； 步骤d网络文件系统服务器集群判断客户端所需文件是否存储于在线存储区，若是执行下述步骤h，若不在执行下述步骤e； 步骤e所述的网络文件系统服务器集群向多级存储管理数据服务器发出数据请求指令； 步骤f所述的多级存储管理数据服务器向所述的数据迁移器集群下达数据迁移指令； 步骤g磁带库管理与控制模块自动完成数据从近线或离线存储区迁移至在线存储区的迁移任务； 步骤h所述网络文件系统服务器集群将数据从近线存储区取出传输给客户端； 步骤i操作结束； 较佳的，所述的网络文件系统服务器集群用多台主机分别处理多用户在同一时刻提交的多个数据访问请求； 较佳的，所述的网络文件系统服务器集群配置负载均衡设备实现数据访问任务在网络文件系统服务器之间的任务分配； 较佳的，上述步骤c包括的步骤为 步骤c1网络文件系统服务器集群读取在线存储区中的文件列表； 步骤c2调用多级存储管理数据服务器以获取存储在近线存储区和离线存储区的所有文件信息； 步骤c3网络文件系统服务器集群将上述两份文件列表传输至客户端； 较佳的，所述的网络文件系统服务器集群和数据迁移器集群安装有磁盘共享软件。
本发明的优点在于1、高性能的数据访问，系统可高效处理多并发数据访问任务和数据迁移任务； 2、高可用性，系统拥有较强的容错能力，避免出现单点故障； 3、高可扩展性，系统可根据用户实际应用环境进行灵活配置； 4、面向对象的存储方法，支持用户定义存储对象； 5、可配合SAN磁盘共享软件，充分发挥SAN系统结构的性能。
图1为本发明基于以太网的集群式多级存储管理系统的结构图； 图2为本发明基于以太网的集群式多级存储管理方法流程图； 图3为本发明基于以太网的集群式多级存储管理浏览命令的过程流程图。
具体实施例方式 以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。
请参阅图1所示，其为本发明基于以太网的集群式多级存储管理系统的结构图；其包括客户端1、存储单元，控制调度单元，所述的存储单元包括在线存储区31、近线存储区32以及离线存储区33，所述的控制调度单元包括至少一网络文件系统服务器(NFS)组成的网络文件系统服务器集群51、至少一数据迁移器组成的数据迁移器集群52以及一多级存储管理数据服务器53，通过以太网2连接并相互传输命令； 所述的在线存储区31一般由至少一高速的光纤磁盘阵列构成； 所述的近线存储区32一般由磁带库或光盘库构成。在本系统中主要指磁带库，采用磁带存储近线数据。在本系统设计结构中，允许用户向近线存储区32中加入一定容量的低速磁盘阵列(如SATA转FC接口盘阵)作为磁带库的缓存池，在迁移数据时，首先实现在线存储区与低速磁盘阵列间的数据迁移，若缓存池中无用户所需数据，则进行在线存储区31与磁带库间的数据迁移； 所述的离线存储区33一般由离线磁带架或光盘架构成，在本系统中主要指离线磁带架，采用离线磁带存储离线数据； 所述的NFS服务器集群51是基于Unix平台的多台服务器，其根据客户端1的访问请求提供相关数据信息，向客户端1提供数据访问服务，客户端1只需利用重新定义的NFS协议通过NFS服务器集群51访问存储区域网4(SAN)中存储的所有数据；NFS服务器集群51一端通过以太网2与客户端1相连，一端通过光纤与各级存储设备相连。NFS服务器集群51中可安装磁盘共享软件，以便更好的发挥存储区域网4(SAN)体系架构的存储优势； 所述数据迁移器集群52是基于Linux或Unix平台的多台服务器，接收迁移命令控制存储单元中的数据从原始存储位置迁移到目标位置，通过以太网2接收HSM服务器53的控制指令，通过存储区域网4(SAN)实现数据在各级存储设备间的迁移。数据迁移服务器集群52由HSM元数据服务器53统一管理，实现迁移任务在多台主机间的协调与调度。数据迁移服务器集群52中可安装磁盘共享软件，以便更好的发挥存储区域网4(SAN)体系架构的存储优势； 所述多级存储管理数据服务器53是基于Linux或Unix平台实现的，其接收所述网络文件系统服务器集群51的访问指令，控制所述数据迁移器集群52进行对存储单元数据的迁移操作，通过以太网2传接收来自应用层(NFS服务器集群51)的数据访问指令，并下达迁移数据指令给“数据迁移器”，通过传输磁带库机械手控制命令等元数据信息。其中近线存储设备管理和控制模块也可单独安装在一台服务器上； 所述的在线存储区31、近线存储区32以及离线存储区33通过存储区域网4(SAN)相互连接进行数据传输，所述的网络文件系统服务器集群51、数据迁移器集群52以及多级存储管理数据服务器53也通过所述的存储区域网4(SAN)实现对存储单元的控制； 在有多并发任务访问数据时，由于NFS服务器集群51采用多台主机分别处理多用户在同一时刻提交的多个数据访问请求，因此可有效的缓解因数据访问性能的下降所造成的数据堵塞、系统崩溃等现象的产生。另外，用户可配置负载均衡设备实现数据访问任务在NFS服务器集群51间的任务分配。
请参阅图2所示，其为本发明基于以太网的集群式多级存储管理方法流程图；其包括的流程步骤为 步骤a客户端向网络文件系统服务器集群51发送访问指令； 步骤b所述的网络文件系统服务器集群51判断访问命令的类型，是浏览命令则执行下述步骤c；若是拷贝、读写操作、移动文件命令，则执行下述步骤d； 步骤c获取在线存储区31、近线存储区32和离线存储区33中的所有数据文件列表传输给客户端，执行下述步骤i； 步骤d网络文件系统服务器集群51判断客户端所需文件是否存储于在线存储区31，若是执行下述步骤h，若不在执行下述步骤e； 步骤e所述的网络文件系统服务器集群51向多级存储管理数据服务器53发出数据请求指令； 步骤f所述的多级存储管理数据服务器53向所述的数据迁移器集群52下达数据迁移指令； 步骤g磁带库管理与控制模块自动完成数据从近线存储区32或离线存储区33迁移至在线存储区31的迁移任务； 步骤h所述网络文件系统服务器集群51将数据从近线存储区31取出传输给客户端； 步骤i操作结束； 用户通过以太网2访问存储在存储区域网4(SAN)中的数据时，通过NFS服务器集群51加载文件列表，包括在线存储区31、近线存储区32和离线存储区33中的所有数据。用户向NFS服务器集群51提交文件访问指令后，若其存储在在线存储区52中，则NFS服务器集群51直接将此数据提供给用户；若其未存储在线存储区31中，则NFS服务器集群51向HSM元数据服务器53发送数据请求指令，HSM元数据服务器53收到后向数据迁移服务器集群52下达该数据的迁移指令，并协同磁带库管理与控制模块自动完成数据从近线存储区32或离线存储区33迁移至在线存储区31的迁移任务，数据迁移器集群52在执行数据迁移任务时，是根据用户已定义好的数据迁移规则迁移数据，并在HSM元数据服务器53控制下协调工作。整个数据存储区对用户是透明的，用户无需关心文件的存储位置。需要指出的是，数据访问控制命令是通过重新定义的NFS协议传输给NFS服务器集群51。
请参阅图3所示，其为本发明基于以太网的集群式多级存储管理浏览命令的过程流程图，其包括的步骤为 步骤c1网络文件系统服务器集群51读取在线存储区31中的文件列表； 步骤c2调用多级存储管理数据服务器53以获取存储在近线存储区32和离线存储区33的所有文件信息； 步骤c3网络文件系统服务器集群51将上述两份文件列表传输至客户端1； 客户机通过重新定义的NFS协议向NFS服务器集群51发送数据访问请求，NFS服务器集群51接收到指令后，判断其任务类型是否需要进行数据迁移操作，若客户端1只是加载文件列表、浏览文件信息，则NFS服务器集群51直接将在线存储区31中的文件列表结果信息提供给客户端1，同时调用HSM元数据服务器53，以获取存储在磁带中的所有文件信息并将文件列表结果提交给客户端1，文件列表结果对用户是透明的，无需关心文件的具体存储位置；若客户端1提交的指令为拷贝、读写操作、移动文件等其他任务，则系统调用其他任务处理流程。
以上所述仅为本发明的较佳实施例，对本发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在本发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。
权利要求
1、一种基于以太网的集群式多级存储管理系统，其包括客户端、存储单元，控制调度单元，所述的存储单元包括在线存储区、近线存储区以及离线存储区，其特征在于，所述的控制调度单元包括至少一网络文件系统服务器、至少一数据迁移器以及一多级存储管理数据服务器，通过以太网连接并相互传输命令；
所述的网络文件系统服务器通过以太网与所述的客户端相互连接，根据客户端的访问请求提供相关数据信息；
所述数据迁移器接收迁移命令控制存储单元中的数据从原始存储位置迁移到目标位置；
所述多级存储管理数据服务器接收所述网络文件系统服务器的访问指令，控制所述数据迁移器进行对存储单元数据的迁移操作；
所述的在线存储区、近线存储区以及离线存储区通过存储区域网相互连接进行数据传输，所述的网络文件系统服务器、数据迁移器以及多级存储管理数据服务器也通过所述的存储区域网实现对存储单元的控制。
2、根据权利要求1所述的基于以太网的集群式多级存储管理系统，其特征在于，所述的在线存储区为至少一磁盘阵列构成。
3、根据权利要求1所述的基于以太网的集群式多级存储管理系统，其特征在于，所述的近线存储区为磁带库或光盘库。
4、根据权利要求1所述的基于以太网的集群式多级存储管理系统，其特征在于，所述的离线存储区为离线磁带架或光盘架。
5、根据权利要求1所述的基于以太网的集群式多级存储管理系统，其特征在于，还包括一作为缓冲池的低速磁盘阵列设置与所述在线存储区与近线存储区之间。
6、一种基于以太网的集群式多级存储管理方法，其是通过上述基于以太网的集群式多级存储管理系统实现的，其特征在于，其包括的步骤为
步骤a客户端向网络文件系统服务器集群发送访问指令；
步骤b所述的网络文件系统服务器集群判断访问命令的类型，是浏览命令则执行下述步骤c；若是拷贝、读写操作、移动文件命令，则执行下述步骤d；
步骤c获取在线存储区、近线存储区和离线存储区中的所有数据文件列表传输给客户端，执行下述步骤i；
步骤d网络文件系统服务器集群判断客户端所需文件是否存储于在线存储区，若是执行下述步骤h，若不在执行下述步骤e；
步骤e所述的网络文件系统服务器集群向多级存储管理数据服务器发出数据请求指令；
步骤f所述的多级存储管理数据服务器向所述的数据迁移器集群下达数据迁移指令；
步骤g磁带库管理与控制模块自动完成数据从近线或离线存储区迁移至在线存储区的迁移任务；
步骤h所述网络文件系统服务器集群将数据从近线存储区取出传输给客户端；
步骤i操作结束。
7、根据权利要求6所述的基于以太网的集群式多级存储管理方法，其特征在于，所述的网络文件系统服务器集群用多台主机分别处理多用户在同一时刻提交的多个数据访问请求。
8、根据权利要求6所述的基于以太网的集群式多级存储管理方法，其特征在于，所述的网络文件系统服务器集群配置负载均衡设备实现数据访问任务在网络文件系统服务器之间的任务分配。
9、根据权利要求6所述的基于以太网的集群式多级存储管理方法，其特征在于，上述步骤c包括的步骤为
步骤c1网络文件系统服务器集群读取在线存储区中的文件列表；
步骤c2调用多级存储管理数据服务器以获取存储在近线存储区和离线存储区的所有文件信息；
步骤c3网络文件系统服务器集群将上述两份文件列表传输至客户端。
10、根据权利要求6所述的基于以太网的集群式多级存储管理方法，其特征在于，所述的网络文件系统服务器集群和数据迁移器集群安装有磁盘共享软件。
全文摘要
本发明为一种基于以太网的集群式多级存储管理系统及方法，所述的系统包括客户端、存储单元，控制调度单元，所述的存储单元包括在线存储区、近线存储区以及离线存储区，其特征在于，所述的控制调度单元包括至少一网络文件系统服务器、至少一数据迁移器以及一多级存储管理数据服务器，通过以太网连接并相互传输命令，还包括通过上述系统实现的基于以太网的集群式多级存储管理方法，其完成浏览命令拷贝、读写操作、移动文件命令；从而实现高性能的数据访问，系统可高效处理多并发数据访问任务和数据迁移任务的目的。
文档编号G06F12/08GK101299695SQ200710098948
公开日2008年11月5日 申请日期2007年4月30日 优先权日2007年4月30日
发明者疆 黄 申请人:北京亚细亚智业科技有限公司