一种高效、低功耗的离线存储系统及方法
【技术领域】
[0001]本发明涉及计算机应用技术领域，适用于文件系统支持元数据集群的情况，能够在元数据集群范围内平衡负载，提高元数据集群处理数据的效率，具体地说，特别涉及一种高效、低功耗的离线存储系统及方法。
【背景技术】
[0002]随着数据量的日益增大，需要归档的数据也越来越多，某些应用场景下，每天可能会产生数TB的数据，而需要归档的数据也在TB级别。而目前的带库归档系统性能偏低，仅在MB/s级别，每天能够归档的数据量远远不能满足需求。
[0003]使用磁盘存储系统，尤其是利用Lustre集群文件系统，能够实现GB级的数据带宽和数百PB的系统容量，将磁盘介质的集群存储系统作为离线存储系统能够极大的提高归档效率。
[0004]Lustre集群文件系统是美国能源部开发的一种Linux集群并行文件系统。该系统已推出1.0的发布版本，是第一个基于对象存储设备的，开源的并行文件系统。可以说，Lustre集群文件系统是目前开源社区中最成熟、应用最广泛的集群文件系统，通过聚合多个存储设备，利用Infiniband、万兆等高速网络技术，能够实现很高的聚合带宽，并具有很高的扩展性，能够支持EB级的系统容量扩展。
[0005]Lustre集群文件系统由客户端、两个数据管理节点设备池通过高速的以太网或QffS Net连接构成。数据管理节点设备包括MDS (Metadata Server)和MDT (MetadataTarget)。其中，MDS存储了文件系统的基本信息，负责管理整个系统的命名空间，维护整个文件系统的目录结构、用户权限，并负责维护文件系统数据的一致性；MDT存储了 MDS上元数据的文件名、目录、权限和文件布局。Lustre集群文件系统可以支持1000个客户端节点的I/O请求，两个MDS采用共享存储设备的Active-standby方式的容错机制，存储设备跟普通的、基于块的集成驱动器电子装置IDE存储设备不同，是基于对象的智能存储设备。
[0006]Lustre集群文件系统的架构中，元数据处理节点与数据处理节点相互独立，元数据节点用于文件系统的命名空间管理，负责处理、保存和维护文件的元数据信息，例如文件名、文件属性等；数据节点负责实际数据的存储。实际的生产中，lustre集群文件系统的架构的数据处理节点OSS和数据存储节点OST通常是两个独立的设备，数据存储节点OST利用RAID等技术保证数据的安全性，例如磁盘阵列，而数据处理节点OSS通过高性能的网络提供高带宽。通常情况下一个数据处理节点OSS能够管理32个数据存储节点0ST。
[0007]Lustre集群文件系统的文件元数据中包括一个重要的属性:文件条带布局，利用该属性用户可以指定或者查询到文件数据的实际存放位置，也就是文件数据所在的数据节点 OSTo
[0008]但是，相对于带库，磁盘介质在power on情况下的使用寿命要短很多，仅在1400天左右。在超出使用寿命后，磁盘的故障率会明显增加，从而导致数据的丢失，严重影响数据安全和设备正常使用。
[0009]为了解决这一问题，亟待提出一种新的基于Lustre集群存储系统特征的方法。以期在实现高效归档同时，实现低功耗，并极大延长磁盘使用寿命。
【发明内容】
[0010]本发明为了弥补现有技术的缺陷，提供了一种能够延长磁盘寿命的高效、低功耗的离线存储系统及方法。
[0011]本发明是通过如下技术方案实现的:
一种高效、低功耗的离线存储系统，采用Lustre集群文件系统，其特征在于:所述Lustre集群文件系统采用数据处理节点OSS与数据存储节点OST分离的架构，所述数据处理节点OSS与数据存储节点OST以主备模式共享后端存储空间，每对数据处理节点OSS以双活模式共享一部分数据存储节点0ST，以实现系统的高可用HA ;采用数据管理节点监控系统中数据存储节点OST的容量占用率，并对数据存储节点OST进行上电和下电操作，所述数据管理节点设备包括MDS和MDT。
[0012]本发明高效、低功耗的离线存储方法，其特征在于:所述离线存储系统使用时，每对数据处理节点OSS只有2个数据存储节点OST上电，其他磁盘阵列下电，数据管理节点处于常上电状态；利用lustre集群文件系统的条带设置指令，将归档数据定位到上电的数据存储节点OST中；数据管理节点监控到正在使用的数据存储节点OST系统容量使用完时，对下一组数据存储节点OST进行上电操作，并将归档操作利用lustre集群文件系统的条带设置指令定位到新上电的数据存储节点OST上，然后对容量使用完的存储节点OST进行下电操作。
[0013]所述离线存储系统使用到最后的两组数据存储节点OST时，数据恢复流程可以通过lustre集群文件系统的条带获取指令由数据管理节点获取数据所在的数据存储节点OSTo
[0014]前端应用需要恢复位于数据存储节点OST上的数据时，所述数据管理节点控制数据存储节点OST所在的磁盘阵列进行上电操作；数据处理节点OSS完全识别数据存储节点OST后，所述数据管理节点会通知前端应用进行数据的读取操作，数据读取完成后，若不再有针对数据存储节点OST上的数据访问，所述数据管理节点会再次将该数据存储节点OST所在的磁盘阵列进行下电操作。
[0015]本发明的有益效果是:该高效、低功耗的离线存储系统及方法，采用Lustre集群文件系统，不仅归档的性能方面要远优于磁带库做离线存储的方法，而且还可以定位文件数据的实际存放位置；同时，后端的存储系统并不是全部上电，而是仅使用部分上电，一方面降低了离线存储系统的功耗，另一方面延长了磁盘的使用寿命。
【附图说明】
[0016]附图1为发明离线存储系统部署架构示意图。
[0017]附图2为发明离线存储系统使用架构示意图。
[0018]附图3为发明离线存储系统数据恢复流程示意图。
[0019]图中，实线框表示数据存储节点OST上电，虚线框表示数据存储节点OST下电。
【具体实施方式】
[0020]下面结合附图对本发明进行详细的说明。
[0021]—种高效、低功耗的离线存储系统，采用Lustre集群文件系统，所述Lustre集群文件系统采用数据处理节点OSS与数据存储节点OST分离的架构，所述数据处理节点OSS与数据存储节点OST以主备模式共享后端存储空间，每对数据处理节点OSS以双活模式共享一部分数据存储节点0ST，以实现系统的高可用HA ;采用数据管理节点监控系统中数据存储节点OST的容量占用率，并对数据存储节点OST进行上电和下电操作，所述数据管理节点设备包括MDS和MDT。
[0022]根据系统容量配置数据节点数量，如附图2中所示，以4处理节点0SS1~0SS4为例，配置4*4个数据存储节点0ST，每两个数据存储节点OST位于一个磁盘阵列上，每个数据存储节点OST容量4T*8 (8+2)，共512ΤΒ。
[0023]如附图3所示，所述离线存储系统使用时，每对数据处理节点OSS只有2个数据存储节点OST上电，即一个磁盘阵列，可用容量为64ΤΒ，其他磁盘阵列下电，数据管理节点处于常上电状态；利用lustre集群文件系统的条带设置指令，将归档数据定位到上电的数据存储节点OST中；数据管理节点监控到正在使用的数据存储节点OST系统容量使用完时，对下一组数据存储节点OST进行上电操作，并将归档操作利用lustre集群文件系统的条带设置指令定位到新上电的数据存储节点OST上，然后对容量使用完的存储节点OST进行下电操作。
[0024]如附图3所示，所述离线存储系统使用到最后的两组数据存储节点OST时，数据恢复流程可以通过lustre集群文件系统的条带获取指令由数据管理节点获取数据所在的数据存储节点OST。
[0025]如附图3所示，前端应用需要恢复位于数据存储节点OST上的数据时，所述数据管理节点控制数据存储节点OST所在的磁盘阵列进行上电操作；数据处理节点OSS完全识别数据存储节点OST后，所述数据管理节点会通知前端应用进行数据的读取操作，数据读取完成后，若不再有针对数据存储节点OST上的数据访问，所述数据管理节点会再次将该数据存储节点OST所在的磁盘阵列进行下电操作。
【主权项】
1.一种高效、低功耗的离线存储系统，采用Lustre集群文件系统，其特征在于:所述Lustre集群文件系统采用数据处理节点OSS与数据存储节点OST分离的架构，所述数据处理节点OSS与数据存储节点OST以主备模式共享后端存储空间，每对数据处理节点OSS以双活模式共享一部分数据存储节点0ST，以实现系统的高可用HA ;采用数据管理节点监控系统中数据存储节点OST的容量占用率，并对数据存储节点OST进行上电和下电操作，所述数据管理节点设备包括MDS和MDT。
2.根据权利要求1所述的高效、低功耗的离线存储方法，其特征在于:所述离线存储系统使用时，每对数据处理节点OSS只有2个数据存储节点OST上电，其他磁盘阵列下电，数据管理节点处于常上电状态；利用lustre集群文件系统的条带设置指令，将归档数据定位到上电的数据存储节点OST中；数据管理节点监控到正在使用的数据存储节点OST系统容量使用完时，对下一组数据存储节点OST进行上电操作，并将归档操作利用lustre集群文件系统的条带设置指令定位到新上电的数据存储节点OST上，然后对容量使用完的存储节点OST进行下电操作。
3.根据权利要求2所述的高效、低功耗的离线存储方法，其特征在于:所述离线存储系统使用到最后的两组数据存储节点OST时，数据恢复流程可以通过lustre集群文件系统的条带获取指令由数据管理节点获取数据所在的数据存储节点0ST。
4.根据权利要求2所述的高效、低功耗的离线存储方法，其特征在于:前端应用需要恢复位于数据存储节点OST上的数据时，所述数据管理节点控制数据存储节点OST所在的磁盘阵列进行上电操作；数据处理节点OSS完全识别数据存储节点OST后，所述数据管理节点会通知前端应用进行数据的读取操作，数据读取完成后，若不再有针对数据存储节点OST上的数据访问，所述数据管理节点会再次将该数据存储节点OST所在的磁盘阵列进行下电操作。
【专利摘要】本发明特别涉及一种高效、低功耗的离线存储系统及方法。该高效、低功耗的离线存储系统，采用数据处理节点OSS与数据存储节点OST分离的架构，两个元数据节点以主备模式共享后端存储空间，每对数据处理节点OSS以双活模式共享一部分数据存储节点OST；采用数据管理节点监控系统中数据存储节点OST的容量占用率，并对数据存储节点OST进行上电和下电操作。该高效、低功耗的离线存储系统及方法，采用Lustre集群文件系统，不仅归档的性能方面要远优于磁带库做离线存储的方法，而且还可以定位文件数据的实际存放位置；同时，后端的存储系统并不是全部上电，而是仅使用部分上电，一方面降低了离线存储系统的功耗，另一方面延长了磁盘的使用寿命。
【IPC分类】G06F17-30, G06F3-06, G06F12-08
【公开号】CN104598568
【申请号】CN201510013550
【发明人】张在贵, 姜伟丽, 郭鹏, 张立强
【申请人】浪潮电子信息产业股份有限公司
【公开日】2015年5月6日
【申请日】2015年1月12日