一种lustre文件系统的扩容方法及装置与流程

文档序号:13760493阅读:714来源:国知局
本发明涉及计算机
技术领域
,特别涉及一种lustre文件系统的扩容方法及装置。
背景技术
:Lustre文件系统是由美国能源部及intel公司开发的一种linux文件系统,具备高并发、读写快等优点,全世界前500名超级计算机有90%采用此文件系统。Lustre文件系统是面向集群的存储架构,可以提供海量容量存储,高并发、高读写方案。但是,lustre文件系统使用一段时间后,容量及性能通常无法满足计算需求。技术实现要素:本发明提供了一种lustre文件系统的扩容方法及装置,能够对lustre文件系统的容量进行扩充。为了达到上述目的,本发明是通过如下技术方案实现的:一方面,本发明提供了一种lustre文件系统的扩容方法,确定待扩容的lustre文件系统,且所述lustre文件系统中包括至少一个客户端,还包括:S1:利用至少一个存储服务器创建RAID(RedundantArraysofIndependentDisks,磁盘阵列)存储池;S2:将创建的所述RAID存储池加入到所述lustre文件系统中,得到扩容后的lustre文件系统;S3:将每一个所述客户端挂载所述扩容后的lustre文件系统。进一步地,所述lustre文件系统中还包括至少一个OSS(ObjectStorageServers,对象存储服务器);所述将创建的所述RAID存储池加入到所述lustre文件系统中,包括:将创建的所述RAID存储池添加至所述OSS的队列中。进一步地,在所述S3之后还包括:检查数据一致性情况,以及利用预先确定的测试工具,检测所述扩容后的lustre文件系统对应的容量增加情况和带宽增加情况。进一步地,在所述S1之前还包括:将所述lustre文件系统设置为停止状态,并在每一个所述客户端上执行umount命令以卸载文件系统;确定至少一个存储服务器,并在每一个所述存储服务器上安装Linux操作系统、升级lustre内核、编译lustreserver端;设置所述lustre文件系统的升级方案;所述S1包括:根据所述升级方案,利用所述至少一个存储服务器创建RAID存储池。进一步地,所述设置所述lustre文件系统的升级方案,包括:确定每一个所述存储服务器的作用,以及规划RAID阵列模式及空间大小。另一方面,本发明提供了一种lustre文件系统的扩容装置,包括:确定单元,用于确定待扩容的lustre文件系统,且所述lustre文件系统中包括至少一个客户端;创建单元,用于利用至少一个存储服务器创建RAID存储池;处理单元,用于将创建的所述RAID存储池加入到所述lustre文件系统中,得到扩容后的lustre文件系统;挂载单元,用于将每一个所述客户端挂载所述扩容后的lustre文件系统。进一步地,所述lustre文件系统中还包括至少一个OSS;所述处理单元,具体用于将创建的所述RAID存储池添加至所述OSS的队列中。进一步地,该lustre文件系统的扩容装置还包括:检测单元,用于检查数据一致性情况,以及利用预先确定的测试工具,检测所述扩容后的lustre文件系统对应的容量增加情况和带宽增加情况。进一步地,该lustre文件系统的扩容装置还包括:设置单元,用于将所述lustre文件系统设置为停止状态,并在每一个所述客户端上执行umount命令以卸载文件系统;确定至少一个存储服务器,并在每一个所述存储服务器上安装Linux操作系统、升级lustre内核、编译lustreserver端;设置所述lustre文件系统的升级方案;所述创建单元,具体用于根据所述升级方案,利用所述至少一个存储服务器创建RAID存储池。进一步地,所述设置单元,具体用于通过确定每一个所述存储服务器的作用,以及规划RAID阵列模式及空间大小,以设置所述lustre文件系统的升级方案。本发明提供了一种lustre文件系统的扩容方法及装置,确定待扩容的lustre文件系统,且该lustre文件系统中包括至少一个客户端;利用至少一个存储服务器创建RAID存储池;将创建的RAID存储池加入到所述lustre文件系统中,得到扩容后的lustre文件系统;将每一个客户端挂载扩容后的lustre文件系统。因此,本发明能够对lustre文件系统的容量进行扩充。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本发明一实施例提供的一种lustre文件系统的扩容方法的流程图;图2是本发明一实施例提供的另一种lustre文件系统的扩容方法的流程图;图3是本发明一实施例提供的一种lustre文件系统的扩容装置的示意图;图4是本发明一实施例提供的另一种lustre文件系统的扩容装置的示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。如图1所示,本发明实施例提供了一种lustre文件系统的扩容方法,可以包括以下步骤:步骤101:确定待扩容的lustre文件系统,且所述lustre文件系统中包括至少一个客户端。步骤102:利用至少一个存储服务器创建RAID存储池。步骤103:将创建的所述RAID存储池加入到所述lustre文件系统中,得到扩容后的lustre文件系统。步骤104:将每一个所述客户端挂载所述扩容后的lustre文件系统。本发明实施例提供了一种lustre文件系统的扩容方法,确定待扩容的lustre文件系统,且该lustre文件系统中包括至少一个客户端;利用至少一个存储服务器创建RAID存储池;将创建的RAID存储池加入到所述lustre文件系统中,得到扩容后的lustre文件系统;将每一个客户端挂载扩容后的lustre文件系统。因此,本发明实施例能够对lustre文件系统的容量进行扩充。在本发明的一个实施例中,为了说明一种lustre文件系统的扩容方式,所以,所述lustre文件系统中还包括至少一个OSS;所述将创建的所述RAID存储池加入到所述lustre文件系统中,包括:将创建的所述RAID存储池添加至所述OSS的队列中。详细地,将创建的RAID存储池添加至OSS队列中时,OSS队列中的OSS的个数相应增加。在本发明的一个实施例中,为了能够明确lustre文件系统的扩容操作是否达标,所以,在步骤104之后,进一步包括:检查数据一致性情况,以及利用预先确定的测试工具,检测所述扩容后的lustre文件系统对应的容量增加情况和带宽增加情况。详细地,在将RAID存储池加入到原有lustre文件系统资源池之后,可以检测到该原有lustre文件系统的容量和带宽均相应增加。在本发明的一个实施例中,为了说明一种RAID存储池的创建方式,所以,在步骤102之前,进一步包括:将所述lustre文件系统设置为停止状态,并在每一个所述客户端上执行umount命令以卸载文件系统;确定至少一个存储服务器,并在每一个所述存储服务器上安装Linux操作系统、升级lustre内核、编译lustreserver端;设置所述lustre文件系统的升级方案;所述步骤102包括:根据所述升级方案,利用所述至少一个存储服务器创建RAID存储池。详细地,可以预先根据实际需求,规划升级方案,并做好扩容前的准备工作,以便于可以根据规划好的升级方案以创建RAID存储池,从而可以利用创建的RAID存储池以对lustre文件系统进行扩容。详细地,在本发明的一个实施例中,所述设置所述lustre文件系统的升级方案,包括:确定每一个所述存储服务器的作用,以及规划RAID阵列模式及空间大小。如图2所示,本发明一个实施例提供了另一种lustre文件系统的扩容方法,具体包括以下步骤:步骤201:确定待扩容的lustre文件系统,且该lustre文件系统中包括至少一个客户端和至少一个OSS。详细地,一个lustre文件系统可以提供海量容量存储,及高并发、高读写方案,但其在使用一段时间后,通常会出现容量及性能无法满足计算需求的情况,为缓解或消除这一情况,可以对该lustre文件系统进行扩容。详细地,一个lustre文件系统通常可以包括客户端、OSS和MDS(MetadataServer,元数据服务器)三部分。其中,MDS服务于一个MDT(MetadataTarget,元数据目标),一个OSS服务于至少一个OST(ObjectStorageTarget,对象存储目标),客户端通过标准的POSIX接口(PortableOperatingSystemInterface,可移植操作系统接口)向用户提供对文件系统的访问。MDS中可以存储lustre文件系统的基本信息,负责管理整个系统的命名空间、目录结构、用户权限,并负责维护文件系统数据的一致性等。客户端可以通过MDS读取保存到MDT上的元数据。当客户端读写文件时,从MDS得到文件信息,从OSS中得到数据。详细地,客户端可以通过LNET协议和MDS/OSS通信。步骤202:将lustre文件系统设置为停止状态,并在每一个客户端上执行umount命令以卸载文件系统。详细地,在执行lustre文件系统扩容操作之前,可以停掉现有的lustre文件系统,并在所有客户端umount文件系统。详细地,Linux系统下的umount命令用于卸除目前挂在Linux中的文件系统。其中,umount命令可以为:umount[-ahnrvV][-t<文件系统类型>][文件系统]。步骤203:确定至少一个存储服务器,并在每一个存储服务器上安装Linux操作系统、升级lustre内核、编译lustreserver端。在本发明实施例中,可以通过利用存储服务器创建RAID存储池,及将创建的RAID存储池加入到原有lustre文件系统的实现方式,以对该原有lustre文件系统进行扩容。因此,可以首先确定一定数量的存储服务器,并对确定的存储服务器进行相应预处理。详细地,存储服务器的数量可以由工作人员根据实际需求进行确定。步骤204:通过设置lustre文件系统的升级方案,以确定每一个存储服务器的作用,以及规划RAID阵列模式及空间大小。详细地,在创建RAID存储池之前,可以预先规划lustre文件系统升级方案,并根据该升级方案以创建RAID存储池。步骤205:根据设置的升级方案,利用确定的至少一个存储服务器创建RAID存储池。步骤206:将创建的RAID存储池添加至lustre文件系统的OSS的队列中,得到扩容后的lustre文件系统。将RAID存储池加入原有lustre文件系统资源池中后,可以对该lustre文件系统进行容量扩充。例如,原有lustre文件系统中可以有2个OSS,扩容后的lustre文件系统中可以有6个OSS。详细地,可以直接将RAID存储池添加至lustre文件系统的OSS的队列中以实现容量扩充。在本发明一个实施例中,新增存储服务器加入原有lustre文件系统的实现代码可以为:mkfs.lustre-ost--fsname=lustre--mgsnode=192.168.1.201@o2ib--index=10/dev/mapper/ost1。步骤207:将每一个客户端挂载扩容后的lustre文件系统。详细地,客户端可以采用lustre自带的client端,挂载扩容后的lustre文件系统。步骤208:检查数据一致性情况,以及利用预先确定的测试工具,检测扩容后的lustre文件系统对应的容量增加情况和带宽增加情况。详细地,若lustre文件系统扩容成功,检测结果可以为数据具有一致性、lustre文件系统的容量相应增加、带宽相应增加。在本发明实施例中,将多个存储服务器硬盘创建RAID存储池,并加入到原有lustre文件系统中,可以实现原有lustre文件系统的扩容,且这一扩容操作可以不对原有数据造成任何影响。通过将lustre文件系统进行扩容,可以实现:1)写入数据高并发,有效提高多节点读写数据至文件系统的并发数量;2)有效增加带宽,以达到高带宽;3)海量存储,可以将多个新增存储服务器的存储空间进行整合;4)数据的统一管理;5)全局统一命名空间。如图3所示,本发明一个实施例提供了一种lustre文件系统的扩容装置,包括:确定单元301,用于确定待扩容的lustre文件系统,且所述lustre文件系统中包括至少一个客户端;创建单元302,用于利用至少一个存储服务器创建RAID存储池;处理单元303,用于将创建的所述RAID存储池加入到所述lustre文件系统中,得到扩容后的lustre文件系统;挂载单元304,用于将每一个所述客户端挂载所述扩容后的lustre文件系统。在本发明一个实施例中,所述lustre文件系统中还包括至少一个OSS;所述处理单元303,具体用于将创建的所述RAID存储池添加至所述OSS的队列中。在本发明一个实施例中,请参考图4,该lustre文件系统的扩容装置还可以包括:检测单元401,用于检查数据一致性情况,以及利用预先确定的测试工具,检测所述扩容后的lustre文件系统对应的容量增加情况和带宽增加情况。在本发明一个实施例中,请参考图4,该lustre文件系统的扩容装置还可以包括:设置单元402,用于将所述lustre文件系统设置为停止状态,并在每一个所述客户端上执行umount命令以卸载文件系统;确定至少一个存储服务器,并在每一个所述存储服务器上安装Linux操作系统、升级lustre内核、编译lustreserver端;设置所述lustre文件系统的升级方案;所述创建单元302,具体用于根据所述升级方案,利用所述至少一个存储服务器创建RAID存储池。在本发明一个实施例中,所述设置单元402,具体用于通过确定每一个所述存储服务器的作用,以及规划RAID阵列模式及空间大小,以设置所述lustre文件系统的升级方案。上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。综上所述,本发明的各个实施例至少具有如下有益效果:1、本发明实施例中,确定待扩容的lustre文件系统,且该lustre文件系统中包括至少一个客户端;利用至少一个存储服务器创建RAID存储池;将创建的RAID存储池加入到所述lustre文件系统中,得到扩容后的lustre文件系统;将每一个客户端挂载扩容后的lustre文件系统。因此,本发明实施例能够对lustre文件系统的容量进行扩充。2、本发明实施例中,将多个存储服务器硬盘创建RAID存储池,并加入到原有lustre文件系统中,可以实现原有lustre文件系统的扩容,且这一扩容操作可以不对原有数据造成任何影响。通过将lustre文件系统进行扩容,可以实现:1)写入数据高并发,有效提高多节点读写数据至文件系统的并发数量;2)有效增加带宽,以达到高带宽;3)海量存储,可以将多个新增存储服务器的存储空间进行整合;4)数据的统一管理;5)全局统一命名空间。需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个〃·····”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1