一种基于虚拟地址池的分布式文件系统数据卷部署方法
【专利摘要】本发明提供一种基于虚拟地址池的分布式文件系统数据卷部署方法，根据分布式文件系统中通过元数据节点、数据存储节点、客户端节点不同的节点角色构建成节点集群或子集群，在数据节点集群上采用基于虚拟IP地址池的方式部署数据存储卷，实现分布式文件系统数据存储卷的部署与数据节点的物理地址相分离，从而将数据存储卷的部署与数据节点集群的虚拟地址相结合；在分布式文件系统运行的节点上部署监控模块，实现对节点运行状态和负载实时监控；根据节点状态和负载情况，在数据节点集群内实时迁移任一节点所承载的虚拟IP以及挂载到虚拟地址之上的数据存储卷，同时也实现隔离物理节点故障，确保维护物理节点时不中断数据存储卷的数据服务。
【专利说明】一种基于虚拟地址池的分布式文件系统数据卷部署方法
【技术领域】
[0001]本发明涉及应用于云计算、云存储领域中的分布式文件系统领域，具体涉及一种基于虚拟地址池的分布式文件系统数据卷部署方法。
【背景技术】
[0002]随着云计算技术、云存储技术应用进一步发展，作为其应用核心的分布式文件系统得到快速应用和发展。由于云计算、云存储应用承载着可扩展、海量存储内容等特征上层业务，而现有的各种单机文件系统由于容量有限、不具有实时可扩展性、无法满足于云相关业务对存储的要求；因此具备动态高可扩展性、集群架构、支持高并发、大容量的分布式文件系统成为云计算业务后端存储设备的选择。
[0003]为满足云计算、云存储实际业务的性能需求，根据分布式文件系统设计架构三方分离的原则，需要将其构建在分布式集群节点之上。针对云计算环境中大规模的应用客户端IO访问，元数据模块需要支撑较高的并发访问请求，因而构建在高性能、大容量服务器集群之上；而作为云计算应用中数据存储载体的分布式文件系统的数据存储模块，其显著特点则是通过后端成千上万的数据存储设备提供实时、持续可用的数据存储空间，并支持分布式文件系统客户端模块的大容量、多并发读取和写入数据；如何有效管理数目繁多的数据存储卷、保证在数据节点发生故障时数据存储卷保持挂载状态且实时可用、并能够智能的根据数据节点负载情况表现出挂载灵活性、给分布式文件系统的管理者和维护者带来了挑战。
[0004]由于分布式文件系统需要提供海量的存储空间，其通常需要部署在庞大的数据节点集群之上。通过数据节点集群后端的存储设备构造分布式文件系统的海量存储空间，而在节点数量达到一定规模的数据节点集群中，节点故障造成数据存储卷无法访问成为频繁现象，通过将数据存储卷映射给所有数据节点的物理地址并引入高可用软件也只适用于有限数目的节点集群，对于由成千数百数据节点组成的集群以及由多个子集群组成的更大规模数据节点集群，则出现数据节点故障频繁、替换数据节点复杂、替换时间长以及不完全替换现象，造成产生无法访问数据存储卷或者访问频繁中断问题。这种情况下则需要对现有分布式文件系统的部署方法进行改进，实现一种高效处理分布式文件系统中数量繁多的数据节点和数据存储卷的管理工作。
【发明内容】
[0005]本发明的目的是提供一种基于虚拟地址池的分布式文件系统数据卷部署方法。
[0006]本发明的目的是按以下方式实现的，根据分布式文件系统中通过元数据节点、数据存储节点、客户端节点不同的节点角色构建成节点集群或子集群，在数据节点集群上采用基于虚拟IP地址池的方式部署数据存储卷，实现分布式文件系统数据存储卷的部署与数据节点的物理地址相分离，从而将数据存储卷的部署与数据节点集群的虚拟地址相结合；在分布式文件系统运行的节点上部署监控模块，实现对节点运行状态和负载实时监控；根据节点状态和负载情况，在数据节点集群内实时迁移任一节点所承载的虚拟IP以及挂载到虚拟地址之上的数据存储卷，同时也实现隔离物理节点故障，确保维护物理节点时不中断数据存储卷的数据服务，这在大规模部署分布式文件系统的环境中，数据节点集群中数据节点数目较多又进一步划分为数据节点子集群的环境更为有效，该系统架构包括:虚拟地址池管理模块(I)、节点状态和负载监控模块(2)、数据存储卷高可用管理模块(3)，其中:虚拟地址池管理模块(I)用于在数据节点子集群中管理虚拟IP地址池，并在数据节点子集群的所有数据节点上根据预先设定的规则分配虚拟IP地址；在数据节点发生故障时，接收对虚拟地址的管理命令，将虚拟IP地址迁移到指定的数据节点上；并对虚拟地址池中的IP地址进行增加、删除的常规维护；
节点状态和负载监控模块(2)用于对数据节点的运行状态和节点负载情况进行实时监控，实时获取数据节点的运行状态和负载情况，并在节点故障和负载超标时通知虚拟地址池管理模块(I)和数据存储卷高可用模块(3)分别完成虚拟IP地址和数据存储卷在数据子集群中的节点上迁移；
数据存储卷高可用管理模块(3)用于对数据子集群内的所有数据存储卷进行管理，部署文件系统时，根据数据节点子集群内数据节点信息以及数据节点子集群的虚拟地址池中地址信息，初始化子集群中所有数据存储卷，实现数据节点子集群内数据存储卷与虚拟IP地址的映射，同时，该模块接收节点状态和负载监控模块(2)的监控信息，并在数据子集群内的某一数据节点故障或负载较大时，将此数据节点上挂载的数据存储卷迁移到数据节点子集群内的其它数据节点上，确保数据存储卷的持续可访问。
[0007]为满足分布式文件系统中数目繁多的数据存储卷在数据节点上尽可能保持挂载状态，则将数据存储卷映射给数据集群中所有节点的物理IP地址，当某一数据节点出现故障需要替换时，替换节点地址相关参数必须与故障节点完全一致，这种情况则不能满足和不完全替换包括:故障节点恢复后仍然存在于集群中故障节点的情况，特别是故障节点恢复正常后，切换存储卷服务时则出现多个相同主机现象，使得数据存储卷的迁移由于存在多个相同主机而无法提供正常服务，这就需要引入基于虚拟地址的数据存储卷挂载映射关系，实现数据存储卷与数据节点的映射不再依赖于数据节点的物理IP地址。
[0008]由成百数千数据节点组成的数据存储集群中，构建部署在数据节点子集群上的虚拟IP地址池，并将虚拟地址池中的IP地址动态分配到数据节点子集群中所有数据节点上，通过映射数据集群后端的数据存储卷到虚拟IP地址，分离数据存储卷的挂载地址与数据节点物理IP之间的映射关系，利用虚拟IP地址动态分配和迁移特性，实现数据存储卷的灵活迁移，在数据子集群中的任意数据节点发生故障时保证了子集群中数据存储卷的服务持续性。
[0009]本发明的有益效果是:根据数据节点和存储设备的规模设立数据节点集群(或子集群)，在集群的数据节点上分别部署虚拟地址池管理模块(I)、节点状态和负载监控模块
(2)、数据存储卷高可用管理模块(3)，实现数据存储卷的映射和挂载依赖于虚拟地址，而不再依赖于物理地址，也就不再为了修改卷的映射地址而中断数据卷服务，保证了数据卷的持续访问；数据存储卷不依赖于节点的物理地址，也就实现了数据存储卷服务与物理地址无关，这就极大方便了对数据节点的管理，可以任意的增加、删除数据节点不影响数据存储卷的服务。本方法提高了分布式文件系统维护的效率，减小了维护操作对文件系统服务的影响，从而提高文件系统服务质量。
[0010]另外本方法设计思路也适用于分布式文件系统的元数据节点集群共享存储卷情况；也适用于云计算和云存储部署环境中，由于设备数目较多、且内部模块服务对物理地址的依赖性较强的情况。
【专利附图】
【附图说明】
[0011]图1是分布式文件系统数据卷部署示意图；
图2是系统初始化流程图。
【具体实施方式】
[0012]参照说明书附图对本发明的方法作以下详细地说明。
[0013]本
【发明内容】
基于分布式文件系统进行构建，通过在数据节点(子)集群上建立虚拟地址池实现池中虚拟IP地址在数据节点子集群中动态分配和迁移；将数据节点(子)集群后端的数据存储卷映射给虚拟地址池中的所有虚拟IP地址，使得数据存储卷的挂载不再依赖于数据节点的物理地址，实现任一数据节点发生故障或者负载较高时将数据存储卷迁移到子集群中的任意节点，同时替换节点的网络相关参数也不必与故障节点的网络参数相同；通过在数据节点(子)集群中所有数据节点上部署监控模块，实时获取各个数据节点的运行状态和性能负载，通过设定资源均衡策略实现虚拟地址和数据存储卷在数据节点(子)集群中动态迁移，从而实现性能的负载均衡，保证分布式文件系统数据服务的稳定性。该方法的构建结构包括:虚拟地址池管理模块(I)、节点状态和负载监控模块(2)、数据存储卷高可用管理模块(3)。其中:
虚拟地址池管理模块(I)部署在数据节点(子)集群中的所有数据节点上，并相互通信保持虚拟地址池内地址信息的一致性和有效性。支持在其所属集群中动态添加、删除、冻结数据节点，新节点加入集群并完成数据初始化后，将包含虚拟地址池的所有虚拟地址信息及子集群物理地址信息；将节点删除时，将先在地址池管理模块中完成冻结，冻结一旦完成，其所承担的虚拟地址也将迁移到其它数据节点，虚拟地址一旦迁移，挂载到虚拟地址上的数据存储卷也将由数据存储卷高可用管理模块(3)迁移到其它数据节点。
[0014]节点状态和负载监控模块(2)部署在数据节点(子)集群中的所有数据节点上，对每个数据节点的运行状态和CPU、内存、网络进行实时监控，并在性能超过预先设定或默认的负载阈值时，发送调度信息给本节点上运行的虚拟地址池管理模块(I)和数据存储卷高可用管理模块(3)，实现将虚拟地址和数据存储卷迁移到其它数据节点。
[0015]数据存储卷高可用管理模块(3)部署到数据节点(子)集群中的所有数据节点上，实现本数据节点子集群后端的数据存储卷的映射管理和挂载状态维护，并根据虚拟地址在数据节点上的运行状态实现卷的挂载和卸载操作，根据虚拟地址的实时迁移、节点状态和负载监控模块(2)发送的节点状态及负载信息，完成数据存储卷的挂载迁移，实现数据访问会话交接。
[0016]除说明书所述的技术特征外，均为本专业技术人员的已知技术。
【权利要求】
1.一种基于虚拟地址池的分布式文件系统数据卷部署方法，其特征在于根据分布式文件系统中通过元数据节点、数据存储节点、客户端节点不同的节点角色构建成节点集群或子集群，在数据节点集群上采用基于虚拟IP地址池的方式部署数据存储卷，实现分布式文件系统数据存储卷的部署与数据节点的物理地址相分离，从而将数据存储卷的部署与数据节点集群的虚拟地址相结合；在分布式文件系统运行的节点上部署监控模块，实现对节点运行状态和负载实时监控；根据节点状态和负载情况，在数据节点集群内实时迁移任一节点所承载的虚拟IP以及挂载到虚拟地址之上的数据存储卷，同时也实现隔离物理节点故障，确保维护物理节点时不中断数据存储卷的数据服务，这在大规模部署分布式文件系统的环境中，数据节点集群中数据节点数目较多又进一步划分为数据节点子集群的环境更为有效，该系统架构包括:虚拟地址池管理模块(I)、节点状态和负载监控模块(2)、数据存储卷高可用管理模块(3)，其中: 虚拟地址池管理模块(I)用于在数据节点子集群中管理虚拟IP地址池，并在数据节点子集群的所有数据节点上根据预先设定的规则分配虚拟IP地址；在数据节点发生故障时，接收对虚拟地址的管理命令，将虚拟IP地址迁移到指定的数据节点上；并对虚拟地址池中的IP地址进行增加、删除的常规维护； 节点状态和负载监控模块(2)用于对数据节点的运行状态和节点负载情况进行实时监控，实时获取数据节点的运行状态和负载情况，并在节点故障和负载超标时通知虚拟地址池管理模块(I)和数据存储卷高可用模块(3)分别完成虚拟IP地址和数据存储卷在数据子集群中的节点上迁移； 数据存储卷高可用管理模块(3)用于对数据子集群内的所有数据存储卷进行管理，部署文件系统时，根据数据节点子集群内数据节点信息以及数据节点子集群的虚拟地址池中地址信息，初始化子集群中所有数据存储卷，实现数据节点子集群内数据存储卷与虚拟IP地址的映射，同时，该模块接收节点状态和负载监控模块(2)的监控信息，并在数据子集群内的某一数据节点故障或负载较大时，将此数据节点上挂载的数据存储卷迁移到数据节点子集群内的其它数据节点上，确保数据存储卷的持续可访问。
2.根据权利要求1所述的基于虚拟地址池的分布式文件系统数据卷部署方法，其特征在于为满足分布式文件系统中数目繁多的数据存储卷在数据节点上尽可能保持挂载状态，则将数据存储卷映射给数据集群中所有节点的物理IP地址，当某一数据节点出现故障需要替换时，替换节点地址相关参数必须与故障节点完全一致，这种情况则不能满足和不完全替换包括:故障节点恢复后仍然存在于集群中故障节点的情况，特别是故障节点恢复正常后，切换存储卷服务时则出现多个相同主机现象，使得数据存储卷的迁移由于存在多个相同主机而无法提供正常服务，这就需要引入基于虚拟地址的数据存储卷挂载映射关系，实现数据存储卷与数据节点的映射不再依赖于数据节点的物理IP地址。
3.根据权利要求1所述的基于虚拟地址池的分布式文件系统数据卷部署方法，其特征在于由成百数千数据节点组成的数据存储集群中，构建部署在数据节点子集群上的虚拟IP地址池，并将虚拟地址池中的IP地址动态分配到数据节点子集群中所有数据节点上，通过映射数据集群后端的数据存储卷到虚拟IP地址，分离数据存储卷的挂载地址与数据节点物理IP之间的映射关系，利用虚拟IP地址动态分配和迁移特性，实现数据存储卷的灵活迁移，在数据子集群中的任意数据节点发生故障时保证了子集群中数据存储卷的服务持续性。
【文档编号】H04L29/08GK103475732SQ201310438804
【公开日】2013年12月25日 申请日期:2013年9月25日 优先权日:2013年9月25日
【发明者】郭鹏, 王通 申请人:浪潮电子信息产业股份有限公司