一种分布式存储集群扩容方法、装置、设备及存储介质与流程

本发明涉及计算机应用技术领域，特别是涉及一种分布式存储集群扩容方法、装置、设备及存储介质。

背景技术

随着计算机技术的快速发展，分布式存储集群在各个行业得到了越来越广泛的应用。分布式存储集群由主节点和多个存储节点构成，多用于大数据的存储，主节点可以对各个存储节点进行监控和管理。

随着分布式存储集群的持续使用，可能会出现存储节点发生故障的情况。存储节点一旦发生故障将会无法继续工作，需要从分布式存储集群中去除。但随着分布式存储集群中存储数据量的不断增加，其剩余的存储空间会越来越少。在这种情况下，需要考虑对分布式存储集群的扩容问题。

而为了更好的节约硬件成本，如何利用之前发生故障的存储节点对分布式存储集群进行扩容，是目前本领域技术人员急需解决的技术问题。

技术实现要素：

本发明的目的是提供一种分布式存储集群扩容方法、装置、设备及存储介质，以对分布式存储集群进行有效扩容，节约硬件成本，增强分布式存储集群存储性能。

为解决上述技术问题，本发明提供如下技术方案：

一种分布式存储集群扩容方法，包括：

在要对分布式存储集群进行扩容时，确定待加入存储节点是否为系统盘故障恢复节点；

如果是，则在清理所述待加入存储节点中的分区残留信息后，为所述待加入存储节点的每块磁盘创建数据处理守护进程；

在所述分布式存储集群的主节点的监控服务中为每个所述数据处理守护进程注册监控信息。

在本发明的一种具体实施方式中，还包括：

在所述分布式存储集群中存在系统盘故障节点的情况下，删除所述主节点的监控服务中所述系统盘故障节点对应的监控信息；

在确定对所述系统盘故障节点进行系统灌装、可达之后，将所述系统盘故障节点确定为系统盘故障恢复节点。

在本发明的一种具体实施方式中，在所述分布式存储集群中存在系统盘故障节点的情况下，还包括：

确定所述系统盘故障节点的标识信息；

在所述主节点的缩容信息中增加所述系统盘故障节点的标识信息；

相应的，所述确定待加入存储节点是否为系统盘故障恢复节点，包括：

在所述缩容信息中查询所述待加入存储节点的标识信息；

如果查询到，则确定所述待加入存储节点为系统盘故障恢复节点。

在本发明的一种具体实施方式中，所述确定所述系统盘故障节点的标识信息，包括：

确定所述系统盘故障节点的主机名；

根据所述主机名和所述主节点中预先记录的主机名与标识信息的对应关系，确定所述系统盘故障节点的标识信息。

在本发明的一种具体实施方式中，还包括：

在所述待加入存储节点为全新存储节点时，执行所述为所述待加入存储节点的每块磁盘创建数据处理守护进程；在所述分布式存储集群的主节点的监控服务中为每个所述数据处理守护进程注册监控信息的步骤。

一种分布式存储集群扩容装置，包括：

第一节点确定模块，用于在要对分布式存储集群进行扩容时，确定待加入存储节点是否为系统盘故障恢复节点；如果是，则触发进程创建模块；

所述进程创建模块，用于在清理所述待加入存储节点中的分区残留信息后，为所述待加入存储节点的每块磁盘创建数据处理守护进程；

信息注册模块，用于在所述分布式存储集群的主节点的监控服务中为每个所述数据处理守护进程注册监控信息。

在本发明的一种具体实施方式中，还包括：

信息删除模块，用于在所述分布式存储集群中存在系统盘故障节点的情况下，删除所述主节点的监控服务中所述系统盘故障节点对应的监控信息；

第二节点确定模块，用于在确定对所述系统盘故障节点进行系统灌装、可达之后，将所述系统盘故障节点确定为系统盘故障恢复节点。

在本发明的一种具体实施方式中，还包括信息增加模块，用于：

在所述分布式存储集群中存在系统盘故障节点的情况下，确定所述系统盘故障节点的标识信息；

在所述主节点的缩容信息中增加所述系统盘故障节点的标识信息；

相应的，所述第一节点确定模块，具体用于：

在所述缩容信息中查询所述待加入存储节点的标识信息；

如果查询到，则确定所述待加入存储节点为系统盘故障恢复节点。

一种分布式存储集群扩容设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一项所述分布式存储集群扩容方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述分布式存储集群扩容方法的步骤。

应用本发明实施例所提供的技术方案，在要对分布式存储集群进行扩容时，可以先确定待加入存储节点是否为系统盘故障恢复节点，如果是，则清理待加入存储节点中的分区残留信息，清理之后，为待加入存储节点的每块磁盘创建数据处理守护进程，在分布式存储集群的主节点的监控服务中为每个数据处理守护进程注册监控信息。将系统盘故障恢复节点加入到分布式存储集群中，对分布式存储集群进行有效扩容，实现对系统盘故障恢复节点的再利用，节约硬件成本，降低了存储节点系统盘故障对分布式存储集群造成的影响，增强了分布式存储集群存储性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种分布式存储集群扩容方法的实施流程图；

图2为本发明实施例中一种分布式存储集群扩容装置的结构示意图；

图3为本发明实施例中一种分布式存储集群扩容设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本发明所提供的一种分布式存储集群扩容方法的实施流程图，该方法可以包括以下步骤：

s110：在要对分布式存储集群进行扩容时，确定待加入存储节点是否为系统盘故障恢复节点。

分布式存储集群包括主节点和多个存储节点，主要用于大数据的存储，主节点可以对各个存储节点进行监控和管理。

随着分布式存储集群的持续使用，其中的存储节点可能会出现系统盘故障的情况。具体的，可以通过尝试硬重启(下电等待数秒后重新上电)发生故障的存储节点，如果该存储节点未有硬件故障灯亮起，但系统仍然无法启动，则可以确定该存储节点发生系统盘故障。

当存储节点出现系统盘故障时，将无法继续工作，为不影响分布式存储集群的正常工作，需要将这样的存储节点从分布式存储集群中去除，对分布式存储集群进行缩容操作。这样的存储节点可以称为系统盘故障节点。

在本发明的一个实施例中，在分布式存储集群中存在系统盘故障节点的情况下，可以删除主节点的监控服务中系统盘故障节点对应的监控信息，在确定对系统盘故障节点进行系统灌装、可达之后，将系统盘故障节点确定为系统盘故障恢复节点。

在分布式存储集群中，如果存储节点发生系统盘故障，将不可达，其上的数据处理守护进程将停止工作，使得该存储节点无法继续完成分布式存储集群中的存储等相应工作，影响分布式存储集群的正常工作。在分布式存储集群中存在系统盘故障节点的情况下，可以先删除主节点的监控服务中系统盘故障节点对应的监控信息，即从主节点的监控服务中清理掉系统盘故障节点上数据处理守护进程的监控信息，对分布式存储集群进行缩容操作，以便缩容后的分布式存储集群还可以继续工作。

对于系统盘故障节点，具体可以由技术人员对其进行系统盘更换、系统灌装。在对系统盘故障节点进行系统灌装后，可以进一步确定该系统盘故障节点是否可达。具体的，可以通过主节点或其他设备向系统盘故障节点发送数据包，如果能够接收到系统盘故障节点返回的数据包，则可以确定系统盘故障节点可达。

在确定对系统盘故障节点进行系统灌装、可达之后，可以将系统盘故障节点确定为系统盘故障恢复节点。

当系统盘故障节点恢复后，成为系统盘故障恢复节点，还可以加入到分布式存储集群中，对分布式存储集群进行扩容操作。

在要对分布式存储集群进行扩容时，可以确定待加入存储节点是否为系统盘故障恢复节点，如果是，则可以继续执行步骤s120的操作，如果否，则可以根据待加入存储节点的具体情况进行相应扩容操作。

s120：在清理待加入存储节点中的分区残留信息后，为待加入存储节点的每块磁盘创建数据处理守护进程。

在待加入存储节点为系统盘故障节点的情况下，待加入节点中会残留有故障前数据处理守护进程残留的分区等信息。为防止干扰正常扩容流程，可以先清理待加入存储节点中的分区残留信息。清理后，为待加入存储节点的每块磁盘创建数据处理守护进程。

s130：在分布式存储集群的主节点的监控服务中为每个数据处理守护进程注册监控信息。

待加入存储节点为系统盘故障恢复节点，在清理掉其中的分区残留信息后，为其每块磁盘创建数据处理守护进程。每块磁盘对应一个数据处理守护进程。在分布式存储集群的主节点的监控服务中为每个数据处理守护进程注册监控信息。

在待加入存储节点为全新存储节点时，可以直接进行为待加入存储节点的每块磁盘创建数据处理守护进程，在分布式存储集群的主节点的监控服务中为每个数据处理守护进程注册监控信息的操作。全新存储节点不是因故障从分布式存储集群中去除的节点，而是具有全新系统，未残留有任何分区信息的节点。

需要说明的是，针对每一个待加入存储节点都可以进行上述操作，以完成对分布式存储集群的扩容操作。

在主节点的监控服务中为待加入存储节点的每个数据处理守护进程注册监控信息后，主节点可以对该存储节点进行监控和管理，该存储节点可以开始工作。等待扩容后的分布式存储集群数据均衡后，恢复到正常状态。

应用本发明实施例所提供的方法，在要对分布式存储集群进行扩容时，可以先确定待加入存储节点是否为系统盘故障恢复节点，如果是，则清理待加入存储节点中的分区残留信息，清理之后，为待加入存储节点的每块磁盘创建数据处理守护进程，在分布式存储集群的主节点的监控服务中为每个数据处理守护进程注册监控信息。将系统盘故障恢复节点加入到分布式存储集群中，对分布式存储集群进行有效扩容，实现对系统盘故障恢复节点的再利用，节约硬件成本，降低了存储节点系统盘故障对分布式存储集群造成的影响，增强了分布式存储集群存储性能。

在本发明的一个实施例中，在分布式存储集群中存在系统盘故障节点的情况下，还可以包括以下步骤：

步骤一：确定系统盘故障节点的标识信息；

步骤二：在主节点的缩容信息中增加系统盘故障节点的标识信息；

相应的，步骤s110可以包括以下步骤：

第一个步骤：在缩容信息中查询待加入存储节点的标识信息；如果查询到，则执行第二个步骤；

第二个步骤：确定待加入存储节点为系统盘故障恢复节点。

为便于描述，将上述几个步骤结合起来进行描述。

在本发明实施例中，在分布式存储集群中存在系统盘故障节点的情况下，可以先确定系统盘故障节点的标识信息，如设备序列号等信息。在将系统盘故障节点在分布式存储集群中去除，对分布式存储集群进行缩容操作时，可以在主节点的缩容信息中增加系统盘故障节点的标识信息，这样可以避免其他存储节点以系统盘故障节点的节点名或ip等进行扩容，造成误判。

具体的，可以通过以下步骤确定系统盘故障节点的标识信息：

确定系统盘故障节点的主机名；

根据主机名和主节点中预先记录的主机名与标识信息的对应关系，确定系统盘故障节点的标识信息。

在实际应用中，当一个存储节点发生系统盘故障时，已不可达，较难在该存储节点中查询到其设备序列号等标识信息。所以，在分布式存储集群部署时，可以在主节点中预先记录各个存储节点主机名与标识信息的对应关系，这样，当需要在主节点的缩容信息中增加系统盘故障节点的标识信息时，可以通过系统盘故障节点的主机名和主节点中预先记录的主机名与标识信息的对应关系，确定系统盘故障节点的标识信息。

在要对分布式存储集群进行扩容时，可以先在缩容信息中查询待加入存储节点的标识信息，如果查询到，则表明待加入存储节点是之前因系统盘故障被缩容的一个节点，当前已被恢复，从而可以确定待加入存储节点为系统盘故障恢复节点。

相应于上面的方法实施例，本发明实施例还提供了一种分布式存储集群扩容装置，下文描述的一种分布式存储集群扩容装置与上文描述的一种分布式存储集群扩容方法可相互对应参照。

参见图2所示，该装置包括以下模块：

第一节点确定模块210，用于在要对分布式存储集群进行扩容时，确定待加入存储节点是否为系统盘故障恢复节点；如果是，则触发进程创建模块220；

进程创建模块220，用于在清理待加入存储节点中的分区残留信息后，为待加入存储节点的每块磁盘创建数据处理守护进程；

信息注册模块230，用于在分布式存储集群的主节点的监控服务中为每个数据处理守护进程注册监控信息。

应用本发明实施例所提供的装置，在要对分布式存储集群进行扩容时，可以先确定待加入存储节点是否为系统盘故障恢复节点，如果是，则清理待加入存储节点中的分区残留信息，清理之后，为待加入存储节点的每块磁盘创建数据处理守护进程，在分布式存储集群的主节点的监控服务中为每个数据处理守护进程注册监控信息。将系统盘故障恢复节点加入到分布式存储集群中，对分布式存储集群进行有效扩容，实现对系统盘故障恢复节点的再利用，节约硬件成本，降低了存储节点系统盘故障对分布式存储集群造成的影响，增强了分布式存储集群存储性能。

在本发明的一种具体实施方式中，还包括：

信息删除模块，用于在分布式存储集群中存在系统盘故障节点的情况下，删除主节点的监控服务中系统盘故障节点对应的监控信息；

第二节点确定模块，用于在确定对系统盘故障节点进行系统灌装、可达之后，将系统盘故障节点确定为系统盘故障恢复节点。

在本发明的一种具体实施方式中，还包括信息增加模块，用于：

在分布式存储集群中存在系统盘故障节点的情况下，确定系统盘故障节点的标识信息；

在主节点的缩容信息中增加系统盘故障节点的标识信息；

相应的，第一节点确定模块，具体用于：

在缩容信息中查询待加入存储节点的标识信息；

如果查询到，则确定待加入存储节点为系统盘故障恢复节点。

在本发明的一种具体实施方式中，信息增加模块，具体用于：

确定系统盘故障节点的主机名；

根据主机名和主节点中预先记录的主机名与标识信息的对应关系，确定系统盘故障节点的标识信息。

在本发明的一种具体实施方式中，还包括执行模块，用于：

在待加入存储节点为全新存储节点时，执行为待加入存储节点的每块磁盘创建数据处理守护进程；在分布式存储集群的主节点的监控服务中为每个数据处理守护进程注册监控信息的步骤。

参见图3所示，相应于上面的方法实施例，本发明实施例还提供了一种分布式存储集群扩容设备，包括：

存储器310，用于存储计算机程序；

处理器320，用于执行计算机程序时实现上述分布式存储集群扩容方法的步骤。

相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述分布式存储集群扩容方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。