一种数据库存储扩展方法和装置与流程

本发明涉及数据库领域，更具体地，特别是指一种数据库存储扩展方法和装置。

背景技术：

在大数据经济时代，各行各业时时刻刻都在产生海量多样的数据，当集群中数据节点存储容量无法满足产生的数据量时，需要扩展集群中的数据节点，从而可以存储更多的数据，提供更高的计算能力。而目前greenplum的扩展只能通过后台物理机上的命令行的方式一步步手动扩展数据节点。但是，由于greenplum数据节点的扩展流程复杂，一旦执行操作时序有误，可能会给当前数据集群带来无法弥补的损失。

针对现有技术数据库存储扩展不兼容横向扩展、手动工作消耗人工的问题，目前尚无有效的解决方案。

技术实现要素：

有鉴于此，本发明实施例的目的在于提出一种数据库存储扩展方法和装置，能够根据扩展需求而方便高效地自动执行横向扩展和/或纵向扩展，提高处理和分析数据的能力与效率，并消除手动带来的误操作。

基于上述目的，本发明实施例的第一方面提供了一种数据库存储扩展方法，包括执行以下步骤：

获取预定的扩展策略，扩展策略为以下之一：横向扩展、纵向扩展、和混合扩展；

响应于扩展策略为纵向扩展或混合扩展，而生成用于扩展数据库中的现有数据节点的配置文件，配置文件记载有现有数据节点扩展后的分段实例数、和数据存储地址；

响应于扩展策略为横向扩展或混合扩展，而将待加入的新数据节点记载到数据库的数据节点文件，并为新数据节点安装数据库的依赖软件、自动设置数据节点内核参数和数据库环境变量；

执行数据节点扩展命令以基于配置文件和/或数据节点文件在现有数据节点和/或新数据节点上安装数据库和/或更新数据节点文件。

在一些实施方式中，横向扩展配置为使现有数据节点增加分段实例；纵向扩展配置为增加新数据节点；混合扩展配置为同时使现有数据节点增加分段实例和增加新数据节点。

在一些实施方式中，为新数据节点自动设置数据节点内核参数包括：为新数据节点设置与现有数据节点相同的分段实例数。

在一些实施方式中，还包括：执行数据节点扩展命令时，还额外地在现有数据节点和/或新数据节点上执行用于再次扩展数据库存储的数据重分布。

在一些实施方式中，现有数据节点还包括针对每个分段实例分别生成的镜像，镜像用于备份相应的分段实例；镜像存储于与相应的分段实例所在的现有数据节点不同的其它现有数据节点上。

在一些实施方式中，响应于扩展策略为纵向扩展或混合扩展而生成的配置文件还记载有镜像生成策略和镜像存储地址。

在一些实施方式中，数据库为使用无共享的大规模并行处理架构的greenplum数据库。

本发明实施例的第二方面提供了一种数据库存储扩展装置，包括：

自动检测模块，用于获取预定的扩展策略，扩展策略为以下之一：横向扩展、纵向扩展、和混合扩展；

定制模块，用于响应于扩展策略为纵向扩展或混合扩展，而生成用于扩展数据库中的现有数据节点的配置文件，配置文件记载有现有数据节点扩展后的分段实例数、和数据存储地址；

增加节点模块，用于响应于扩展策略为横向扩展或混合扩展，而将待加入的新数据节点记载到数据库的数据节点文件；

配置环境模块，连接到增加节点模块，用于在增加节点模块之后为新数据节点安装数据库的依赖软件、自动设置数据节点内核参数和数据库环境变量；

扩展模块，用于执行数据节点扩展命令以基于配置文件和/或数据节点文件在现有数据节点和/或新数据节点上安装数据库和/或更新数据节点文件。

在一些实施方式中，横向扩展配置为使现有数据节点增加分段实例；纵向扩展配置为增加新数据节点；混合扩展配置为同时使现有数据节点增加分段实例和增加新数据节点。

在一些实施方式中，现有数据节点还包括针对每个分段实例分别生成的镜像，镜像用于备份相应的分段实例；镜像存储于不同于相应的分段实例所在的现有数据节点不同的其它现有数据节点上；响应于扩展策略为纵向扩展或混合扩展而生成的配置文件还记载有镜像生成策略和镜像存储地址。

本发明具有以下有益技术效果：本发明实施例提供的数据库存储扩展方法和装置，通过获取预定的扩展策略，扩展策略为以下之一：横向扩展、纵向扩展、和混合扩展；响应于扩展策略为纵向扩展或混合扩展，而生成用于扩展数据库中的现有数据节点的配置文件，配置文件记载有现有数据节点扩展后的分段实例数、和数据存储地址；响应于扩展策略为横向扩展或混合扩展，而将待加入的新数据节点记载到数据库的数据节点文件，并为新数据节点安装数据库的依赖软件、自动设置数据节点内核参数和数据库环境变量；执行数据节点扩展命令以基于配置文件和/或数据节点文件在现有数据节点和/或新数据节点上安装数据库和/或更新数据节点文件的技术方案，能够根据扩展需求而方便高效地自动执行横向扩展和/或纵向扩展，提高处理和分析数据的能力与效率，并消除手动带来的误操作。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的数据库存储扩展方法的流程示意图；

图2为本发明提供的数据库存储扩展方法的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

基于上述目的，本发明实施例的第一个方面，提出了一种能够根据扩展需求而方便高效地自动执行横向扩展和/或纵向扩展的数据库存储扩展方法的一个实施例。图1示出的是本发明提供的数据库存储扩展方法的流程示意图。

所述的数据库存储扩展方法，如图1所示，包括执行以下步骤：

步骤s101：获取预定的扩展策略，扩展策略为以下之一：横向扩展、纵向扩展、和混合扩展；

步骤s103：响应于扩展策略为纵向扩展或混合扩展，而生成用于扩展数据库中的现有数据节点的配置文件，配置文件记载有现有数据节点扩展后的分段实例数、和数据存储地址；

步骤s105：响应于扩展策略为横向扩展或混合扩展，而将待加入的新数据节点记载到数据库的数据节点文件，并为新数据节点安装数据库的依赖软件、自动设置数据节点内核参数和数据库环境变量；

步骤s107：执行数据节点扩展命令以基于配置文件和/或数据节点文件在现有数据节点和/或新数据节点上安装数据库和/或更新数据节点文件。

本发明使得greenplum可以支持多种策略的自动化扩展，包括在原有数据节点上增加segment实例个数(纵向扩展)、新增数据节点个数(横向扩展)和混合(纵向+横向)扩展，可以方便用户高效地进行数据节点扩展，有效减少因采取手动方式执行扩展的误操作带来的损失，提高用户处理和分析数据的能力与效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(rom)或随机存储记忆体(ram)等。计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

在一些实施方式中，横向扩展配置为使现有数据节点增加分段实例；纵向扩展配置为增加新数据节点；混合扩展配置为同时使现有数据节点增加分段实例和增加新数据节点。

在一些实施方式中，为新数据节点自动设置数据节点内核参数包括：为新数据节点设置与现有数据节点相同的分段实例数。

在一些实施方式中，方法还包括：执行数据节点扩展命令时，还额外地在现有数据节点和/或新数据节点上执行用于再次扩展数据库存储的数据重分布。

在一些实施方式中，现有数据节点还包括针对每个分段实例分别生成的镜像，镜像用于备份相应的分段实例；镜像存储于与相应的分段实例所在的现有数据节点不同的其它现有数据节点上。

在一些实施方式中，响应于扩展策略为纵向扩展或混合扩展而生成的配置文件还记载有镜像生成策略和镜像存储地址。

在一些实施方式中，数据库为使用无共享的大规模并行处理架构的greenplum数据库。

下面根据图2所示的具体实施例进一步阐述本发明的具体实施方式。

对应图2，greenplum节点自动化扩展支持3种扩展策略，如横向扩展、纵向扩展和混合扩展。当使用纵向扩展和混合扩展策略时，可以自定义扩展配置文件，如每个节点扩展后的segment实例个数、每个节点的segment实例的镜像策略、数据存储的目录。当采用横向扩展策略时，只需向greenplum数据节点文件添加新节点，扩展配置文件将由扩展装置自动化生成，其中，扩展后新增节点中的segment实例个数和原有的数据节点的segment实例个数相同。配置环境装置(模块)可以安装greenplum所需的依赖，防止因缺少依赖导致greenplum无法正常运行。扩展装置(模块)可以根据不同的扩展策略执行不同的操作，将数据以扩展后的节点数进行重新分布，并更新记录的greenplum数据节点的文件，以便后续再次进行扩展。具体来说：

1)用户可根据实际业务需求确定所要使用的greenplum的扩展策略，如横向扩展策略、纵向扩展策略和混合扩展策略(既有横向扩展，又有纵向扩展)，自动检测装置(模块)可以检测到用户选择的扩展策略；

a.如果用户选择横向扩展策略，此时会直接进入增加节点装置(模块)，用户只需将新节点准备好，如安装好操作系统、网络配置完成；

b.如果用户选择纵向扩展或者混合扩展策略，则进入定制装置(模块)，且当选择的是纵向扩展策略时，此时无需增加新节点，直接进入扩展装置(模块)；

2)定制装置(模块)可以自定义greenplum扩展配置文件，包括每个数据节点扩展后的segment实例个数、数据存储的目录、如果使能segment实例的镜像，还可以设置镜像的策略和镜像的存储目录等；

3)增加节点装置(模块)将新节点同步到记录的greenplum数据节点文件中，对于横向扩展还会自动生成节点扩展配置文件，对于其他扩展策略，则会采用步骤2)中生成的greenplum的扩展配置文件；

4)配置环境装置(模块)将在新节点上安装greenplum所需的依赖软件，配置新节点的greenplum所需的内核参数以及greenplum的环境变量；

5)扩展装置(模块)中，可以根据步骤1)中检测到所使用的扩展策略来执行不同的数据节点扩展命令，如对于横向扩展和混合扩展，将在增加的新节点上安装greenplum数据库软件，并根据扩展配置文件进行节点扩展操作；当选择纵向扩展时，可以根据步骤2)中生成的扩展配置文件来执行扩展。

从上述实施例可以看出，本发明实施例提供的数据库存储扩展方法，通过获取预定的扩展策略，扩展策略为以下之一：横向扩展、纵向扩展、和混合扩展；响应于扩展策略为纵向扩展或混合扩展，而生成用于扩展数据库中的现有数据节点的配置文件，配置文件记载有现有数据节点扩展后的分段实例数、和数据存储地址；响应于扩展策略为横向扩展或混合扩展，而将待加入的新数据节点记载到数据库的数据节点文件，并为新数据节点安装数据库的依赖软件、自动设置数据节点内核参数和数据库环境变量；执行数据节点扩展命令以基于配置文件和/或数据节点文件在现有数据节点和/或新数据节点上安装数据库和/或更新数据节点文件的技术方案，能够根据扩展需求而方便高效地自动执行横向扩展和/或纵向扩展，提高处理和分析数据的能力与效率，并消除手动带来的误操作。

需要特别指出的是，上述数据库存储扩展方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于数据库存储扩展方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。

基于上述目的，本发明实施例的第二个方面，提出了一种能够根据扩展需求而方便高效地自动执行横向扩展和/或纵向扩展的数据库存储扩展装置的一个实施例。数据库存储扩展装置包括：

自动检测模块，用于获取预定的扩展策略，扩展策略为以下之一：横向扩展、纵向扩展、和混合扩展；

定制模块，用于响应于扩展策略为纵向扩展或混合扩展，而生成用于扩展数据库中的现有数据节点的配置文件，配置文件记载有现有数据节点扩展后的分段实例数、和数据存储地址；

增加节点模块，用于响应于扩展策略为横向扩展或混合扩展，而将待加入的新数据节点记载到数据库的数据节点文件；

配置环境模块，连接到增加节点模块，用于在增加节点模块之后为新数据节点安装数据库的依赖软件、自动设置数据节点内核参数和数据库环境变量；

扩展模块，用于执行数据节点扩展命令以基于配置文件和/或数据节点文件在现有数据节点和/或新数据节点上安装数据库和/或更新数据节点文件。

在一些实施方式中，横向扩展配置为使现有数据节点增加分段实例；纵向扩展配置为增加新数据节点；混合扩展配置为同时使现有数据节点增加分段实例和增加新数据节点。

在一些实施方式中，现有数据节点还包括针对每个分段实例分别生成的镜像，镜像用于备份相应的分段实例；镜像存储于与相应的分段实例所在的现有数据节点不同的其它现有数据节点上；响应于扩展策略为纵向扩展或混合扩展而生成的配置文件还记载有镜像生成策略和镜像存储地址。

从上述实施例可以看出，本发明实施例提供的数据库存储扩展装置，通过获取预定的扩展策略，扩展策略为以下之一：横向扩展、纵向扩展、和混合扩展；响应于扩展策略为纵向扩展或混合扩展，而生成用于扩展数据库中的现有数据节点的配置文件，配置文件记载有现有数据节点扩展后的分段实例数、和数据存储地址；响应于扩展策略为横向扩展或混合扩展，而将待加入的新数据节点记载到数据库的数据节点文件，并为新数据节点安装数据库的依赖软件、自动设置数据节点内核参数和数据库环境变量；执行数据节点扩展命令以基于配置文件和/或数据节点文件在现有数据节点和/或新数据节点上安装数据库和/或更新数据节点文件的技术方案，能够根据扩展需求而方便高效地自动执行横向扩展和/或纵向扩展，提高处理和分析数据的能力与效率，并消除手动带来的误操作。

需要特别指出的是，上述数据库存储扩展装置的实施例采用了所述数据库存储扩展方法的实施例来具体说明各模块的工作过程，本领域技术人员能够很容易想到，将这些模块应用到所述数据库存储扩展方法的其他实施例中。当然，由于所述数据库存储扩展方法实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于所述数据库存储扩展装置也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。