一种自动部署Hadoop集群及伸缩工作节点的方法与流程

本发明涉及计算机虚拟机技术领域，具体涉及一种自动部署Hadoop集群及伸缩工作节点的方法，一种在虚拟化环境中自动部署Hadoop集群及伸缩工作节点的方法。

背景技术：

Hadoop作为一种高效的分布式计算软件框架，常被用来进行海量数据的存储和计算。通过虚拟化技术可以在有限的物理环境上搭建多个Hadoop集群来供用户使用，以便提高物理环境的利用率。然而，随着Hadoop生态圈中加入的组件越来越多，部署Hadoop集群变成了一件非常繁琐复杂的事情。如果在虚拟化环境中能够灵活快速的部署Hadoop集群并能够灵活扩展集群规模，那么用户就可以更加灵活高效的运用有限的物理环境资源，来满足用户的大数据计算需求。

技术实现要素：

本发明要解决的技术问题是：本发明针对以上问题，提供一种自动部署Hadoop集群及伸缩工作节点的方法。

本发明所采用的技术方案为：

一种自动部署Hadoop集群及伸缩工作节点的方法，所述方法在虚拟化环境中，通过服务端/代理端的模式，制定Hadoop集群的部署模板，完成Hadoop集群的部署和集群工作节点的伸缩。

所述方法Hadoop集群的部署实现流程如下：

1）代理端内置于虚拟机模板或系统镜像中；

2）制定Hadoop集群部署模板：

通过制定Hadoop集群部署模板，定义一个Hadoop集群的详细配置，模板文件上传至服务端；

3）创建虚拟机：

服务端根据Hadoop集群部署模板中的定义，批量创建不同配置的虚拟机；

4）安装配置Hadoop组件：

当虚拟机启动完成，所有代理端都就绪后，服务端根据Hadoop集群部署模板中配置的组件定义通知集群中各虚拟机上的代理端安装指定的Hadoop组件并进行配置；

5）启动Hadoop组件：

Hadoop组件安装完成后，服务端通知各虚拟机上的代理端启动本机上的Hadoop组件。

所述虚拟机通过服务端调用虚拟化平台的API，使用已包含代理端和Hadoop组件安装源的虚拟机模板或镜像进行创建。

所述方法扩展集群工作节点实现如下：

当服务端收到扩展某集群的工作节点请求时，服务端调用虚拟化平台的API创建新的虚拟机，并通知虚拟机上的代理端安装工作节点所需要的Hadoop组件并进行配置；安装完成后启动Hadoop组件并接入原集群中。

所述方法缩减集群工作节点实现如下：

当服务端收到工作节点缩减请求时，服务端通知待缩减工作节点上的代理端将该节点从集群中移除，并关闭节点上的Hadoop组件；Hadoop组件关闭完成后调用虚拟化平台的API将虚拟机删除。

所述方法通过保存多个Hadoop集群部署模板文件，以便在不同需求下创建相应的Hadoop集群。

所述Hadoop集群部署模板文件采用Json格式编写。

本发明的有益效果为：

本发明方法灵活易用，整个部署及伸缩过程无人值守，全自动执行。可以简单快速的在虚拟化环境中部署多个不同的Hadoop集群，并根据需求对Hadoop的工作节点进行在线伸缩处理，而不影响集群的运行状态。通过该方法，用户可以更高效的利用有限的物理环境资源来满足自己的大数据计算需求。

附图说明

图1为制定Hadoop模板流程图；

图2为部署Hadoop集群流程图；

图3为扩展集群工作节点流程图；

图4为缩减集群工作节点流程图。

具体实施方式

下面根据说明书附图，结合具体实施方式对本发明进一步说明：

实施例1：

一种自动部署Hadoop集群及伸缩工作节点的方法，所述方法在虚拟化环境中，通过服务端/代理端的模式，制定Hadoop集群的部署模板，完成Hadoop集群的部署和集群工作节点的伸缩。

实施例2

如图2所示，在实施例1的基础上，本实施例所述方法Hadoop集群的部署实现流程如下：

1）代理端内置于虚拟机模板或系统镜像中，并设置为开机启动项；

2）制定Hadoop集群部署模板：

如图1所示，通过制定Hadoop集群部署模板，来定义一个Hadoop集群的详细配置，包括：节点组角色、节点数量、虚拟机配置、节点组需要安装的Hadoop组件以及组件配置等；模板文件上传至服务端后，即能够基于该模板定义在虚拟化环境上创建多个Hadoop集群；

3）创建虚拟机：

服务端根据Hadoop集群部署模板中的定义，批量创建不同配置的虚拟机；

4）安装配置Hadoop组件：

当虚拟机启动完成后，代理端向服务端发送就绪通知，当所有代理端都就绪后，服务端根据Hadoop集群部署模板中配置的组件定义通知集群中各虚拟机上的代理端安装指定的Hadoop组件并进行配置；

5）启动Hadoop组件：

Hadoop组件安装完成后，服务端通知各虚拟机上的代理端启动本机上的Hadoop组件。

实施例3

在实施例1或2的基础上，本实施例所述虚拟机通过服务端调用虚拟化平台的API，使用已包含代理端和Hadoop组件安装源的虚拟机模板或镜像进行创建。

实施例4

如图3所示，在实施例3的基础上，本实施例所述方法扩展集群工作节点实现如下：

当服务端收到扩展某集群的工作节点请求时，服务端调用虚拟化平台的API创建新的虚拟机，并通知虚拟机上的代理端安装工作节点所需要的Hadoop组件并进行配置；安装完成后启动Hadoop组件并接入原集群中。

实施例5

如图4所示，在实施例3的基础上，本实施例所述方法缩减集群工作节点实现如下：

当服务端收到工作节点缩减请求时，服务端通知待缩减工作节点上的代理端将该节点从集群中移除，并关闭节点上的Hadoop组件；Hadoop组件关闭完成后调用虚拟化平台的API将虚拟机删除。

实施例6

在实施例5的基础上，本实施例所述方法通过保存多个Hadoop集群部署模板文件，以便在不同需求下创建相应的Hadoop集群。

实施例7

在实施例6的基础上，本实施例所述Hadoop集群部署模板文件采用Json格式编写，结构清晰易于理解。

实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。