一种用于Hadoop集群自动安装的系统及方法与流程

本发明是关于大数据技术，具体地，是关于一种用于Hadoop集群自动安装的系统及方法。

背景技术：

Hadoop是一个由Apache基金会所开发的能够对大量数据进行分布式处理的软件框架。其在大数据处理中广泛应用，得益于自身在数据提取、变形和加载(ETL)方面的优势：Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储端，如像ETL这样的批处理操作，其结果可以直接走向存储。Hadoop的MapReduce实现了任务的碎片化，并将碎片任务(Map)发送到多个节点上，之后再以数据集的形式加载(Reduce)到数据仓库里。

在Hadoop部署实践中，存在两个方面的问题：1、物理机硬件各类繁多，操作系统配置复杂；2、Hadoop应用服务丰富，集群结构耦合性高。传统模式下，物理机的安装需依赖管理员手工安装，再一台台进行系统配置，这样不仅十分浪费时间，且配置过程复杂操作性风险高。而Hadoop的每个服务都有不同的管理接口，管理员必须了解所有接口才能进行配置服务，其集群结构复杂度较高。为了解决操作系统和Hadoop应用程序自动化安装问题，有必要开发出一套标准化的安装技术来实现Hadoop平台下的物理机集群的快速部署方法。

技术实现要素：

本发明实施例的主要目的在于提供一种用于Hadoop集群自动安装的系统及方法，以解决现有安装模式由于硬件种类繁多，配置复杂导致的费时费力的问题。

为了实现上述目的，本发明实施例提供一种用于Hadoop集群自动安装的系统，所述的系统包括：DHCP服务器、BOOT服务器、YUM服务器、Hadoop集群及物理机节点，其中，所述的DHCP服务器用于分配及管理动态IP；所述的BOOT服务器用于存储操作系统配置模板及Hadoop应用服务配置模板；所述的YUM服务器用于存储操作系统及Hadoop应用服务的安装源文件；所述物理机节点执行以下步骤：从所述DHCP服务器获取所述动态IP；根据一个性化Kickstart安装脚本从所述YUM服务器上获取相应的安装源文件；根据所述动态IP、安装源文件在所述物理机节点中安装操作系统；接收Hadoop应用服务安装指令，根据所述Hadoop应用服务配置模板及个性化Kickstart安装脚本在所述Hadoop集群安装Hadoop应用服务。

在一实施例中，在根据所述动态IP、安装源文件在所述物理机节点中安装操作系统之后，所述物理机节点还执行以下步骤：用所述物理机节点的应用IP替换所述动态IP。

在一实施例中，上述的Hadoop应用服务配置模板的种类至少包含：管理节点模板、服务节点模板及应用节点模板。

在一实施例中，上述的个性化Kickstart安装脚本为所述BOOT服务器根据所述Hadoop应用服务配置模板的种类及物理机节点生成的对应于所述种类及物理机节点的安装脚本。

在一实施例中，上述的操作系统配置模板的配置参数至少包含：所述物理机节点的主机号、主机名、集群网络IP地址、操作系统版本号。

本发明实施例还提供一种用于Hadoop集群自动安装的方法，所述的方法应用于上述的系统中，所述的方法包括：从所述DHCP服务器获取所述动态IP；根据一个性化Kickstart安装脚本从所述YUM服务器上获取相应的安装源文件；根据所述动态IP、安装源文件在所述物理机节点中安装操作系统；接收Hadoop应用服务安装指令，根据所述Hadoop应用服务配置模板及个性化Kickstart安装脚本在所述Hadoop集群安装Hadoop应用服务。

在一实施例中，在根据所述动态IP、安装源文件在所述物理机节点中安装操作系统之后，所述的方法还包括：用所述物理机节点的应用IP替换所述动态IP。

在一实施例中，上述的Hadoop应用服务配置模板的种类至少包含：管理节点模板、服务节点模板及应用节点模板。

在一实施例中，上述的个性化Kickstart安装脚本为所述BOOT服务器根据所述Hadoop应用服务配置模板的种类及物理机节点生成的对应于所述种类及物理机节点的安装脚本。

在一实施例中，上述的操作系统配置模板的配置参数至少包含：所述物理机节点的主机号、主机名、集群网络IP地址、操作系统版本号。

本发明实施例的有益效果在于，解决了由于硬件种类繁多，配置复杂导致的安装过程费时费力问题，能够快速安装操作系统及相应应用程序，从而大大节约了人工成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的用于Hadoop集群自动安装的系统的结构示意图；

图2为根据本发明实施例的用于Hadoop集群自动安装的方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种用于Hadoop集群自动安装的系统及方法。以下结合附图对本发明进行详细说明。

本发明实施例提供一种用于Hadoop集群自动安装的系统，如图1所示，该用于Hadoop集群自动安装的系统主要包括：DHCP服务器101、BOOT服务器102、YUM服务器103、Hadoop集群104及物理机节点105。

其中，上述的DHCP服务器101用于分配及管理动态IP，为物理机节点105接入Hadoop集群104之前提供安装网络IP地址。

BOOT服务器102用于存储操作系统配置模板及Hadoop应用服务配置模板，参数配置库部署在此BOOT服务器102中，该参数配置库中至少包含该操作系统配置模版的各类配置参数及Hadoop应用服务配置模板的各类配置参数。其中，该操作系统配置模版的各类配置参数可以例如是物理机节点105的主机号(唯一标识)、主机名、集群网络IP地址、操作系统版本号等；Hadoop应用服务配置模板的各类配置参数至少包含：根据物理机节点105在集群中的角色以及硬件配置划分的三个种类：管理节点模板、服务节点模板及应用节点模板，这三类模板配置的应用服务种类和数量均有所不同。

上述的YUM服务器103用于存储操作系统及Hadoop应用服务各版本的安装源文件。

由图1所示的内容可以看出，该物理机节点105与上述的DHCP服务器101、BOOT服务器102、YUM服务器103之间主要执行以下过程：

首先，从DHCP服务器101获取动态IP；具体地，该物理机节点105可以是在接入安装网络后，从PXE网卡启动，该安装网络中的DHCP服务器101索取动态IP。

然后，根据一个性化Kickstart安装脚本从YUM服务器103上获取相应的安装源文件。此过程中，BOOT服务器102根据物理机节点105的主机号找到对应的配置文件，并在物理机节点105内存中加载操作系统内核及个性化Kickstart安装脚本。

其中，该个性化Kickstart安装脚本为BOOT服务器102根据Hadoop应用服务配置模板的种类及物理机节点105生成的对应于种类及物理机节点105的安装脚本。在该个性化Kickstart安装脚本中至少包含有该物理机节点105的操作系统版本号。进一步地，则可根据该操作系统版本号从YUM服务器103上获取相应的安装源文件。

下一步，物理机节点105即可根据动态IP、安装源文件在物理机节点105中完成操作系统的自动安装及系统配置。

然后，物理机节点105即可接收Hadoop应用服务安装指令，根据Hadoop应用服务配置模板及个性化Kickstart安装脚本在Hadoop集群104安装Hadoop应用服务。

具体地，物理机节点105安装完成操作系统和系统配置后，接入到Hadoop集群104中并接收CM5节点106的管理。接收Hadoop应用服务安装指令，根据BOOT服务器102参数配置库中的Hadoop应用配置模板，获取个性化Kickstart安装脚本中配置的相应的Hadoop应用服务和参数配置，完成Hadoop应用服务的定制化安装。

通过本发明实施例的用于Hadoop集群自动安装的系统，构建了一个能够在Hadoop集群104中实现操作系统及应用服务快速部署的系统，解决了在多台物理机节点105接入Hadoop集群104中安装不同版本操作系统的问题，并避免了现有技术中通过人工一台台修改MAC地址等相关配置和应用程序部署的麻烦，从而大大提高了安装的安全性和可靠性以及安装效率。

在实际应用中，物理机节点105安装完成操作系统和系统配置后，还执行一替换IP的步骤，用物理机节点105的应用IP替换安装操作系统过程中使用的动态IP。

本发明实施例还提供一种用于Hadoop集群自动安装的方法，在一实施例中，该用于Hadoop集群自动安装的方法可应用于上述实施例的用于Hadoop集群自动安装的系统中。

如图2所示，该用于Hadoop集群自动安装的方法主要包括以下步骤：

步骤S201：从DHCP服务器101获取动态IP；

步骤S202：根据一个性化Kickstart安装脚本从YUM服务器103上获取相应的安装源文件；

步骤S203：根据动态IP、安装源文件在物理机节点105中安装操作系统；

步骤S204：接收Hadoop应用服务安装指令，根据Hadoop应用服务配置模板及个性化Kickstart安装脚本在Hadoop集群104安装Hadoop应用服务。

通过上述的步骤S201至步骤S204，本发明实施例的用于Hadoop集群自动安装的方法，能够实现操作系统及应用服务快速部署的系统，解决了在多台物理机节点105接入Hadoop集群104中安装不同版本操作系统的问题，并避免了现有技术中通过人工一台台修改MAC地址等相关配置和应用程序部署的麻烦，从而大大提高了安装的安全性和可靠性以及安装效率。

以下对本发明实施例的用于Hadoop集群自动安装的方法中的各个步骤做进一步说明。

上述的步骤S201，从DHCP服务器101获取动态IP。具体地，该物理机节点105可以是在接入安装网络后，从PXE网卡启动，该安装网络中的DHCP服务器101索取动态IP。

上述步骤S202，根据一个性化Kickstart安装脚本从YUM服务器103上获取相应的安装源文件。

此步骤中，BOOT服务器102根据物理机节点105的主机号找到对应的配置文件，并在物理机节点105内存中加载操作系统内核及个性化Kickstart安装脚本。

其中，该个性化Kickstart安装脚本为BOOT服务器102根据Hadoop应用服务配置模板的种类及物理机节点105生成的对应于种类及物理机节点105的安装脚本。在该个性化Kickstart安装脚本中至少包含有该物理机节点105的操作系统版本号。进一步地，则可根据该操作系统版本号从YUM服务器103上获取相应的安装源文件。

上述步骤S203，根据动态IP、安装源文件在物理机节点105中安装操作系统。具体地，是该物理机节点105即可根据动态IP、安装源文件在物理机节点105中完成操作系统的自动安装及系统配置。

然后，执行上述步骤S204，接收Hadoop应用服务安装指令，根据Hadoop应用服务配置模板及个性化Kickstart安装脚本在Hadoop集群104安装Hadoop应用服务。具体地，物理机节点105安装完成操作系统和系统配置后，接入到Hadoop集群104中并接收CM5节点的管理。接收Hadoop应用服务安装指令，根据BOOT服务器102参数配置库中的Hadoop应用配置模板，获取个性化Kickstart安装脚本中配置的相应的Hadoop应用服务和参数配置，完成Hadoop应用服务的定制化安装。

在实际应用中，物理机节点105安装完成操作系统和系统配置后，还执行一替换IP的步骤，用物理机节点105的应用IP替换安装操作系统过程中使用的动态IP。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读取存储介质中，比如ROM/RAM、磁碟、光盘等。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。