一种大数据平台版本管理与快速迭代部署方法及系统与流程

本发明涉及一种大数据平台版本管理与快速迭代部署方法及系统。

背景技术：

大数据平台应对每一种业务场景都有一套的大数据软件优化配置参数，如果使用现有的集群管理技术，那么就需要写大量的脚本，之后在成百上千台服务器上执行自动化配置脚本，由于脚本都是通过人员进行编写，因此其工作量是巨大的，并且若是某一脚本中出现问题，则排查难度较大，不利于用户使用。

技术实现要素：

本发明要解决的技术问题，在于提供一种大数据平台版本管理与快速迭代部署方法及系统，实现将大数据平台的每个版本制作一个虚拟机镜像文件，通过镜像文件的迭代到达整个集群的管理配置的升级迭代。

本发明之一是这样实现的：一种大数据平台版本管理与快速迭代部署方法，包括：

步骤1、将大数据配置本放入一虚拟机中进行运行，之后将所述虚拟机保存为一镜像文件；

步骤2、将镜像文件上传至镜像仓库服务器，并生成对应的时间戳；

步骤3、镜像仓库服务器接到集群管理人员的配置版本更新指令之后，将对应的大数据整个集群的镜像文件下发，并在每个宿主机节点启动相关虚拟机进程即可实现整个集群的配置版本的迭代更新。

进一步地，所述大数据配置本包括：操作系统版本配置以及环境配置、用户的环境配置以及大数据的配置参数。

进一步地，所述步骤3进一步具体为：镜像仓库服务器接到集群管理人员的配置版本更新指令之后，获取到对应的镜像文件，之后将所述镜像文件放入配置镜像的虚拟机中进行验证，若是通过验证，则将所述镜像文件下发，否则重新查找对应的镜像文件，直至通过验证后再进行下发，并在每个宿主机节点启动相关虚拟机进程即可实现整个集群的配置版本的迭代更新。

进一步地，所述镜像仓库服务器用于镜像文件的存储、管理以及下发到大数据各个节点的操作管理。

本发明之二是这样实现的：一种大数据平台版本管理与快速迭代部署系统，其特征在于：包括：

生成模块，将大数据配置本放入一虚拟机中进行运行，之后将所述虚拟机保存为一镜像文件；

上传模块，将镜像文件上传至镜像仓库服务器，并生成对应的时间戳；

更新模块，镜像仓库服务器接到集群管理人员的配置版本更新指令之后，将对应的大数据整个集群的镜像文件下发，并在每个宿主机节点启动相关虚拟机进程即可实现整个集群的配置版本的迭代更新。

进一步地，所述大数据配置本包括：操作系统版本配置以及环境配置、用户的环境配置以及大数据的配置参数。

进一步地，所述更新模块进一步具体为：镜像仓库服务器接到集群管理人员的配置版本更新指令之后，获取到对应的镜像文件，之后将所述镜像文件放入配置镜像的虚拟机中进行验证，若是通过验证，则将所述镜像文件下发，否则重新查找对应的镜像文件，直至通过验证后再进行下发，并在每个宿主机节点启动相关虚拟机进程即可实现整个集群的配置版本的迭代更新。

进一步地，所述镜像仓库服务器用于镜像文件的存储、管理以及下发到大数据各个节点的操作管理。

本发明具有如下优点：

1)大数据配置的镜像化被和配置一致性：通过轻量级虚拟化实现了大数据配置文件的镜像化，并且通过虚拟化镜像仓库统一管理和下发版本，实现整个大数据的配置文件的一致性，不会出现版本紊乱的问题。

2)大数据配置版本的安全验证测试：在虚拟化镜像仓库服务器对每个版本进行虚拟机环境中验证配置的正确性，避免配置异常导致的大数据集群异常问题。

3)大数据配置版本的快速迭代：通过虚拟化镜像仓库服务器，可以快速下发配置镜像版本到所有的大数据集群节点服务器，实现集群配置版本的快速迭代。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明方法执行流程图。

具体实施方式

本发明大数据平台版本管理与快速迭代部署方法，包括：

步骤1、将大数据配置本放入一虚拟机中进行运行，之后将所述虚拟机保存为一镜像文件；所述大数据配置本包括：操作系统版本配置以及环境配置、用户的环境配置以及大数据的配置参数；

步骤2、将镜像文件上传至镜像仓库服务器，并生成对应的时间戳，所述镜像仓库服务器用于镜像文件的存储、管理以及下发到大数据各个节点的操作管理；

步骤3、镜像仓库服务器接到集群管理人员的配置版本更新指令之后，获取到对应的镜像文件，之后将所述镜像文件放入配置镜像的虚拟机中进行验证，若是通过验证，则将所述镜像文件下发，否则重新查找对应的镜像文件，直至通过验证后再进行下发，并在每个宿主机节点启动相关虚拟机进程即可实现整个集群的配置版本的迭代更新。

本发明大数据平台版本管理与快速迭代部署系统，其特征在于：包括：

生成模块，将大数据配置本放入一虚拟机中进行运行，之后将所述虚拟机保存为一镜像文件；所述大数据配置本包括：操作系统版本配置以及环境配置、用户的环境配置以及大数据的配置参数；

上传模块，将镜像文件上传至镜像仓库服务器，并生成对应的时间戳，所述镜像仓库服务器用于镜像文件的存储、管理以及下发到大数据各个节点的操作管理；

更新模块，镜像仓库服务器接到集群管理人员的配置版本更新指令之后，获取到对应的镜像文件，之后将所述镜像文件放入配置镜像的虚拟机中进行验证，若是通过验证，则将所述镜像文件下发，否则重新查找对应的镜像文件，直至通过验证后再进行下发，并在每个宿主机节点启动相关虚拟机进程即可实现整个集群的配置版本的迭代更新。

通过本发明就可以实现为每个大数据优化配置制作一个虚拟镜像文件，大数据进程运行在这个镜像文件创建的容器中即可实现整个集群的统一优化升级配置。实现大数据平台镜像版本化管理和版本的快速迭代优化版本，改变以前需要管理一堆复杂脚本的局面，让运维管理扁平化，改变传统的分布式脚本执行，变成了分布式容器替换了。

方案结构：大数据配置的镜像化、配置镜像文件的集中管理、大数据配置迭代的安全测试验证、大数据配置升级迭代切换。

主要步骤：

a:大数据配置的虚拟镜像化：

为每一个的大数据配置本生成一个轻量级的虚拟化镜像文件，此镜像包含以下的项目：操作系统的操作系统版本配置以及环境配置、用户的环境配置、大数据的配置参数。

操作系统的内核底层代码、和大数据的业务数据将使用直接的宿主机的相关数据，从而把大数据配置的每个版本实现虚拟化镜像。

b:配置镜像文件的集中管理：

大数据配置的虚拟镜像上传到虚拟化镜像仓库服务器，由此服务器进行镜像的存储、管理、和下发到大数据各个节点的操作管理。

大数据集群配置镜像的版本管理：通对大数据集群的配置镜像进行时间戳和版本管理结合(在生成镜像的时候，都会生成一对应的版本号)，实现版本的迭代管理。

c:大数据配置迭代的安全测试验证：

在虚拟化镜像仓库服务器可对每个版本的大数据配置文件，可以直接在配置镜像的虚拟机环境中去验证配置的正确性，配置是否有风险导致集群出现无法启动等问题，若是配置有风险，则需要重新生成镜像文件，通过以上测试操作确保大数据配置的安全。

d:大数据配置升级迭代切换：

虚拟化镜像仓库服务器接到集群管理人员的配置版本更新指令之后，即可启动对大数据整个集群的配置镜像文件相应版本的下发，并在每个宿主机节点启动相关虚拟机进程即可实现整个集群的配置版本的迭代更新。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。