本发明涉及计算机软件应用开发技术领域，特别涉及一种利用Docker容器自动化部署与管理大数据集群的方法。
背景技术：
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。几乎没有性能开销，可以很容易地在机器和数据中心中运行。最重要的是，它们不依赖于任何语言、框架包括系统。
Dockerfile是由一系列命令和参数构成的脚本，这些命令应用于基础镜像并最终创建一个新的镜像，它们简化了从头到尾的流程并极大的简化了部署工作。Dockerfile从FROM命令开始，紧接着各种方法、命令和参数，其产出为一个新的可以用于创建容器的镜像。
Ember.js是一个用于创建web应用的JavaScript MVC框架，采用基于字符串的Handlebars模板，支持双向绑定、观察者模式、计算属性（依赖其他属性动态变化）、自动更新模板、路由控制、状态机等。Ember使用自身扩展的类来创建Ember对象、数组、字符串、函数，提供大量方法与属性用于操作。Ember采用可嵌套的视图层，使视图变得有层次。
基于上述情况，同时为了解决大数据集群资源使用率高、安装管理复杂，以及使用过程中参数调整繁琐、性能监控不便的缺点，减轻运维人员的工作量，快速高效地在生产环境下完成大数据集群的部署和管理工作。本发明设计了一种利用Docker容器自动化部署与管理大数据集群的方法。
技术实现要素：
本发明为了弥补现有技术的缺陷，提供了一种简单高效的利用Docker容器自动化部署与管理大数据集群的方法。
本发明是通过如下技术方案实现的：
一种利用Docker容器自动化部署与管理大数据集群的方法，其特征在于：通过编写Dockerfile文件构建Hadoop大数据集群自动化部署相关的Docker镜像，包括Server端镜像和Agent端镜像；利用Server端镜像启动一个Server容器，利用Agent端镜像启动多个Agent端，由Server端对多个Agent端进行统一管理，同时在Server容器中启动Web应用；建立一个由Server端、多Agent端和Web端组成的分布式架构，自动化启动部署Hadoop相关大数据集群的服务。
所述Web端基于Ember JS框架，负责引导用户进行大数据组件安装，安装完成后对集群、主机和组件进行可视化监控，同时支持各个组件的启停等操作与配置的调优；
所述Server端负责与Web端和Agent端进行交互，开放两大类API，其中一类API为Web端提供监控管理服务，实现应用的安装部署与管理监控可视化；另一类API用于与Agent端进行交互，分发任务到指定的Agent，同时接受Agent向Server发送心跳请求，实时监控Agent的状态；
所述Agent端负责调用Python脚本进行应用的自动化安装以及主机状态的监控，同时支持主机数量的扩展，对Metrics进行封装，实现对集群、主机和应用的监控，结合Grafana更好地实现监控信息的可视化。
所述Web端引导用户进行大数据组件安装，包括添加主机、选择应用、主机分配、修改配置。
本发明的有益效果是：该利用Docker容器自动化部署与管理大数据集群的方法，通过Web页面实现了集群的管理与配置调优，减少了运维人员的工作量，同时通过可视化监控能够直观地获取集群、主机和组件的运行状态，提高运维人员的工作效率，进而显著提高了大数据集群部署的速度，简化了部署流程，同时降低了硬件资源使用率。
附图说明
附图1为本发明利用Docker容器自动化部署与管理大数据集群的方法示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图和实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该利用Docker容器自动化部署与管理大数据集群的方法，通过编写Dockerfile文件构建Hadoop大数据集群自动化部署相关的Docker镜像，包括Server端镜像和Agent端镜像；利用Server端镜像启动一个Server容器，利用Agent端镜像启动多个Agent端，由Server端对多个Agent端进行统一管理，同时在Server容器中启动Web应用；建立一个由Server端、多Agent端和Web端组成的分布式架构，自动化启动部署Hadoop相关大数据集群的服务。
所述Web端基于Ember JS框架，负责引导用户进行大数据组件安装，安装完成后对集群、主机和组件进行可视化监控，同时支持各个组件的启停等操作与配置的调优；
所述Server端负责与Web端和Agent端进行交互，开放两大类API，其中一类API为Web端提供监控管理服务，实现应用的安装部署与管理监控可视化；另一类API用于与Agent端进行交互，分发任务到指定的Agent，同时接受Agent向Server发送心跳请求，实时监控Agent的状态；
所述Agent端负责调用Python脚本进行应用的自动化安装以及主机状态的监控，同时支持主机数量的扩展，对Metrics进行封装，实现对集群、主机和应用的监控，结合Grafana更好地实现监控信息的可视化。
所述Web端引导用户进行大数据组件安装，包括添加主机、选择应用、主机分配、修改配置。
该利用Docker容器自动化部署与管理大数据集群的方法，主要解决了以下问题：
（1）Hadoop大数据集群自动化部署相关Docker镜像的制作方法；
（2）利用自定义Docker镜像启动的容器部署Hadoop相关大数据集群安装复杂、配置繁琐、管理不便的问题。
该利用Docker容器自动化部署与管理大数据集群的方法，完成了Hadoop相关大数据组件的安装、配置、参加调整，将手动安装、配置、管理全部实现自动化，提供了Web管理界面，便于可视化操作。具体来说，通过Web页面实现了集群的管理与配置调优，减少了运维人员的工作量，同时通过可视化监控能够直观地获取集群、主机和组件的运行状态，提高运维人员的工作效率，进而显著提高了大数据集群部署的速度，简化了部署流程，同时降低了硬件资源使用率。