一种安全模式下添加Hadoop集群用户的方法与流程

文档序号：16608157发布日期：2019-01-14 21:18阅读：490来源：国知局

本发明涉及大数据技术领域，特别涉及一种安全模式下添加hadoop集群用户的方法。

背景技术：

hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在hadoop上开发和运行处理海量数据的应用程序。hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(etl)方面上的天然优势。hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像etl这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。hadoop的mapreduce功能实现了将单个任务打碎，并将碎片任务(map)发送到多个节点上，之后再以单个数据集的形式加载(reduce)到数据仓库里。

hadoop主要有以下几个优点：

（1）高可靠性。hadoop按位存储和处理数据的能力值得人们信赖。

（2）高扩展性。hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

（3）高效性。hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

（4）高容错性。hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

（5）低成本。与一体机、商用数据仓库以及qlikview、yonghongz-suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

在安全模式（securemode）下的hadoop集群，linuxcontainerexecutor要求所有提交任务的用户在集群的计算节点上创建，完成用户创建才能保证container正常启动。因此，需要去每一个节点上创建用户，并为用户创建主目录。目前的操作方式是在每一个节点上执行添加用户的操作，缺乏统一的入口完成用户的添加。如果集群规模非常大，操作的难度可想而知。

基于上述情况，本发明提出了一种安全模式下添加hadoop集群用户的方法。

技术实现要素：

本发明为了弥补现有技术的缺陷，提供了一种简单高效的安全模式下添加hadoop集群用户的方法。

本发明是通过如下技术方案实现的：

一种安全模式下添加hadoop集群用户的方法，其特征在于：采用b/s架构，在web界面发送添加用户请求，基于需要添加的用户信息，调用restapi查看集群上计算节点上是否存在该用户；如果用户不存在，调用python语言实现用户添加脚本，将用户添加进hadoop集群当中，并将添加成功或者失败的运行结果返回后台服务器。

具体包括以下步骤：

（1）由客服端发送添加用户请求，并将所添加用户信息作为参数传给后台服务器；

（2）后台服务器获取hadoop集群的计算节点；

（3）调用python实现查询脚本，查询请求添加的用户是否为节点存在用户，如果用户不存在，添加用户，继续执行下一步，如果用户存在则直接执行下一步；

（4）判断是否还有剩余未添加用户的计算节点，如果存在剩余计算节点则跳转到步骤（2）继续执行，如果不存在剩余计算节点则完成用户添加。

所述步骤（1）中，客服端通过restapi接口将所添加用户信息作为参数传给后台服务器。

所述步骤（2）中，后台服务器调取amabari的接口获取hadoop集群的计算节点。

本发明的有益效果是：该安全模式下添加hadoop集群用户的方法，提供了可视化操作界面，可以将用户实时添加进securemode下的hadoop集群中，提高了用户添加的时效性、易用性。

附图说明

附图1为本发明安全模式下添加hadoop集群用户的方法示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

该安全模式下添加hadoop集群用户的方法，采用b/s架构，在web界面发送添加用户请求，基于需要添加的用户信息，调用restapi查看集群上计算节点上是否存在该用户；如果用户不存在，调用python语言实现用户添加脚本，将用户添加进hadoop集群当中，并将添加成功或者失败的运行结果返回后台服务器。