本发明涉及大数据处理的技术领域，尤其涉及一种多维度的hadoop权限控制方法，以及多维度的hadoop权限控制系统。
背景技术：
专利“一种支持多租户的大数据平台及租户访问方法”(CN201510538231.2)给出了一种hadoop权限控制方法。hadoop权限默认使用基于POSIX模型，支持按用户、用户组、其他用户的读写执行控制权限，而用户对应的组通过master节点本地linux系统获取，获取命令为groups$user。
但是，这种方式不够灵活，有以下缺点：配置权限需要修改master节点本地的用户组信息；无法控制用户伪造超级账号访问hadoop集群；无法限制用户只能从指定的IP访问hadoop集群。
技术实现要素：
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种多维度的hadoop权限控制方法，其能够实现用户组可配置，同时限制用户只能在固定的IP上访问hadoop集群，解决默认权限存在的配置不够灵活、无法控制用户伪造超级账号，无法限制用户必须从指定的IP访问hadoop集群这些问题，真正从用户、组和IP等多个维度来实现hadoop权限的安全认证。
本发明的技术方案是：这种多维度的hadoop权限控制方法，其包括以下步骤：
(1)准备配置文件，配置文件包括：权限配置文件、IP白名单文件和IP黑名单文件；
(2)使hadoop的master进程识别和生效。
本发明通过准备配置文件，使hadoop的master进程识别和生效，从而能够实现用户组可配置，同时限制用户只能在固定的IP上访问hadoop集群，解决默认权限存在的配置不够灵活、无法控制用户伪造超级账号，无法限制用户必须从指定的IP访问hadoop集群这些问题，真正从用户、组和IP等多个维度来实现hadoop权限的安全认证。
还提供了一种多维度的hadoop权限控制系统，该系统包括：
配置文件准备模块，其配置来准备配置文件，配置文件包括：权限配置文件、IP白名单文件和IP黑名单文件；
权限生效模块，其配置来使hadoop的master进程识别和生效。
附图说明
图1所示为根据本发明的多维度的hadoop权限控制方法的流程图。
具体实施方式
如图1所示，这种多维度的hadoop权限控制方法，其包括以下步骤：
(1)准备配置文件，配置文件包括：权限配置文件(usergroupsmapping)、IP白名单文件(includes)和IP黑名单文件(excludes)；
(2)使hadoop的master进程识别和生效。
本发明通过准备配置文件，使hadoop的master进程识别和生效，从而能够实现用户组可配置，同时限制用户只能在固定的IP上访问hadoop集群，解决默认权限存在的配置不够灵活、无法控制用户伪造超级账号，无法限制用户必须从指定的IP访问hadoop集群这些问题，真正从用户、组和IP等多个维度来实现hadoop权限的安全认证。
另外，该方法还包括步骤(3)，在hadoop客户端上验证配置的权限是否生效，验证包括确认访问hadoop分布式文件系统hdfs是否有权限，确认提交应用到资源控制器Yarn是否有权限。
另外，所述步骤(1)中权限配置文件包括：配置用户，用户所属的组，以及该用户能够访问集群的IP节点。文件内容格式如下：
user1:group1,group2…:ip1,ip2…
user2:group3,group4…:ip3,ip4…
…
另外，所述步骤(1)中IP白名单文件为，一行一个IP，在白名单里面的IP，访问hadoop集群时都不做权限认证，直接放行。这个主要用于跨集群拷贝数据，批量授予其他集群节点访问集群数据的权限。
另外，所述步骤(1)中IP黑名单文件为，一行一个IP，在黑名单里面的IP，直接不能访问集群。
另外，所述步骤(2)为自动生效方式，master进程定时检测配置文件，如果检测到文件被修改，则自动加载到内存并使权限生效。
另外，所述步骤(2)为手动刷新方式，手动刷新远程过程调用RPC接口，通过master进程，加载最新的配置文件到内存并生效。
另外，所述步骤(2)的手动刷新方式使用hadoop自身提供的RPC接口通过刷新用户映射协议RefreshUserMappingsProtocol来刷新缓存中用户与用户组映射关系信息。这样简单方便。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种多维度的hadoop权限控制系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。该系统包括：
配置文件准备模块，其配置来准备配置文件，配置文件包括：权限配置
文件、IP白名单文件和IP黑名单文件；
权限生效模块，其配置来使hadoop的master进程识别和生效。
另外，该系统还包括验证模块，其配置来在hadoop客户端上验证配置的权限是否生效，验证包括确认访问hadoop分布式文件系统hdfs是否有权限，确认提交应用到资源控制器Yarn是否有权限。
本发明的有益效果如下：
1.权限可配置；
2.控制权限的维度更多，包括了ip，控制力度更细；
3.权限生效有自动生效和手动刷新两种，非常方便。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。