基于大数据下集群资源管理分配方法、设备及存储介质与流程

本发明涉及大数据领域，更具体地，涉及一种基于大数据下集群资源管理分配方法、设备及存储介质。

背景技术：

1、随着大数据产业发展，大数据业务的快速发展和市场的拓展，大数据的集群越来越普遍，现有技术中，大数据存储介质的管理与分配通常是由人工进行控制，存在管理难度大、资源利用率低、易出现资源竞争等问题。随着大数据存储需求的不断增加，传统的集群资源管理方式已经无法满足业务的需求，需要一种高效、智能的集群资源管理分配方案。

技术实现思路

1、本发明针对现有技术中存在的技术问题，提供一种基于大数据下集群资源管理分配方法、设备及存储介质，以解决现有的大数据平台资源竞争激烈和资源分配不均的问题。

2、根据本发明的第一方面，提供了一种基于大数据下集群资源管理分配方法，用于apache ranger，所述分配方法包括以下步骤：

3、步骤1.通过apache ranger提供界面建立一套完善的人员、角色和权限关系，并给用户授权访问对应资源和数据；

4、步骤2.判断登录用户是否授权，若是，则让经过授权的用户合法地访问已授权的资源和数据，若否，则让未经授权的“非法用户”彻底“拒之门外”，拒绝登录。

5、在上述技术方案的基础上，本发明还可以作出如下改进。

6、可选的，步骤1中，所述通过apache ranger提供界面建立一套完善的人员、角色和权限关系包括：

7、在操作系统创建不同用户，通过用户同步将操作系统用户/属组的权限数据同步到ranger的数据库中；在园林管理员控制台中，在“服务管理器”页面中，选择一个已经存在的hbase服务，当出现“策略列表”页面，创建一个新的策略或编辑一个现有的策略，在策略中指定要授权的用户或用户组，以及他们可以访问的资源和操作，保存策略变更。

8、可选的，所述在步骤1中，还包括创建临时策略，通过创建的临时策略对其他用户进行临时授权，当临时授权的用户完成相关操作后，再删除这些策略，实现用户的临时授权。

9、可选的，所述步骤2中包括以下步骤：

10、确认该用户在园林管理员中已被注册为用户或用户组，在园林管理员控制台中选择需要检查的服务和策略类型，查找与用户想要访问的资源和操作相符的策略，如果策略授权了该用户或包含该用户所在的组，则该用户将被授权。

11、可选的，所述集群资源管理分配方法适用于hadoop生态组件，包括但不限于hdfs、hive、hbase、yarn进行细粒度的数据访问控制。

12、根据本发明的第二方面，本发明还提供一种基于大数据集群字眼分配方法，应用于yarn系统，所述方法包括以下步骤：

13、步骤1.通过不同用户向系统中提交应用程序；

14、步骤2.系统为所述应用程序分配第一容器，并与对应的节点通信，在第一容器中启动应用程序的应用主程序；

15、步骤3.应用主程序首先向资源管理器注册，用户通过resource manage查看应用程序的运行状态，然后资源管理器为各个任务申请资源，并监控各个任务的运行状态，直到运行结束，即重复步骤4～7；

16、步骤4.应用主程序采用轮询的方式通过rpc协议向资源管理器申请和领取资源；

17、步骤5.一旦应用主程序申请到资源后，便与对应的节点管理器通信，要求应用主程序启动任务；

18、步骤6.节点管理器为任务设置好运行环境后，将任务启动命令写到对应脚本中，并通过运行所述脚本启动任务；

19、步骤7.各个任务通过rpc协议向应用主程序汇报自己的状态和进度，以让应用主程序随时掌握各个任务的运行状态，并在任务失败时重新启动任务；

20、步骤8.应用程序运行完成后，应用主程序向资源管理器注销并关闭自己。

21、可选的，所述运行环境包括环境变量、jar包和二进制程序。

22、可选的，在应用程序运行过程中，用户能够随时通过rpc向应用主程序查询应用程序的当前运行状态。

23、根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机程序时实现上述所述的基于大数据下集群资源管理分配方法和/或所述的基于大数据集群字眼分配方法的步骤。

24、根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机管理类程序被处理器执行时实现上述所述基于大数据下集群资源管理分配方法和/或所述基于大数据集群字眼分配方法的步骤。

25、本发明的技术效果和优点：

26、与现有技术相比，本发明提供一种基于大数据下集群资源管理分配方法、设备及存储介质，能够根据不同的用户所需资源信息的不同，分配不同的大数据集群资源组件。因此，不同的用户具有不同的大数据集群资源组件，可以达到了资源隔离的目的。以致不会出现不同的用户之间的资源竞争以及抢占问题，从而提升了大数据平台对每一个用户的请求响应速率。

27、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

技术特征：

1.一种基于大数据下集群资源管理分配方法，其特征在于，用于apache ranger，所述分配方法包括以下步骤：

2.根据权利要求1所述的一种基于大数据下集群资源管理分配方法，其特征在于，步骤1中，所述通过apache ranger提供界面建立一套完善的人员、角色和权限关系包括：

3.根据权利要求2所述的一种基于大数据下集群资源管理分配方法，其特征在于，在步骤1中，还包括创建临时策略，通过创建的临时策略对其他用户进行临时授权，当临时授权的用户完成相关操作后，再删除这些策略，实现用户的临时授权。

4.根据权利要求1所述的一种基于大数据下集群资源管理分配方法，其特征在于，步骤2中，所述判断登录用户是否授权包括：

5.根据权利要求1所述的一种基于大数据下集群资源管理分配方法，其特征在于，所述集群资源管理分配方法适用于hadoop生态组件，包括但不限于hdfs、hive、hbase、yarn进行细粒度的数据访问控制。

6.一种基于大数据集群字眼分配方法，其特征在于，应用于yarn系统，所述方法具体包括以下步骤：

7.根据权利要求6所述的一种基于大数据集群字眼分配方法，其特征在于，在步骤6中，所述运行环境包括环境变量、jar包和二进制程序。

8.根据权利要求6所述的一种基于大数据集群字眼分配方法，其特征在于，在应用程序运行过程中，用户能够随时通过rpc向应用主程序查询应用程序的当前运行状态。

9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-5任一项所述的基于大数据下集群资源管理分配方法或权利要求6-8任一项所述的基于大数据集群字眼分配方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的基于大数据下集群资源管理分配方法或权利要求6-8任一项所述的基于大数据集群字眼分配方法的步骤。

技术总结
本发明提供一种基于大数据下集群资源管理分配方法、设备及存储介质，所述资源管理分配方法包括以下步骤：步骤1.通过Apache Ranger提供界面建立一套完善的人员、角色和权限关系，并给用户授权访问对应资源和数据；步骤2.判断登录用户是否授权，若是，则让经过授权的用户合法地访问已授权的资源和数据，若否，则让未经授权的“非法用户”彻底“拒之门外”，拒绝登录。本发明能够根据不同的用户所需资源信息的不同，分配不同的大数据集群资源组件，以解决现有的大数据平台资源竞争激烈和资源分配不均的问题。

技术研发人员：李飞,李耀,彭磊
受保护的技术使用者：武汉众邦银行股份有限公司
技术研发日：
技术公布日：2024/1/15