一种基于大数据集群资源的标签权限管理方法与系统与流程

[0001]
本发明涉及大数据技术领域，特别是一种基于大数据集群资源的标签权限管理方法与系统。


背景技术：

[0002]
伴随着业务的高速发展及创新技术的研究与应用实践获得的政策支持，近些年来企业对大数据技术的运用越来越成熟，应用比例显著提升，越来越多的应用数据被采集、存储、分析、展示以及预测。在此背景下，大数据中有关服务得到广泛应用，比如：使用hdfs(hadoop distributed file system，分布式文件系统)服务用来存储数据，使用hive(基于hadoop的一个数据仓库工具)组件用来分析数据等。在实际生产中由于应用场景不同，一些数据往往会被标记，相同类型的数据标记为相同的标签，不同类型的数据标记为不同类型的标签，以示区别。比如：一些敏感的数据会被标记相同的标签。用户对该标签进行授权，就意味着对该标签下的所有数据进行授权。还有一类操作，比如说一个数据处理流程，从数据采集到数据处理、数据存储以及数据展示等流程，如果这个数据处理流程被标记为一个标签，那么用户对该标签授权后，该数据处理流程中涉及的权限操作，都被授予该用户。当前国内外关于大数据集群资源的访问控制只是单一的控制一个大数据集群资源，apache ranger中存在基于标签的授权，但是需要借助apache atlas组件，否则无法进行授权，局限性很大。如何合理的对大数据集群资源进行跨组件、跨资源权限管理是目前面临的新挑战。


技术实现要素：

[0003]
本发明的目的是提供一种基于大数据集群资源的标签权限管理方法与系统，旨在解决现有技术中大数据集群资源权限管理混乱的问题，实现统一页面访问、标签管理以及权限认证，提高资源利用率。
[0004]
为达到上述技术目的，本发明提供了一种基于大数据集群资源的标签权限管理方法，所述方法包括以下操作：
[0005]
对大数据集群资源插件的相关参数进行配置；
[0006]
根据配置信息进行大数据组件插件的安装以及初始化；
[0007]
初始化大数据集群资源标签，将大数据集群标签管理中心和大数据集群资源的标签进行轮询双向同步；
[0008]
选择目标大数据组件对应资源标签进行权限设定，并存储权限设定权限列表；
[0009]
当用户进行资源访问时，插件根据用户资源请求从存储中获取权限列表进行判定，当请求存在于权限列表时，允许进行资源访问。
[0010]
优选地，所述相关参数包括插件安装位置、插件连接信息、元数据存储、用户数据以及数据标签同步。
[0011]
优选地，所述存储还存放设置的资源标签以及同步的用户数据、审计日志、登录信息元数据。
[0012]
优选地，所述方法还包括：
[0013]
插件的安装、启停、修改、删除以及数据标签的创建、修改、删除、更新、同步操作，均通过可视化webui页面进行。
[0014]
本发明还提供了一种基于大数据集群资源的标签权限管理系统，所述系统包括：
[0015]
配置模块，用于对大数据集群资源插件的相关参数进行配置；
[0016]
初始化模块，用于根据配置信息进行大数据组件插件的安装以及初始化；
[0017]
标签管理模块，用于初始化大数据集群资源标签，将大数据集群标签管理中心和大数据集群资源的标签进行轮询双向同步；
[0018]
权限设置模块，用于选择目标大数据组件对应资源标签进行权限设定，并存储权限设定权限列表；
[0019]
资源访问模块，用于当用户进行资源访问时，插件根据用户资源请求从存储中获取权限列表进行判定，当请求存在于权限列表时，允许进行资源访问。
[0020]
优选地，所述相关参数包括插件安装位置、插件连接信息、元数据存储、用户数据以及数据标签同步。
[0021]
优选地，所述存储还存放设置的资源标签以及同步的用户数据、审计日志、登录信息元数据。
[0022]
优选地，所述系统还包括存储模块，用于对于插件的安装、启停、修改、删除以及数据标签的创建、修改、删除、更新、同步操作，均通过可视化webui页面进行。
[0023]
本发明还提供了一种基于大数据集群资源的标签权限管理设备，包括：
[0024]
存储器，用于存储计算机程序；
[0025]
处理器，用于执行所述计算机程序，以实现所述的基于大数据集群资源的标签权限管理方法。
[0026]
本发明还提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现所述的基于大数据集群资源的标签权限管理方法。
[0027]
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
[0028]
与现有技术相比，本发明通过对大数据组件插件进行安装，并将大数据集群标签管理中心和大数据集群资源的标签进行轮询双向同步，通过对目标大数据组件对应资源标签进行权限设定，并存储权限设定权限列表，从而当用户进行资源访问时，插件根据用户资源请求从存储中获取权限列表进行判定，根据请求是否存在于权限列表中决定是否允许进行资源访问，实现大数据集群资源的标签权限管理，解决了由于大数据集群资源的使用带来的权限混乱的问题，统一页面访问、标签管理以及权限认证，大大提高了资源利用率。
附图说明
[0029]
图1为本发明实施例中所提供的一种基于大数据集群资源的标签权限管理方法流程图；
[0030]
图2为本发明实施例中所提供的一种基于大数据集群资源的标签权限管理系统框图。
具体实施方式
[0031]
为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
[0032]
下面结合附图对本发明实施例所提供的一种基于大数据集群资源的标签权限管理方法与系统进行详细说明。
[0033]
如图1所示，本发明公开了一种基于大数据集群资源的标签权限管理方法，所述方法包括以下操作：
[0034]
对大数据集群资源插件的相关参数进行配置；
[0035]
根据配置信息进行大数据组件插件的安装以及初始化；
[0036]
初始化大数据集群资源标签，将大数据集群标签管理中心和大数据集群资源的标签进行轮询双向同步；
[0037]
选择目标大数据组件对应资源标签进行权限设定，并存储权限设定权限列表；
[0038]
当用户进行资源访问时，插件根据用户资源请求从存储中获取权限列表进行判定，当请求存在于权限列表时，允许进行资源访问。
[0039]
配置插件安装位置、插件连接信息、元数据存储、用户数据以及数据标签同步等。在配置插件安装位置时，对于大数据集群cluster的hdfs组件的插件安装节点配置为：
[0040]
namenode:manager.bigdata；
[0041]
大数据集群cluster的hive组件的插件安装节点配置为：
[0042]
hiveserver2:master.bigdata；
[0043]
在配置插件连接信息时，以hdfs为例，cluster集群hdfs插件连接信息为：
[0044]
username:hdfs；password:hdfs；hdfs://manager.bigdata:8020；
[0045]
在配置元数据存储时，以hdfs为例，cluster集群元数据存储具体为：
[0046]
name:cluster；database username:cluster；database password:cluster；jdbc:jdbc:mysql://manager.bigdata:3306/cluster；
[0047]
在配置用户数据以及数据标签同步时，只需配置一次，会根据此配置同步各个大数据集群节点中的用户数据、配置项。
[0048]
根据配置的插件安装位置，进行初始化插件安装，并测试其连通性，根据用户数据同步的配置信息对插件进行用户轮询双向同步。
[0049]
初始化大数据集群资源标签，并同步大数据集群标签管理中心的设置标签，也会将大数据集群资源的标签同步到大数据集群标签管理中心，从多个组件中同步标签，即同样可轮询双向同步，并实时触发实现标签的双向同步。
[0050]
插件安装在大数据集群组件的对应的节点，用户进行资源访问时，插件对其用户的资源请求从存储中获取权限列表进行判定，若该用户请求在权限列表中有权限，则允许该请求进行资源访问，否则拒绝该用户请求，并提示用户缺少对应权限。
[0051]
对用户权限进行设定，选择目标大数据组件对应资源标签，选择用户或组，添加权
限，并设定其他属性参数。例如在cluster集群中，设定用户test对tag1标签下资源有读权限，其设定为tag1 test r
……
allow，则用户test在访问tag1标签下资源时，才有权限。
[0052]
对于设定的权限条件进行存储，包括设定的权限列表、设置的资源标签以及同步的用户数据、审计日志、登录信息等元数据。在进行用户资源访问判定时，都会从存储中获取权限列表，与用户资源访问条件进行对比，判定是否有权限进行资源访问。
[0053]
在本发明实施例中，插件的安装、启停、修改、删除以及数据标签的创建、修改、删除、更新、同步等操作，均通过可视化webui页面进行，从而通过可视化方式方便用户操作，简化操作流程。
[0054]
本发明实施例通过对大数据组件插件进行安装，并将大数据集群标签管理中心和大数据集群资源的标签进行轮询双向同步，通过对目标大数据组件对应资源标签进行权限设定，并存储权限设定权限列表，从而当用户进行资源访问时，插件根据用户资源请求从存储中获取权限列表进行判定，根据请求是否存在于权限列表中决定是否允许进行资源访问，实现大数据集群资源的标签权限管理，解决了由于大数据集群资源的使用带来的权限混乱的问题，统一页面访问、标签管理以及权限认证，大大提高了资源利用率。
[0055]
如图2所示，本发明实施例还公开了一种基于大数据集群资源的标签权限管理系统，所述系统包括：
[0056]
配置模块，用于对大数据集群资源插件的相关参数进行配置；
[0057]
初始化模块，用于根据配置信息进行大数据组件插件的安装以及初始化；
[0058]
标签管理模块，用于初始化大数据集群资源标签，将大数据集群标签管理中心和大数据集群资源的标签进行轮询双向同步；
[0059]
权限设置模块，用于选择目标大数据组件对应资源标签进行权限设定，并存储权限设定权限列表；
[0060]
资源访问模块，用于当用户进行资源访问时，插件根据用户资源请求从存储中获取权限列表进行判定，当请求存在于权限列表时，允许进行资源访问。
[0061]
配置插件安装位置、插件连接信息、元数据存储、用户数据以及数据标签同步等。
[0062]
根据配置的插件安装位置，进行初始化插件安装，并测试其连通性，根据用户数据同步的配置信息对插件进行用户轮询双向同步。
[0063]
初始化大数据集群资源标签，并同步大数据集群标签管理中心的设置标签，也会将大数据集群资源的标签同步到大数据集群标签管理中心，从多个组件中同步标签，即同样可轮询双向同步，并实时触发实现标签的双向同步。
[0064]
插件安装在大数据集群组件的对应的节点，用户进行资源访问时，插件对其用户的资源请求从存储中获取权限列表进行判定，若该用户请求在权限列表中有权限，则允许该请求进行资源访问，否则拒绝该用户请求，并提示用户缺少对应权限。
[0065]
对用户权限进行设定，选择目标大数据组件对应资源标签，选择用户或组，添加权限，并设定其他属性参数。例如在cluster集群中，设定用户test对tag1标签下资源有读权限，其设定为tag1 test r
……
allow，则用户test在访问tag1标签下资源时，才有权限。
[0066]
对于设定的权限条件进行存储，包括设定的权限列表、设置的资源标签以及同步的用户数据、审计日志、登录信息等元数据。在进行用户资源访问判定时，都会从存储中获取权限列表，与用户资源访问条件进行对比，判定是否有权限进行资源访问。
[0067]
在本发明实施例中，插件的安装、启停、修改、删除以及数据标签的创建、修改、删除、更新、同步等操作，均通过可视化webui页面进行，从而通过可视化方式方便用户操作，简化操作流程。
[0068]
本发明实施例还公开了一种基于大数据集群资源的标签权限管理设备，包括：
[0069]
存储器，用于存储计算机程序；
[0070]
处理器，用于执行所述计算机程序，以实现所述的基于大数据集群资源的标签权限管理方法。
[0071]
本发明实施例还公开了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现所述的基于大数据集群资源的标签权限管理方法。
[0072]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。