一种实现大数据平台用户统一管理的方法及相关装置与流程

本申请实施例涉及数据处理领域，特别涉及一种实现大数据平台用户统一管理的方法及相关装置。

背景技术：

大数据平台承载着多种场景业务系统，不同业务租户需要不同账户登陆、使用大数据平台。

现有技术中，创建租户，分配资源权限等都依赖主机操作系统侧用户，在多租户环境下，大数据平台需要在服务对应主机下创建、更新或者删除系统用户，另若集成kerberos认证功能，依yarncontainer的安全机制，每台数据节点必须创建租户对应系统用户后，才能启动container运行作业、任务，因此随着租户的增加，用户的维护难度也逐渐增大。

技术实现要素：

本申请提供了一种实现大数据平台用户统一管理的方法及相关装置，无需在服务对应主机创建用户，简化了用户管理流程，降低了用户的维护难度。

本申请实施例第一方面提供了一种实现大数据平台用户统一管理的方法，包括：

通过大数据安全管控平台将用户信息存储进ldap数据库；

通过sssd服务进程将所述ldap数据库中的所述用户信息缓存至大数据平台主机系统；

根据所述大数据平台主机系统缓存的所述用户信息映射对应的用户。

可选的，在所述通过sssd服务进程将所述ldap数据库中的所述用户信息缓存至大数据平台主机系统之前，所述方法还包括：

通过haproxy负载均衡器对所述ldap数据库进行负载均衡处理。

可选的，所述通过haproxy负载均衡器对所述ldap数据库进行负载均衡处理，包括：

通过所述haproxy负载均衡器设置两个监听端口，所述监听端口包括读的监听端口和写的监听端口，用于检查相应服务响应是否健康；

将所述大数据安全管控平台发送的请求转发至所述haproxy负载均衡器对应的监听端口执行读写操作，以实现所述请求的负载均衡处理。

可选的，在所述通过sssd服务进程将所述ldap数据库中的所述用户信息缓存至大数据平台主机系统之前，所述方法还包括：

查询所述大数据平台主机系统中是否已存有所述用户信息，若是，则保持所述大数据平台主机系统中的用户信息不变；

若否，则通过所述sssd服务进程将所述用户信息缓存至所述大数据平台主机系统中。

可选的，所述根据所述大数据平台主机系统缓存的所述用户信息映射对应的用户，包括：

查询所述大数据平台主机系统中已缓存的所述用户信息；

通过所述sssd服务进程映射所述用户信息对应的用户。

可选的，所述通过大数据安全管控平台将用户信息存储进ldap数据库，包括：

通过所述大数据安全管控平台的用户管理模块将用户和/或组创建、更新或删除的用户信息存储进所述ldap数据库。

本申请实施例第二方面提供了一种实现大数据平台用户统一管理的装置，其特征在于，包括：

存储单元，用于通过大数据安全管控平台将用户信息存储进ldap数据库；

第一缓存单元，用于通过sssd服务进程将所述ldap数据库中的所述用户信息缓存至大数据平台主机系统；

映射单元，用于根据所述大数据平台主机系统缓存的所述用户信息映射对应的用户。

可选的，所述装置还包括：

负载均衡单元，用于通过haproxy负载均衡器对所述ldap数据库进行负载均衡。

可选的，所述负载均衡单元包括：

设置模块，用于通过所述haproxy负载均衡器设置两个监听端口，所述监听端口包括读的监听端口和写的监听端口，用于检查相应服务响应是否健康；

转发模块，用于将所述大数据安全管控平台发送的请求转发至所述haproxy负载均衡器对应的监听端口执行读写操作，以实现所述请求的负载均衡。

可选的，所述装置还包括：

查询单元，用于查询所述大数据平台主机系统中是否已存有所述用户信息；

保持单元，用于在所述查询单元查询到已存有所述用户信息之后，保持所述大数据平台主机系统中的用户信息不变；

第二缓存单元，用于在所述查询单元查询到未存有所述用户信息之后，通过所述sssd服务进程将所述用户信息缓存至所述大数据平台主机系统中。

本申请实施例第三方面提供了一种实现大数据平台用户统一管理的装置，包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、输入输出单元以及总线相连；

所述处理器执行如下操作：

通过大数据安全管控平台将用户信息存储进ldap数据库；

通过sssd服务进程将所述ldap数据库中的所述用户信息缓存至大数据平台主机系统；

根据所述大数据平台主机系统缓存的所述用户信息映射对应的用户。

本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行上述第一方面任意一种实现大数据平台用户统一管理的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本发明中，通过大数据安全管控平台将用户信息存储进ldap数据库，再通过sssd服务进程将该用户信息缓存至大数据平台主机系统，以使得该大数据平台主机系统可以直接根据该用户信息映射对应的用户，该方法无需在服务对应主机创建用户，简化了用户管理流程，降低了用户的维护难度。

附图说明

图1为本申请实施例中实现大数据平台用户统一管理的方法一个实施例流程示意图；

图2为本申请实施例中实现大数据平台用户统一管理的方法另一个实施例流程示意图；

图3为本申请实施例中实现大数据平台用户统一管理的装置一个实施例流程示意图；

图4为本申请实施例中实现大数据平台用户统一管理的装置另一个实施例流程示意图；

图5为本申请实施例中实现大数据平台用户统一管理的装置另一个实施例流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的阐述，显然阐述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护范围。

本申请提供了一种实现大数据平台用户统一管理的方法及相关装置，无需在服务对应主机创建用户，简化了用户管理流程，降低了用户的维护难度。

请参阅图1，本申请实施例提供了一种实现大数据平台用户统一管理的方法，包括：

101、通过大数据安全管控平台将用户信息存储进ldap数据库；

需要说明的是，本申请中，大数据安全管控平台指的是hadoop大数据平台，该hadoop大数据平台的安全机制包括两个方面，一个是身份认证，即使用者要使用大数据平台需要提供自己的身份证明，证明有效即可进入大数据平台，否则就拒绝进入；另一个是授权管理，该使用者身份认证通过之后，还需要对该使用者的使用权限进行界定，即该使用者在大数据平台中能够使用什么组件，能够获取哪些资源，能够对资源进行哪些操作进行管理。

ldap是轻量级目录访问协议(lightweightdirectoryaccessprotocol，ldap)的缩写，全称是openldap。ldap提供并实现目录服务的信息服务，该目录服务是一个为查询、浏览和搜索而优化的专业分布式数据库。如管理人员维护账号，若机器账号数量过多，比如达到1000以上时，对于账号的创建、回收、权限的分配、密码策略、账号安全审计等一系列操作，将会难以管理，此时可以通过openldap服务器来实现账号集中维护、管理，只需要将被管理的机器加入到服务器端，关于账号的添加、删除、修改、权限的赋予等一系列操作只需要在服务端操作即可，无须在客户端机器进行单独操作。客户端账号及密码均通过openldap服务器进行验证，从而实现账号集中认证管理，此时账号管理员只须维护openldap服务器条目即可。

此外，本申请实施例中，存储进ldap数据库的用户信息包括用户名、用户密码、用户所属组以及业务类型等信息，具体本申请不做限定。

102、通过sssd服务进程将所述ldap数据库中的所述用户信息缓存至大数据平台主机系统；

需要说明的是，本申请中，sssd服务进程指的是一种守护进程，该守护进程可以用来访问多种验证服务器，如ldap，kerberos等，并提供授权。

sssd服务进程是介于本地用户和数据存储之间的进程，本地客户端首先连接sssd，再由sssd联系外部资源提供者(远程认证服务器)。在本申请实施例中，通过sssd服务连接ladp服务器，将存储在ladp服务器的用户信息缓存至大数据平台主机系统客户端，避免了本地每个客户端程序(大数据平台主机系统)对远程认证服务器(如ladp服务器)的大量连接，所有本地程序仅联系sssd，由sssd连接远程认证服务器或sssd缓存，有效的降低了负载。此外，sssd服务还允许离线授权，即sssd可以缓存远程认证服务器的用户认证身份，这允许在远程认证服务器宕机时，继续成功授权用户访问必要的资源。

103、根据所述大数据平台主机系统缓存的所述用户信息映射对应的用户。

需要说明的是，本申请实施例中，映射为用户名映射，即用户名映射充当一个客户端和服务器提供集中用户映射服务的“票据交换所”。使用用户名映射可以在windows和unix用户和组帐户之间创建映射，即使两种环境中的用户名和组名可能不相同；也可以进行一对多的映射，例如，如果不需要为各个用户维护独立的unix帐户，更希望使用较少的帐户提供不同的访问权限级别，则可以使用此方法。

本申请实施例中，用户名映射定期从源数据库(ladp数据库)中刷新其映射数据库，确保其映射数据库(大数据平台主机系统)在windows和unix命名空间中发生更改时保持最新，也可以在知道源数据库发生更改时随时刷新该数据库。此外，还可以随时备份和还原用户名映射数据。

本申请实施例中，通过大数据安全管控平台将用户信息存储进ldap数据库，再通过sssd服务进程将该用户信息缓存至大数据平台主机系统，以使得该大数据平台主机系统可以直接根据该用户信息映射对应的用户，该方法无需在服务对应主机创建用户，简化了用户管理流程，降低了用户的维护难度。

上面对实现大数据平台用户统一管理的方法进行了一个大概的说明，下面将对实现大数据平台用户统一管理的方法进行一个详细的介绍。

请参阅图2，本申请实施例中实现大数据平台用户统一管理的方法另一个实施例包括：

201、通过所述大数据安全管控平台的用户管理模块将用户和/或组创建、更新或删除的用户信息存储进所述ldap数据库；

需要说明的是，本申请实施例中，该大数据安全管控平台分有多个模块，其中用户管理模块用于创建租户，权限设置，租约管理等，将租户的信息，如租户名、密码等用户信息写入大数据安全管控平台，再将这些用户信息存入ldap数据库。

202、通过haproxy负载均衡器对所述ldap数据库进行负载均衡处理；

需要说明的是，软件负载均衡一般通过两种方式来实现，一种是基于操作系统的软负载实现，另一种是基于第三方应用的软负载实现，其中，haproxy就是基于第三应用实现的软负载。

haproxy支持两种主要的代理模式:4层模式和7层模式。本申请中使用的是7层模式，在7层模式下，haproxy会分析协议，并且能通过允许、拒绝、交换、增加、修改或者删除请求或者回应里指定内容来控制协议。

此外，需要说明的是，haproxy仅仅是一款的用于均衡负载的应用代理，其自身并不能提供web服务，但其配置简单，拥有服务器健康检查功能和系统状态监控页面，当其代理的后端服务器出现故障,haproxy会自动将该服务器摘除，故障恢复后再自动将该服务器加入。

当haproxy负载均衡器在接收到来自客户端的请求时，会通过设定的负载均衡算法选择一个最佳的后端服务器，同时将请求中目标ip地址修改为后端服务器ip，然后直接转发给该后端服务器，这样一个负载均衡请求就完成了。简单来说，一个tcp连接是客户端和服务器直接建立的，而负载均衡器只完成了一个类似路由器的转发动作。

本申请实施例中，通过haproxy负载均衡器设置两个监听端口，该监听端口包括读的监听端口和写的监听端口，用于检查相应服务响应是否健康，如果监听端口响应正常，客户端(大数据安全管控平台)向haproxy的请求会由haproxy负责转发到对应的监听端口去执行读写操作，以实现请求的负载均衡处理。其中一个端口配置2个主节点，用于写操作；一个端口配置全部3个从节点，用于读操作。

203、查询所述大数据平台主机系统中是否已存有所述用户信息；

本申请实施例中，在对用户进行映射时，需要先查询该大数据平台主机系统中是否已存有该用户对应的用户信息，且该用户信息是否一致，若已存有该用户信息，则执行步骤204；若未存有该用户信息，则执行步骤205。

204、保持所述大数据平台主机系统中的用户信息不变；

需要说明的是，本申请实施例中，该用户信息是通过sssd服务从ldap数据库中存储的最新用户信息同步缓存的。

此外，执行完步骤204之后，直接执行步骤206。

205、通过sssd服务进程将所述ldap数据库中的所述用户信息缓存至大数据平台主机系统；

本实施例中的步骤205与前述实施例中步骤102类似，此处不再赘述。

206、查询所述大数据平台主机系统中已缓存的所述用户信息；

需要说明的是，要与对应的用户映射，得先确认该用户信息的内容，比如用户名，用户ip地址等，以此来确定对应的用户。

207、通过所述sssd服务进程映射所述用户信息对应的用户。

本实施例中的步骤205的映射方式与前述实施例中步骤103中的映射方式类似，此处不再赘述。

本申请实施例中，通过将用户/组的映射关系统一存储和管理，构建用户统一管理模型，简化了大数据平台用户管理流程，不依赖在集群内部创建/更新/删除主机用户，用户无法在主机层面登陆到集群内主机，提高大数据平台安全性；同时，通过使用haproxy负载均衡器对数据进行处理，提高了服务器的响应速度，解决了网络拥塞问题，达到高质量的网络访问效果。

上面对实现大数据平台用户统一管理的方法进行了描述，下面将对实现大数据平台用户统一管理的装置进行描述：

请参阅图3，本申请实施例中实现大数据平台用户统一管理的装置一个实施例包括：

存储单元301，用于通过大数据安全管控平台将用户信息存储进ldap数据库；

第一缓存单元302，用于通过sssd服务进程将所述ldap数据库中的所述用户信息缓存至大数据平台主机系统；

映射单元303，用于根据所述大数据平台主机系统缓存的所述用户信息映射对应的用户。

本实施例中，实现大数据平台用户统一管理的装置的各单元功能与前述图1所示实施例中的步骤对应，此处不再赘述。

本申请实施例中，通过存储单元301将用户信息存储进ldap数据库，再通过第一缓存单元302将该用户信息缓存至大数据平台主机系统，以使得该大数据平台主机系统可以直接根据该用户信息通过映射单元303映射对应的用户，该方法无需在服务对应主机创建用户，简化了用户管理流程，降低了用户的维护难度。

上面对实现大数据平台用户统一管理的装置的各单元功能进行一个大概的描述，下面将对实现大数据平台用户统一管理的装置的各单元功能进行一个详细的描述。

请参阅图4，本申请实施例中，实现大数据平台用户统一管理的装置另一实施例包括：

存储单元401，用于通过大数据安全管控平台将用户信息存储进ldap数据库；

负载均衡单元402，用于通过haproxy负载均衡器对所述ldap数据库进行负载均衡；

查询单元403，用于查询所述大数据平台主机系统中是否已存有所述用户信息；

保持单元404，用于在所述查询单元查询到已存有所述用户信息之后，保持所述大数据平台主机系统中的用户信息不变；

第二缓存单元405，用于在所述查询单元查询到未存有所述用户信息之后，通过所述sssd服务进程将所述用户信息缓存至所述大数据平台主机系统中；

映射单元406，用于根据所述大数据平台主机系统缓存的所述用户信息映射对应的用户。

本申请实施例中，均衡负载单元402还可以进一步包括：

设置模块4021，用于通过所述haproxy负载均衡器设置两个监听端口，所述监听端口包括读的监听端口和写的监听端口，用于检查相应服务响应是否健康；

转发模块4022，用于将所述大数据安全管控平台发送的请求转发至所述haproxy负载均衡器对应的监听端口执行读写操作，以实现所述请求的负载均衡。

本申请实施例中，各单元模块的功能与前述图1至图2中所示实施例中的步骤对应，此处不再赘述。

请参阅图5，本申请实施例中实现大数据平台用户统一管理的装置另一实施例包括：

处理器501、存储器502、输入输出单元503以及总线504；

处理器501与存储器502、输入输出单元503以及总线504相连；

处理器501执行如下操作：

通过大数据安全管控平台将用户信息存储进ldap数据库；

通过sssd服务进程将所述ldap数据库中的所述用户信息缓存至大数据平台主机系统；

根据所述大数据平台主机系统缓存的所述用户信息映射对应的用户。

本实施例中，处理器501的功能与前述图1所示实施例中的步骤对应，此处不做赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。