一种hive数据权限控制代理层方法及系统
技术领域：
：1.本发明涉及网络及数据处理
技术领域：
：，尤其是涉及一种hive数据权限控制代理层方法及系统。
背景技术：
：：2.随着互联网开源技术和云计算等技术的广泛应用，性能和扩展能力等基础技术不再成为企业业务发展瓶颈。打通数据孤岛、最大化数据智能、数据驱动业务成为企业未来发展的核心竞争力。当下，随着大数据开源技术和社区的蓬勃发展，企业搭建数据中台通常选用以“hadoop”为核心的大数据技术栈，比如hdfs（注：“hadoop”生态中一种分布式文件存储系统）/hbase（注：“hadoop”生态中一种基于列式存储的非关系性数据库系统）进行分布式存储、hive（注：“hadoop”生态中一种离线查询引擎）/spark（注：“hadoop”生态中一种基于内存的分布式计算框架和离线计算引擎）进行离线数据分析、flink（注：“hadoop”生态中一种能够实现流批一体化的实时计算引擎）进行实时数据分析、yarn（注：“hadoop”生态中一种通用资源管理系统）进行资源管理和分布式任务调度、ranger/sentry（注：“hadoop”生态中两种不同的数据权限管控框架和组件）进行大数据集群的数据权限管控。然而，企业不同部门的数据汇入到数据中台后必须要解决的一个难题是数据权限控制问题。3.与此同时，为了整合资源，企业通常会有专门的大数据与安全部门负责搭建和管理以cdh（cloudera’sdistributionincludingapachehadoop,cdh）/hdp(hortonworksdataplatform,hdp)/emr（elasticmapreduce,emr）为代表的大数据集群管理平台，其他部门则以一个租户的身份向集团大数据集群管理平台申请hive数据库、hdfs文件目录等资源。大数据与安全部门通过cdh/hdp/emr自带的ranger/sentry组件为租户分配资源权限，从而实现租户之间的数据隔离。这种租户之间的数据隔离是一种粗粒度的数据权限控制方案，不能满足部门内部更细粒度的数据权限控制需求，比如员工a作为核心数据开发人员拥有所有表的的操作权限，而员工b作为普通访客只能拥有特定表的查看权限。这主要是因为部门中所有员工都是通过同一个租户与大数据集群进行交互，ranger和sentry的身份认证和数据鉴权只能是针对租户，不能再细化到租户底下的不同员工。4.目前常被提出的hive数据权限方案大多还是基于ranger和sentry。它们通过ranger和sentry提供的对外接口，向rangeradmin创建权限策略或者向sentry创建角色并且为角色分配权限。除此之外，还有一部分方案是对ranger和sentry的插件进行二次改造，实现自定义的数据权限控制。由于ranger和sentry都是采用插件化的方式对hive、hdfs等大数据组件进行数据权限管控，也即需要将插件内嵌到这些大数据组件中，这些方案都是侵入式的数据权限管控方案。对于大数据集群管理平台由集团进行统一管理的场景，部门想要通过自研权限插件并将权限插件部署到集团大数据集群管理平台是不被允许的。因此，在现实许多场景中，不侵入大数据集群的hive数据权限控制代理层方案成为企业部门内部实现细粒度的数据权限控制的唯一选择。5.如前所述，目前已被提出的hive数据权限方案中，大多还是基于ranger和sentry的插件方案。它们通过ranger和sentry提供的对外接口，向rangeradmin（注：ranger的策略管理中心）创建权限策略或者向sentry创建角色并且为角色分配权限，然后利用ranger和sentry原生或经过二次改造后的hive插件从rangeradmin和sentry拉取权限策略，完成数据权限鉴权。这些方案都需要将ranger和sentry的hive插件放置在cdh/hdp/emrhive的依赖包目录下，并且必须配置和重启hive才能生效。一方面，hive插件会侵入hiveserver2（注：hive的服务端）执行hql（或hiveql，一种hive提供的sql方言）过程，hive插件的安全性对于集团大数据集群管理平台通常是不被信任的。这也是为什么在许多现实场景，特别是大数据集群管理平台由集团某特定部门统一管理和维护，其他部门共享使用的场景，第三方提供的hive插件是不被允许放入到大数据集群管理平台。另一方面，hive插件的安装和更新需要配置和重启hive，这会导致hive服务的中断，进而导致hive任务执行结果不能正常返回，从而造成生产事故。由于这两方面原因，现有的hive数据权限方案只能适用于部门独立部署和维护cdh/hdp/emr场景，hive插件的安全性保障、安装和更新都由部门自己负责和承担。因此，为数据中台必不可少的大数据查询引擎hive实现数据权限代理层方案具有十分重要的生产价值。所谓“数据权限代理层”是指在不侵入大数据集群管理平台的前提下，在大数据集群管理平台之外代理提供数据鉴权服务。针对大多数大数据集群管理平台由集团集中管控的现实场景，本发明提出一种hive数据权限控制代理层方案，它能在不使用任何插件侵入集团大数据集群管理平台的前提下，满足部门内部更细粒度的数据权限控制需求。技术实现要素：6.针对现有技术存在的问题，本发明的目的在于提供一种hive数据权限控制代理层方法及系统，能在不使用任何插件侵入集团大数据集群管理平台的前提下，满足部门内部更细粒度的数据权限控制需求。7.为实现上述目的，本发明提供一种hive数据权限控制代理层方法，所述方法包括以下步骤：s1：hive数据权限申请；当部门的数据权限审批服务批准员工的hive数据权限申请时，数据权限管理中心同步创建相应的数据权限策略，存储在表及字段权限模块和行过滤及字段脱敏模块中，并且更新用户权限管理中员工与数据权限策略之间的映射关系；s2：hql解析；在hql解析之前，需要利用部门与集团大数据集群管理平台交互的租户keytab进行kerberos认证，从而实现租户之间的数据隔离；s3：hql改写；semanticanalyzer在对hql进行解析的过程中，通过hive的tablemask对象对hql进行行过滤和字段脱敏改写；s4：hql权限校验；基于querystate、semanticanalyzer和hql，调用driver的静态doauthorization方法，实现hql数据权限校验；s5：hql表、字段血缘分析；当hql鉴权通过后，进行hql表、字段血缘分析。8.进一步，当员工提交hive任务，基于jdbc的hql提交模块将hql和员工的身份信息一并发送给hive数据鉴权代理单元进行鉴权，hql鉴权的过程为上述hql解析、hql改写、hql权限校验和hql表、字段血缘分析；若hql鉴权通过，基于jdbc的hql提交模块将改写后hql提交到集团大数据集群管理平台上去执行。9.进一步，步骤s2中，kerberos认证通过后，创建hiveconf；hiveconf的创建依赖集团大数据集群管理平台提供的hadoop和hive配置文件，所述配置文件包括core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和hive-site.xml。10.进一步，步骤s2中，hql解析包括如下子步骤：s201，利用hiveconf创建sessionstate对象，设置sessionstate对象的username为提交hql的员工账户；s202，启动sessionstate对象，设置当前数据库为部门在大数据集群管理平台申请的hive数据库，初始化事务管理器；sessionstate对象创建和启动后，有效且保持唯一，能够与hadoop进行通信来提交分布式任务，也能够连接hive的元数据库来查询元数据信息；s203，依次创建querystate、context、parsedriver对象；调用parsedriver对象的parse方法将原始hql解析成为抽象语法树节点；利用hive的semanticanalyzerfactory的get方法生成querystate和astnode对应的semanticanalyzer；s204，调用semanticanalyzer的analyze方法对hql进行解析。11.进一步，步骤s3中，hql改写的过程包括如下子步骤：s301，对hql的astnode进行遍历和解析，获取表及字段信息；s302，通过datablackhiveauthorizer从数据权限管理中心拉取与sessionstate的username对应的表及字段的行过滤和字段脱敏权限策略，并且调用applyrowfilterandcolumnmasking方法以便tablemask对象正确获取行过滤和字段脱敏表达式；s303,根据行过滤和字段脱敏表达式对原始hql的token流进行改写，将最新hql的token流保存在context对象中。12.进一步，步骤s4中，若hql权限校验成功，该方法正常返回，否则，抛出权限校验失败异常；driver的权限校验底层依赖datablackhiveauthorizer类；datablackhiveauthorizer类是本发明提供的一个对hive的hiveauthorizer接口的实现，实现了checkprivileges、applyrowfilterandcolumnmasking和needtransform方法；driver的doauthorization解析出hql的hiveoperationtype、输入和输出hiveprivilegeobject和认证上下文，然后调用datablackhiveauthorizer的checkprivileges方法；checkprivileges方法向数据权限管理中心拉取用户权限策略，解析输入输出hiveprivilegeobject中涉及的表和字段以及操作类型，然后匹配用户权限策略；若所有输入输出hiveprivilegeobject对象都权限验证通过，方法正常返回，否则抛出权限校验失败异常。13.进一步，步骤s5中，hql表、字段血缘分析具体包括以下步骤：s501，基于hiveconf、querystate、semanticanalyzer以及hql，创建queryplan和hookcontext对象；s502，调用本发明提供的java类columnlineageanalysis的run方法，返回hql中表、字段血缘关系；columnlineageanalysis是hive的lineagelogger的继承类，重写了其中的run方法，能够返回hql的表、字段血缘关系；s503，hive数据鉴权代理将hql权限校验结果、改写后的hql以及表、字段血缘分析结果发送给基于jdbc的hql提交模块。14.另一方面，本发明还提供一种hive数据权限控制代理层系统，所述系统用于实现根据本发明所述的hive数据权限控制代理层方法。15.进一步，所述系统包括集团大数据集群管理平台,用于为使用平台的各个部门开通和注册租户，并且通过rangeradmin提前配置各租户使用hive数据库和hdfs文件目录权限；还包括嵌入到hiveserver2的hive插件和hdfs的hdfs插件；用于周期地从rangeradmin拉取权限策略，保存在本地策略仓库。16.进一步，还包括数据权限管理中心，所述数据权限管理中心设有表及字段权限模块、行过滤及字段脱敏模块和用户权限管理模块；其中，表及字段权限是从元数据维度定义数据权限；行过滤及字段脱敏是从数据维度定义数据权限；hive数据鉴权代理单元进行hql解析、hql改写、hql权限校验以及hql表、字段血缘分析。17.本发明的有益效果如下：1）本发明的技术方案架构设计能够满足企业内部细粒度的数据权限控制需求，2）本发明的技术方案实现是基于hive原生类实现hql解析、改写和权限校验，准确度和稳定性有一定保障，达到生产上线要求有一定把握，3）本发明提供的java类datablackhiveauthorizerfactory和datablackhiveauthorizer都是对hive接口的具体实现，能够实现员工/用户级别的数据鉴权，4）本发明的安装和部署都不需要侵入集团大数据集群管理平台，能够满足很大一部分实际生产场景需求。附图说明18.图1示出了根据本发明实施例中hive数据权限控制代理层方法及系统的架构设计示意图；图2示出了根据本发明实施例中测试表结构及其数据示意图；图3示出了根据本发明实施例中数据权限策略表示意图；图4示出了根据本发明实施例中员工与数据权限策略映射关系表示意图；图5示出了根据本发明实施例中hql鉴权流程示意图；图6示出了根据本发明实施例中hql安全认证、鉴权、血缘分析关键配置参数示意图；图7中的（a）为根据本发明实施例中hql改写前后对比图，（b）为查询结果示意图；图8示出了根据本发明实施例中hql鉴权过程示意图；图9示出了根据本发明实施例中hql的表、字段血缘分析过程示意图。具体实施方式19.下面将结合附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。20.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。21.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。22.以下结合图1-图9对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。23.文中涉及术语的释义：hadoop：狭义上指apache基金会所开发的一个开源分布式计算平台，广义上指以“hadoop”为核心的大数据组件生态；hdfs：“hadoop”生态中一种分布式文件存储系统；hbase：“hadoop”生态中一种基于列式存储的非关系型数据库系统；hive：“hadoop”生态中一种离线查询引擎，提供一种被称为“hiveql（hql）”的sql方言来存储、查询和分析存储在hadoop中的大规模数据；spark：“hadoop”生态中一种基于内存的分布式计算框架和离线计算引擎；flink：“hadoop”生态中一种能够实现流批一体化的实时计算引擎；mapreduce：“hadoop”生态中一种最基础的分布式计算框架和编程模型；yarn：“hadoop”生态中一种通用资源管理系统；cdh：hadoop稳定发行版以及大数据集群管理平台；hdp：开源大数据集群管理平台；emr：hadoop稳定发行版以及大数据集群管理平台；ranger：“hadoop”生态中一种基于权限策略的数据权限管控框架和组件，已被hdp和emr集成；sentry：“hadoop”生态中一种基于角色的数据权限管控框架和组件，已被cdh集成；rangeradmin：ranger的权限策略和组件管理中心；hiveserver2：hive提供的一种能使客户端执行hql的服务；kerberos：“hadoop”生态支持的一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证；keytab：kerberos服务器颁发给租户的身份认证票据；jdbc：java语言中用来规范客户端程序访问数据库的应用程序接口，一般指java数据库连接；hiveconf：hive源码中提供的java类，用于在内存中存储hadoop和hive配置，继承自hadoop的配置类configuration；sessionstate：hive源码中提供的java类，用于创建一个hive会话并且维护会话中的状态；querystate：hive源码中提供的java类，用于维护一个hql查询的状态信息，比如hiveconf和hql对应的操作类型；parsedriver：hive源码中提供的java类，提供的parse方法能够将一个hql解析成相应的抽象语法树节点astnode；astnode：hive源码中提供的java类，用于表示一个hql的抽象语法树；semanticanalyzerfactory：hive源码中提供的java类，提供的get方法能够根据astnode和querystate生成相应的语法分析器semanticanalyzer；semanticanalyzer：hive源码中提供的java类，提供的analyze方法能够对astnode进行语义分析和优化，解析其中涉及的表、字段等元数据信息，并且对hql进行行过滤和字段脱敏改写；context：hive源码中提供的java类，为semanticanalyzer提供上下文环境，维护hql中的token流，semanticanalyzer改写后hql的token流保存在context中；tablemask：hive源码中提供的java类，通过从hiveauthorizer中获取的行过滤和字段脱敏表达式，对hql进行改写，并且将改写后的hql保存在context中，tablemask对象在semanticanalyzer对象生成的时候被生成；hiveauthorizer：hive源码中提供的java接口，定义了一系列未实现方法，其中checkprivileges方法用于用户数据权限校验，needtransform方法用于标注是否hql改写和applyrowfilterandcolumnmasking方法用于获取表的行过滤和字段脱敏表达式；datablackhiveauthorizer：hive源码中hiveauthorizer接口类的一个实现类，提供了checkprivileges、needtransform和applyrowfilterandcolumnmasking三个方法的具体实现；hiveauthorizerfactory：hive源码中提供的java接口，定义了一个未实现的createhiveauthorizer方法，是hiveauthorizer的工厂类；datablackhiveauthorizerfactory：hive源码中hiveauthorizerfactory接口类的一个实现类，实现了createhiveauthorizer方法，来生成datablackhiveauthorizer的实例对象；driver：hive源码中提供的java类，是hive的驱动，用于对hql进行解析、编译、优化和执行，提供一个静态的doauthorization方法能对用户数据权限进行校验；hiveoperationtype：hive源码中提供的java枚举类，用于表示hql的操作类型，比如新增数据库、表查询、表插入等；hiveprivilegeobject：hive源码中提供的java类，用于表示一个待鉴权对象，其中记录了数据库、表、字段、分区以及操作类型等信息；queryplan：hive源码中提供的java类，用于记录一个hql所对应的输入输出格式以及查询计划；hookcontext：hive源码中提供的java类，用于在hql执行前后为钩子类执行run方法提供上下文环境，比如queryplan和querystate；lineagelogger：hive源码中提供的java类，是一种hql执行后钩子类，用于对hql的表、字段的血缘进行解析，然后打印为日志；columnlineageanalysis：hive源码中lineagelogger类的继承类，重写了lineagelogger类的run方法，能够以特定格式输出hql的表、字段血缘关系。24.图1为本发明的细粒度hive数据权限控制代理层方法及系统的总体技术方案架构设计图。如图1下半部分所示，在所述系统中，安全中心负责管理和维护集团大数据集群管理平台100,为使用平台的各个部门开通和注册租户，并且通过rangeradmin120提前配置各租户使用hive数据库和hdfs文件目录权限。所述安全中心位于图1中所示的大数据与安全部门110。嵌入到hiveserver2130的hive插件131和hdfs140的hdfs插件141周期地从rangeradmin120拉取权限策略，保存在本地策略仓库。上层租户提交hql给hiveserver2130时会经过hql解析、编译、优化和执行四个阶段。在hql编译阶段，hiveserver2130能够触发hive插件131对hql解析的输入/输出权限对象（hiveprivilegeobject）进行鉴权。hive插件131将权限对象与本地缓存的权限策略进行逐条核对，如果某一权限对象被鉴定为不被允许，则立即中断hiveserver2130的hql执行，并且向rangeradmin120发送鉴权审计日志，返回租户鉴权失败明细。只有当hive插件131鉴权通过后，hiveserver2130向yarn150提交mapreduce任务来执行hql。由于hive的数据库和表存储在hdfs140，hdfs插件141对绕过hiveserver2130直接访问hdfs140的租户进行数据鉴权。这里，hive数据权限策略在创建时会同步创建对应的hdfs140数据权限策略。25.如图1中间部分所示，部门a数据分析平台200和部门b数据分析平台300分别凭借租户a.keytab和租户b.keytab，通过kerberos认证后，与集团大数据集群管理平台100上大数据组件进行交互。需要注意的是，虽然集团大数据集群管理平台100上的rangeradmin120能够管理租户资源权限，实现租户之间的资源隔离，但租户之间的数据隔离是一种粗粒度的数据权限控制方案，无法满足部门a和部门b对内部员工更细粒度的数据权限需求。为此，本发明的创新和贡献主要集中在图1的上半部分关于数据权限管理中心400和hive数据鉴权代理模块500的技术实现。26.根据本发明的改进技术原理，在数据权限管理中心400，将hive数据权限类别分为表及字段权限和行过滤及字段脱敏两类，所述数据权限管理中心400相应地设有表及字段权限模块410和行过滤及字段脱敏模块420。其中，表及字段权限是从元数据维度定义数据权限，比如表删除、修改、清空和字段查询权限；行过滤及字段脱敏是从数据维度定义数据权限。用户权限管理模块430负责维护部门员工与数据权限策略之间的映射关系。具体地讲，在部门a200内部，员工a.b221通过数据权限审批服务210向部门a200申请hive数据权限，数据权限审批通过后，数据权限管理中心400同步创建相应的数据权限策略，存储在表及字段权限模块410和行过滤及字段脱敏模块420中，并且更新用户权限管理430中员工与数据权限策略之间的映射关系。27.hive数据鉴权代理单元500是本发明数据权限代理层方案的核心，负责进行hql改写510、hql权限校验520以及提供hql表、字段血缘分析服务530。如图1的上半部分所示，部门a200的员工a.b221在申请hive表权限后，提交hive任务，基于jdbc的hql提交模块230会将hql和员工a.b的身份信息一并发送给hive数据鉴权代理单元500进行鉴权。首先，hive数据鉴权代理单元500向数据权限管理中心400拉取用户权限策略。然后，如果针对员工a.b存在行过滤和字段脱敏权限策略，hive数据鉴权代理500在hql解析时会对hql进行改写，比如添加行过滤和字段脱敏表达式，从而实现行过滤和字段脱敏。类似于ranger的hive插件，在解析出hql的输入/输出权限对象后，hive数据鉴权代理单元500将权限对象与本地缓存的权限策略进行逐条核对，如果某一权限对象被鉴定为不被允许，则立即通知基于jdbc的hql提交模块230中止hql任务提交和用户鉴权失败明细，并且向数据权限管理中心400发送鉴权审计日志。最后，当鉴权通过后，hive数据鉴权代理单元500对hql进行表、字段血缘分析，将鉴权结果、改写后hql以及表、字段血缘信息发送给基于jdbc的hql提交模块230。基于jdbc的hql提交模块230将改写后hql提交到大数据管理平台100上的hiveserver2130进行执行。28.由图1所示，数据权限管理中心400和hive数据鉴权代理单元500都是在集团大数据集群管理平台100之外，它们的安装和部署都不需要侵入集团大数据集群管理平台100。除此之外，hive数据鉴权是在hql提交到大数据集群管理平台100之前进行的，不干扰hiveserver2130的执行过程，避免了安全问题的发生。最重要的是，hive数据鉴权的粒度能够细化到部门内部员工，满足部门内部更细粒度的数据权限控制需求。因此，数据权限管理中心400和hive数据鉴权代理单元500就是本发明的数据权限控制代理层。29.本发明细粒度hive数据权限控制代理层方法及系统的技术方案如下，所述方法包括以下步骤：步骤s1：hive数据权限申请。30.如图1所示，当部门的数据权限审批服务批准员工的hive数据权限申请时，数据权限管理中心400同步创建相应的数据权限策略，存储在表及字段权限模块410和行过滤及字段脱敏模块420中，并且更新用户权限管理430中员工与数据权限策略之间的映射关系。31.在一个具体实施例中，部门a200在大数据集群管理平台100申请的hive数据库为“hive_test”,其中有一张名为“ods_tbl_test”的hive表，其表结构和数据如图2所示。员工a.b221向数据权限审批服务210申请了表“ods_tbl_test”的查看权限，并且设置了行过滤和字段脱敏条件。审批通过后，数据权限管理中心400存储的数据权限策略如图3所示，其中有三条权限策略，分别是1）对库“hive_test”的表“ods_tbl_test”的全字段查询权限，2）对库“hive_test”的表“ods_tbl_test”的行过滤，和3）对库“hive_test”的表“ods_tbl_test”的字段脱敏。相应地，员工与数据权限策略之间的映射关系如图4所示。员工a.a222还未申请任何权限，而员工a.b221的权限策略id集为{1,2,3}，对应着图3中的三条权限策略。当员工提交hive任务，基于jdbc的hql提交模块230会将hql和员工的身份信息一并发送给hive数据鉴权代理单元500进行鉴权。hql鉴权的过程分为以下hql解析、改写、权限校验和表、字段血缘分析四个步骤，对应技术实现流程如图5所示。技术实现流程图中的hiveconf、sessionstate、querystate、parsedriver、astnode、semanticanalyzer、driver、queryplan、hookcontext均为hive提供的java类。以下的步骤s2-s5将详细介绍图5中的hql鉴权过程。32.步骤s2：hql解析。33.在hql解析之前，首先需要利用部门与集团大数据集群管理平台100交互的租户keytab（注：keytab文件是kerberos服务器颁发给租户的身份认证票据）进行kerberos认证，从而实现租户之间的数据隔离。认证通过后，创建hiveconf。hiveconf的创建依赖大数据集群管理平台100提供的hadoop和hive配置文件。另外，在hiveconf创建的过程中必须设置一些关键参数来实现hql的行过滤、字段脱敏以及数据鉴权。这些关键参数在图6中有详细说明，其中hql安全鉴权管理器是本发明提供的java类，主要作用是进行权限策略拉取以及hql数据鉴权，也是本发明的技术核心。34.hql解析包括如下子步骤：s201，利用hiveconf创建sessionstate对象，设置sessionstate对象的username为提交hql的员工账户。35.s202，启动sessionstate对象，设置当前数据库为部门在大数据集群管理平台申请的hive数据库，例如步骤s1示例中的“hive_test”，初始化事务管理器。sessionstate对象创建和启动后，会在全局范围内有效且保持唯一，它能够与hadoop进行通信来提交分布式任务，也能够连接hive的元数据库来查询元数据信息。36.s203，依次创建querystate、context、parsedriver对象。调用parsedriver对象的parse方法将原始hql解析成为抽象语法树节点（abstractsyntaxtreenode,astnode）。利用hive的semanticanalyzerfactory的get方法生成querystate和astnode对应的semanticanalyzer。37.s204，调用semanticanalyzer的analyze方法对hql进行解析。38.步骤s3：hql改写。39.semanticanalyzer在对hql进行解析的过程中，会通过hive的tablemask对象对hql进行行过滤和字段脱敏改写。hql改写详细过程包括如下子步骤：s301，对hql的astnode进行遍历和解析，获取表及字段信息；s302，通过本发明提供的datablackhiveauthorizer从数据权限管理中心拉取与sessionstate的username对应的表及字段的行过滤和字段脱敏权限策略，并且调用applyrowfilterandcolumnmasking方法以便tablemask对象正确获取行过滤和字段脱敏表达式；s303，根据行过滤和字段脱敏表达式对原始hql的token流进行改写，将最新hql的token流保存在context对象中。针对步骤s1中的示例，假设员工a.b提交的hql为“selectid,principal_part,notefromods_tbl_test”，在拉取图3中的权限策略后，taskmask改写前后的hql如图7中的（a）所示，改写后的数据查询结果如图7中的（b）所示。通过对比图2和图7中的（b）的表数据，可以看出数据已经按照权限策略进行了行过滤和字段脱敏。具体地说，原本图2中表ods_tbl_test有5行记录。图3中的第1行表及字段数据权限策略赋予了员工a.b对表ods_tbl_test的全字段查询权限。与此同时，图3中第2行行过滤策略使得图7中的（a）改写后hql相比原始hql添加了以where开头的过滤条件，最终使得图7中的（b）的查询结果只有图2中最后2行记录，前3行记录因为不满足过滤条件在查询时被过滤。另外，图3中的第3行字段脱敏策略substr(note,3)（注：从第3字符开始裁剪note字段的数据）被应用到图7中的（a）改写后hql的note字段，使得图7中的（b）两条记录的note是图2中note的从第三个字符开始的裁剪版本。40.步骤s4：hql权限校验。41.基于querystate、semanticanalyzer和hql，调用driver的静态doauthorization方法，实现hql权限校验。hql权限校验成功，该方法正常返回，否则，抛出权限校验失败异常。driver的权限校验底层依赖本发明提供的datablackhiveauthorizer类。datablackhiveauthorizer类是hive的hiveauthorizer接口的实现类，实现了checkprivileges、applyrowfilterandcolumnmasking和needtransform三个方法。图8展示了driver权限校验的底层流程细节。driver的doauthorization会解析出hql的hiveoperationtype、输入输出hiveprivilegeobject以及认证上下文，然后调用datablackhiveauthorizer的checkprivileges方法。checkprivileges方法会向数据权限管理中心拉取用户权限策略，解析输入输出hiveprivilegeobject中涉及的表和字段以及操作类型，然后匹配用户权限策略。若所有输入输出hiveprivilegeobject对象都权限校验通过，方法正常返回，否则抛出权限校验失败异常。最终，checkprivileges方法还会将鉴权审计的详细日志发送给数据权限管理中心，以备审计分析。42.步骤s5：hql表、字段血缘分析。43.当hql权限校验通过后，可以进行hql表、字段血缘分析。具体包括以下步骤：s501，基于hiveconf、querystate、semanticanalyzer以及hql，创建queryplan和hookcontext对象。44.s502，调用本发明提供的java类columnlineageanalysis的run方法，返回hql中表、字段血缘关系。columnlineageanalysis是hive的lineagelogger的继承类，重写了其中的run方法，能够返回hql的表、字段血缘关系。例如，图7中的（a）中的hql的表、字段血缘关系如图9所示，也即在图7中的hql查询结果中，目标字段id，principal_part和note分别来自hive数据库hive_test中表ods_tbl_test的字段id，principal_part和note，其中id和principal_part是源字段到目标字段的直接映射，而note通过了substr(note,3)的函数变换。45.s503，hive数据鉴权代理将hql鉴权结果、改写后的hql以及表、字段血缘分析结果发送给基于jdbc的hql提交模块。若hql鉴权通过，基于jdbc的hql提交模块会将改写后hql提交到集团大数据集群管理平台100上去执行。由于hive数据鉴权代理单元500是针对员工/用户进行数据鉴权，因此能够满足企业内部更细粒度的数据权限控制需求。46.本发明关键技术重点包括：1）本发明的技术方案架构设计，如数据权限管理中心、hive数据鉴权代理和基于jdbc的hql提交之间的交互逻辑和功能职责；2）本发明提出的基于hive原生类的hql解析、改写、鉴权以及表、字段血缘分析的技术实现方案；3）本发明实现的安全鉴权相关的java类datablackhiveauthorizer的checkprivileges方法逻辑。47.其中步骤s3中的hql解析、改写也可以通过antlr4的访问者模式对astnode进行遍历，分析hql中涉及的表、字段资源以及相应的访问方式。但是这种方式的准确度十分有限，不能覆盖复杂的hql场景，因而通常不能达到生产上线标准。48.另一方面，本发明还提供一种细粒度hive数据权限控制代理层系统，所述系统用于实施根据本发明的细粒度hive数据权限控制代理层方法。49.在本说明书的描述中，参考术语“实施例”、“示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，本领域的技术人员可以在不产生矛盾的情况下，将本说明书中描述的不同实施例或示例以及其中的特征进行结合或组合。50.上述内容虽然已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型等更新操作。当前第1页12当前第1页12