数据处理系统和方法

数据处理系统和方法
【专利摘要】本发明公开了一种数据处理系统和方法，属于数据处理领域。所述系统包括：客户端节点和数据处理节点；客户端节点用于当接收到操作指令时，获取用户组信息和验证通过标识，向数据处理节点发送操作请求，操作请求携带用户组信息和验证通过标识，验证通过标识用于表示当前客户端节点已通过验证；数据处理节点用于在接收到操作请求，确定操作请求包括验证通过标识时，对操作权限进行验证，验证通过时响应操作请求。本发明通过客户端节点获取用户组信息和验证通过标识，数据处理节点对验证通过标识和操作权限进行验证，而无需对用户组信息的密码进行验证，操作简便，避免了由于使用一个数据库进行验证而造成的巨大压力，提高了验证速度和系统性能。
【专利说明】数据处理系统和方法

【技术领域】
[0001] 本发明涉及数据处理领域，特别涉及一种数据处理系统和方法。

【背景技术】
[0002] 分布式数据处理系统可以用于海量数据存储和海量数据分析，具有高可用性和高 可伸缩性。由于分布式数据处理系统的数据量很大，为了保证数据的安全性，验证机制必不 可少。而由于分布式数据处理系统中的开源Hadoop的安全性较弱，不能直接支持密码验 证，因此，引入了 Kerberos验证机制。
[0003] 由管理员预先将确定安全的节点手动添加到Kerberos数据库中，由KDC (Key Distribution Center,密钥分配中心）为该Kerberos数据库中的节点生成用于通信的密 钥，并分发给相应的节点，使得各节点之间可以根据分发的密钥进行验证，从而实现通信。
[0004] 采用Kerberos验证的方式，要求管理员必须手动将每个需要提供服务的节点都 添加到Kerberos数据库中，操作繁琐，人力成本很高。进一步地，由于数据量很大，进行 Kerberos验证时会对Kerberos数据库造成巨大压力，降低验证速度，从而影响了系统性 能。


【发明内容】

[0005] 为了解决现有技术的问题，本发明实施例提供了一种数据处理系统和方法。所述 技术方案如下：
[0006] 第一方面，提供了一种数据处理系统，所述系统包括：客户端节点和数据处理节 占 .
[0007] 所述客户端节点，用于当接收到操作指令时，获取所述客户端节点的用户组信息 和验证通过标识，向所述数据处理节点发送操作请求，所述操作请求携带所述用户组信息 和所述验证通过标识，所述用户组信息包括用户标识、密码和用户组标识，所述验证通过标 识用于表示当前客户端节点已通过除所述客户端节点和所述数据处理节点之外的节点验 证；
[0008] 所述数据处理节点，用于在接收到所述操作请求，并确定所述操作请求包括所述 验证通过标识时，根据所述用户组信息对所述客户端节点的操作权限进行验证，当验证通 过时，响应所述操作请求。
[0009] 第二方面，提供了一种数据处理方法，应用于数据处理系统，所述方法包括：
[0010] 当客户端节点接收到操作指令时，获取所述客户端节点的用户组信息和验证通过 标识，所述用户组信息包括用户标识、密码和用户组标识，所述验证通过标识用于表示当前 客户端节点已通过除所述客户端节点和所述数据处理节点之外的节点验证；
[0011] 所述客户端节点向数据处理节点发送操作请求，所述操作请求携带所述用户组信 息和所述验证通过标识；
[0012] 当所述数据处理节点接收到所述操作请求时，判断所述操作请求是否包括验证通 过标识；
[0013] 当所述操作请求包括所述验证通过标识时，所述数据处理节点根据所述用户组信 息对所述客户端节点的操作权限进行验证，当验证通过时，响应所述操作请求。
[0014] 本发明实施例提供的技术方案带来的有益效果是：
[0015] 本发明实施例提供的系统和方法，通过客户端节点在接收到操作指令时，获取用 户组信息和验证通过标识，该数据处理节点在接收到该客户端节点的操作请求时，对验证 通过标识和操作权限进行验证，而无需对用户组信息的密码进行验证，操作简便，避免了由 于使用一个数据库进行用户组信息的密码验证和操作权限验证而造成的巨大压力，提高了 验证速度和系统性能。

【专利附图】

【附图说明】
[0016] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使 用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于 本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他 的附图。
[0017] 图la是本发明实施例提供的一种数据处理系统的结构示意图；
[0018] 图lb是本发明实施例提供的一种数据处理系统的结构示意图
[0019] 图2是本发明实施例提供的一种数据处理方法的流程图；
[0020] 图3是本发明实施例提供的一种数据处理方法的流程图。

【具体实施方式】
[0021] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例，都属于本发明保护的范围。
[0022] 图la是本发明实施例提供的一种数据处理系统的结构示意图，参见图la，所述系 统包括：客户端节点101和数据处理节点102,数据处理节点102与客户端节点101连接；
[0023] 该客户端节点101，用于当接收到操作指令时，获取该客户端节点的用户组信息和 验证通过标识，向该数据处理节点发送操作请求，该操作请求携带该用户组信息和该验证 通过标识，该用户组信息包括用户标识、密码和用户组标识，该验证通过标识用于表示当前 客户端节点已通过除该客户端节点和该数据处理节点之外的节点验证。
[0024] 该数据处理节点102,用于在接收到该操作请求，并确定该操作请求包括该验证通 过标识时，根据该用户组信息对该客户端节点的操作权限进行验证，当验证通过时，响应该 操作请求。
[0025] 本发明实施例提供的系统，通过客户端节点在接收到操作指令时，获取用户组信 息和验证通过标识，该数据处理节点在接收到该客户端节点的操作请求时，对验证通过标 识和操作权限进行验证，而无需对用户组信息的密码进行验证，操作简便，避免了由于使用 一个数据库进行用户组信息的密码验证和操作权限验证而造成的巨大压力，提高了验证速 度和系统性能。
[0026] 可选地，该客户端节点101还用于当接收到该操作指令时，判断该客户端节点101 的配置文件中是否包括该验证通过标识；当该配置文件中包括该验证通过标识时，从该配 置文件中获取该验证通过标识，并生成该客户端节点101的用户组信息。
[0027] 可选地，该系统还包括：权限管理节点；
[0028] 该客户端节点101还用于当该配置文件中不包括该验证通过标识时，获取该客户 端节点101的用户组信息；向该权限管理节点发送该用户组信息；
[0029] 该权限管理节点用于在接收到该用户组信息时，对该用户标识和该密码进行验 证；当验证通过时，为该用户组信息添加验证通过标识，返回给该客户端节点101 ;
[0030] 该客户端节点101还用于接收该权限管理节点发送的用户组信息和验证通过标 识。
[0031] 可选地，该数据处理节点102还用于根据该数据处理系统验证级别与处理方式之 间的对应关系，确定该数据处理系统当前验证级别所对应的处理方式；根据确定的处理方 式，响应该操作请求。
[0032] 可选地，该数据处理节点102还用于该数据处理系统当前验证级别为第一验证级 别时，响应该操作请求。
[0033] 可选地，该操作请求还携带该客户端节点101的版本信息，该数据处理节点102还 用于该数据处理系统当前验证级别为第二验证级别，且该客户端节点101的操作权限验证 通过时，响应该操作请求；并判断该版本信息是否为该数据处理系统的最新版本信息；当 确定该版本信息不是该数据处理系统的最新版本信息时，向该客户端节点101发送第一提 示信息，该第一提示信息用于提示更新客户端节点101。
[0034] 可选地，该数据处理节点102还用于该数据处理系统当前验证级别为第二验证级 另IJ，且该客户端节点101的操作权限验证不通过时，响应该操作请求，并向该客户端节点 101发送第二提示信息，该第二提示信息用于提示该客户端节点101的操作权限验证不通 过。
[0035] 可选地，该操作请求还携带该客户端节点101的版本信息，该数据处理节点102还 用于该数据处理系统当前验证级别为第三验证级别时，判断该版本信息是否为该数据处理 系统的最新版本信息；当该版本信息是该数据处理系统的最新版本信息，且该客户端节点 101的操作权限验证通过时，响应该操作请求；或，当该版本信息不是该数据处理系统的最 新版本信息或该客户端节点101的操作权限验证不通过时，忽略该操作请求。
[0036] 上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再 --赘述。
[0037] 本发明实施例所提供的数据处理系统包括：客户端节点、数据处理节点、权限管理 节点和索引节点。该权限管理节点用于对该客户端节点的用户标识和密码进行验证，该数 据处理节点用于对该客户端节点的操作权限进行验证，该索引节点用于记录每一个文件的 控制信息，包括文件的类型、访问权限、用户标识和用户组标识等，一个索引节点可记录多 个文件的控制信息，根据该索引节点可以获取到具有访问任一文件的操作权限的用户组信 肩、。
[0038] 可选地，参见图lb，该数据处理系统为Hadoop系统，Hadoop系统包括多个HDFS (Hadoop Distributed File System，Hadoop分布式文件系统)和MapReduce系统，每个HDFS 包括一个NameNode(名称节点)，NameNode用于管理客户端节点的操作权限。则该客户端节 点可以为该Hadoop系统中的任一节点，如DFS (Distributed File System,分布式文件系 统)客户端节点、Job (任务)客户端节点等，也可以为该Hadoop系统之外的客户端节点。该 数据处理节点为该Hadoop系统中的任一 NameNode,用于对根据客户端节点的用户组信息， 对客户端节点的操作权限进行验证，在验证通过时，使用该用户组信息响应该操作请求。
[0039] 图2是本发明实施例提供的一种结合图la和图lb所示数据处理系统的数据处理 方法的流程图。该发明实施例的执行主体为数据处理节点，该数据处理方法应用于数据处 理系统，参见图2,该方法包括：
[0040] 201、该数据处理节点接收客户端节点发送的操作请求，该操作请求携带用户组信 肩、。
[0041] 本发明实施例应用于数据处理系统中，该数据处理系统包括客户端节点和数据处 理节点，该数据处理节点用于响应该客户端节点的操作请求。
[0042] 在本发明实施例中，该客户端节点触发该操作请求，该操作请求携带用户组信息， 该操作请求可以为访问文件的请求或者执行计算任务的请求等等，本发明实施例对此不做 限定。进一步地，该客户端节点基于RPC (Remote Procedure Call Protocol,远程过程调 用协议）向该数据处理节点发送该操作请求。
[0043] 其中，该用户组信息可以为该客户端节点配置的用户组信息、操作系统的用户组 信息或者该客户端节点在触发该操作请求时自动生成的用户组信息，本发明实施例对此不 做限定。该用户组信息包括用户标识、密码和用户组标识，该用户标识可以为用户名称或者 用户的编号等，该用户组标识可以为用户组名称或者用户组的编号等，本发明实施例对此 也不做限定。
[0044] 可选地，该客户端节点通过设置用户信息配置参数，设置该用户组信息。如，该用 户信息配置参数可以为hadoop. job. ugi,该用户信息配置参数的格式为"用户名：密码， 用户组名，'，如 "zhangsan :zhangsandemima，zhangsandezul，zhangsandezu2，'。当该客户 端节点设置的用户组信息不符合该格式时，可以显示提示信息，提示用户该用户组信息的 格式设置错误。如，该客户端节点抛出异常"用户组信息格式设置错误，正确格式应该为 zhangsan :zhangsandemima, zhangsandezu，'。
[0045] 202、该数据处理节点获取数据处理系统当前验证级别，根据当前验证级别，执行 步骤203、步骤204或步骤210。
[0046] 其中，验证级别用于表示该数据处理系统对该操作请求的处理方式的级别，不同 的验证级别下，该数据处理系统对该操作请求的处理方式不同，如响应该操作请求或忽略 该操作请求等。
[0047] 在本发明实施例中，该数据处理系统可以设置验证级别，具体可以由技术人员根 据该数据处理系统当前的任务需求确定，本发明实施例对此不做限定。
[0048] 进一步地，该数据处理系统通过设置级别配置参数，设置当前验证级别。该级别配 置参数可以为dfs. namenode. ugi. check, level,该数据处理系统通过查询该级别配置参数 dfs. namenode. ugi. check, level的参数值，可以确定该数据处理系统当前验证级别。
[0049] 可选地，该数据处理节点根据该数据处理系统验证级别与处理方式之间的对应关 系，确定该数据处理系统当前验证级别所对应的处理方式；根据确定的处理方式，响应该操 作请求。
[0050] 203、该数据处理系统当前验证级别为第一验证级别时，该数据处理节点响应该操 作请求。
[0051] 在本发明实施例中，该数据处理系统当前验证级别为第一验证级别时，该数据处 理节点不对该客户端节点的验证通过标识和操作权限进行验证，直接响应该操作请求。
[0052] 在实际应用中，可以在需要对客户端节点的版本进行更新时，设置该数据处理系 统当前验证级别为第一验证级别，使得旧版本的客户端节点和新版本的客户端节点的操作 请求均可以得到响应。
[0053] 204、该数据处理系统当前验证级别为第二验证级别时，该数据处理节点判断该操 作请求是否包括验证通过标识，该验证通过标识由该客户端节点获取，如果是，执行步骤 205,如果否，结束。
[0054] 在本发明实施例中，当该数据处理系统当前验证级别为第二验证级别时，该数据 处理系统需要对该客户端节点的验证通过标识和操作权限进行验证。
[0055] 其中，该验证通过标识用于表示当前客户端节点已通过除该客户端节点和该数据 处理节点之外的节点验证。进一步地，该验证通过标识由该客户端节点获取，获取过程可以 包括下述步骤（204-1)- (204-5):
[0056] (204-1)当该客户端节点接收到该操作指令时，判断该客户端节点的配置文件中 是否包括该验证通过标识。
[0057] 在本发明实施例中，为了避免所有的客户端节点对用户组信息进行验证而造成的 大量并发访问，可以将该数据处理系统的客户端节点划分为内部客户端节点和其他客户端 节点，在内部客户端节点的配置文件中写入该验证通过标识，使得内部客户端节点可以在 接收到操作指令时，不需要对用户组信息进行验证，而能够直接获取该配置文件中的验证 通过标识，并生成用户组信息。
[0058] 可选地，为该数据处理系统中的客户端节点设置内部配置参数checkok，当客户 端节点的checkok参数值为true时，表明该客户端节点为内部客户端节点，当客户端节 点的checkok参数值为false时，表明该客户端节点不是内部客户端节点。进一步地，在 Hadoop系统中，内部客户端节点包括但不限于NameNode(名称节点）、DataNode(数据节点）、 ClusterManager (资源管理器）、ProxyJobTracker (代理计算主节点）、CoronaTaskTracker (计算子节点)、CoronaJobTracker (计算主节点)、Map (映射）输入、Reduce (化简）输出。
[0059] (204-2)当该配置文件中包括该验证通过标识时，该客户端节点从该配置文件中 获取该验证通过标识，并生成该客户端节点的用户组信息。
[0060] 在本发明实施例中，当该客户端节点为内部客户端节点时，不需要配置用户组信 息，该客户端节点可以自动生成用户组信息。
[0061] 在本发明实施例提供的另一实施例中，该步骤（2)可以由以下步骤代替：
[0062] (204-3)当该配置文件中不包括该验证通过标识时，该客户端节点获取该客户端 节点的用户组信息，并向该权限管理节点发送该用户组信息。
[0063] 在本发明实施例中，当该客户端节点不是内部客户端节点时，需要为该客户端节 点配置用户组信息。相应的，当该客户端节点确定该配置文件中不包括该验证通过标识时， 获取该用户组信息，并向该权限管理节点发送该用户组信息。
[0064] 在本发明实施例中，该数据处理系统还包括该权限管理节点，该权限管理节点用 于对客户端节点的密码进行验证。
[0065] (204-4)该权限管理节点在接收到该用户组信息时，对该用户标识和该密码进行 验证；当验证通过时，为该用户组信息添加验证通过标识，返回给该客户端节点。
[0066] 具体地，该权限管理节点保存有有效的用户标识和对应的密码，当该权限管理节 点接收到该用户组信息时，获取该用户组信息包括的用户标识和密码，判断该权限管理节 点是否保存有该用户标识，当确定该权限管理节点保存有该用户标识时，判断所保存的该 用户标识对应的密码与该用户组信息包括的密码是否匹配，如果匹配，该用户组信息验证 通过，而如果该权限管理节点未保存该用户标识，或者该权限管理节点保存有该用户标识、 但所保存的用户标识对应的密码与该用户组信息包括的密码不匹配时，该用户组信息验证 不通过。
[0067] 可选地，该验证通过标识可以为"checkok"标识。进一步地，为了减少后续该 数据处理节点的数据压力，可以在验证通过后，删除该用户组信息中的密码，即在为该用 户组信息添加该验证通过标识后，得到的信息的格式为"用户标识：ch eck〇k，用户组"，如 zhangsan ：checkok, zhangsandezul, zhangsandezu2〇
[0068] (204-5)该客户端节点接收该权限管理节点发送的用户组信息和验证通过标识。
[0069] 在本发明实施例中，该客户端节点在接收到该用户组信息和验证通过标识时，保 存该用户组信息和该验证通过标识，以便后续该客户端节点向该数据处理节点发送该操作 请求时，该操作请求携带该用户组信息和该验证通过标识。
[0070] 205、当该操作请求包括该验证通过标识时，该数据处理节点根据该用户组信息对 该客户端节点的操作权限进行验证，当验证通过时，执行步骤206,当验证不通过时，执行步 骤 209。
[0071] 其中，该客户端节点的操作权限是指该客户端节点执行该操作请求所对应的操作 的权限。如该操作请求为访问文件A时，需要对该客户端节点访问文件A的操作权限进行 验证，在验证通过时，该客户端节点才能访问文件A。
[0072] 具体地，该数据处理节点根据该操作请求，获取具有操作权限的用户组信息，判断 该操作请求携带的用户组信息是否为该具有操作权限的用户组信息中的任一组，如果是， 该客户端节点的操作权限验证通过，如果否，该客户端节点的操作权限验证不通过。
[0073] 进一步地，该数据处理节点获取到具有操作权限的用户标识和用户组标识， 则该数据处理节点对该客户端节点的操作权限进行验证的过程可以包括下述步骤 (205-1) - (205-5)：
[0074] (205-1)判断该用户标识是否为具有操作权限的用户标识，执行步骤（205-2)或 (205-3)。
[0075] 遍历获取到的具有操作权限的用户标识，判断具有操作权限的用户标识中是否包 括该用户标识，如果包括，则该用户标识具有操作权限，如果不包括，则该用户标识不具有 操作权限。
[0076] (205-2)当该用户标识为具有操作权限的用户标识时，该客户端节点的操作权限 验证通过。
[0077] (205-3)当该用户标识不是具有操作权限的用户标识时，继续判断该用户组标识 是否为具有操作权限的用户组标识，执行步骤（205-4)或（205-5)。
[0078] (205-4)当该用户组标识为具有操作权限的用户组标识时，该客户端节点的操作 权限验证通过。
[0079] 当该用户组标识为具有操作权限的用户组标识时，表明该用户标识所属的用户组 具有该操作权限，则该用户标识也具有操作权限，该客户端节点的操作权限验证通过。
[0080] (205-5)当该用户组标识不是具有操作权限的用户组标识时，该客户端节点的操 作权限验证不通过。
[0081] 可选地，该数据处理系统还包括索引节点（INode)，通过查询该索引节点保存的控 制信息，获取该操作请求对应的、具有操作权限的用户组信息，从而根据该具有操作权限的 用户组信息，判断该操作请求携带的用户组信息是否具有操作权限，以对该客户端节点的 操作权限进行验证。
[0082] 206、该数据处理节点响应该操作请求。
[0083] 在本发明实施例中，根据该操作请求的不同，该数据处理节点响应该操作请求的 方式也不同。
[0084] 可选地，当该操作请求为访问文件的操作请求时，该数据处理节点将该客户端节 点请求访问的文件发送给该客户端节点，供该客户端节点进行访问。当该操作请求为计 算任务的操作请求时，该数据处理节点将该客户端节点执行计算任务所需的数据发送给 MapReduce (映射化简）节点，由该MapReduce节点根据该数据处理节点发送的数据进行计 算，将得到的计算结果返回给该客户端节点。
[0085] 207、该数据处理节点判断该版本信息是否为该数据处理系统的最新版本信息。
[0086] 在本发明实施例中，当该数据处理系统中的节点进行更新时，会相应的更新该数 据处理系统的最新版本信息。可选地，该操作请求携带该客户端节点的版本信息，该数据处 理节点根据该客户端节点的版本信息和该最新版本信息，确定该客户端节点的版本是否为 最新版本。当该客户端节点的版本信息与该最新版本信息相同时，表明该客户端节点的版 本为最新版本，当该客户端节点的版本信息与该最新版本信息不同时，表明该客户端节点 的版本不是最新版本。
[0087] 208、当该数据处理节点确定该版本信息不是该数据处理系统的最新版本信息时， 向该客户端节点发送第一提示信息，该第一提示信息用于提示更新客户端节点，结束。
[0088] 可选地，该数据处理节点在确定该版本信息不是该最新版本信息时，可以确定该 客户端节点的版本不是最新版本，则该数据处理节点可以生成日志记录（log)，记录用户的 来源、IP地址等信息，根据该用户的来源、IP地址等信息，向用户发送第一提示信息，以提 示用户更新客户端节点。其中，该第一提示信息可以为"客户端节点验证未通过，请更新客 户端节点版本"。
[0089] 209、该数据处理节点响应该操作请求，并向该客户端节点发送第二提示信息，该 第二提示信息用于提示该客户端节点的操作权限验证不通过，结束。
[0090] 其中，该第二提示信息可以为"没有操作权限，但当前验证级别为第二验证级别， 可以执行操作"。
[0091] 在本发明实施例中，该数据处理系统当前验证级别为第二验证级别时，该数据处 理节点对该验证通过标识进行验证，并对该客户端节点的操作权限进行验证，而此时，当对 该验证通过标识的验证通过时，无论该客户端节点的操作权限是否验证通过，该数据处理 节点都会响应该操作请求，使得该客户端节点可以为用户提供服务，不会影响到该数据处 理系统的正常使用。
[0092] 210、该数据处理系统当前验证级别为第三验证级别时，该数据处理节点判断该操 作请求是否包括验证通过标识，该验证通过标识由该客户端节点获取，如果是，执行步骤 211，如果否，结束。
[0093] 211、当该操作请求包括该验证通过标识时，该数据处理节点根据该用户组信息对 该客户端节点的操作权限进行验证，并判断该版本信息是否为该数据处理系统的最新版本 信息，执行步骤212或步骤213。
[0094] 该步骤中对该客户端节点的操作权限进行验证的过程与步骤205类似，在此不再 赘述。
[0095] 212、当该版本信息是该数据处理系统的最新版本信息，且该客户端节点的操作权 限验证通过时，该数据处理节点响应该操作请求，结束。
[0096] 在本发明实施例中，该数据处理节点在响应该操作请求的同时，还可以向该客户 端节点发送提示信息，提示该客户端节点验证已通过。
[0097] 213、当该版本信息不是该数据处理系统的最新版本信息或该客户端节点的操作 权限验证不通过时，该数据处理节点忽略该操作请求，结束。
[0098] 在本发明实施例中，该数据处理节点在确定该客户端节点的版本不是最新版本， 或者在确定该客户端节点的操作权限验证不通过时，忽略该操作请求，即该客户端节点无 法执行该操作请求对应的操作。
[0099] 本发明实施例以该数据处理节点忽略该操作请求为例进行说明，实际上，该数据 处理节点还可以向该客户端节点发送提示信息，如发送提示信息"请更新客户端节点版本， 否则无法执行操作"，以提示该客户端节点更新版本，或者发送提示信息"没有操作权限，请 检查用户组信息"，以提示该客户端节点更改用户组信息，本发明实施例对此不做限定。 [0100] 在本发明实施例中，该数据处理系统验证级别可以用于更新客户端节点的版本， 即当开始需要对客户端节点的版本进行更新时，设置该数据处理系统当前验证级别为第 一验证级别，此时，旧版本的客户端节点和新版本的客户端阶段均可以为用户提供服务，之 后，管理员用户可以通过发邮件、发消息等操作，提示各个客户端节点进行更新，在一段时 间之后，可以将该数据处理系统当前验证级别更改为第二验证级别，此时需要对客户端节 点的验证通过标识和操作权限进行验证，但无论验证是否通过，该数据处理节点都会响应 客户端节点的操作请求，再经过一段时间之后，可以将该数据处理系统当前验证级别更改 为第三验证级别，此时该数据处理节点仅响应最新版本的客户端节点所发送的操作请求， 对于未更新版本的客户端节点，该数据处理节点将拒绝响应操作请求，以强制客户端节点 进行更新，并全面地开启该数据处理节点对客户端节点的验证机制。
[0101] 可选地，该管理员用户可以通过"/bin/hadoop dfsadmin-refreshUgiCheckLevel "命令设置该数据处理系统当前验证级别。
[0102] 在该数据处理系统的客户端节点进行更新的过程中，通过将当前验证级别设置为 第一验证级别或第二验证级别，使得更新过程不会影响到该数据处理系统的正常使用，只 有在所有客户端节点更新完成或者大多数客户端节点更新完成时，才将当前验证级别设置 为第三验证级别。本发明实施例通过按照该数据处理系统的不同需求，动态地设置当前验 证级别，提高了灵活性。
[0103] 本发明实施例提供的方法，通过该数据处理节点在接收到该客户端节点的操作请 求时，对验证通过标识和操作权限进行验证，而无需对用户组信息的密码进行验证，操作简 便，避免了由于使用一个数据库进行用户组信息的密码验证和操作权限验证而造成的巨大 压力，提高了验证速度和系统性能。进一步地，在对客户端节点的版本进行更新时，避免了 影响到该数据处理系统的正常使用。
[0104] 图3是本发明实施例提供的一种数据处理方法的流程图，应用于数据处理系统， 参见图3,该方法包括：
[0105] 301、当客户端节点接收到操作指令时，获取该客户端节点的用户组信息和验证通 过标识，该用户组信息包括用户标识、密码和用户组标识，该验证通过标识用于表示当前客 户端节点已通过除该客户端节点和该数据处理节点之外的节点验证。
[0106] 302、该客户端节点向数据处理节点发送操作请求，该操作请求携带该用户组信息 和该验证通过标识。
[0107] 303、当该数据处理节点接收到该操作请求时，判断该操作请求是否包括验证通过 标识，如果是，执彳了步骤304,如果否，结束。
[0108] 304、该数据处理节点根据该用户组信息对该客户端节点的操作权限进行验证，当 验证通过时，响应该操作请求。
[0109] 本发明实施例提供的方法，通过该数据处理节点在接收到该客户端节点的操作请 求时，对验证通过标识和操作权限进行验证，而无需对用户组信息的密码进行验证，操作简 便，避免了由于使用一个数据库进行用户组信息的密码验证和操作权限验证而造成的巨大 压力，提高了验证速度和系统性能。
[0110] 可选地，该方法还包括：
[0111] 当该客户端节点接收到操作指令时，判断该客户端节点的配置文件中是否包括该 验证通过标识；
[0112] 当该配置文件中包括该验证通过标识时，该客户端节点从该配置文件中获取该验 证通过标识，并生成该客户端节点的用户组信息。
[0113] 可选地，判断该客户端节点的配置文件中是否包括该验证通过标识之后，该方法 还包括：
[0114] 当该配置文件中不包括该验证通过标识时，该客户端节点获取该用户组信息，向 权限管理节点发送该用户组信息；
[0115] 当该权限管理节点接收到该用户组信息时，对该用户标识和该密码进行验证；当 验证通过时，为该用户组信息添加验证通过标识，返回给该客户端节点；
[0116] 该客户端节点接收该用户组信息和该验证通过标识。
[0117] 可选地，该方法还包括：
[0118] 该数据处理节点根据该数据处理系统验证级别与处理方式之间的对应关系，确定 该数据处理系统当前验证级别所对应的处理方式；
[0119] 该数据处理节点根据确定的处理方式，响应该操作请求。
[0120] 可选地，该方法还包括：
[0121] 该数据处理系统当前验证级别为第一验证级别时，该数据处理节点响应该操作请 求。
[0122] 可选地，该操作请求还携带该客户端节点的版本信息，该方法还包括：
[0123] 该数据处理系统当前验证级别为第二验证级别，且该客户端节点的操作权限验证 通过时，该数据处理节点响应该操作请求；
[0124] 该数据处理节点判断该版本信息是否为该数据处理系统的最新版本信息；
[0125] 当该数据处理节点确定该版本信息不是该数据处理系统的最新版本信息时，向该 客户端节点发送第一提示信息，该第一提示信息用于提示更新客户端节点。
[0126] 可选地，该操作请求还携带该客户端节点的版本信息，该方法还包括：
[0127] 该数据处理系统当前验证级别为第二验证级别，且该客户端节点的操作权限验证 不通过时，该数据处理节点响应该操作请求；
[0128] 该数据处理节点向该客户端节点发送第二提示信息，该第二提示信息用于提示该 客户端节点的操作权限验证不通过。
[0129] 可选地，该操作请求还携带该客户端节点的版本信息，该方法还包括：
[0130] 该数据处理系统当前验证级别为第三验证级别时，该数据处理节点判断该版本信 息是否为该数据处理系统的最新版本信息；
[0131] 当该版本信息是该数据处理系统的最新版本信息，且该客户端节点的操作权限验 证通过时，该数据处理节点响应该操作请求；
[0132] 或，当该版本信息不是该数据处理系统的最新版本信息或该客户端节点的操作权 限验证不通过时，该数据处理节点忽略该操作请求。
[0133] 上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再 --赘述。
[0134] 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件 来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读 存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0135] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1. 一种数据处理系统，其特征在于，所述系统包括：客户端节点和数据处理节点； 所述客户端节点，用于当接收到操作指令时，获取所述客户端节点的用户组信息和验 证通过标识，向所述数据处理节点发送操作请求，所述操作请求携带所述用户组信息和所 述验证通过标识，所述用户组信息包括用户标识、密码和用户组标识，所述验证通过标识用 于表示当前客户端节点已通过除所述客户端节点和所述数据处理节点之外的节点验证； 所述数据处理节点，用于在接收到所述操作请求，并确定所述操作请求包括所述验证 通过标识时，根据所述用户组信息对所述客户端节点的操作权限进行验证，当验证通过时， 响应所述操作请求。
2. 根据权利要求1所述的系统，其特征在于，所述客户端节点还用于当接收到所述操 作指令时，判断所述客户端节点的配置文件中是否包括所述验证通过标识；当所述配置文 件中包括所述验证通过标识时，从所述配置文件中获取所述验证通过标识，并生成所述客 户端节点的用户组信息。
3. 根据权利要求2所述的系统，其特征在于，所述系统还包括：权限管理节点； 所述客户端节点还用于当所述配置文件中不包括所述验证通过标识时，获取所述客户 端节点的用户组信息；向所述权限管理节点发送所述用户组信息； 所述权限管理节点用于在接收到所述用户组信息时，对所述用户标识和所述密码进行 验证；当验证通过时，为所述用户组信息添加验证通过标识，返回给所述客户端节点； 所述客户端节点还用于接收所述权限管理节点发送的用户组信息和验证通过标识。
4. 根据权利要求1所述的系统，其特征在于，所述数据处理节点还用于根据所述数据 处理系统验证级别与处理方式之间的对应关系，确定所述数据处理系统当前验证级别所对 应的处理方式；根据确定的处理方式，响应所述操作请求。
5. 根据权利要求4所述的系统，其特征在于，所述数据处理节点还用于所述数据处理 系统当前验证级别为第一验证级别时，响应所述操作请求。
6. 根据权利要求4所述的系统，其特征在于，所述操作请求还携带所述客户端节点的 版本信息，所述数据处理节点还用于所述数据处理系统当前验证级别为第二验证级别，且 所述客户端节点的操作权限验证通过时，响应所述操作请求；并判断所述版本信息是否为 所述数据处理系统的最新版本信息；当确定所述版本信息不是所述数据处理系统的最新版 本信息时，向所述客户端节点发送第一提示信息，所述第一提示信息用于提示更新客户端 节点。
7. 根据权利要求4所述的系统，其特征在于，所述数据处理节点还用于所述数据处理 系统当前验证级别为第二验证级别，且所述客户端节点的操作权限验证不通过时，响应所 述操作请求，并向所述客户端节点发送第二提示信息，所述第二提示信息用于提示所述客 户端节点的操作权限验证不通过。
8. 根据权利要求4所述的系统，其特征在于，所述操作请求还携带所述客户端节点的 版本信息，所述数据处理节点还用于所述数据处理系统当前验证级别为第三验证级别时， 判断所述版本信息是否为所述数据处理系统的最新版本信息；当所述版本信息是所述数据 处理系统的最新版本信息，且所述客户端节点的操作权限验证通过时，响应所述操作请求； 或，当所述版本信息不是所述数据处理系统的最新版本信息或所述客户端节点的操作权限 验证不通过时，忽略所述操作请求。
9. 一种数据处理方法，其特征在于，应用于数据处理系统，所述方法包括： 当客户端节点接收到操作指令时，获取所述客户端节点的用户组信息和验证通过标 识，所述用户组信息包括用户标识、密码和用户组标识，所述验证通过标识用于表示当前客 户端节点已通过除所述客户端节点和所述数据处理节点之外的节点验证； 所述客户端节点向数据处理节点发送操作请求，所述操作请求携带所述用户组信息和 所述验证通过标识； 当所述数据处理节点接收到所述操作请求时，判断所述操作请求是否包括验证通过标 识； 当所述操作请求包括所述验证通过标识时，所述数据处理节点根据所述用户组信息对 所述客户端节点的操作权限进行验证，当验证通过时，响应所述操作请求。
10. 根据权利要求9所述的方法，其特征在于，所述方法还包括： 当所述客户端节点接收到操作指令时，判断所述客户端节点的配置文件中是否包括所 述验证通过标识； 当所述配置文件中包括所述验证通过标识时，所述客户端节点从所述配置文件中获取 所述验证通过标识，并生成所述客户端节点的用户组信息。
11. 根据权利要求10所述的方法，其特征在于，判断所述客户端节点的配置文件中是 否包括所述验证通过标识之后，所述方法还包括： 当所述配置文件中不包括所述验证通过标识时，所述客户端节点获取所述用户组信 息，向权限管理节点发送所述用户组信息； 当所述权限管理节点接收到所述用户组信息时，对所述用户标识和所述密码进行验 证；当验证通过时，为所述用户组信息添加验证通过标识，返回给所述客户端节点； 所述客户端节点接收所述用户组信息和所述验证通过标识。
12. 根据权利要求9所述的方法，其特征在于，所述方法还包括： 所述数据处理节点根据所述数据处理系统验证级别与处理方式之间的对应关系，确定 所述数据处理系统当前验证级别所对应的处理方式； 所述数据处理节点根据确定的处理方式，响应所述操作请求。
13. 根据权利要求12所述的方法，其特征在于，所述方法还包括： 所述数据处理系统当前验证级别为第一验证级别时，所述数据处理节点响应所述操作 请求。
14. 根据权利要求12所述的方法，其特征在于，所述操作请求还携带所述客户端节点 的版本信息，所述方法还包括： 所述数据处理系统当前验证级别为第二验证级别，且所述客户端节点的操作权限验证 通过时，所述数据处理节点响应所述操作请求； 所述数据处理节点判断所述版本信息是否为所述数据处理系统的最新版本信息； 当所述数据处理节点确定所述版本信息不是所述数据处理系统的最新版本信息时，向 所述客户端节点发送第一提示信息，所述第一提示信息用于提示更新客户端节点。
15. 根据权利要求12所述的方法，其特征在于，所述操作请求还携带所述客户端节点 的版本信息，所述方法还包括： 所述数据处理系统当前验证级别为第二验证级别，且所述客户端节点的操作权限验证 不通过时，所述数据处理节点响应所述操作请求； 所述数据处理节点向所述客户端节点发送第二提示信息，所述第二提示信息用于提示 所述客户端节点的操作权限验证不通过。
16.根据权利要求12所述的方法，其特征在于，所述操作请求还携带所述客户端节点 的版本信息，所述方法还包括： 所述数据处理系统当前验证级别为第三验证级别时，所述数据处理节点判断所述版本 信息是否为所述数据处理系统的最新版本信息； 当所述版本信息是所述数据处理系统的最新版本信息，且所述客户端节点的操作权限 验证通过时，所述数据处理节点响应所述操作请求； 或，当所述版本信息不是所述数据处理系统的最新版本信息或所述客户端节点的操作 权限验证不通过时，所述数据处理节点忽略所述操作请求。
【文档编号】H04L29/06GK104092652SQ201310753902
【公开日】2014年10月8日 申请日期:2013年12月25日 优先权日:2013年12月25日
【发明者】翟艳堂, 鲍春健, 庄虔玉, 麦艺华 申请人:腾讯数码（天津）有限公司