一种支持国密算法的HDFS文件级透明加解密方法及系统与流程

一种支持国密算法的hdfs文件级透明加解密方法及系统
技术领域：
1.本发明涉及信息安全技术领域，特别涉及支持国密算法的hdfs文件级透明加解密方法及系统。


背景技术：

2.hadoop平台作为当下最流行的云平台之一，已经得到了广泛应用，而hdfs作为hadoop的核心模块，其为hadoop的所有应用程序提供分布式存储服务，hdfs在设计之初假定其运行在封闭的环境之中，且集群中的所有节点都是可靠的、值得信赖的、无需进行验证的，而hdfs实际的应用环境是一个开放且非安全的复杂环境，若不采取响应的安全措施将面临诸多挑战，特别是hdfs中的数据均以明文方式存储，容易产生数据泄露的问题。
3.虽然hadoop平台提供了kms组件用于对存储数据进行加密，但是该组件只能使用aes128算法，该算法加密强度很难满足当前数据安全合规性的要求，同时该kms组件的密钥管理协议并未遵循标准化规范，很难与其他密钥管理服务配合使用。


技术实现要素：

4.鉴于此，有必要设计一种支持国密算法的hdfs文件级透明加解密方法及系统，支持hdfs文件级透明加密，能够以通用的标准协议提供密钥管理能力，充分保障了数据安全。
5.第一方面，本发明提供一种支持国密算法的hdfs文件级透明加解密方法，包括：以符合hadoop平台静态数据加密规范的方式增加国密算法；
6.通过所述国密算法对hdfs文件元数据判断数据存储位置是否处于所述hadoop平台的加密区；
7.对位于所述加密区的hdfs文件数据参数设置成符合数据加解密策略的参数；
8.使用符合kmip协议的客户端密钥处理模块对所述符合数据加解密策略的参数执行密钥加解密操作。
9.优选的，所述以符合hadoop平台静态数据加密规范的方式包括：加密套件配置项以及加解密处理模块；其中，
10.所述加密套件配置项使hadoop平台支持所述国密算法。
11.优选的，所述加密套件配置项包括：对所述hdfs文件元数据进行算法名称、算法模式以及密钥长度的读取。
12.优选的，所述加解密处理模块涵盖初始化接口、加密接口以及解密接口。
13.优选的，所述加解密处理模块的初始化接口用于对所述加密套件配置项读取的hdfs文件数据进行解析。
14.优选的，所述加解密处理模块中的加密接口以及解密接口用于对解析后的hdfs文件数据执行加解密操作。
15.优选的，所述符合kmip协议的客户端密钥处理模块创建hadoop平台中的所述加密区以及密钥。
16.第二方面，一种支持国密算法的hdfs文件级透明加解密系统，包括：客户端密钥管理模块；所述客户端密钥管理模块支持加密区创建、文件加密密钥创建、文件加密密钥获取；
17.密钥管理服务设置模块；所述密钥管理服务设置模块用于设置需要连接获取密钥的服务地址信息；
18.还包括加解密算法模块，所述加解密算法模块支持初始化加密参数、数据块加密、数据块解密。
19.优选的，包括：还包括有数据流处理模块；所述数据流处理模块支持加解密策略获取、加解密策略设置、待加解密数据流获取。
20.本发明，通过支持国密算法，充分满足数据安全的合规性要求；加解密过程对于用户完全透明，不影响用户在hadoop平台上的操作和使用习惯；支持hdfs文件级透明加密，能够以通用的标准协议提供密钥管理能力。
附图说明：
21.图1为本发明支持国密算法的hdfs文件级透明加解密系统原理图；
22.图2为本发明支持国密算法的hdfs文件级透明加解密系统实施步骤示意图。
具体实施方式：
23.一并参阅图1，图1为本发明支持国密算法的hdfs文件级透明加解密系统原理图；该支持国密算法的hdfs文件级透明加解密系统包括：客户端密钥管理模块；客户端密钥管理模块支持加密区创建、文件加密密钥创建、文件加密密钥获取。
24.该系统还包括加解密算法模块，加解密算法模块支持初始化加密参数、数据块加密、数据块解密。
25.该系统还包括密钥管理服务设置模块；密钥管理服务设置模块用于设置需要连接获取密钥的服务地址信息。
26.该系统还包括有数据流处理模块；数据流处理模块支持加解密策略获取、加解密策略设置、待加解密数据流获取。
27.具体实现上述系统运行时，通过支持国密算法的hdfs文件级透明加解密的方法，该方法包括：以符合hadoop平台静态数据加密规范的方式增加国密算法。
28.以符合hadoop平台静态数据加密规范的方式包括有增加加密套件配置项和加解密处理模块。
29.加密套件配置项包括：对hdfs文件元数据进行算法名称、算法模式以及密钥长度的读取。
30.加解密处理模块涵盖初始化接口、加密接口以及解密接口。
31.加解密处理模块的初始化接口用于对加密套件配置项读取的hdfs文件数据进行解析。
32.加解密处理模块中的加密接口以及解密接口用于对解析后的hdfs文件数据执行加解密操作。
33.虽然hadoop平台提供了kms组件用于对存储数据进行加密，但是该组件只能使用
aes128算法，该算法加密强度很难满足当前数据安全合规性的要求，同时该kms组件的密钥管理协议并未遵循标准化规范，很难与其他密钥管理服务配合使用。
34.为此，本发明实施例中的方法还包括：替换hadoop平台中加密区对于输入输出流的处理过程。替换hadoop平台原有对加密区文件处理分支中的参数，将其设置成符合数据加解密策略的参数。
35.使用符合kmip协议的客户端密钥处理模块替换hadoop平台自身客户端的加密区密钥管理模块。从而不与原有hadoop平台kms服务进行通信，改为与kmip服务进行通信，同时该符合kmip协议的客户端密钥处理模块替换原有hadoop平台加密区创建、密钥创建过程。
36.本发明提供了一种支持国密算法的hdfs文件级透明加解密方法和系统，该方法在最大限度保留hadoop自身操作逻辑的前提下，加入国密算法，充分满足数据安全的合规性要求；同时，加解密过程对于用户完全透明，不影响用户在hadoop平台上的操作和使用习惯；在此基础上，支持hdfs文件级透明加密，能够以通用的标准协议提供密钥管理能力，充分保障了数据安全。
37.继续参阅图2，图2为本发明支持国密算法的hdfs文件级透明加解密系统实施步骤示意图。
38.该支持国密算法的hdfs文件级透明加解密系统实施步骤包括：
39.步骤1：用户发起数据获取或写入的请求；
40.步骤2：根据hdfs文件元数据判断数据存储位置是否在加密区，如果是则进入下一步，否则进入正常hdfs数据处理流程；
41.步骤3：通过密钥管理系统读取hdfs数据的加解密策略；
42.步骤4：解析加解密策略获取受保护的文件加密密钥；
43.步骤5：提取文件加密密钥；
44.步骤6：设置文件加解密参数；
45.步骤7：初始化加解密参数；
46.步骤8：从hdfs数据读取接口中获取数据块并写入缓冲区，同时判断文件读取是否结束，如果未结束则进行下一步，否则向用户输出数据处理结果；
47.步骤9：根据加解密策略执行数据加解密操作，并重复步骤8。
48.本发明，通过支持国密算法，充分满足数据安全的合规性要求；加解密过程对于用户完全透明，不影响用户在hadoop平台上的操作和使用习惯；支持hdfs文件级透明加密，能够以通用的标准协议提供密钥管理能力。