一种大数据安全防护方法、装置及系统与流程

本发明属于数据存储，尤其涉及一种大数据安全防护方法、装置及系统。

背景技术：

1、随着科技和互联网技术的飞速发展，以云计算、人工智能、5g网络为代表的新一代信息技术正驱动着数字经济的飞速发展，对数据存储的需求量巨大。这可能涉及到私人敏感数据、技术、财务、军工等机密数据。若这些机密数据在存储时发生泄露事件的话，将会为企业和个人造成不可估量的损失。各行业、部门也陆续提出了针对亿级数据安全存储的需求，目的是保证大数据信息不被非法窃取和篡改。

2、当前大数据信息存储主要采用以下几种方式处理：(1)要求用户将大数据信息集中存储在单个计算机中，实现大数据的集中式存储；(2)要求用户利用数据加解密算法对存储的数据进行加解密操作，并对加密时使用的密钥进行管理，完成海量数据信息的加密存储；等等。由此可见，当前大数据信息安全存储存在如下缺陷：(1)利用集中式存储方式对大数据信息进行存储，但是因大量数据都集中存储在大型主机上，一旦主机出现故障，那么整个系统中存储的数据将不再安全，数据信息将全部暴露；(2)在数据存储过程中使用加密算法对大量数据信息进行加密操作，并安全存储，但是一旦攻破持有的密钥信息，会导致存储数据信息都将不再安全。

技术实现思路

1、因此，本技术提供了一种大数据安全防护方法、装置及系统，用于解决大数据的集中式存储时，一旦存储的主机出现故障，那么整个系统中存储的数据将不再安全，以及攻破密钥信息，导致存储数据信息都将不再安全的问题。

2、本发明是这样实现的:

3、本发明提供了一种大数据安全防护方法，应用于分布式节点集群的管理中心，所述节点集群还包含多个子节点，所述管理中心预先与各个子节点建立不同的秘钥对，所述方法包括：

4、依据预设条件将目标数据分成多个数据块，并基于所述预设条件将所述多个数据块分为若干个数据块组，其中，所述预设条件至少包括所述目标数据的时间戳或所述目标数据中的关键词；

5、对于任一数据块组，确定存储所述数据块组的子节点，依据所述子节点对应的秘钥对对所述数据块组中的数据块进行加密，并将所述加密后的数据块发送给对应的子节点进行存储；

6、通过元数据记录所述数据块组中的数据块与所述子节点的映射关系，所述元数据包括所述数据块的标识符。

7、可选的，所述管理中心预先与各个子节点建立不同的秘钥对包括：

8、所述管理中心依据所述管理中心的mac地址和任一子节点的mac地址，以及预设的加密算法生成所述管理中心和子节点之间的秘钥对，并记录所述管理中心、子节点和秘钥对之间的对应关系。

9、可选的，所述方法还包括：

10、在接收到不携带访问令牌的访问请求时，通过所述访问请求中携带的用户信息对所述用户进行身份验证，当验证通过后，依据所述用户信息生成所述用户的访问令牌；

11、在接收到携带访问令牌的访问请求时，验证所述访问令牌是否有效，并在判断所述访问令牌有效时，根据所述访问令牌中包含的用户信息，判断所述访问请求是否有权访问请求的数据，当判断没有权限时，则禁止所述访问请求进行访问。

12、可选的，所述依据预设条件将目标数据分成多个数据块之前，所述方法还包括：

13、确定所述目标数据中用于进行验证的敏感数据，通过哈希函数将所述敏感数据转为第一哈希值，使得当接收到需要验证的数据时，通过所述哈希函数将所述需要验证的数据转为第二哈希值，将所述第一哈希值和所述第二哈希值进行对比，确定所述需要验证的数据是否通过验证。

14、本发明的另一目的在于提供一种大数据安全防护装置，应用于分布式节点集群的管理中心，所述节点集群还包含多个子节点，所述管理中心预先与各个子节点建立不同的秘钥对，所述装置包括：

15、分组单元，用于依据预设条件将目标数据分成多个数据块，并基于所述预设条件将所述多个数据块分为若干个数据块组，其中，所述预设条件至少包括所述目标数据的时间戳或所述目标数据中的关键词；

16、加密单元，用于对于任一数据块组，确定存储所述数据块组的子节点，依据所述子节点对应的秘钥对对所述数据块组中的数据块进行加密，并将所述加密后的数据块发送给对应的子节点进行存储；

17、记录单元，用于通过元数据记录所述数据块组中的数据块与所述子节点的映射关系，所述元数据包括所述数据块的标识符。

18、可选的，所述管理中心预先与各个子节点建立不同的秘钥对包括：

19、所述管理中心依据所述管理中心的mac地址和任一子节点的mac地址，以及预设的加密算法生成所述管理中心和子节点之间的秘钥对，并记录所述管理中心、子节点和秘钥对之间的对应关系。

20、可选的，所述装置还包括：

21、验证单元，用于在接收到不携带访问令牌的访问请求时，通过所述访问请求中携带的用户信息对所述用户进行身份验证，当验证通过后，依据所述用户信息生成所述用户的访问令牌；

22、将接收到携带访问令牌的访问请求时，验证所述访问令牌是否有效，并在判断所述访问令牌有效时，根据所述访问令牌中包含的用户信息，判断所述访问请求是否有权访问请求的数据，当判断没有权限时，则禁止所述访问请求进行访问。

23、可选的，所述分组单元依据预设条件将目标数据分成多个数据块之前，所述装置还包括：

24、脱敏单元，用于确定所述目标数据中用于进行验证的敏感数据，通过哈希函数将所述敏感数据转为第一哈希值，使得当接收到需要验证的数据时，通过所述哈希函数将所述需要验证的数据转为第二哈希值，将所述第一哈希值和所述第二哈希值进行对比，确定所述需要验证的数据是否通过验证。

25、本发明的另一目的在于提供一种大数据安全防护系统，包括管理模块和存储模块；

26、所述管理模块用于依据预设条件将目标数据分成多个数据块，并基于所述预设条件将所述多个数据块分为若干个数据块组，其中，所述预设条件至少包括所述目标数据的时间戳或所述目标数据中的关键词；

27、对于任一数据块组，确定存储所述数据块组的子节点，依据所述子节点对应的秘钥对对所述数据块组中的数据块进行加密，并将所述加密后的数据块发送给对应的子节点进行存储；

28、通过元数据记录所述数据块组中的数据块与所述子节点的映射关系，所述元数据包括所述数据块的标识符；

29、所述存储模块用于接收并存储管理模块发送的数据块组。

30、通过实施本公开的技术方案可以取得以下有益技术效果：

31、1、管理中心将目标数据分成多个数据块，并基于所述预设条件将所述多个数据块分为若干个数据块组，并且将不同的数据块组存储到不同的子节点时，都是使用不同的秘钥对，使得目标数据在存储和传输过程中不易被窃取和篡改。并且即使某个子节点的秘钥信息被攻破，由于获取的数据不完整，也不会造成目标数据的泄露。

32、2、接收到访问请求时，通过访问令牌中的用户信息判断该访问请求是否允许访问，不允许时，通过访问请求中的用户信息生成访问令牌，这进一步提高的数据的安全性。