一种在大数据背景下的数据安全存储方法
【技术领域】
[0001] 本发明属于电数据数字处理技术领域，涉及一种针对计算系统安全的方法，更具 体而言，涉及一种在大数据背景下的数据安全存储方法。
【背景技术】
[0002] 随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的 中心，云计算、大数据正在成为一种趋势和潮流。包括存储容量、可用性、I/O性能、数据 安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V: Volume (大量），数据量持续快速增加 ；Velocity (高速），数据I/O速度更快；Variety (多 样），数据类型和来源多样化；Value (价值），其存在各方面的可用价值。与此同时，该趋势 对存储技术提出越来越高的要求，包括对数据库高并发读写要求、对海量数据的高效率存 储和访问需求、对数据库高可扩展性和高可用性的需求，其中焦点集中在增强数据安全性 同时提高效率，因此需要对用户的数据进行加密保护，并对方案进行不断优化和改进。
[0003] 对于数据中心，由于可能受到恶意用户或者自然灾害的攻击，或者当该数据中心 由低效率和可靠性的节点组成时，安全性尤为重要。尽管技术人员尝试使用安全的分布式 以及RS编码来解决该问题，但其带来低效的问题，特别是对于处理云计算中的数据。
[0004] 现有技术中公开了一些相关的方案，例如在申请号201410485029的专利申请中， 公开了一种基于云计算的数据对称和非对称混合加解密方法，其实现过程为：数据加密通 过AES对称加密算法密钥和RSA非对称算法对公开密钥进行加密；数据解密通过RSA非对 称算法对AES算法的公开密钥密文进行，还原出数据的明文。然而，尽管这种基于云计算的 数据对称和非对称混合加解密方法比较有效解决了云计算中数据安全存储的问题，适用于 大数据量的加密和解密，但其效率不够高。
[0005] 再例如，在申请号201410265820的专利申请中，公开了一种面向行业大数据多样 性应用的混合型处理系统及方法，包括：分布式数据采集子系统，用于从外部系统采集数 据；存储和并行计算子系统，用于对所采集的数据进行存储和计算；一体化资源和系统管 理平台，用于对所存储和计算的数据进行管理；其中存储和并行计算子系统，包括大数据存 储子系统和大数据处理子系统；其中大数据处理子系统，包括内存计算引擎，其中内存计算 引擎，用于在无共享集群中提供分布式内存抽象，并对采集的数据进行并行流水化和线程 轻量级处理。尽管该方法提高了效率，但是其安全性不够强。
[0006] 有鉴于此，本发明提出一种在大数据背景下的数据安全存储方法，其满足在大数 据信息处理时既安全又高效的问题。
【发明内容】
[0007] 本发明的目的之一是提供一种在大数据背景下的数据安全存储方法，其既增强了 数据安全性，同时也提高了效率。
[0008] 本发明为解决上述技术问题而采取的技术方案为：一种在大数据背景下的数据安 全存储方法，包括：接收待存储的文件，确认文件完整性和有效性；估计待存储文件大小， 并进行目的地空间判断；划分待存储文件；对待存储文件进行分布；对待存储文件进行编 码加密；对待存储文件进行存储；以及对待存储文件进行解码和恢复。
[0009] 根据本发明的一个方面，接收待存储的文件以确认文件完整性和有效性包括：如 果文件完整且有效则进行下一步操作，否则返回给发送者，以提示重新发送；估计待存储文 件大小并进行目的地空间判断包括：如果待存储文件大小大于诸如存储器块之类的目的地 空间的单位单元的大小，则用前者除以后者，以确定存储单位单元的数量，如果相除结果不 大于一，则确定数量为一个，否则按"进一法"确定单位单元数量。
[0010] 根据本发明的另一个方面，划分待存储文件包括：将文件划分为N个消息，其中N 是正整数。
[0011] 根据本发明的另一个方面，划分待存储文件包括将文件划分为N个消息具体包 括：将确定完整且有效的待存储文件称为F，它是包含N个消息的串，F =(屯，d2,……，dN)， 其中屯是w个码元形式的第i个消息，i和w都是正整数，即d i= (d (i-i)w+i，......，diw)， 优选的是w是32字节，即256比特，因此文件F可被分为Nw个消息码元：F =(屯，...... ，dw)，（dw+i，......，d_2W)，......，（d (N-I) w+l)......，dNw)。
[0012] 根据本发明的另一个方面，对待存储文件进行分布包括：
[0013] 分布函数R(d)如下：
[0014]
【主权项】
1. 一种在大数据背景下的数据安全存储方法，包括： 接收待存储的文件，确认文件完整性和有效性； 估计待存储文件大小，并进行目的地空间判断； 划分待存储文件； 对待存储文件进行分布； 对待存储文件进行编码加密； 对待存储文件进行存储；以及 对待存储文件进行解码和恢复。
2. 如权利要求1所述的在大数据背景下的数据安全存储方法，其中接收待存储的文件 并确认文件完整性和有效性包括：如果文件完整且有效则进行下一步操作，否则返回给发 送者，以提示其重新发送；估计待存储文件大小并进行目的地空间判断包括：如果待存储 文件大小大于诸如存储器块之类的目的地空间的单位单元的大小，则用前者除以后者，以 确定存储单位单元的数量，如果相除结果不大于一，则确定数量为一个，否则按"进一法"确 定单位单元数量。
3. 如权利要求1所述的在大数据背景下的数据安全存储方法，其中划分待存储文件包 括：将文件划分为N个消息，其中N是正整数。
4. 如权利要求3所述的在大数据背景下的数据安全存储方法，其中划分待存储文件包 括将文件划分为N个消息具体包括：将确定完整且有效的待存储文件称为F，它是包含N个 消息的串，F = ((I1, d2,......, dN)，其中屯是w个码元形式的第i个消息，i和w都是正整数， 即(Ii= (d (i_1)w+1，......，diw)，优选的是w是32字节，即256比特，因此文件F可被分为Nw 个消息码元：F = ((I1,......，dw)，（dw+1,......, d2w),......, (d (N-I) w+l)......，dNw) ο
5. 如权利要求1到4中任一个所述的在大数据背景下的数据安全存储方法，其中对待 存储文件进行分布包括： 分布函数R(d)为： I ⑷+ T'(d) ()-冗凡)+ ·其中d=1，2,……，k; 其中的函数1(d)表示如下： 如果 d = 1，则 I (d) = Ι/k ; 如果 d = 2, 3，......，k，则 I (d) = l/(d*(d_l)); 函数T (d)表示： 如果 d = 1，2，......，（k/s)-l，则 T(d) = s/(k*d); 如果 d= (k/s)，则 T(d) =s*ln(s/f)/k，； 如果 d = (k/s)+l,......，k，则 T(d) = 0 ; 其中 s = c*ln(k/f)* V k ; k表示整数，d表示小于k的整数，c、f为常数。
6. 如权利要求5所述的在大数据背景下的数据安全存储方法，其中c>0。
7. 如权利要求5到6中任一个所述的在大数据背景下的数据安全存储方法，其中对待 存储文件进行编码加密包括：加密后的文件为F'，其由N+1个加密的消息组成，其形式为： F? = (e1； e2,......，eN+1) %是屯经编码加密后的消息，其中加密的消息ei=di十EK(I+i),其 中I是初始化向量，Ek (i)表示基于密钥的加密算法，而eN+1表示之前所有加密消息e i，e2，… …，％的密钥K和哈希的异或函数，即：eN+尸KeH(ei，e2,……，e N)，其中H(i)是密码算法； 其中K是从块分组密码中随机选取的密钥。
8. 如权利要求7所述的在大数据背景下的数据安全存储方法，其中E K (i)选择AES算 法，而H(i)选择SHA算法。
9. 如权利要求5到8中任一个所述的在大数据背景下的数据安全存储方法，其中对待 存储文件进行存储包括：将二进制形式的源文件的数据进行分组处理，以形成相同数据组； 根据数据组在源文件中的次序而对每个数据组产生相应的二维坐标以形成坐标组；将坐标 组存储在存储设备上。
10. 如权利要求5到9中任一个所述的在大数据背景下的数据安全存储方法，其中 对待存储文件进行解码和恢复包括：通过从码元解码消息 ei而解码F' ；通过使用F' = (e1； e2,......, eN+1)的前N个消息而计算哈希!Ke1, e2,......, eN);通过使用F'的最后一条消 息eN+1和哈希而计算密钥K，使得K=eN+i ?H(ei,e2,......，eN);通过使用加密的消息Gi和用 密钥K的解密来计算初始消息Cli，使得di=ei?EK(I+i)。
【专利摘要】本发明属于电数据数字处理技术领域，涉及一种针对计算系统安全的方法，更具体地涉及在大数据背景下的数据安全存储方法，包括：接收待存储的文件，确认文件完整性和有效性；估计待存储文件大小，进行目的地空间判断；划分待存储文件；分布待存储文件；编码加密待存储文件；存储待存储文件；解码和恢复待存储文件。通过使用特定的合理分布，既确保了数据分布得适当，使得待编码加密的码元数量的分布在某个区间不至于太小；也能确保后期数据恢复的准确和快捷，确保数据存储、恢复的安全性和稳定性，尤其在实现安全性和稳定性的同时确保了高效率。而且存储的数据文件越多，本发明的技术优势越明显，顺应了云计算、大数据的趋势和潮流。
【IPC分类】G06F17-30, G06F21-60
【公开号】CN104636673
【申请号】CN201510104431
【发明人】谢叔阳
【申请人】四川中科腾信科技有限公司
【公开日】2015年5月20日
【申请日】2015年3月10日