一种基于云平台的数据储存方法及存储管理系统与流程

1.本发明属于数据存储技术领域，具体来说，涉及一种基于云平台的数据储存方法及存储管理系统。


背景技术：

2.云平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力。云计算平台可以划分为3类：以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。以数据存储为主的存储型云平台和以数据处理为主的计算型云平台占大多数；计算和数据存储处理兼顾的综合云计算平台较少，即缺乏对数据的计算、整理、分类以及储存一体化技术，导致数据过于散乱，需要分开进行操作，且分开操作的过程，容易造成数据的流失。
3.在专利号为cn201810524812.4的中国发明专利中；公开了一种智能化大数据储存分类平台的方法，具体包括以下步骤：s1、先通过电源模块分别使大数据云处理平台、新数据分析模块、数据加密系统和分类储存通道单元通电，当系统内输入新数据时，新数据分析模块会对新数据进行分析，并将分析的结构传送至大数据云处理平台内进行分析处理；s2、大数据云处理平台会将新数据传送至分类储存系统内的数据类型识别模块内进行数据类型识别，识别完成后将识别出类型的新数据传送至类型通道归类模块内进行通道归类；s3、归类好后将新数据通过数据发送模块发送至分类储存通道单元内，分类储存通道单元可将通道归类分析好的新数据传送至相应的分类通道内进行打包处理，再将打包好的数据传送至联网大数据库内进行储存；s4、同时大数据云处理平台也会控制数据加密系统对存储数据进行加密，数据加密系统内的加密程序提取模块会向大数据云处理平台内提取相应的加密程序，并通过加密环境设定模块进行加密环境设定和运行，再通过加密程序输出模块进行输出和加密；s5、之后大数据云处理平台会控制系统安全监测模块对整个储存系统的内部进行安全监测，当监测到系统内存在安全隐患时，大数据云处理平台会控制安全防护模块开始工作，对整个存储系统进行安全维护，同时显示单元也会显示新数据存储的情况。解决了现有的储存方式不能对存储的数据进行分类，无法达到方便人们对大数据进行管理的目的，不能实现人们对大数据内部的数据进行快速提取，无法保证数据储存安全性的问题。
4.现有专利的缺陷在于，虽然上述专利解决了对数据的计算、整理、分类以及储存一体化处理的问题；但是存储数据存入形式被分类打乱以后难以恢复至初始状态，用户需要下载存储内容时，在云平台下载的内容保存格式分类与客户保存文件内容不相符，使用和查看不符合用户的个人习惯。因此缺乏数据存储在云平台后的下载格式复原回调给用户的过程。


技术实现要素：

5.针对现有云平台存储方法缺乏数据存储在云平台后，下载格式复原回调给用户的问题，本发明提供了一种基于云平台的数据储存方法及存储管理系统。
6.为实现上述技术目的，本发明采用的技术方案如下：
7.一种基于云平台的数据储存方法，包括步骤：
8.s1、通过客户端与云平台建立数据连接；
9.s2、通讯连接成功，上传压缩文件至云平台；
10.s3、云平台对压缩文件解压后判断压缩文件内各个文件的类型，并根据不同文件类型进行分类打包；
11.s4、识别分类打包文件的大小和存储位置关系值；
12.s5、对所有压缩文件的类型、分类打包文件的大小和存储位置关系值生成不同的hash码；
13.s6、采用hash算法对整个压缩包内所有文件的hash码映射为每个文件的唯一键值；
14.s7、通过mapreduce加密算法对所有文件加密分类存储；
15.s8、将每个文件的唯一键值和在云平台存储位置信息回调给用户；
16.s9、用户下载原文件格式时，通过mapreduce加密算法逆转录方式映射并验证每个文件的唯一键值和存储位置是否一致；
17.s10、若一致，将所有文件返还初始压缩文件包内，压缩后返回至客户端。
18.进一步地，步骤s4中分类打包文件的位置存储关系值采用初始上传压缩文件之间相互包含的关系表示，采用多叉树分支节点表示文件存储深度，分类打包文件的大小表示多叉树节点值。
19.进一步地，步骤s5的详细步骤为：
20.s501、压缩文件的类型通过解压匹配云平台内所有存储文件类型后缀名称，获取不同文件类型的预设键值；
21.s502、通过分类打包文件的大小和多叉树存储位置关系获取每个节点所占其父节点的总值的占比，将占比数值作为hash码；
22.s503、对步骤s501获取的不同文件类型的预设键值和s502获取到的hash码进行打乱拼接，获取到总的压缩文件数据包唯一键值。
23.进一步地，步骤s503打乱拼接后，将总的压缩文件数据包唯一键值的拼接顺序返还至客户端的用户。
24.进一步地，步骤s6的详细步骤包括：
25.s601、对每种文件类型的文件大小进行判断，若大于云平台存储系统的每个存储块的大小，则进入步骤s602，若小于云平台存储系统的每个存储块的大小，进入步骤s603；
26.s602、将较大文件进行分块处理，进入步骤s603；
27.s6021、分片时首先打开待加密的大数据文件通道，用pos变量存储第一个字节在文件中的偏移量；
28.s6022、每个分片的大小sj采用下式计算；
29.30.s6023、每个分片的文件将用一个缓存buffer来存储，同时定义数组karr存储每个分片的起始偏移量；
31.s6024、pos增加sj从而成为下一个分片的第一个字节在文件中的偏移量，分片过程将持续到文件末尾处理完成；
32.s603、将所有分类文件存储至云平台存储系统的存储块，并返还存储块的存储位置。
33.进一步地，步骤s7的详细步骤包括：
34.s701、对每个文件的唯一键值转换为4*4的矩阵，再进行aes加密处理；aes算法中明文和密文为一个4*4的矩阵；
35.s702、输入明文分片，明文数据将进行10轮的加密；
36.s703、前9轮的过程为通过s-box完成一个字节到另一个字节的映射；
37.s704、进行行移位操作，第一行保持不变，第二行循环左移1个字节，第三行循环左移2个字节，第四行循环左移3个字节，在行移位完毕后进行列混淆操作；
38.s705、将本轮所得的轮秘钥与本轮输入异或一次。
39.一种基于云平台的数据存储管理系统，包括数据传输连接模块、解压文件模块、匹配识别文件类型模块、存储位置关系模块、文件的大小识别模块、hash码生成模块、文件键值生成模块、mapreduce加密模块、mapreduce加密算法逆转录模块和文件还原模块；
40.数据传输连接模块，用于客户端与云平台建立数据连接和文件的相互传输；
41.解压文件模块与数据传输连接模块通讯连接，用于解压上传的压缩文件；
42.匹配识别文件类型模块，通过解压文件中所有文件逐一匹配云平台内所有存储文件类型后缀名称，识别不同文件类型的文件；
43.存储位置关系模块，采用多叉树分支节点表示文件存储深度关系，获取每个节点所占其父节点的总值的占比；
44.文件的大小识别模块，用于识别文件的数值，还用于判断文件的大小是否适合云平台存储系统的每个存储块的大小；
45.hash码生成模块，通过所有压缩文件的类型、分类打包文件的大小和存储位置关系值生成不同的hash码；
46.文件键值生成模块，采用hash算法对整个压缩包内所有文件的hash码映射为每个文件的唯一键值；
47.mapreduce加密模块，通过mapreduce加密算法对所有文件加密分类存储；
48.mapreduce加密算法逆转录模块，按照mapreduce加密算法反向转录，解码获取到每个文件的唯一键值；
49.文件还原模块，用于根据文件的唯一键值将存储块内的文件重新拼接匹配还原为上传时文件的存储状态。
50.本发明相比现有技术，具有如下有益效果：
51.通过压缩文件的类型、分类打包文件的大小和存储位置关系值，生成的每个文件的唯一键值，不仅确保了文件的存储前安全性和后续文件状态的可恢复性；还保证了用户文件存储格式和习惯还原初始文件的存储层级关系。
52.mapreduce加密算法不仅充分利用云平台下的计算资源优势增加加密效率，还保
证了加密过程的可逆转性，保证用户文件存储的安全性，且确保所有压缩文件的类型、分类打包文件的大小和存储位置关系值均可逆转过程获取解码后的每个文件的唯一键值。
附图说明
53.图1为本发明一种基于云平台的数据储存方法的流程图；
54.图2为本发明为步骤s5的详细流程图；
55.图3为本发明为步骤s6的详细流程图；
56.图4为本发明为步骤s6的较大文件进行分块处理的详细流程图；
57.图5为本发明为步骤s7的详细流程图；
58.图6为本发明一种基于云平台的数据储存管理系统的结构框图。
具体实施方式
59.为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
60.如图1所示，本实施例提供了一种基于云平台的数据储存方法，包括步骤：s1、用户通过客户端与云平台建立数据连接；s2、通讯连接成功，用户上传压缩文件至云平台；s3、云平台对压缩文件解压后判断压缩文件内各个文件的类型，并根据不同文件类型进行分类打包；s4、识别分类打包文件的大小和存储位置关系值；s5、对所有压缩文件的类型、分类打包文件的大小和存储位置关系值生成不同的hash码；s6、采用hash算法对整个压缩包内所有文件的hash码映射为每个文件的唯一键值；s7、通过mapreduce加密算法对所有文件加密分类存储；s8、将每个文件的唯一键值和在云平台存储位置信息回调给客户端；s9、在客户端通过mapreduce加密算法逆转录方式映射并验证每个文件的唯一键值和存储位置是否一致；s10、若一致，将所有文件返还初始压缩文件包内，压缩后返回至客户端。
61.步骤s4中分类打包文件的位置存储关系值采用初始上传压缩文件之间相互包含的关系表示，通过多叉树分支节点表示文件存储深度，分类打包文件的大小表示多叉树节点值。
62.步骤s5的详细步骤为：s501、压缩文件的类型通过解压匹配云平台内所有存储文件类型后缀名称，获取不同文件类型的预设键值；如压缩文件类型为.jpg格式，云平台预设的文件类型匹配的预设键值为.jpg格式的hash码。
63.s502、通过分类打包文件的大小和多叉树存储位置关系获取每个节点所占其父节点的总值的占比，占比数值即为hash码；s503、对步骤s501获取的不同文件类型的预设键值和s502获取到的hash码进行打乱拼接，获取到总的压缩文件数据包唯一键值。
64.步骤s503打乱拼接后，将总的压缩文件数据包唯一键值的拼接顺序返还至客户端。通过逆转录时，用户可以获取到所有压缩文件的类型、分类打包文件的大小和存储位置关系值；便于云平台文件数据下载时，可以恢复到用户初始上传压缩文件的存储方式和形式。便于用户个人习惯和存储逻辑不受影响，使用更加便捷。
65.步骤s6的详细步骤包括：s601、对每种文件类型的文件大小进行判断，若大于云平台存储系统的每个存储块的大小，则进入步骤s602，若小于云平台存储系统的每个存储块的大小，进入步骤s603；s602、将较大文件进行分块处理，进入步骤s603。
66.s6021、分片时首先打开待加密的大数据文件通道，用pos变量存储第一个字节在文件中的偏移量；s6022、每个分片的大小sj采用下式计算；
[0067][0068]
s6023、每个分片的文件将用一个缓存buffer来存储，同时定义数组karr存储每个分片的起始偏移量；s6024、pos增加sj从而成为下一个分片的第一个字节在文件中的偏移量，分片过程将持续到文件末尾处理完成。s603、将所有分类文件存储至云平台存储系统的存储块，并返还存储块的存储位置。
[0069]
步骤s7的详细步骤包括：s701、对每个文件的唯一键值转换为4*4的矩阵，再进行aes加密处理；aes算法中明文和密文为一个4*4的矩阵。
[0070]
aes加密算法作为新一代的数据加密标准，在经过多方面的分析后，已经将其定义为最有效的对称加密算法之一，aes加密算法对数据进行多轮加密，虽然每一轮的轮秘钥本身并不难破解，但是每一轮另外的三个阶段分别提供了混淆和非线性功能，并且算法每轮经历一个分组的异或加密，在对该分组混淆扩散，接着再进行异或加密，如此交替进行，大大提高了算法的安全性。
[0071]
s702、输入明文分片，明文数据将进行10轮的加密；s703、前9轮的过程为通过s-box完成一个字节到另一个字节的映射；s704、进行行移位操作，第一行保持不变，第二行循环左移1个字节，第三行循环左移2个字节，第四行循环左移3个字节，在行移位完毕后进行列混淆操作；s705、将本轮所得的轮秘钥与本轮输入异或一次。最后一轮的过程与前9轮相同，只是少了列混淆过程。在所有分片的map函数运行完毕后，reduce函数将根据各个密文分片的key值排序，最后将密文依序拼接为一个完整的密文文件，在map过程中负责对各个分片加密的aes秘钥将由rsa公钥加密后传输给客户端的用户保管，以用于解密。
[0072]
如图2所示，一种基于云平台的数据存储管理系统，包括数据传输连接模块，用于客户端与云平台建立数据连接和文件的相互传输；解压文件模块与数据传输连接模块通讯连接，用于解压用户上传的压缩文件；匹配识别文件类型模块，通过解压文件中所有文件逐一匹配云平台内所有存储文件类型后缀名称，识别不同文件类型的文件；存储位置关系模块，采用多叉树分支节点表示文件存储深度关系，获取每个节点所占其父节点的总值的占比；文件的大小识别模块，用于识别文件的数值，还用于判断文件的大小是否适合云平台存储系统的每个存储块的大小；hash码生成模块，通过所有压缩文件的类型、分类打包文件的大小和存储位置关系值生成不同的hash码；文件键值生成模块，采用hash算法对整个压缩包内所有文件的hash码映射为每个文件的唯一键值；mapreduce加密模块，通过mapreduce加密算法对所有文件加密分类存储；mapreduce加密算法逆转录模块，按照mapreduce加密算法反向转录，解码获取到每个文件的唯一键值；文件还原模块，用于根据文件的唯一键值将存储块内的文件重新拼接匹配还原为上传时候文件的存储状态。
[0073]
本发明相比现有技术，具有如下有益效果：
[0074]
通过压缩文件的类型、分类打包文件的大小和存储位置关系值，生成的每个文件的唯一键值，不仅确保了文件的存储前安全性和后续文件状态的可恢复性；还保证了用户
文件存储格式和习惯还原初始文件的存储层级关系。
[0075]
mapreduce加密算法不仅充分利用云平台下的计算资源优势增加加密效率，还保证了加密过程的可逆转性，保证用户文件存储的安全性，且确保所有压缩文件的类型、分类打包文件的大小和存储位置关系值均可逆转过程获取解码后的每个文件的唯一键值。
[0076]
以上对本技术提供的一种基于云平台的数据储存方法及存储管理系统进行了详细介绍。具体实施例的说明只是用于帮助理解本技术的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。