基于云存储的数据存储方法及装置与流程

文档序号:25213334发布日期:2021-05-28 14:09阅读:来源:国知局

技术特征:

1.一种基于云存储的数据存储方法,其特征在于,包括:

获取构成上传文件的一部分的一数据块,其中,所述数据块携带有一应用标记;

基于所述应用标记,处理所述数据块;

将处理后的所述数据块存储到多个云存储中的相应的一个云存储中。

2.根据权利要求1所述的方法,其特征在于,所述应用标记包括以下至少之一:

去重位,用于指示是否进行去重处理;

分块方式位,用于指示是固长分块还是变长分块;

压缩位,用于指示是否进行压缩处理;

加密位,用于指示是否进行加密处理;

多副本位,用于指示是否进行多副本存储;

归档位,用于指示是否存储为归档;和

跨云位,用于指示是否进行跨云存储。

3.根据权利要求2所述的方法,其特征在于,基于所述应用标记,处理所述数据块包括以下至少之一:在所述去重位指示进行去重处理的情况下,对所述数据块进行去重处理;

在所述压缩位指示进行压缩处理的情况下,对所述数据块进行压缩处理;

在所述加密位指示进行加密处理的情况下,对所述数据块进行加密处理;

在所述跨云位指示跨云存储的情况下,选取不同云存储品牌配置,以对所述数据块进行跨云存储;

在所述归档位指示归档存储的情况下,选取归档配置,以对所述数据块进行归档存储。

4.根据权利要求2所述的方法,其特征在于,将处理后的所述数据块存储到多个云存储中的相应的一个云存储中之后,所述方法还包括:在所述多副本位指示进行多副本存储的情况下,将所述数据块写入到所述多个云存储中的其他的一云存储中。

5.根据权利要求2所述的方法,其特征在于,在基于所述应用标记处理所述数据块之前,所述方法还包括:基于所述应用标记对所述数据块进行预处理。

6.根据权利要求5所述的方法,其特征在于,基于所述应用标记对所述数据块进行预处理包括以下至少之一:

在所述去重位指示需要去重的情况下,确定所述数据块需要分块,并在所述分块方式位指示固长分块的情况下,基于预设的固定长度将所述数据块分割为多个子数据块,在所述分块方式位指示变长分块的情况下,基于所述数据块的内容识别,以变长切块的方式将所述数据块分割为多个子数据块;和

在所述去重位指示无需去重的情况下,无需对所述数据块进行分块。

7.根据权利要求6所述的方法,其特征在于,基于所述应用标记对所述数据块进行预处理还包括:

在所述去重位指示无需去重的情况下,对所述数据块进行抽样字节,并基于所述抽样字节计算所述数据块的指纹;和/或

在所述去重位指示需要去重的情况下,分别计算所述多个子数据块中的每个子数据块的指纹。

8.根据权利要求5所述的方法,其特征在于,基于所述应用标记对所述数据块进行预处理之前,所述方法还包括:在所述数据块为特征块的情况下,无需对所述数据块进行分块,并且无需计算所述数据块的指纹而直接设置所述数据块的指纹。

9.根据权利要求5至8中任一项所述的方法,其特征在于,基于所述应用标记对所述数据块进行预处理之后,所述方法还包括将所述应用标记保存在所述数据块的元数据中。

10.一种基于云存储的数据存储装置,其特征在于,包括:

获取模块,被配置为获取构成上传文件的一部分的一数据块,其中,所述数据块携带有一应用标记;

处理模块,被配置为基于所述应用标记,处理所述数据块;

存储模块,被配置为将处理后的所述数据块存储到多个云存储中的相应的一个云存储中。


技术总结
本公开公开了一种基于云存储的数据存储方法及装置。其中,该方法包括:获取构成上传文件的一部分的一数据块,其中,所述数据块携带有一应用标记;基于所述应用标记,处理所述数据块;将处理后的所述数据块存储到多个云存储中的相应的一个云存储中。本公开解决了【不能针对不同应用场景的文件和数据块个性化去重存储处理和由于采用基于物理的服务器、磁盘等的数据去重存储技术而造成的构建去重存储服务门槛高、存储空间规划不灵活、使用维护成本高】的技术问题。

技术研发人员:陈元强
受保护的技术使用者:深圳市木浪云数据有限公司
技术研发日:2021.02.05
技术公布日:2021.05.28
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1