一种数据处理方法和装置与流程

文档序号:14910990发布日期:2018-07-10 23:24阅读:来源:国知局

技术特征:

1.一种数据处理方法,其特征在于,应用于数据处理装置,所述方法包括:

从第一存储节点中读取待备份数据;

将所述待备份数据分成m个第二类数据块;其中,所述m是大于等于2的整数,所述第二类数据块是所述数据处理装置存储数据的基本单位;

将所述m个第二类数据块中的n个第二类数据块聚合成一个数据文件,并将所述数据文件写入第二存储节点;其中,2≤n<m,所述n是整数;所述数据文件是所述数据处理装置单流一次向所述第二存储节点写入的所述第二类数据块构成的集合。

2.根据权利要求1所述的方法,其特征在于,在将所述m个第二类数据块中的n个第二类数据块聚合成一个数据文件之前,所述方法还包括:

根据公式are=min{W/min{K1,p1},a0},确定所述数据文件的大小的参考值are;所述W表示所述待备份数据的大小,所述K1表示所述数据处理装置并发向所述第二存储节点写数据的流数的预设值,所述p1表示所述数据处理装置根据当前备份业务情况确定的所述待备份数据的可用并发流数,所述a0表示向所述第二存储节点中单流一次写入的数据量的预设值;

根据所述数据文件的大小的参考值are和所述第二类数据块的大小,确定所述数据文件中包括的第二类数据块的个数n。

3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

生成所述待备份数据的元数据文件;所述元数据文件包括:根据所述待备份数据生成的每一数据文件的标识,所述每一数据文件中的第二类数据块的标识,以及所述每一数据文件中的第二类数据块在相应数据文件中的位置信息;

将所述元数据文件写入所述第二存储节点。

4.根据权利要求3所述的方法,其特征在于,所述元数据文件还包括:所述第二类数据块的大小。

5.根据权利要求1至4任一项所述的方法,其特征在于,从第一存储节点中读取待备份数据,包括:

根据所述第一存储节点的读性能指标和所述第一类数据块的大小,确定从所述第一存储节点中一次读取的连续的第一类数据块的个数的参考值r;其中,所述第一类数据块是所述第一存储节点存储数据的基本单位;所述r是大于等于2的整数;

根据从所述第一存储节点中一次读取的连续的第一类数据块的个数的参考值r,从所述第一存储节点中读取所述待备份数据。

6.根据权利要求3或4所述的方法,其特征至于,所述方法还包括:

接收恢复请求后,确定待恢复第二类数据块的标识,并根据公式bre=min{are,b0},确定从所述第二存储节点中单流一次读取的数据量的参考值bre;其中,所述待恢复第二类数据块是所述待备份数据中的部分或全部第二类数据块;所述are表示数据文件的大小的参考值,所述b0表示从所述第二存储节点中单流一次读取的数据量的预设值;

从所述第二存储节点中获取所述元数据文件;

根据所述待恢复第二类数据块的标识,从所述元数据文件中确定所述待恢复第二类数据块所在的目标数据文件的标识;

根据从所述第二存储节点中单流一次读取的数据量的参考值bre和所述目标数据文件的标识,确定从所述目标数据文件中一次读取的连续的多个待恢复第二类数据块的标识;

根据所述连续的多个待恢复第二类数据块的标识,在所述目标数据文件中一次读取所述连续的多个待恢复第二类数据块;

将所述连续的多个待恢复第二类数据块写入所述第一存储节点。

7.根据权利要求6所述的方法,其特征在于,将所述多个待恢复第二类数据块写入所述第一存储节点,包括:

根据所述第一存储节点的写性能指标,确定向所述第一存储节点中一次写入的数据量的参考值;

若向所述第一存储节点中一次写入的数据量的参考值小于所述第二类数据块的大小,则根据所述向所述第一存储节点中一次写入的数据量的参考值,将从一个或多个所述目标数据文件中读取的待恢复第二类数据块进行分片,得到第三类数据块;或,若向所述第一存储节点中一次写入的数据量的参考值大于所述第二类数据块的大小,则根据所述向所述第一存储节点中一次写入的数据量的参考值,将从一个或多个所述目标数据文件中读取的待恢复第二类数据块进行聚合,得到第三类数据块;或,若向所述第一存储节点中一次写入的数据量的参考值等于所述第二类数据块的大小,则将从一个或多个数据文件中读取的每个待恢复第二类数据块作为一个第三类数据块,得到第三类数据块;其中,所述从一个或多个所述目标数据文件中读取的待恢复第二类数据块包括所述连续多个待恢复第二类数据块;

将所述第三类数据块写入所述第一存储节点。

8.一种数据处理装置,其特征在于,所述装置包括:

读取单元,用于从第一存储节点中读取待备份数据;

处理单元,用于将所述待备份数据分成m个第二类数据块,以及将所述m个第二类数据块中的n个第二类数据块聚合成一个数据文件;其中,所述m是大于等于2的整数,所述第二类数据块是所述数据处理装置存储数据的基本单位;2≤n<m,所述n是整数;所述数据文件是所述数据处理装置单流一次向所述第二存储节点写入的所述第二类数据块构成的集合;

写入单元,用于将所述数据文件写入第二存储节点。

9.根据权利要求8所述的装置,其特征在于,

所述处理单元还用于:根据公式are=min{W/min{K1,p1},a0},确定所述数据文件的大小的参考值are;以及,根据所述数据文件的大小的参考值are和所述第二类数据块的大小,确定所述数据文件中包括的第二类数据块的个数n;其中,所述W表示所述待备份数据的大小,所述K1表示所述数据处理装置并发向所述第二存储节点写数据的流数的预设值,所述p1表示所述数据处理装置根据当前备份业务情况确定的所述待备份数据的可用并发流数,所述a0表示向所述第二存储节点中单流一次写入的数据量的预设值。

10.根据权利要求8或9所述的装置,其特征在于,

所述处理单元还用于:生成所述待备份数据的元数据文件;所述元数据文件包括:根据所述待备份数据生成的每一数据文件的标识,所述每一数据文件中的第二类数据块的标识,以及所述每一数据文件中的第二类数据块在相应数据文件中的位置信息;

所述写入单元还用于,将所述元数据文件写入所述第二存储节点。

11.根据权利要求10所述的装置,其特征在于,所述元数据文件还包括:所述第二类数据块的大小。

12.根据权利要求8至11任一项所述的装置,其特征在于,

所述处理单元还用于:根据所述第一存储节点的读性能指标和所述第一类数据块的大小,确定从所述第一存储节点中一次读取的连续的第一类数据块的个数的参考值r;其中,所述第一类数据块是所述第一存储节点存储数据的基本单位;所述r是大于等于2的整数;

所述读取单元具体用于:根据从所述第一存储节点中一次读取的连续的第一类数据块的个数的参考值r,从所述第一存储节点中读取所述待备份数据。

13.根据权利要求11或12所述的装置,其特征至于,

所述处理单元还用于:在接收恢复请求后,确定待恢复第二类数据块的标识,并根据公式bre=min{are,b0},确定从所述第二存储节点中单流一次读取的数据量的参考值bre;其中,所述待恢复第二类数据块是所述待备份数据中的部分或全部第二类数据块;所述are表示数据文件的大小的参考值,所述b0表示从所述第二存储节点中单流一次读取的数据量的预设值;从所述第二存储节点中获取所述元数据文件;根据所述待恢复第二类数据块的标识,从所述元数据文件中确定所述待恢复第二类数据块所在的目标数据文件的标识;以及,根据从所述第二存储节点中单流一次读取的数据量的参考值bre和所述目标数据文件的标识,确定从所述目标数据文件中一次读取的连续的多个待恢复第二类数据块的标识;

所述读取单元还用于:根据所述连续的多个待恢复第二类数据块的标识,在所述目标数据文件中一次读取所述连续的多个待恢复第二类数据块;

所述写入单元还用于:将所述连续的多个待恢复第二类数据块写入所述第一存储节点。

14.根据权利要求13所述的装置,其特征在于,

所述处理单元还用于:根据所述第一存储节点的写性能指标,确定向所述第一存储节点中一次写入的数据量的参考值;以及,若向所述第一存储节点中一次写入的数据量的参考值小于所述第二类数据块的大小,则根据所述向所述第一存储节点中一次写入的数据量的参考值,将从一个或多个所述目标数据文件中读取的待恢复第二类数据块进行分片,得到第三类数据块;或,若向所述第一存储节点中一次写入的数据量的参考值大于所述第二类数据块的大小,则根据所述向所述第一存储节点中一次写入的数据量的参考值,将从一个或多个所述目标数据文件中读取的待恢复第二类数据块进行聚合,得到第三类数据块;或,若向所述第一存储节点中一次写入的数据量的参考值等于所述第二类数据块的大小,则将从一个或多个数据文件中读取的每个待恢复第二类数据块作为一个第三类数据块,得到第三类数据块;其中,所述从一个或多个所述目标数据文件中读取的待恢复第二类数据块包括所述连续多个待恢复第二类数据块;

所述写入单元还用于,将所述第三类数据块写入所述第一存储节点。

15.一种数据处理装置,其特征在于,所述装置包括:存储器和处理器,其中,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,使得如权利要求1至7任一项所述的方法被执行。

16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序在计算机上运行时,使得如权利要求1至7任一项所述的方法被执行。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1