一种数据卷压缩率的评估方法和系统与流程

文档序号:12270799阅读:来源:国知局

技术特征:

1.一种数据卷压缩率的评估方法,其特征在于,包括:

预先设置n个数据抽样线程,n为不小于2的整数;

将目标卷划分为n个不同的目标卷区域,各所述数据抽样线程和各所述目标卷区域一一对应;

通过各所述数据抽样线程对对应的目标卷区域进行随机抽样;

通过预设压缩算法对各抽样的数据块进行压缩计算;

对各抽样的数据块相应的压缩计算结果进行汇总,计算所述目标卷的压缩率评估结果。

2.根据权利要求1所述的方法,其特征在于,所述通过各所述数据抽样线程对对应的目标卷区域进行随机抽样,包括:

预先确定每个样本的数据块的大小信息;

通过各所述抽样线程对对应的目标卷区域按照所确定的每个数据块的大小信息循环读入数据块。

3.根据权利要求2所述的方法,其特征在于,所述通过预设压缩算法对各抽样的数据块进行压缩计算,为:

通过VIFO压缩算法对各抽样的数据块进行压缩计算。

4.根据权利要求3所述的方法,其特征在于,所述对各抽样的数据块相应的压缩计算结果进行汇总,包括:

判断抽样总量是否达到预设的抽样总量下限阈值;

若否,则保存每次抽样时所述VIFO压缩算法的输入数据大小、输出数据大小和压缩率;

若是,则将所有保存的数据进行汇总。

5.根据权利要求1至4任一项所述的方法,其特征在于,还包括:

判断各所述数据抽样线程对对应目标卷区域的IO读取失败次数是否超过预设读取失败次数阈值;

若是,则停止各所述数据抽样线程对对应的目标卷区域进行抽样动作。

6.根据权利要求5所述的方法,其特征在于,还包括:

判断各所述数据抽样线程对所述目标卷进行随机抽样时的样本的空数据块数目是否达到预设空数据块数目上限阈值;

若是,则停止各所述数据抽样线程对对应的目标卷区域进行抽样动作。

7.一种数据卷压缩率的评估系统,其特征在于,包括:数据抽样线程模块、区域划分模块和压缩率评估模块;

其中,所述数据抽样线程模块包括n个数据抽样线程单元,n为不小于2的整数,所述区域划分模块用于根据所述数据抽样线程单元的数目将目标卷划分为n个不同的目标卷区域,且各所述数据抽样线程单元和各所述目标卷区域一一对应;

所述数据抽样线程单元用于对对应的目标卷区域进行随机抽样,并根据预设压缩算法对各抽样的数据块进行压缩计算;

所述压缩率评估模块用于汇总各抽样的数据块相应的压缩计算结果,并计算所述目标卷的压缩率评估结果。

8.根据权利要求7所述的系统,其特征在于,所述数据抽样线程单元包括:

样本数据块大小设定子单元,用于确定每个样本的数据块的大小信息;

抽样功能子单元,用于根据每个数据块的大小信息循环读入数据块,进行随机抽样,并根据预设压缩算法对各抽样的数据块进行压缩计算。

9.根据权利要求8所述的系统,其特征在于,还包括:

第一判断模块,用于判断抽样总量是否达到预设的抽样总量下限阈值,并在判定抽样总量达到预设的抽样总量下限阈值时,控制所述压缩率评估模块执行汇总功能动作。

10.根据权利要求9所述的系统,其特征在于,还包括:

第二判断模块,用于判断所述数据抽样线程模块对所述目标卷的IO读取失败次数是否超过预设读取失败次数阈值,并在判断结果为是时,控制所述数据抽样线程模块停止抽样动作;

第三判断模块,用于判断所述数据抽样线程模块对所述目标卷进行随机抽样时的样本的空数据块数目是否达到预设空数据块数目上限阈值,并在判定结果为是时,控制所述数据抽样线程模块停止抽样动作。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1