一种在线数据压缩在存储中的集成方法及系统与流程

文档序号:12728763阅读:来源:国知局

技术特征:

1.一种在线数据压缩在存储中的集成方法,其特征在于,方法包括:

将IO数据写入上层缓存中;

压缩模块根据预设的压缩量将上层缓存中多个IO数据进行组合压缩,形成组合压缩IO数据块;

压缩模块针对组合压缩IO数据块中的每个IO数据对应生成一元数据,元数据用于记录压缩前后的每个IO数据处于磁盘中的位置;

压缩模块将组合压缩IO数据块以及与该组合压缩IO数据块内部IO数据相对应的元数据下发给下层缓存;

下层缓存保存组合压缩IO数据块和元数据;

下层缓存将保存的组合压缩IO数据块和元数据保存到后端磁盘。

2.根据权利要求1所述的在线数据压缩在存储中的集成方法,其特征在于,

主机接口层接收读IO数据请求,并在上层缓存中读取IO数据;

若在上层缓存中读取到所述IO数据,则将IO数据返回给主机接口层。

3.根据权利要求2所述的在线数据压缩在存储中的集成方法,其特征在于,

若在上层缓存中未读取到所述IO数据,则将IO数据读请求发送至压缩模块,在压缩模块中读取IO数据;

若在压缩模块中读取到所述IO数据,则将IO数据返回给上层缓存,继而返回至主机接口层。

4.根据权利要求3所述的在线数据压缩在存储中的集成方法,其特征在于,

若在压缩模块中未读取到所述IO数据,则将IO数据读请求发送至下层缓存,在下层缓存读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;

若在下层缓存中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;

将IO数据返回给上层缓存,继而返回至主机接口层。

5.根据权利要求4所述的在线数据压缩在存储中的集成方法,其特征在于,

若在下层缓存中未读取到所述IO数据,则在后端磁盘读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;

若在后端磁盘中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;

将IO数据返回给上层缓存,继而返回至主机接口层。

6.根据权利要求1所述的在线数据压缩在存储中的集成方法,其特征在于,

预设的压缩量的获取方式包括:

在上层缓存随机抽取N个IO数据块,N为非零的自然数,对抽取的IO数据块进行组合压缩,组合压缩后计算出N个IO数据块的平均MD5值,将该值作为预设的压缩量。

7.一种在线数据压缩在存储中的集成系统,其特征在于,包括:上层缓存模块,压缩模块,下层缓存模块,后端磁盘;

上层缓存模块用于供IO数据写入;

压缩模块用于根据预设的压缩量将上层缓存模块中多个IO数据进行组合压缩,形成组合压缩IO数据块;压缩模块针对组合压缩IO数据块中的每个IO数据对应生成一元数据,元数据用于记录压缩前后的每个IO数据处于磁盘中的位置;压缩模块将组合压缩IO数据块以及与该组合压缩IO数据块内部IO数据相对应的元数据下发给下层缓存模块;

下层缓存模块用于保存组合压缩IO数据块和元数据,并将保存的组合压缩IO数据块和元数据保存到后端磁盘。

8.根据权利要求7所述的在线数据压缩在存储中的集成系统,其特征在于,

还包括:上层缓存IO数据处理模块,压缩模块IO数据处理模块,下层缓存IO数据处理模块;

上层缓存IO数据处理模块用于根据主机接口层接收读IO数据请求,上层缓存IO数据处理模块在上层缓存模块中读取IO数据,若在上层缓存中读取到所述IO数据,则将IO数据返回给主机接口层;

压缩模块IO数据处理模块用于若在上层缓存模块中未读取到所述IO数据,上层缓存IO数据处理模块将IO数据读请求发送至压缩模块,压缩模块IO数据处理模块在压缩模块中读取IO数据;若在压缩模块中读取到所述IO数据,则将IO数据返回给上层缓存,继而返回至主机接口层;

下层缓存IO数据处理模块用于若在压缩模块中未读取到所述IO数据,则将IO数据读请求发送至下层缓存模块,下层缓存IO数据处理模块在下层缓存模块读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;

若在下层缓存模块中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;将IO数据返回给上层缓存模块,继而返回至主机接口层。

9.根据权利要求7所述的在线数据压缩在存储中的集成系统,其特征在于,

还包括:后端磁盘数据处理模块;

后端磁盘数据处理模块用于若在下层缓存模块中未读取到所述IO数据,则在后端磁盘读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;若在后端磁盘中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;将IO数据返回给上层缓存模块,继而返回至主机接口层。

10.根据权利要求7所述的在线数据压缩在存储中的集成系统,其特征在于,

还包括:预设的压缩量设置模块;

预设的压缩量设置模块用于在上层缓存模块随机抽取N个IO数据块,N为非零的自然数,对抽取的IO数据块进行组合压缩,组合压缩后计算出N个IO数据块的平均MD5值,将该值作为预设的压缩量。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1