基于分散位置的去重的性能改进的制作方法

文档序号:20921612发布日期:2020-05-29 14:13阅读:来源:国知局

技术特征:

1.一种在数据处理系统中用于基于分散位置的数据存储的方法,所述方法包括:

由存储机构从主机系统接收将数据文件写入到一组存储器区域中的引用者存储器区域的请求;以及

针对所述数据文件的每个数据块:

响应于所述数据块的散列值与所述引用者存储器区域中所引用的其他所存储的数据块的其他散列值的比较指示所述数据块未存在于所述引用者存储器区域中,由所述存储机构确定所述数据是否存在于该组存储器区域中的另一存储器区域中;

响应于所述数据块存在于该组存储器区域中的另一存储器区域中,由所述存储机构确定所述存储器区域是否是与所述引用者存储器区域相关联的预定数量n个拥有者存储器区域中的一个拥有者存储器区域;

响应于所述存储器区域未能成为与所述引用者存储器区域相关联的所述预定数量n个拥有者存储器区域中的一个拥有者存储器区域,由所述存储机构确定所述预定数量n个拥有者存储器区域中的拥有者存储器区域的数量是否已经达到;以及

响应于拥有者存储器区域尚未达到所述预定数量n,由所述存储机构将对所述数据块的引用存储在所述引用者存储器区域中。

2.根据权利要求1所述的方法,还包括:

响应于达到所述预定数量n个拥有者存储器区域,由所述存储机构将所述数据块存储在所述引用者存储器区域中。

3.根据权利要求1所述的方法,还包括:

响应于拥有者存储器区域尚未达到所述预定数量n,由所述存储机构确定其中存储所述数据块的所述存储器区域是否已经达到流行度阈值;以及

响应于所述数据块已经被存储在其中的所述存储器区域达到所述流行度阈值,由所述存储机构将所述存储器区域添加到所述预定数量n个拥有者存储器区域。

4.根据权利要求1所述的方法,还包括:

响应于拥有者存储器区域尚未达到所述预定数量n,由所述存储机构将所述存储器区域添加到所述预定数量n个拥有者存储器区域。

5.根据权利要求1所述的方法,其中基于先来先服务策略和流行度策略的其中之一来确定所述预定数量n个拥有者存储器区域内的所述拥有者存储器区域。

6.根据权利要求5所述的方法,其中,按照所述先到先服务策略,当数据存储在所述存储器区域中时,所述存储器区域被添加到所述预定数量n个拥有者存储器区域。

7.根据权利要求5所述的方法,其中,按照所述流行度策略,当所述存储器区域的流行度达到预定阈值时,将所述存储器区域添加到所述预定数量n个拥有者存储器区域,其中,达到所述预定阈值是在针对所述存储器区域的读取和/或写入的数目达到或超过所述阈值时。

8.根据权利要求7所述的方法,其中,按照所述流行度策略,在预定数量n个拥有者存储器区域已满时,当另一存储器区域的流行度超过已经在所述预定数量n个拥有者存储器区域中的最低流行度的拥有者存储器区域的流行度时,从所述预定数量n个拥有者存储器区域移除一个拥有者存储器区域。

9.一种计算机程序产品,包括其中存储有计算机可读程序的计算机可读存储介质,其中当所述计算机可读程序在计算设备上执行时,使得所述计算设备:

从主机系统接收将数据文件写入到存储器区域集合中的引用者存储器区域的请求;以及

针对所述数据文件的每个数据块:

响应于所述数据块的散列值与所述引用者存储器区域中所引用的其他所存储的数据块的其他散列值的比较指示所述数据块未存在于所述引用者存储器区域中,确定所述数据是否存在于该组存储器区域中的另一存储器区域中;

响应于所述数据块存在于该组存储器区域中的另一存储器区域中,确定所述存储器区域是否是与所述引用者存储器区域相关联的预定数量n个拥有者存储器区域中的一个拥有者存储器区域;

响应于所述存储器区域未能成为与所述引用者存储器区域相关联的所述预定数量n个拥有者存储器区域中的一个拥有者存储器区域,确定所述预定数量n个拥有者存储器区域中的拥有者存储器区域的数量是否已经达到;以及

响应于拥有者存储器区域尚未达到所述预定数量n,将对所述数据块的引用存储在所述引用者存储器区域中。

10.根据权利要求9所述的计算机程序产品,其中所述计算机可读程序还使得所述计算设备:

响应于达到所述预定数量n个拥有者存储器区域,将所述数据块存储在所述引用者存储器区域中。

11.根据权利要求9所述的计算机程序产品,其中所述计算机可读程序还使得所述计算设备:

响应于拥有者存储器区域尚未达到所述预定数量n,确定其中存储所述数据块的所述存储器区域是否已经达到流行度阈值;以及

响应于所述数据块已经被存储在其中的所述存储器区域达到所述流行度阈值,将所述存储器区域添加到所述预定数量n个拥有者存储器区域。

12.根据权利要求9所述的计算机程序产品,其中所述计算机可读程序还使得所述计算设备:

响应于拥有者存储器区域尚未达到所述预定数量n,将所述存储器区域添加到所述预定数量n个拥有者存储器区域。

13.根据权利要求9所述的计算机程序产品,其中基于先来先服务策略和流行度策略的其中之一来确定所述预定数量n个拥有者存储器区域内的所述拥有者存储器区域。

14.根据权利要求13所述的计算机程序产品,其中:

按照所述先到先服务策略,当数据存储在所述存储器区域中时,所述存储器区域被添加到所述预定数量n个拥有者存储器区域,

按照所述流行度策略,当所述存储器区域的流行度达到预定阈值时,将所述存储器区域添加到所述预定数量n个拥有者存储器区域,其中,达到所述预定阈值是在针对所述存储器区域的读取和/或写入的数目达到或超过所述阈值时,或者

按照所述流行度策略,在预定数量n个拥有者存储器区域已满时,当另一存储器区域的流行度超过已经在所述预定数量n个拥有者存储器区域中的最低流行度的拥有者存储器区域的流行度时,从所述预定数量n个拥有者存储器区域移除一个拥有者存储器区域。

15.一种装置,包括:

处理器;以及

耦合到所述处理器的存储器,其中所述存储器包括指令,所述指令在由所述处理器执行时使所述处理器:

从主机系统接收将数据文件写入到存储器区域集合中的引用者存储器区域的请求;以及

对于所述数据文件的每个数据块:

从主机系统接收将数据文件写入到存储器区域集合中的引用者存储器区域的请求;以及

针对所述数据文件的每个数据块:

响应于所述数据块的散列值与所述引用者存储器区域中所引用的其他所存储的数据块的其他散列值的比较指示所述数据块未存在于所述引用者存储器区域中,确定所述数据是否存在于该组存储器区域中的另一存储器区域中;

响应于所述数据块存在于该组存储器区域中的另一存储器区域中,确定所述存储器区域是否是与所述引用者存储器区域相关联的预定数量n个拥有者存储器区域中的一个拥有者存储器区域;

响应于所述存储器区域未能成为与所述引用者存储器区域相关联的所述预定数量n个拥有者存储器区域中的一个拥有者存储器区域,确定所述预定数量n个拥有者存储器区域中的拥有者存储器区域的数量是否已经达到;以及

响应于拥有者存储器区域尚未达到所述预定数量n,将对所述数据块的引用存储在所述引用者存储器区域中。

16.根据权利要求15所述的装置,其中所述指令进一步致使所述处理器:

响应于达到所述预定数量n个拥有者存储器区域,将所述数据块存储在所述引用者存储器区域中。

17.根据权利要求15所述的装置,其中所述指令进一步致使所述处理器:

响应于拥有者存储器区域尚未达到所述预定数量n,确定其中存储所述数据块的所述存储器区域是否已经达到流行度阈值;以及

响应于所述数据块已经被存储在其中的所述存储器区域达到所述流行度阈值,将所述存储器区域添加到所述预定数量n个拥有者存储器区域。

18.根据权利要求15所述的装置,其中所述指令进一步致使所述处理器:

响应于拥有者存储器区域尚未达到所述预定数量n,将所述存储器区域添加到所述预定数量n个拥有者存储器区域。

19.根据权利要求15所述的装置,其中基于先来先服务策略和流行度策略的其中之一来确定所述预定数量n个拥有者存储器区域内的所述拥有者存储器区域。

20.根据权利要求19所述的装置,其中:

按照所述先到先服务策略,当数据存储在所述存储器区域中时,所述存储器区域被添加到所述预定数量n个拥有者存储器区域,

按照所述流行度策略,当所述存储器区域的流行度达到预定阈值时,将所述存储器区域添加到所述预定数量n个拥有者存储器区域,其中,达到所述预定阈值是在针对所述存储器区域的读取和/或写入的数目达到或超过所述阈值时,或者

按照所述流行度策略,在预定数量n个拥有者存储器区域已满时,当另一存储器区域的流行度超过已经在所述预定数量n个拥有者存储器区域中的最低流行度的拥有者存储器区域的流行度时,从所述预定数量n个拥有者存储器区域移除一个拥有者存储器区域。


技术总结
提供了一种用于基于分散位置的数据存储的机制。接收将数据文件写入一组存储器区域中的引用者存储器区域的请求。针对所述数据文件的每个数据块,响应于所述数据块的散列值与所述引用者存储器区域中所引用的其他所存储的数据块的其他散列值的比较指示所述数据块未存在于所述引用者存储器区域中,响应于所述数据块存在于该组存储器区域中的另一存储器区域中,响应于所述存储器区域未能成为与所述引用者存储器区域相关联的所述预定数量N个拥有者存储器区域中的一个,并且响应于拥有者存储器区域尚未达到所述预定数量N,将对所述数据块的引用存储在所述引用者存储器区域中。

技术研发人员:J·费舍尔-通博拉;Y·沙茨基;A·哈鲁米;A·波拉特-斯托勒;S·马伦科夫;T·西万;R·科恩;D·哈尼克;E·凯茨
受保护的技术使用者:国际商业机器公司
技术研发日:2018.10.12
技术公布日:2020.05.29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1