专利名称：基于内容相似性的分布式储存的副本替换算法的制作方法
技术领域：
本发明属于分布式存储领域，涉及一种基于内容相似性的分布式储存的副本替换算法。可将其应用到云存储、数据网格存储和分布式存储等领域。
背景技术：
在分布式计算中，由于广域网和hternet的高延迟，数据读取的速度受网络的影响越来越大，同时也影响了整个分布式环境的可扩展性。为了解决这一难题，大量数据需要复制在广泛分布的多个节点上。然而节点中存储空间的数量和大小是有限的，当存储空间的副本达到一定的阈值时，存储空间的输入输出性能将会急剧的下降。所以当一个新的数据副本到达以后使得存储空间中所存储的副本大小超过了阈值，必须启动副本替换算法删除一些副本为新的副本空出空间。传统替换算法有最少使用频率副本替换算法和最近最少使用副本替换算法等等。最少使用频率副本替换算法是一种基于副本使用频率的副本替换算法。当新到达存储空间的副本需要空间时，该算法将删除引用数最低的副本，同时定期的减少被缓存的副本引用计数器的值，这样可以减少一些以前流行现在不流行的副本对最少使用频率副本替换算法的干扰。最近最少使用副本替换算法是基于副本引用时间的副本替换算法。当需要启动替换算法时，该算法将删除最长没有被引用的副本。然而和最少使用频率副本替换算法一样， 它并不能预测未来时间窗口内的热点数据。同时最近最少使用副本替换算法是一种歧视性算法，对比较早到达的副本是不公平的。
发明内容
为了克服上述两种算法的缺点，使分布式存储的整体性能达到最优，选择被替换的副本不仅是当前代价最小的，也应该是在以后的时间内代价最小的，本发明的目的是提供一种基于内容相似性的分布式储存的副本替换算法，该算法提高了分布式存储的中文本替换的效率，减少了网络资源的消耗，在分布式存储领域具有重要的意义。本发明的目的是通过以下技术方案来实现的
一种基于内容相似性的分布式储存的副本替换算法，其特征在于该算法提取最少使用的副本，并在此基础上提取最长没有被引用的副本，然后综合使用两种算法实现副本替换； 具体步骤如下
1)基于内容相似性计算副本价值；
首先定义副本空间集合{M和副本ID空间集合{W，设定副本的标识符为一个正整数， 内容的相似性定义成集合{們和集合IW之间的映射，若|r7_rJ |的值越小，则副本於和 R2的相似度越大；
2)计算复制代价；
引入代价因子来考虑由于大小以及带宽所引起的替换代价；定义C为代价因子，
权利要求
1. 一种基于内容相似性的分布式储存的副本替换算法，其特征在于该算法提取最少使用的副本，并在此基础上提取最长没有被引用的副本，然后综合使用两种算法实现副本替换；具体步骤如下1)基于内容相似性计算副本价值；首先定义副本空间集合{M和副本ID空间集合{W，设定副本的标识符为一个正整数， 内容的相似性定义成集合{們和集合IW之间的映射，若|r7_rJ |的值越小，则副本於和 R2的相似度越大；2)计算复制代价；引入代价因子来考虑由于大小以及带宽所引起的替换代价；定义C为代价因子， C=$，其中，5^代表副本大小，A代表复制请求节点与拥有该副本节点间的带宽；若多个节点都存储有副本t则仅考虑与复制请求节点相连的最大带宽并赋值给A;3)基于内容相似性的分布式储存的副本替换算法； 标识符为A的替换测度幻如式(9)所示其中幻表示副本A的替换测度，替换测度越大，越应该被保留，完成基于内容相似性的分布式储存的副本替换算法。
2.根据权利要求1所述的基于内容相似性的分布式储存的副本替换算法，其特征在于步骤1)中，假设副本访问从标识符为r0的副本开始，访问历史可以看作一系列的随机步，si (其中i>0)表示副本标识符之差的绝对值，其表示如式(1)所示 (/>0) (1)根据时间空间局部性定理，在文件空间中彼此靠近的文件更有可能被连续的访问到； 若初始访问对象为/0，由于第次访问的副本标识符/ 可用式⑵所示fiUJ^JUO—^A-^m(2)则/ 同时可以用式(3)表示假设任意相邻两次副本访问的标识符只绝对值之差为1，即 Vi > O^HHl(4)则对于每一个A可以看成一次独立随机实验，实验的输出结果是1或者-1 ；设定A为 1的概率为q，则&为-1的概率为l-q，n次独立这样的实验，可以将副本访问看出一个η次独立的伯努利实验；设力=1的事件数为I，力=-1事件数为7，/+7=/7，1-7=毛/7为实验总次数从即
3.根据权利要求2所述的基于内容相似性的分布式储存的副本替换算法，其特征在于根据时间空间局部性原理，将副本访问建模为一系列独立随机实验，计算出副本A在未来Τ，时间窗口内的访问次数，即副本的价值，价值低的副本就是使用最少的副本。
4.根据权利要求1所述的基于内容相似性的分布式储存的副本替换算法，其特征在于步骤3)中，新到达的副本的幻值比当前计算节点中幻值最低的副本高，幻值最低的副本将被删除，新的副本将被保留；当本地的存储器没达到阈值，本算法依然复制副本而不考虑删除。
全文摘要
本发明公开了一种基于内容相似性的分布式储存的副本替换算法，该算法首先基于内容相似性计算副本价值，然后计算复制代价，由于副本大小以及计算节点和存储节点之间连接带宽的差别，每一个副本的淘汰代价是不一样的。最后综合考虑预测和代价因素，提出基于内容相似性的分布式储存的副本替换算法。本发明通过基于内容相似性的副本替换算法提取最少使用的副本，使用分布式储存的副本替换算法找到最长没有被引用的副本，然后综合使用两种算法实现副本替换，提高了平均作业时间，减少了网络资源的消耗，在分布式存储领域具有重要意义。
文档编号H04L29/08GK102170468SQ201110086019
公开日2011年8月31日 申请日期2011年4月7日 优先权日2011年4月7日
发明者张明明, 承轶青, 程伟华 申请人:江苏省电力公司