云存储系统中一种能耗自适应的副本管理方法
【专利摘要】本发明公开了一种云存储系统中一种能耗自适应的副本管理方法。本发明首先以最优化数据访问速度为目标设计合理的数据分块机制，然后以保证数据可用性为目的构建最少副本个数的决策模型，同时设计具有能耗感知的副本放置策略，最后基于上述机制和策略构建具有能耗自适应的升降档机制。与现有技术相比，本发明的理论分析和案例实施的结果均表明：本发明能够在满足用户QoS和数据可用性要求的前提下，通过感知系统的负载在云存储系统的磁盘层面进行能耗升降档以达到最大程度地降低云存储系统中能耗的效果。
【专利说明】云存储系统中一种能耗自适应的副本管理方法
【技术领域】
[0001]本发明属于存储系统中的数据和副本管理领域，具体涉及的是云存储系统的环境下设计和实现的一种具有能耗自适应的副本管理方法。
【背景技术】
[0002]云存储系统正在成为一种强大的网络信息共享系统，该系统可以满足移动用户随时随地获取数据的需要。日前，许多的大公司和研究机构将云存储系统作为存储大量数据的数据中心。目前的行业研究报告表明:存储系统所消耗的能量占整个数据中心能耗的27%左右，并且这种趋势在未来几年会加剧持续发展。因此，如何降低能耗是大型存储系统急需解决的问题之一。以此同时，研究还表明:尽管数据中心消耗着大量的能量，服务器磁盘的利用率却很低(大约25%?30%)。故此，如何合理有效地管理服务器磁盘的数据以达到能耗配比(Energy-proportionality)是目前工业界和研究机构关注的焦点问题之一。传统的数据副本管理策略主要是为了在提高数据可用性的前提下，以牺牲存储空间换取访问速度并实现负载均衡。近来，越来越多的研究人员利用数据备份的技术来引导负载的倾斜:当负载较轻的时候，可以将用户请求集中在一定的服务器或磁盘集合中，同时关闭其他的服务器或磁盘，以达到降低能耗的效果。合理的数据副本管理策略可以在保证数据可用性和满足用户QoS要求的前提下通过关闭数据节点来达到降耗的效果。另外，通过关闭一定数量的节点来降低能耗，如何保证负载在剩余的节点中的负载均衡以保证系统的性能变得异常关键，因此，副本放置策略的设计显得至关重要。
【发明内容】
[0003]本发明主要是针对现有的存储系统的降耗技术中的不全面和具有一定缺陷的问题，针对云存储系统的特性，利用数据备份技术进行全方位地降耗，设计了云存储系统中一种能耗自适应的副本管理方法，该方法通过其四个组成部分:数据分块机制，最少副本个数决策模型，能耗感知的副本放置策略以及能耗自适应的升降档机制来解决云存储系统中的降耗问题:并在满足用户QoS和数据可用性要求的前提下，最大程度地降低能耗。
[0004]本发明方法的具体步骤是:
[0005]步骤(I):设计云存储系统中的副本管理方法的系统结构:该系统主要由四个部分:数据的分块机制，最少副本个数决策模型，副本的放置策略以及自适应的能耗升降档机制有机组成。数据分块机制决定将用户的磁盘数据请求进行分块以便以最佳的并行度来缩短用户的请求响应时间，然后由最少副本决策模型计算出每个分块的副本个数，副本放置策略决定原始分块及各个副本的放置位置，最后自适应的能耗升降档机制根据系统的负载以及用户对响应时间的要求等在保证数据可用性的前提下自适应地进行升降档(开启和关闭一些数据节点)。
[0006]步骤(2):云存储系统状态和能耗的建模:假设用户对磁盘文件的请求到达服从泊松分布，并且其所有请求的平均达到率为λ。提交到云存储系统中的应用请求表达为:R = Ir1, r2,....., rn},每一个请求 Cri e R)是一个四元组，即 Ii = {au ti； du aVj ,
其中a” C^aVi分别表示请求达到时间，期望的响应时间，数据的大小以及数据可用性的要求。假定云存储系统中有N个节点，即:N = (N1, N2,……，Nm}，针对云存储系统的特点，每一个节点又可抽象为一个六元组。即:Nj = { λ j, τ」，f」，bWj, e」，sin」}。其中λ j, τ j, fj, bwj, ej, Smj分别表示该节点的请求达到率,该节点的平均服务时间，该节点的失效概率，该节点的带宽，该节点的能耗率以及该节点的最大会话数。云存储系统的能耗模型可以表达为:假设请求&在第j节点中得到处理。那么该请求所消耗的能量可表达为:EU=θ- Qi，其中Qi是请求ri所需要的处理时间。因此，节点j中所消耗的所有能量可表达为:
[0007]
【权利要求】
1.云存储系统中一种能耗自适应的副本管理方法，其特征在于该方法包括以下步骤: 步骤(1):构建能耗自适应的副本管理系统； 步骤(2):对云存储系统状态和能耗进行建模； 步骤(3):设计和构建数据分块机制； 步骤(4):构建最少副本个数决策模型； 步骤(5):设计具有能耗感知的副本放置策略； 步骤(6):设计基于响应时间预估器的能耗升降档机制。
2.根据权利I所述的方法，其特征在于:所述副本管理系统主要由四个部分组成:数据分块机制，最少副本个数决策模型，副本放置策略以及能耗升降挡机制；数据分块机制决定将用户的磁盘数据请求进行分块以便以最佳的并行度来缩短用户的请求响应时间，然后由最少副本决策模型计算出每个分块的副本个数，副本放置策略决定原始分块及各个副本的放置位置，最后能耗升降档机制根据系统的负载以及用户对响应时间的要求在保证数据可用性的前提下自适应地进行升降档，即开启和关闭一些数据节点。
3.根据权利I所述的方法，其特征在于:云存储系统状态建模具体是:假设用户对磁盘文件的请求到达服从泊松分布，并且其所有请求的平均达到率为λ ;提交到云存储系统中的应用请求表达为:R = Ir1, r2,.....，rn},每一个请求A是一个四元组，即=Iai, ti； (Ii, aVj ,其中a” ti； (Ii, aVi分别表示请求达到时间，期望的响应时间，数据的大小以及数据可用性的要求；假定云存储系统中有N个节点，即:N= (N1, N2,.....，NJ，针对云存储系统的特点，每一个节点又可抽象为一个六元组；即:Nj = { λ j, τ j, fj, bwj, ej, sm」};其中λ j, τ j, fj, bwj, ej, Smj分别表示该节点的请求达到率,该节点的平均服务时间，该节点的失效概率，该节点的带宽，该节点的能耗率以及该节点的最大会话数。
4.根据权利I所述的方法，其特征在于:云存储系统能耗建模具体是:假设请求^在节点j中得到处理，那么该请求所消耗的能量可表达为:Eij=ej*θi 其中Θ i是请求ri所需要的处理时间；因此，节点j中所消耗的所有能量可表达为:
5.根据权利要求2至4中任一项所述的方法，其特征在于:步骤(3)具体是: 数据分块机制以最少化应用请求A = {a” ti； Cli, aVj的响应时间为目标；定义Pi为应用请求^的并行度，那么Pi通过下面的公式计算得到；应用请求^在磁盘的服务时间为:
Tdisk (φ, Pi) = Tseek (Pi) +Trot (Pi) +Ttrans (φ, Pi) (3) 其中Tseieik(Pi), Trot(Pi), Ttrans (屯，Pi)分别表示应用请求时的搜索时间,磁盘旋转时间以及传输时间；而Tseek(Pi)通过公式⑷获得:
6.根据权利要求5所述的方法，其特征在于:步骤(4)具体是: 通过数据分块机制在得到了请求的最优并行度Pi,并结合请求A = Iai, ti； Cli, aVj对数据可用性的要求aVi以及该节点Nj = { λ j, τ j, fj, bwj, e」，SmjI的失效概率参数f」,具有Ri个副本的文件F的可用性可以表示为:
7.根据权利5所述的方法，其特征在于:步骤(5)具体是: (5-1)原始分块Pd1的放置方法 被^请求的文件Fi通过数据分块机制被分成Pi块；那么原始分块Pd1通过云存储系统数据调度模块分布在Pi个节点中；将这Pi个节点组成一个环，并对环中的每个节点进行编号为NL1 ;则该原始分块依次以编号升序的规则进行放置，即:
Pd1-NL1 I e [I, Pi] (9) (5-2)第一个数据副本屻的放置规则 第一个数据副本屻放置在原始分块Pd1所在节点的前一个节点中，即:
rhj -> NL1 , I e [2，Pi]面rbl 4 NLPi , (10) (5-3)第二个数据副本r#的放置规则 以此类推，第二个数据副本r%2放置在第一个数据副本為1的所在节点的前一个节点中；即:
rbf ^ NL1 , I e [2, Pi]如果 1-2 < O,则吻2 ^NL1 2(/,.(11) (5-4)副本的统一化放置策略 为了不失一般性，假设文件Fi的副本个数为Ri ;则副本的放置策略可以表达为如下式子，其中 n e [I1Ri]:
8.根据权利要求7所述的方法，其特征在于:步骤(6)具体是:应用请求r所花费的时间通过公式(14)计算得到，其中Tquate是请求在客户端的排队等待时间，Tpartition是数据分块所开销的时间，JU是第i个分块在存储系统中所需的处理时间；
【文档编号】H04L29/08GK103530317SQ201310416665
【公开日】2014年1月22日 申请日期:2013年9月12日 优先权日:2013年9月12日
【发明者】游新冬, 周丽, 蒋从锋, 万健 申请人:杭州电子科技大学