一种面向云计算平台的副本动态控制方法及其系统的制作方法
【专利摘要】本发明提供了一种面向云计算平台的副本动态控制方法和系统，该方法包括以下步骤：设定副本最小可用率Rexp；获得单位时间t内的最小副本数rmin；判断系统资源是否存在浪费；获得副本节点到备用副本节点的代价序列；获得用于放置副本的备用副本节点；将副本复制到备用副本节点。该方法及其系统用于提高云计算中数据的可靠性和可用性，达到可用性和成本性之间的平衡。
【专利说明】一种面向云计算平台的副本动态控制方法及其系统
【技术领域】
[0001]本发明涉及一种分布式计算和云计算领域的方法，具体讲涉及一种面向云计算平台的副本动态控制方法及其系统。
【背景技术】
[0002]随着计算机技术和网络技术的发展，Internet规模不断扩大，网络带宽不断提高。Internet的快速发展，各种各样的信息被网罗其中，形成了一个巨大广阔的信息空间，海量的数据存放在这个空间中。
[0003]传统的集中式存储系统把数据存放在一个单一的设备上，所有对数据的访问和请求都要通过该设备。这种做法造成该设备的负载较大，成为系统的瓶颈，不能满足大规模存储对可靠性和安全性的需要。如何去存储这些数据，让用户能够快速高效的找到和获取自己所需要的资源，是互联网发展必须要解决的问题之一。
[0004]在此背景下，云存储作为一种全新的解决方案被提出。云存储系统通过集群应用，网格技术或分布式文件系统等技术，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
[0005]在云存储系统中，数据副本是其重要的组成部分。如何创建数据副本，如何删除数据副本，如何选择数据副本，如何管理副本资源是云存储系统数据副本管理的重要任务。在合适的时机和合适的节点创建或删除相应的副本，能够有效提高数据的访问速度、降低网络带宽消耗和均衡系统负载，同时可以保持数据较高的可用率。
[0006]云存储中的副本管理技术根据系统的需求并通过监控系统的参数指标对副本资源进行动态规划、调整，是影响云计算系统性能的核心要素之一。当前云存储特别是基于HDFS架构的云存储系统在该方面仍然存在着一些不足。
[0007]首先是存储资源调度缺乏灵活性的问题。由于用户对不同数据的需求也不尽相同，这样一来会使得某些数据文件成为“热点”，某些数据文件相对冷门。因此在云计算存储副本管理过程中对这些数据文件一视同仁是不合理的，需要一种区分不同数据需求的动态副本管理策略。
[0008]其次是副本放置选择的问题。基于HDFS架构的云存储系统在选择副本放置时是随机选择的，这样没有考虑用户访问的通信代价。
[0009]针对上述问题，研究一种新型云存储副本管理方法及其系统具有重要意义。
【发明内容】
[0010]为克服上述现有技术的不足，本发明提供一种面向云计算平台的副本动态控制方法及其系统，该方法及其系统用于提高云计算中数据的可靠性和可用性。
[0011]实现上述目的所采用的解决方案为:
[0012]一种面向云计算平台的副本动态控制方法，其改进之处在于:所述方法包括以下步骤:
[0013]1、设定副本最小可用率Rexp ；
[0014]I1、获得单位时间t内的最小副本数rmin ；
[0015]II1、判断系统资源是否存在浪费；
[0016]IV、获得副本节点到备用副本节点的代价序列；
[0017]V、获得用于放置副本的备用副本节点；
[0018]V1、将副本复制到备用副本节点。
[0019]进一步的，所述步骤I包括以下:
[0020]S101、根据设计要求和系统性能，确定当前文件f的默认副本数m ;
[0021]S102、获得副本节点集合 Fa=M1, A2, , AJ ；
[0022]S103、将副本节点相邻节点作为备用副本节点集合Fb= {B1; B2, , Bj，设定副本
最小可用率Rexp。
[0023]进一步的，所述步骤II包括以下:
[0024]S201、记录单位时间t内副本的读请求数RNi (O < i < m)、有效读请求数ERNi (0〈i〈m)、写请求数WNiOKKm)和有效写请求数EWNi (0〈i〈m)；
[0025]S202、根据单位时间t内的读写次数和有效读写次数获得当前副本的平均可用率
【权利要求】
1.一种面向云计算平台的副本动态控制方法，其特征在于:所述方法包括以下步骤: 1.设定副本最小可用率Reixp； I1、获得单位时间t内的最小副本数rmin； II1、判断系统资源是否存在浪费； IV、获得副本节点到备用副本节点的代价序列； V、获得用于放置副本的备用副本节点； V1、将副本复制到备用副本节点。
2.如权利要求1所述的一种面向云计算平台的副本动态控制方法，其特征在于:所述步骤I包括以下: 5101、根据设计要求和系统性能，确定当前文件f的默认副本数m; 5102、获得副本节点集合Fa={A1; A2, , AJ ； 5103、将副本节点相邻节点作为备用副本节点集合Fb={B1; B2, , BJ，设定副本最小可用率R?P。
3.如权利要求1所述的一种面向云计算平台的副本动态控制方法，其特征在于:所述步骤II包括以下: 5201、记录单位时间t内副本的读请求数RNi(0<i<m)、有效读请求数ERNi (0<i<m)、写请求数WNiOKKm)和有效写请求数EWNiOKKm)； 5202、根据单位时间t内的读写次数和有效读写次数获得当前副本的平均可用率1Z(ERN^EWNi)
4.如权利要求1所述的一种面向云计算平台的副本动态控制方法，其特征在于:所述步骤III包括以下: S301、根据最小副本数rmin和当前副本数m判断系统资源是否存在浪费，浪费则进入S302，平衡则进入S303，副本数过少则进入S304 ； S302、当rmin〈m时，系统资源存在浪费，如下式(2)根据时间t内有效读写请求获得当前副本的平均使用率PNi,将所述平均使用率PNi最低的副本标记为隐藏文件，在时间max(/^yV,X(e I?、.,服丨+ I)xi内若不激活则完全删除;
5.如权利要求1所述的一种面向云计算平台的副本动态控制方法，其特征在于:所述步骤IV包括以下:5401、通过IP地址获得两个节点间的通信时间和网络路由跳数；5402、根据通信时间和网络路由跳数获得副本节点X到备用副本节点Y间的更新代价Cx，用户节点u到备用副本节点Y的读取代价为Cu，获得更新代价、读取代价均如下式(3): Cx,Y=RTX / a+HCx,Y(0〈a〈I)(3) 其中，RTx为从节点X到Y，再从Y到X的往返时间；a为影响因子，根据网络情况设定，取值范围为0-1 ;HCX,Y为X到Y的网络路由跳数；5403、获得副本节点A1到备用副本节点B1产生的通信总代价A1B1；
A1B1-Ca1j b1+CUj B1 (4) 其中，CA1,B1为副本节点A1到备用副本节点B1间的更新代价，Cu,B1为用户节点u到备用副本节点B1的读取代价；5404、获得副本节点A1到备用副本节点Β」(0〈Κη)的总代价A1Bj组成的代价序列F1= (A1B1, A1B2,..., A1Bj:5405、获得副本节点Ai(0〈i〈m)到备用副本节点Bj (0〈 j〈n)的代价序列Fi= (AiB1,AiB2,..., AiBj (0<i<m)。
6.如权利要求1所述的一种面向云计算平台的副本动态控制方法，其特征在于:所述步骤VI包括以下:5501、对每个所述代价序列Fi进行递增排序，获得代价序列(AiB/,AiB2'，...，AiB/，剔除所述代价序列(AiB/ ,AiB2' ,...,AiBn' }后面(n+m-rmin)个元素得到新的代价序列厂
7.一种运用于上述面向云计算平台的副本动态控制方法的新型云存储系统，其特征在于:所述系统包括通过用户代理模块连接的监控系统和数据存储系统。
8.如权利要求7所述的新型云存储系统，其特征在于:所述监控系统包括副本放置模块、副本监控系统和副本删除模块；所述副本监控系统分别发送信息至所述副本放置模块和副本删除模块，所述副本放置模块和副本删除模块分别发送信息至所述用户代理模块；所述用户代理模块发送信息至所述副本监控系统。
9.如权利要求7所述的新型云存储系统，其特 征在于:所述数据监控系统包括副本节点和与所述副本节点对应的备用副本节点；所述用户代理模块分别与所述数据监控系统的节点通信。
【文档编号】H04L29/08GK103475709SQ201310407543
【公开日】2013年12月25日 申请日期:2013年9月9日 优先权日:2013年9月9日
【发明者】马守明, 林为民, 张涛, 马媛媛, 邓松, 王玉斐, 石聪聪, 夏飞, 华晔, 黄秀丽, 陈亚东, 邵志鹏, 周诚 申请人:国家电网公司, 中国电力科学研究院, 江苏省电力公司信息通信分公司, 江苏省电力公司