分布式存储系统中供应服务器选择和修复数据传输方法_3

文档序号:9691081阅读:来源:国知局
(11)给出了 0-1整数变量和实数变量的取值范围。
[0033] A14:针对建立的数学模型,通过AMPL语言描述本发明中的线性规划并使用CPLEX 求解器求解,获得最优解,进一步获得最优的供应节点集合和修复数据传输方案。
[0034] 在本实施例中,采用CPLEX线性规划求解器直接求解。根据求解器得出的结果,若 _的值为〇,表明节点_未被选为供应节点;若值为1,表明节点巧被选为供应节点。变量 &爾&:1%|的值表示从节点_发到新生节点的修复数据在链路%^上的数据 传输速率。若节点1%未被选为供应节点,即=〇,则求解得到的变 :??關_涯愚的it賊7健麵碰據。娜關誠抓点脑 和修复数据传输方案使数据再生时间最小。
[0035] 为进一步验证本发明的效果,在仿真实验中,使用广泛认可的随机网络拓扑生成 算法Waxman算法生成基于网络编码的分布式存储系统的网络拓扑,该算法包括三个参数α、 β、γ,其中α控制网络拓扑中的节点密度,β和γ控制节点间存在链路的概率。生成的节点被 随机的布置在10 X l〇_m2的区域内。每条链路的带宽设定为均匀分布在[10Mbps,40Mbps] 范围内;选择供应节点的数量:#范围为4至9个。在仿真实验中,存储的文件通过 6? = l〇Ur = 冗余编码存储在服务器(存活节点)上。文件大小为M=1024Mb,每个服 务器上存储的数据量,每个供应节点传输的数据量为,在实验中,当作已知量。
[0036]本发明的仿真实验中,设定α=〇.4, β=0.4,γ=0.4时,生成一个拓扑,然后针对这 张拓扑图,根据所提出算法得到再生时间。表1和图7为仿真结果,其中表1为利用本发明实 施例提供的方法得到数据再生时间与随机选择供应节点方法得到的再生时间比较,图4把 表2中的仿真结果通过折线图进行了直观展示。
[0037]表 1
图7中,显示的是本发明实施例提供的方法进行仿真的仿真结果图(供应节点数量变 化)。从表1和图7中可以看出,虽然d值增加时,再生时间在两种方案下都在减少,但是,本发 明的方案再生时间明显低于随机选择供应节点的再生时间。
[0038] A15:获取最优供应节点集合及数据传输的方案。
[0039] 本发明实施例提供的方法考虑了在基于网络编码的分布式系统中,当有存储服务 器失效并用新生服务器代替时,通过从其它的存活服务器中,选择一定数量的服务器集为 新生的服务器传输数据,从而减少数据的再生时间。
[0040] 此外,本发明将网络中供应服务器集和数据传输问题使用数学中的线性规划方法 解决,通过对混合整数线性规划使用AMPL语言建模并用CPLEX线性规划求解器直接求解,获 取最优解。本发明提供的方法具有很好的应用价值,对于那些提供分布式存储数据服务的 大型公司(例如google),服务器的损坏或失效是频繁发生的,利用本发明,可以大大减少修 复的时间,减少中断服务用户的时延,能够一定程度上提高系统性能。
【主权项】
1. 一种分布式存储系统中供应服务器选择和修复数据传输方法,其特征在于,基于混 合整数线性规划实现,将供应服务器定义为供应节点,所述方法包括以下步骤: A、 根据待修复的分布式存储系统,获取下列参数: 由存活服务器、新生服务器和网络中的互联设备构成的节点集合, 节点集合中各节点间的链路集合, 需选择的供应节点的数量, 每个供应节点需传输到新生节点的数据量; B、 根据所获取的参数,将基于网络编码的分布式存储系统表示为有向图G(V,E),G为有 向连通图,V和E分别为节点集合及链路集合; 其中,以所述存活服务器为存活节点,以新生服务器为新生节点,以网络中的互联设备 为中间节点,所述节点集合由存活节点、新生节点和中间节点构成; 所述链路集合的构建方法是,如果节点集合V中两个不同节点之间存在通信链路,则在 两个节点之间连接一条链路,并给出通信链路上的数据传输方向以及每个传输方向上的带 宽,重复本步骤直至所有符合条件的链路连接完毕,这些链路构成链路集合E; C、 根据有向图,基于混合整数线性规划,建立最优供应节点选择及修复数据传输的数 学模型; D、 针对建立的数学模型,求解获得最优的供应节点集合,每个供应节点到新生节点的 数据传输路径以及每条路径上传输的数据传输速率; E:获取最优供应节点选择及修复数据传输的方案。2. 根据权利要求1所述的一种分布式存储系统中供应服务器选择和修复数据传输方 法,其特征在于:所述步骤C具体包括以下步骤: C1、获取已知参数:存活节点的集合、新生节点、中间节点、每个节点的上游邻居节点集 合、每个节点的下游邻居节点集合、有向边的集合、有向边上的带宽、需选择的供应节点的 数量以及每个供应节点需传输到新生节点的数据量; C2、对变量进行定义,所述变量为:每个供应节点传输至新生节点的数据流速率及该速 率的最小值、每条数据流在每条边上的数据传输速率、每个供应节点至新生节点的传输速 率以及当前存活节点是否被选为供应节点,〇表示当前存活节点没被选为供应节点,1表示 当前存活节点被选为供应节点; C3、利用所述定义的参数和变量构建目标函数一一最小化数据修复的时间,等价于最 大化所有供应节点传输至新生节点的数据流速率的最小值: 构建目标函数的约束条件包括:所有供应节点传输至新生节点的数据流速率的最小值 小于等于每个供应节点传输到新生节点的传输速率、进出每个中间节点的数据传输速率守 恒、供应节点发出的数据传输速率和新生节点上收到的数据传输速率守恒、不同的数据流 通过同一条链路的总速率不超过该链路的带宽、保证只有存活节点被选择为供应节点时, 有数据流从该节点传出、限制供应节点的数量以及整数变量和实数变量的取值范围; 由此建立最优供应节点选择及修复数据传输的数学模型。3. 根据权利要求1所述的一种分布式存储系统中供应服务器选择和修复数据传输方 法,其特征在于:整数线性规划求解方法为隐枚举法、分枝定界法或割平面法。4. 根据权利要求3所述的一种分布式存储系统中供应服务器选择和修复数据传输方 法,其特征在于:对所提出的混合整数线性规划使用AMPL语言建模并用CPLEX线性规划求解 器直接求解,获得供应服务器选择和修复数据传输方案。
【专利摘要】本发明公开了一种分布式存储系统中供应服务器选择和修复数据传输方法,其特征在于,基于混合整数线性规划实现,将供应服务器定义为供应节点,根据待修复的分布式存储系统,获取节点集合、链路集合、需选择的供应节点的数量、每个供应节点需传输到新生节点的数据量;将基于网络编码的分布式存储系统表示为有向图;根据有向图,基于混合整数线性规划,建立最优供应节点选择及修复数据传输的数学模型;求解获得最优的供应节点集合,每个供应节点到新生节点的数据传输路径以及每条路径上传输的数据传输速率。本发明减少了整个数据修复的再生时间,从而提高了系统性能。
【IPC分类】H04L29/08
【公开号】CN105450741
【申请号】CN201510784810
【发明人】王进, 贾成进, 朱艳琴, 贾俊铖, 周经亚
【申请人】苏州大学
【公开日】2016年3月30日
【申请日】2015年11月16日
当前第3页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1