一种云端异构存储系统及其数据副本管理方法
【专利摘要】本发明公开了一种云端异构存储系统，属于分布式数据存储与数据管理【技术领域】。本发明云端异构存储系统包括核心层、云内层、边缘层，所述核心层为管理云节点SN，云内层为普通云节点CN，边缘层为边缘节点PN；所述SN、CN、PN相互之间通过网络进行信息交互；SN用于存储数据块的元数据信息以及所有CN的属性信息，并对所有CN进行管理；CN用于存储与管理数据块及数据块副本信息，各CN分别负责管理一组PN，每个CN存储与管理其所管理的PN的信息；PN只作为存储节点，存储和管理本地的数据副本及数据副本属性信息。本发明还公开了上述云端异构存储系统的数据副本管理方法。相比现有技术，本发明可有效避免服务器端性能瓶颈与单点失效问题，缓解系统负载压力。
【专利说明】一种云端异构存储系统及其数据副本管理方法
【技术领域】
[0001] 本发明涉及一种云端异构存储系统及其数据副本管理方法，属于分布式数据存储 与数据管理【技术领域】。
【背景技术】
[0002] 随着Internet技术的快速发展，互联网上的数据如海啸般迎面扑来，单纯的同构 环境处理数据的能力变得越来越不能满足数据处理的需求；作为目前两种典型的网络计 算模式，云计算和对等计算技术分别侧重于利用集群服务器端的资源和网络边缘节点的资 源。考虑到经济效应，云服务器高昂的价格决定了其数量的有限性，访问过于频繁便会出现 服务器端的瓶颈问题；而纯对等计算环境下，每一个节点的地位都是一样的，每个节点的承 受能力基本相同导致没有负责节点，整体系统的管理比较复杂。
[0003] 随着数据的海量增加，分布式存储系统的负担越来越重。考虑到云服务器与端节 点的特点，如果能够更加充分利用网络中集群服务器和边缘节点上的存储资源，并使两者 互联互通融合于一个云端异构存储系统中，并结合有效的数据副本管理策略，则可有效避 免服务器端性能瓶颈与单点失效问题，从而有效缓解系统负载压力。有研究者近期提出了 一种PA_Cloud存储架构[沈静波.基于P2P和云计算的动态内容管理研究[D].合肥：中 国科学技术大学，2011. 4]，其基本思想是通过利用P2P技术在服务提供商的核心云外延构 建由用户节点构成的扩展云结构，实现了一部分的负载转嫁，降低了云端服务器的负载。但 是文中并没有将核心层中云节点进行有效的角色分工，而是笼统的构建成了 Chord环，这 样一来并不能在用户提出数据块访问请求时迅速地定位到此数据块的所有数据副本存储 地址和存储节点的属性信息以便快递选择目标节点进行访问；同样在数据块创建时也不能 很迅速的选择出数据块的管理节点。而对于扩展云中的用户节点，文中提出的架构并没有 有效的管理扩展云中的节点，在对扩展云中的节点提出访问请求时不能迅速定位到目前负 载较小的端节点进行访问。
【发明内容】
[0004]本发明所要解决的技术问题在于克服现有技术不足，提供一种云端异构存储系统 及其数据副本管理方法，可有效避免服务器端性能瓶颈与单点失效问题，缓解系统负载压 力。
[0005]本发明具体采用以下技术方案：
[0006] -种云端异构存储系统，包括核心层、云内层、边缘层，所述核心层为管理云节点 SN，云内层为普通云节点CN，边缘层为边缘节点PN ;所述SN、CN、PN相互之间通过网络进行 信息交互；SN用于存储数据块的元数据信息以及所有CN的属性信息，并对所有CN进行管 理；CN用于存储与管理数据块及数据块副本信息，各CN分别负责管理一组PN，每个CN存储 与管理其所管理的PN的信息；PN只作为存储节点，存储和管理本地的数据副本及数据副本 属性信息。
[0007] 如上所述云端异构存储系统的数据副本管理方法，包括副本创建、副本访问以及 数据清除；所述副本创建具体如下：
[0008] 步骤1、SN接收到用户发出的数据块存储请求后，首先选择剩余容量最大的一个 CN作为该数据块的管理节点，并将该数据块从用户端上传并部署到选定的CN，作为该数据 块的第一个副本，然后更新SN所保存的相应信息；
[0009] 步骤2、SN根据该数据块的重要性确定部署在其它CN上的该数据块的副本数量n， n为大于等于1的整数，数据块的重要性越高，n的值越大；
[0010] 步骤3、SN从除数据块的管理节点以外的其它CN中选择剩余容量最大的n个CN 并将所选定的这n个CN的信息传给该数据块的管理节点，所选择的n个CN中包括该数据 块的管理节点的备份节点；该数据块的管理节点复制该数据块的副本并分别部署至这n个 CN;部署完成后，SN、该数据块的管理节点以及这n个CN分别更新各自所保存的相应信息；
[0011] 步骤4、该数据块的管理节点根据该数据块的重要性确定部署在PN上的该数据块 的副本数量m，并从自身所管理的可用的PN中选择剩余容量最大的m个PN;m为大于等于1 的整数，数据块的重要性越高，m的值越大；
[0012] 步骤5、被选中的m个PN分别在本地部署该数据块的副本；部署完成后，该数据块 的管理节点、所选中的m个PN分别更新各自所保存的相应信息；
[0013] 步骤6、该数据块的管理节点的备份节点更新自身所保存的相应信息。
[0014] 进一步地，所述副本访问具体如下：
[0015] 步骤1、SN接收到用户发出的数据块访问请求后，首先查找该数据块的管理节点， 然后通过该数据块的管理节点确定该数据块的所有副本及相应的存储节点；
[0016] 步骤2、SN按照以下方法从所确定的该数据块的所有副本中选择访问目标：如果 该数据块的各副本的存储节点中既有CN又有PN，则从这些PN中选择一个剩余容量最大的， 并以所选择PN上存储的该数据块的副本作为访问目标；如果该数据块的各副本的存储节 点中仅有CN，则从这些CN中选择一个剩余容量最大的，并以所选择CN上存储的该数据块的 副本作为访问目标；
[0017] 步骤3、如用户对访问目标进行了修改，则更新该数据块的所有副本后转步骤4; 否则，直接转步骤4;
[0018] 步骤4、该数据块的各副本所在的CN和PN分别更新各自所保存的相应信息；
[0019] 步骤5、该数据块的管理节点的备份节点更新自身所保存的相应信息。
[0020] 更进一步地，所述数据清除具体如下：
[0021] 步骤1、SN接收到用户发出的数据块删除请求后，首先查找该数据块的管理节点， 然后通过该数据块的管理节点确定该数据块的所有副本及相应的存储节点；
[0022] 步骤2、SN依次访问该数据块各副本所在的存储节点并删除该数据块相应的副 本；
[0023] 步骤3、全部副本删除后，SN以及该数据块的所有副本的存储节点分别更新自身 所保存的相应信息；
[0024] 步骤4、该数据块的管理节点的备份节点更新自身所保存的相应信息。
[0025] 进一步地，所述数据副本管理方法还包括副本复制和副本减少；所述副本复制具 体如下：各CN定期检查自身所管理的每个数据块的所有副本在当前周期内被访问的总次 数与该数据块的副本总数之间的比值，如该比值大于预设阈值，则SN复制该数据块的一个 新副本，并从该数据块的管理节点所管理的可用PN中选择一个此前未部署该数据块副本 的剩余容量最大的PN，将该新副本部署在所选择的PN中；所述副本减少具体如下：任一数 据块的某个副本如在预设周期内一直未被访问，则将该副本删除。
[0026] 相比现有技术，本发明具有以下有益效果：
[0027] (1)本发明的云端异构存储系统模型明确了管理云节点、普通云节点、端节点之间 的分工，管理关系更加清晰和明朗。
[0028] (2)本发明的云端异构存储系统模型可有效的管理云节点与端节点上所部署的数 据副本，包括存储、访问、查询、修改等。
[0029] (3)本发明的数据副本管理方法能有效的提高系统的可靠性，同时能够有效的利 用边缘节点，减少云节点的负载压力，使得整个系统达到负载均衡的状态。
[0030] (4)本发明云端异构存储系统采取的三层结构使得系统更加的稳定，数据的访问 将更加高效，节点与节点之间的交互也更加的方便快捷。
【专利附图】
【附图说明】
[0031] 图1为本发明云端异构存储系统的系统架构示意图；
[0032] 图2为本发明云端异构存储系统的数据副本部署示意图；
[0033] 图3为本发明云端异构存储系统的副本创建流程示意图；
[0034] 图4为本发明云端异构存储系统的副本复制流程示意图；
[0035] 图5为本发明云端异构存储系统的副本只读访问流程示意图；
[0036] 图6为本发明云端异构存储系统的副本修改访问流程示意图；
[0037] 图7为本发明云端异构存储系统的副本减少流程示意图；
[0038] 图8为本发明云端异构存储系统的数据清除流程示意图。
【具体实施方式】
[0039] 下面结合附图对本发明的技术方案进行详细说明：
[0040] 一、系统架构
[0041] 本发明云端异构存储系统的系统架构如图1所示，其在三维空间里的平面图似雪 花状，空间上分为三层架构，包括核心层、云内层、边缘层，其中管理云节点SN为核心层的 节点，普通云节点CN为云内层的节点，边缘节点PN为边缘层的节点。下面对各层节点进行 详细说明。
[0042] 1、管理云节点
[0043]在本发明的存储模型架构设计中，SN位于核心层，主要存储数据块的元数据信息， 同时还有所有的数据块直接管理者CN的属性信息。SN存储与管理的信息如表1和表2所 /Jn〇
[0044] 系统中的数据块与负责管理该数据块及其副本的普通云节点之间的对应索引信 息如表1所示，作为全局宏观的元数据管理者SN，管理着所有作为数据块的直接管理者与 存储者的CN。
[0045]表1数据块及其管理者索引表
[0046]
【权利要求】
1. 一种云端异构存储系统，其特征在于，包括核心层、云内层、边缘层，所述核心层为管 理云节点SN，云内层为普通云节点CN，边缘层为边缘节点PN ;所述SN、CN、PN相互之间通过 网络进行信息交互；SN用于存储数据块的元数据信息以及所有CN的属性信息，并对所有CN 进行管理；CN用于存储与管理数据块及数据块副本信息，各CN分别负责管理一组PN，每个 CN存储与管理其所管理的PN的信息；PN只作为存储节点，存储和管理本地的数据副本及数 据副本属性信息。
2. 如权利要求1所述云端异构存储系统的数据副本管理方法，包括副本创建、副本访 问以及数据清除；其特征在于，所述副本创建具体如下： 步骤1、SN接收到用户发出的数据块存储请求后，首先选择剩余容量最大的一个CN作 为该数据块的管理节点，并将该数据块从用户端上传并部署到选定的CN，作为该数据块的 第一个副本，然后更新SN所保存的相应信息； 步骤2、SN根据该数据块的重要性确定部署在其它CN上的该数据块的副本数量/7，/?为 大于等于1的整数，数据块的重要性越高，的值越大； 步骤3、SN从除数据块的管理节点以外的其它CN中选择剩余容量最大的个CN并将 所选定的这个CN的信息传给该数据块的管理节点，所选择的/7个CN中包括该数据块的 管理节点的备份节点；该数据块的管理节点复制该数据块的副本并分别部署至这《个CN ; 部署完成后，SN、该数据块的管理节点以及这/7个CN分别更新各自所保存的相应信息； 步骤4、该数据块的管理节点根据该数据块的重要性确定部署在PN上的该数据块的副 本数量?，并从自身所管理的可用的PN中选择剩余容量最大的《个PN #为大于等于1的 整数，数据块的重要性越高，》的值越大； 步骤5、被选中的《个PN分别在本地部署该数据块的副本；部署完成后，该数据块的管 理节点、所选中的《个PN分别更新各自所保存的相应信息； 步骤6、该数据块的管理节点的备份节点更新自身所保存的相应信息。
3. 如权利要求2所述数据副本管理方法，其特征在于，所述副本访问具体如下： 步骤1、SN接收到用户发出的数据块访问请求后，首先查找该数据块的管理节点，然后 通过该数据块的管理节点确定该数据块的所有副本及相应的存储节点； 步骤2、SN按照以下方法从所确定的该数据块的所有副本中选择访问目标：如果该数 据块的各副本的存储节点中既有CN又有PN，则从这些PN中选择一个剩余容量最大的，并以 所选择PN上存储的该数据块的副本作为访问目标；如果该数据块的各副本的存储节点中 仅有CN，则从这些CN中选择一个剩余容量最大的，并以所选择CN上存储的该数据块的副本 作为访问目标； 步骤3、如用户对访问目标进行了修改，则更新该数据块的所有副本后转步骤4 ;否则， 直接转步骤4 ; 步骤4、该数据块的各副本所在的CN和PN分别更新各自所保存的相应信息； 步骤5、该数据块的管理节点的备份节点更新自身所保存的相应信息。
4. 如权利要求3所述数据副本管理方法，其特征在于，所述数据清除具体如下： 步骤1、SN接收到用户发出的数据块删除请求后，首先查找该数据块的管理节点，然后 通过该数据块的管理节点确定该数据块的所有副本及相应的存储节点； 步骤2、SN依次访问该数据块各副本所在的存储节点并删除该数据块相应的副本； 步骤3、全部副本删除后，SN以及该数据块的所有副本的存储节点分别更新自身所保 存的相应信息； 步骤4、该数据块的管理节点的备份节点更新自身所保存的相应信息。
5.如权利要求2?4任一项所述数据副本管理方法，其特征在于，还包括副本复制和 副本减少；所述副本复制具体如下：各CN定期检查自身所管理的每个数据块的所有副本在 当前周期内被访问的总次数与该数据块的副本总数之间的比值，如该比值大于预设阈值， 则SN复制该数据块的一个新副本，并从该数据块的管理节点所管理的可用PN中选择一个 此前未部署该数据块副本的剩余容量最大的PN，将该新副本部署在所选择的PN中；所述副 本减少具体如下：任一数据块的某个副本如在预设周期内一直未被访问，则将该副本删除。
【文档编号】H04L29/08GK104317669SQ201410553604
【公开日】2015年1月28日 申请日期:2014年10月17日 优先权日:2014年10月17日
【发明者】徐小龙, 邵军, 章韵, 金仙力, 李爱群 申请人:南京邮电大学