专利名称：一种基于数字喷泉码的云存储体系结构及服务提供方法
技术领域：
本发明涉及一种基于数字喷泉码的云存储体系结构，通过引入边缘云和数字喷泉码编译码层的概念，减轻了云存储对网络带宽的依赖，提高云存储的QoS。本发明涉及云存储、数字喷泉码、分布式存储、计算机网络等信息技术领域。
背景技术：
云存储(Cloud Storing)是一种网络存储中更加合理、有效的服务提供和运营模式，在这种模式下，传统上处于本地的各种存储服务由大型、集中式的存储模式将被云存储服务取代。在云存储中，用户能够便捷透明地按需使用云存储服务提供商提供的各种存储资源。这些存储资源可以快速地提供和获取，降低了企业或者个人用户购置、管理和维护成本，具有广泛的应用前途。云存储是计算机业务提供业界提出的存储服务运营模式，相 关技术涉及到网格存储(Grid Storing)、分布式存储(Distributed Storing)、并行计算(Parallel Computing)、网络存储(Network Storage Technologies)、数字喷泉(DigitalFountain)、虚拟化(Virtualization)、负载均衡(Load Balance)等。云存储的一个核心理念就是通过不断提高“云”端(存储节点)的整体存储能力，进而减少用户终端的存储负担，最终使用户终端简化成一个单纯的存储指令输入输出设备，并能按需享受“云”的强大存储能力。在现有集中式的云存储体系架构下，建立集中式的大规模数据中心和存储中心，形成云存储的云端，由云端对外提供用户所需的存储服务；用户通过存储网络直接从云端获取系统数据，如图I所示。由于用户的数据存储和移动均在云端进行，云存储对网络的带宽和数据传输时延的依赖性较强。云存储的应用必然导致大量的数据交互，对存储中心的出口网络造成沉重的压力。云端出口网络的通信量是每个终端与云端的通信量之和。在当前的网络环境下，集中式的云存储体系结构所能提供的服务质量QoS(可用性、吞吐量、时延、时延变化等)难以满足用户对云存储的需求；例如，互联网虚拟磁盘应用受到网络拥塞、闻延时等问题的困扰。为了保证z 存储的QoS,各种相关的技术被研究，其中最典型的是对数据进行编码，以减少网络上传输的数据量，降低云存储对网络带宽的迫切需求。但是这些技术仅仅能够部分的减轻云存储环境下的网络负担，没有从根本解决此问题。基于以上问题，本发明设计了基于数字喷泉码的云存储体系结构，从计算机网络和存储位置等角度，解决现有的网络带宽、时延等不能满足云存储服务需求的问题。由于在云存储环境下，对于用户数据(虚拟磁盘等)具有较大的冗余性，并且这些数据量较大，同时对于单个用户，使用的数据相对固定而且用户位置相对固定，因此采用基于数字喷泉码的云存储体系结构，将用户指令数据和用户常用数据存储在距离用户较近的服务器上。此方式能够将云存储服务的数据传输限制于用户本地，降低骨干网络的数据流量，从根本上解决云存储对网络带宽、时延的依赖性问题，保证云存储的可用性。本发明在各个网络和地区设置了具有存储能力的服务器节点组成边缘云，形成了“核心云”、“边缘云”、用户终端和数字喷泉码编译码层四个层次的基于数字喷泉码的云存储体系结构。边缘云中的节点通过与核心云协同，利用通信数据间的相关性(通信数据间的相关性包括自身数据间的相关性和并行数据间的相关性，通过数字喷泉码、压缩技术、自动缓存和本地图形库等技术，可以有效减少数据量)减少核心云出口的数据量，解决云存储对网络带宽、时延的依赖性。
发明内容
本发明所要解决的问题是现有计算机网络在带宽、时延等方面难以满足云存储服务需求的问题。为了解决此问题，对现有云存储模型的改进，设计了基于数字喷泉码的云存储体系结构，设置了相应的服务器节点组成边缘云，形成由“核心云”、“边缘云”、用户终端和数字喷泉码编译码层组成的基于数字喷泉码的云存储体系结构。边缘云与核心云协同，利用通信数据间的相关性对其进行处理，减少核心云出口的数据量，解决云存储对网络带宽、时延的依赖性问题。本发明所述的基于数字喷泉码的云存储体系结构由核心云、边缘云、终端用户和数字喷泉码编译码层组成
核心云具有强大的存储能力，在边缘云的支撑下，相互协作，迅速弹性地向用户提供透明的云存储服务。核心云是拥有强大存储能力的服务器集群组成的云存储服务中心，用户根据自身需求使用核心云提供的各种存储服务。边缘云由分布在不同网络和地区的服务器节点组成，为核心云提供相应的辅助功能，与核心云协作迅速并弹性地向用户提供云存储服务。边缘云通过骨干网络与核心云连接，用户终端在核心云的协调下，就近使用边缘云提供的服务。边缘云一方面负责对核心云和用户终端之间的数据流进行加工处理(如压缩、编码译码、加解密等)，利用通信数据间的相关性，减少网络开销，降低时延，保证云存储QoS;另一方面，边缘云存储终端访问云存储服务所需要的共性数据和常用数据(例如，用户常访问的文件，生成信息报表所需要的动态链接库等)。终端使用云存储相关服务的请求实体。终端用户主要责任是完成数据存储和获取等指令功能一方面，登陆云存储中心，构建用户工作环境，向云存储请求所需要的数据；另一方面，为用户提供浏览和显示云存储服务的接口。数字喷泉码编译码层在用户提交数据前，对欲上传的数据进行数字喷泉码编码，再上传编码符号数据；当用户想获取数据时，先进行数字喷泉码译码，再把译码成功的数据传送给用户。在基于数字喷泉码的云存储体系结构中，核心云与边缘云相互协作，为用户提供保证QoS的云存储服务。边缘云与核心云的协作核心云提供用户存储、数据迁移等云存储服务；边缘云分担核心云的相关功能，存储终端访问云存储服务所需要的共性数据和用户常用数据，在核心云的协调下，透明地为用户提供云存储服务。利用边缘云与终端之间的高带宽和低时延的网络特性，保证云存储服务的QoS。核心云和边缘云协作，以对用户透明的方式为终端用户提供云存储服务。边缘云与终端的协作边缘云利用其与终端之间的高带宽和低时延的本地网络将终端访问云存储服务所需要的共性数据和用户常用数据快速的传送给终端，透明的向终端提供实时的$■存储服务。
核心云与终端的协作在边缘云的辅助之下，核心云完成终端所请求的具体的存储服务。基于数字喷泉码的云存储体系结构，核心云和边缘云共同协作，透明的为用户提供云存储服务。用户首先向核心云提出服务请求，然后核心云和用户所在的边缘云协商服务策略，最后根据协商的结果，共同协作为用户提供保证QoS的服务。在本发明所述云存储体系结构下，根据不同的场景，利用数据相关性对核心云为终端提供数据M的处理过程有如下三种方法一对于核心云要发送给某一终端的数据M存在自身相关性的情况,核心云根据数据M的特点与目标终端所在的边缘云服务器协商，根据协商的结果，对数据M进行处理，生成数据量更小的数据m，并将数据m发送给边缘云服务器；边缘云服务器收到m后，使用逆向算法，得到原始数据M，并将数据M发送给目标终端。终端向核心云发送数据，采取相反的过程。方法二 对于要给多个终端提供具有相关性的数据情况，不妨设数据为M1,M2,…，Mn,核心云与边缘云协商，使用协商的结果，对数据M1, M2,…，Mn进行处理，生成数据量更小的数据集，并将其发送给边缘云服务器；边缘云服务器收到数据后，对其进行还原，并将数据发送给相应的终端。终端向核心云发送数据，采取相反的过程。方法三第三种情况是，核心云要发送的目标数据M1, M2,…，Mn，生成目标数据的过程类似，并且存在共同的输入(例如，使用相同的函数库)；因此，目标数据不再是由核心云直接生成，而是在核心云的协调下，由边缘云将数据发送到相应的终端。例如，在互联网虚拟磁盘应用中，对于用户端云接口的生成由核心云移至边缘云；大量的请求数据只需在边缘云与和其相连的终端之间传输，从而减少了在核心云出口网络传输的数据量。当终端用户的位置发生变化时，与用户相关的数据需要进行迁移，以更好地满足用户体验。根据发生位置改变时用户是否正在使用云存储服务，将迁移分为实时迁移和计划迁移。实时迁移指用户在使用云存储服务的过程中发生位置移动，由所在边缘云移入新的边缘云，此时用户服务数据应该在核心云的协调下，从原边缘云迁移到新的边缘云。此时新的边缘云取代原边缘云向用户提供服务。计划迁移指用户将自己的行程安排提前告知云端，云存储中心根据用户的行程有计划地安排用户相关的数据在不同的边缘云间的转移，保证用户在预定行程中均能够实时的使用云存储提供的服务。
图I是集中式云存储网络体系结构2是本发明提出的基于数字喷泉码的云存储体系结构3是分层分布式云存储的服务提供方法示意4是集中式云存储体系结构下通信量示意5是利用自身数据间相关性减少通信量示意6是利用并行数据间相关性减少通信量示意图
图7是将导致数据膨胀的关键存储移至边缘云减少通信量示意图
图8是核心云与边缘云协商过程示意9是实时迁移各方交互过程示意10是计划迁移各方交互过程示意图
具体实施例方式本发明在云端设置了相应的服务器节点组成的边缘云，形成由“核心云”、“边缘云”和用户终端组成的基于数字喷泉码的云存储体系结构，如图2所示。通过在核心云存储中心与终端之间设置存储节点来减少核心云出口处的通信量，从而降低时延，保证了云存储的QoS。核心云具有强大的存储能力，在边缘云的支撑下，相互协作，迅速弹性地向用户提供透明的云存储服务。核心云是拥有强大存储能力的服务器集群组成的云存储服务中心，用户根据自身需求使用核心云提供的各种存储服务。 边缘云由分布在不同网络和地区的服务器节点组成，为核心云提供相应的辅助功能，与核心云协作迅速并弹性地向用户提供云存储服务。边缘云通过骨干网络与核心云连接，用户终端在核心云的协调下，就近使用边缘云提供的服务。边缘云一方面负责对核心云和用户终端之间的数据流进行加工处理(如压缩、编码译码、加解密等)，利用通信数据间的相关性，减少网络开销，降低时延，保证云存储QoS ;另一方面，边缘云存储终端访问云存储服务所需要的共性数据和常用数据(例如，用户常访问的文件，生成信息报表所需要的动态链接库等)。终端使用云存储相关服务的请求实体。终端用户主要责任是完成数据存储和获取等指令功能一方面，登陆云存储中心，构建用户工作环境，向云存储请求所需要的数据；另一方面，为用户提供浏览和显示云存储服务的接口。数字喷泉码编译码层在用户提交数据前，对欲上传的数据进行数字喷泉码编码，再上传编码符号数据；当用户想获取数据时，先进行数字喷泉码译码，再把译码成功的数据传送给用户。在基于数字喷泉码的体系结构下，核心云和边缘云共同协作，透明的为用户提供云存储服务，如图3所示。基于数字喷泉码的云存储服务提供步骤如下步骤a.用户向核心云发送服务请求；步骤b.核心云查找用户所在的边缘云，并与用户所在的边缘云协商服务策略；步骤c.根据协商的服务策略，核心云使用响应数据，边缘云使用其所存储的数据(终端访问云存储服务所需要的共性数据和用户常用数据)共同的为用户提供透明的服务。在云存储服务提供中，传统集中式的云存储体系结构下的数据传输方式如图4所示。核心云直接将每个终端需要的数据直接传输给各个终端，其中骨干网络上需求负担所有数据的传输，给网络带来较大的负担。在基于数字喷泉码的云存储体系结构下，根据不同的场景，利用数据相关性对核心云为终端提供数据M进行处理。根据数据自身的特点，处理过程有如下三种方法一对于核心云要发送给某一终端的数据M存在自身相关性的情况,核心云根据数据M的特点与目标终端相连的边缘云服务器协商服务策略，使用协商的结果，核心云和边缘云共同为用户提供服务，如图5所示。具体实施步骤如下步骤a :核心云发现发送到各个终端的目标数据存在自身相关性；步骤b :核心云向终端所在的边缘云发起协作请求；步骤c :边缘云收到协作请求后，检测自身资源是否满足要求，若满足返回接受响应；否则，返回拒绝响应；步骤d :核心云若收到拒绝相应，则搜索新的可用边缘云，找到返回步骤b，否则失败；步骤e :核心云收到接受响应，发起与边缘云的协商过程；协商出使用的数据处理算法，完成协商过程，成功建立了协作关系；
步骤f :核心云对要发送的数据M进行加工f (Mi) =IV生成整体数据叫，并发送给边缘云；边缘云收到核心云发送的数据后，对其反向处理，还原出数据，并发送给相应终端终端。方法二 对于要给多个终端提供具有相关性的数据情况，不妨设数据为M1,M2,…，Mn,核心云与边缘云协商，使用协商的结果，对数据M1, M2,…，Mn进行处理，生成数据量更小的数据集，并将其发送给边缘云服务器；边缘云服务器收到数据后，对其进行还原，并将数据发送给相应的终端。终端向核心云发送数据，采取相反的过程。数据发送过程如图6所示，具体实施步骤如下步骤a :核心云发现发送给不同终端的数据之间存在很高的相关性；步骤b :核心云向该边缘云发起协作请求；步骤c :边缘云收到协作请求后，检测自身资源是否满足要求，若满足返回接受响应；否则，返回拒绝响应；步骤d :核心云若收到拒绝相应，则搜索新的可用边缘云，找到返回步骤b，否则失败；步骤e :核心云收到接受响应，发起与边缘云的协商过程；协商出使用的数据处理算法，完成协商过程，成功建立了协作关系；步骤f :核心云对要发送每个终端的数据一起处理V (M1,M2, *··,Μη) =Msg,生成整体数据Msg，并发送给边缘云；边缘云收到核心云发送的数据后，对其反向处理，分解出要发送给每个终端的数据分量，并发送给相应终端终端。方法三第三种情况是，核心云要发送的目标数据M1, M2,…，Mn，生成目标数据的过程类似，并且存在共同的输入(例如，使用相同的图形库)；因此，目标数据不再是由核心云直接生成，而是在核心云的协调下，由边缘云将数据发送到相应的终端。例如，在远程桌面应用中，对于图形用户桌面的生成由核心云移至边缘云；大量的图形数据只需在边缘云与和其相连的终端之间传输，从而减少了在核心云出口网络传输的数据量。数据发送过程如图7所示，具体实施步骤如下步骤a :核心云发现发送到多个终端的目标数据的生成过程类似，并且存在共同的输入；步骤b :核心云向边缘云发起协作请求；步骤c :边缘云收到协作请求后，检测自身资源是否满足要求，若满足返回接受响应；否则，返回拒绝响应；
步骤d :核心云若收到拒绝相应，则搜索新的可用边缘云，找到返回步骤b，否则失败；步骤e :核心云收到接受相应，发起与边缘云的协商过程；核心云将命令语义、协商的处理算法发送给边缘云，完成协商过程，成功建立了协作关系；步骤f :当核心云想要发送数据Mi给某终端时，将生成改数据的命令和相关少量数据发送给终端所在的边缘云；步骤g :边缘云收到命令和数据后，调用相关函数，运算出结果，并将此结果发送给相关终端。 在云存储服务提供过程中，核心云和边缘云的协商过程如图8所示。具体的协商步骤如下步骤a :用户发出服务请求后，核心云根据用户位置，确定边缘云；步骤b :核心云向边缘云发起协作请求；步骤c :边缘云在收到请求后，为协作分配资源，并向核心云发送同意协作相应；步骤d :核心云收到同意响应后，与边缘云交互协商分配任务等；步骤e :核心云和边缘云按协商结果开展协作，并为用户提供服务。当终端用户的位置发生变化时，与用户相关的数据需要进行迁移，以更好地满足用户体验。根据发生位置改变时用户是否正在使用云存储服务，将迁移分为实时迁移和计划迁移。实时迁移中，用户由所在边缘云移入新的边缘云，此时用户服务数据应该在核心云的协调下，从原边缘云迁移到新的边缘云。此时新的边缘云取代原边缘云向用户提供服务。实时迁移的实施步骤如图9所示步骤a :终端用户位置发送变化，并被云端所感知；步骤b :边缘云根据用户位置的变化信息，判断自己是否仍能提供所需服务；步骤c :如果边缘云判断出自己仍可提供所需服务，则重复步骤b ;否则向核心云发出实时迁移请求；步骤d :核心云根据边缘云提供的信息，选择新的可用边缘云；步骤e :核心云与新的边缘云协商并为用户配置所需环境；步骤f :用户工作环境数据有原边缘云迁移到新的边缘云；步骤g :核心云与新的边缘云共同为用户提供云存储服务。计划迁移中，云存储中心根据用户的行程有计划地安排用户相关的数据在不同的边缘云间的转移，保证用户在预定行程中均能够实时的使用云存储提供的服务。计划迁移的实施步骤如图10所示步骤a :用户向云端提交自己的行程安排；步骤b :核心云根据用户的行程安排制订数据转移计划；步骤c :核心云根据数据迁移计划，并与相应的边缘云为用户提供服务。
权利要求
1.一种基于数字喷泉码的云存储体系结构，其特征是该体系结构由核心云、边缘云、終端和数字喷泉码编译码层组成 核心云提供计算、存储能力，在边缘云的支撑下向用户提供云存储服务； 边缘云由分布在不同网络和地区的服务器节点组成，通过骨干网络与核心云连接，为核心云提供相应的辅助功能，协作向用户就近提供云存储服务； 終端使用核心云和边缘云所提供云存储服务的实体。
数字喷泉码编译码层对用户数据进行编码上传和译码下载。
2.根据权利要求I所述的基于数字喷泉码的云存储体系结构，其服务提供方法的特征在于核心云、边缘云和終端间的协作方式以及服务提供的过程 边缘云与核心云的协作核心云和边缘云协作，保证云存储服务的QoS，以对用户透明的方式为终端用户提供云存储服务； 边缘云与终端的协作边缘云利用其与終端之间的高带宽和低时延的本地网络将終端访问云存储服务所需要的共性数据和用户常用数据快速的传送给終端，透明的向終端提供实时的云存储服务； 核心云与终端的协作在边缘云的辅助之下，核心云完成终端所请求的具体的云存储服务； 服务提供过程首先用户向核心云提出服务请求，然后核心云和用户所在的边缘云协商服务策略，最后根据协商的结果，共同协作为用户提供保证QoS的服务。
3.根据权利要求I所述的基于数字喷泉码的云存储体系结构和权カ要求2所述的服务提供方法，利用数据相关性对核心云为终端提供数据的处理过程有如下三种方法 方法一对于核心云要发送给某ー终端的数据M存在自身相关性的情况,核心云根据数据M的特点与目标终端所在的边缘云服务器协商，根据协商的結果，对数据M进行处理，生成数据量更小的数据m，并将数据m发送给边缘云服务器；边缘云服务器收到m后，使用逆向算法，得到原始数据M，并将数据M发送给目标终端。終端向核心云发送数据，采取相反的过程。
方法ニ 对于要给多个終端提供具有相关性的数据情况，不妨设数据为M1, M2,…，Mn,核心云与边缘云协商，使用协商的結果，对数据M1, M2,…，Mn-行处理，生成数据量更小的数据集，并将其发送给边缘云服务器；边缘云服务器收到数据后，对其进行还原，并将数据发送给相应的终端。終端向核心云发送数据，采取相反的过程。
方法三第三种情况是，核心云要发送的目标数据M1, M2,…，Mn，生成目标数据的过程类似，并且存在共同的输入(例如，使用相同的函数库)；因此，目标数据不再是由核心云直接生成，而是在核心云的协调下，由边缘云将数据发送到相应的终端。例如，在互联网虚拟磁盘应用中，对于用户终端的生成数据由核心云移至边缘云；大量的存储数据只需在边缘云与和其相连的终端之间传输，从而減少了在核心云出口网络传输的数据量。
4.根据权利要求I所述的基于数字喷泉码的云存储体系结构和权利要求2所述的服务提供方法，用户数据迁移需要根据用户位置进行迁移，其特征是根据发生位置改变时用户是否正在使用云存储服务，将迁移分为实时迁移和计划迁移 实时迁移指用户在使用云存储服务的过程中发生位置移动，由所在边缘云移入新的边缘云，此时用户服务数据应该在核心云的协调下，从原边缘云迁移到新的边缘云。此时新的边缘云取代原边缘云向用户提供服务。
计划迁移指用户将自己的行程安排提前告知云端，云存储中心根据用户的行程有计划地安排用户相关的数据在不同的边缘云间的转移，保证用户在预定行程中均能够实时的使用云存储提供的服务。
全文摘要
本发明公开了一种基于数字喷泉码的云存储体系结构及服务提供方法。该体系结构及服务提供方法有效保证了云存储的QoS。本发明在不同的网络和地区部署边缘云，形成由核心云、边缘云、终端用户和数字喷泉码编译码层组成的基于数字喷泉码的云存储体系结构。本体系结构将共性数据、用户常用数据等服务分配到终端用户所在网络或地区的边缘云上，核心云和边缘云共同协作，透明的为用户提供云存储服务。在此基础上，提出了针对基于数字喷泉码的云存储体系结构的服务提供方法，核心云和边缘云协作方法以及用户数据迁移方法。本发明将大部分云存储中的网络流量局限于终端用户本地，降低了骨干网络的流量，有效避免了集中式云存储模式对网络带宽、时延等的依赖性问题，保证了云存储的QoS。
文档编号H04L29/08GK102684817SQ20111005812
公开日2012年9月19日 申请日期2011年3月10日 优先权日2011年3月10日
发明者万鑫明, 王争, 王奇凡 申请人:万鑫明, 王争, 王奇凡