一种混合云存储数据迁移方法及系统与流程

本发明涉及云存储技术，特别涉及一种混合云存储数据迁移方法及系统。

背景技术：

近年来，随着云存储技术的不断发展和普及，企业或者个人都开始利用云存储进行数据的存储。

目前的云存储分为三种模式：公有云存储、私有云存储以及混合云存储。公有云存储一般由第三方存储空间提供商进行数据存储和管理，因此维护成本低，但是存储数据的保密性低，而且数据访问效率低。私有云存储上的数据是完全可控的，数据访问效率高，保密性良好，但是维护的成本很大。

混合云存储则是将公有云存储和私有云存储进行结合后的一种云存储方式，囊括了以上两种云存储的优点，也就是说使用混合云存储可以满足大量数据存储的需求，降低用户存储成本，还可以保障数据存储的安全性。

但是混合存储也面临一个极大的缺点，就是存储的效率不高。由于混合存储的公有云和私有云端存储数据时没有很好的进行规划，导致用户频繁访问的数据有可能存储在公有云端，导致访问效率低，而用户几乎不访问的数据有可能存储在私有云端，导致私有云端的存储空间利用率低，总体上导致混合云存储的数据访问效率低以及存储空间利用率低。

技术实现要素：

有鉴于此，本发明的目的在于提供一种混合云存储数据迁移方法及系统，以提高混合云存储的数据访问效率以及存储空间利用率。其具体方案如下：

一种混合云存储数据迁移方法，包括：

根据数据被访问频率分别标记出私有云和公有云上的热数据以及冷数据；

将所述私有云中未被标记为高安全级别的冷数据迁移至所述公有云；

将所述公有云中的热数据以及被标记为高安全级别的冷数据迁移至所述私有云。

优选地，所述根据数据被访问频率分别标记出私有云和公有云上的热数据以及冷数据的过程，包括：

当所述公有云上任一数据的被访问频率高于th，则将该数据标记为热数据；

当所述私有云上任一数据的被访问频率低于tc，则将该数据标记为冷数据；

其中，所述th和tc为预先设定的阈值，并且tc<th。

优选地，所述将所述公有云中的热数据以及被标记为高安全级别的冷数据迁移至所述私有云的过程之前，还包括：

对所述私有云进行分层，得到第一层私有云和第二层私有云；

其中，所述第一层私有云对应的存储介质的读写性能优于所述第二层私有云对应的存储介质的读写性能。

优选地，所述将所述公有云中被标记为高安全级别的冷数据迁移至所述私有云的过程，包括：

将所述公有云中被标记为高安全级别的冷数据迁移至所述第二层私有云。

优选地，所述将所述公有云中的热数据迁移至所述私有云的过程，包括：

判断所述公有云中任一热数据的被访问频率是否高于th1，如果是，则迁移该热数据至所述第一层私有云，如果否，则迁移该热数据至所述第二层私有云；

其中，所述th1为预先设定的阈值。

优选地，其特征在于，还包括：

将所述第一层私有云中被标记为高安全级别的冷数据迁移至所述第二层私有云；

将所述第二层私有云中被标记为高安全级别的热数据迁移至所述第一层私有云。

本申请还公开了一种混合云存储数据迁移系统，包括：

冷热数据标记模块，用于根据数据被访问频率分别标记出私有云和公有云上的热数据以及冷数据；

私有云数据迁移模块，用于将所述私有云中未被标记为高安全级别的冷数据迁移至所述公有云；

公有云数据迁移模块，用于将所述公有云中的热数据以及被标记为高安全级别的冷数据迁移至所述私有云。

优选地，所述冷热数据标记模块，包括：

热数据标记单元，用于当所述公有云上任一数据的被访问频率高于th，则将该数据标记为热数据；

冷数据标记单元，用于当所述私有云上任一数据的被访问频率低于tc，则将该数据标记为冷数据；

其中，所述th和tc为预先设定的阈值，并且tc<th。

优选地，还包括：

私有云分层模块，用于对所述私有云进行分层，得到第一层私有云和第二层私有云；

其中，所述第一层私有云对应的存储介质的读写性能优于所述第二层私有云对应的存储介质的读写性能。

优选地，所述公有云数据迁移模块，包括：

热数据迁移单元，用于判断所述公有云中任一热数据的被访问频率是否高于th1，如果是，则迁移该热数据至所述第一层私有云，如果否，则迁移该热数据至所述第二层私有云；

其中，所述th1为预先设定的阈值。

本申请中，混合云存储数据迁移方法包括：根据数据被访问频率分别标记出私有云和公有云上的热数据以及冷数据；将私有云中未被标记为高安全级别的冷数据迁移至公有云；将公有云中的热数据以及被标记为高安全级别的冷数据迁移至私有云。可见本申请将混合云存储中的数据按照被访问频率分为热数据和冷数据，将私有云的冷数据迁移至公有云，提高了存储空间的利用率，将公有云中的热数据迁移至私有云，提高了数据的访问效率。而将公有云中被标记为高安全级别的冷数据迁移至私有云还能保证特殊数据的存储安全性。总的来说，利用本申请所提供的混合云存储数据迁移方法，能提高混合云存储数据的访问率以及存储空间的利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的一种混合云存储数据迁移方法流程图；

图2为本申请实施例公开的一种具体的混合云存储数据迁移方法流程图；

图3为本申请实施例公开的另一种混合云存储数据迁移方法流程图；

图4为私有云分层后混合云的整体结构示意图；

图5为本申请实施例公开的一种混合云存储数据迁移系统结构图；

图6为本申请实施例公开的一种混合云存储数据迁移系统中冷热数据标记模块结构图；

图7为本申请实施例公开的一种具体的混合云存储数据迁移系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例公开了一种混合云存储数据迁移方法，参见图1所示，该方法包括：

步骤11：根据数据被访问频率分别标记出私有云和公有云上的热数据以及冷数据。

本实施例中，上述数据为用户利用混合云存储进行存储的数据，包括一些普通的文件，例如图片、视频和文档等，也可能是一些需要保密性极高的文件，用户需要利用混合云存储进行数据的备份，以避免数据丢失。

而数据的访问频率的获取可以利用统计的方法获得，例如在混合云中搭载有数据访问次数统计程序，在用户选取打开或者下载混合云存储中的数据时进行统计，设置一个时间周期结合时间周期内数据的访问次数，最终计算出数据的被访问频率。为了能够准确的计算出数据的被访问频率，可以适当的调整时间周期的长度，例如设定为一周，这里不做要求。

在分别标记出私有云和公有云上的热数据以及冷数据的过程，为了避免对用户存储的数据进行不必要的改动，可以对对数据存储的目录位置进行标记，例如，记录混合云上热数据存储的目标位置，生成一个热数据地址链表，由混合云的云计算进行管理，以方便对数据的查找以及移动。当然，也可以对数据本身的信息进行增加，例如在数据的命名后面加上后缀，以表明数据是热数据或冷数据，在进行迁移后进行后缀的删除即可，只要能进行热数据和冷数据的标记即可，这里不做限定。

步骤12：将私有云中未被标记为高安全级别的冷数据迁移至公有云。

本申请施例中，高安全级别的数据是由混合云存储用户主动筛选出来并标记的。在混合云存储用户进行一些特殊或者非常重要且要保密的数据存储时，可以选择对数据进行高安全级别存储。用户也可以在进行大量的数据存储后，对数据进行筛选，并在混合云存储上标记出高安全级别的数据。这里标记的方法可以在混合云存储管理系统中建立一个高安全级别数据的地址链表，以便管理系统进行管理。标记为高安全级别的数据都存储在私有云中。

另外，需要说明的是，本实施例中混合云存储的私有云，可以是根据用户的需求而构建的一个存储空间，这个存储空间是用户独享的一个空间，可以为本地存储空间，没有经用户授权的访问者是无法进入私有云并改动里面的文件。而混合云存储的公有云一般是第三方存储资源商提供的一个存储空间，相对于私有云，公有云存储空间大，但不能独享空间。

将上述私有云中未被标记为高安全级别的冷数据迁移至公有云前，首先根据数据上的标记进行数据的查找定位，例如对冷数据进行标记时用的是建立数据地址链表的方法，则利用相应的冷数据地址链表，查找冷数据地址链表中未被用户标记为高安全级别数据的地址，通过地址找到数据然后进行迁移。而迁移的过程，则是直接将查找得到的数据，利用传输数据的方法，从私有云中传输至公有云，然后由公有云进行存储，此时的私有云上，经过数据传输后就没有未被标记为高安全级别的冷数据，大大提高了私有云存储空间的利用率。

步骤13：将公有云中的热数据以及被标记为高安全级别的冷数据迁移至私有云。

本实施例中，将共有云中的热数据以及被标记为高安全级别的冷数据迁移至私有云前，首先根据数据上的标记进行数据的查找定位，例如对热数据进行标记时用的是建立数据地址链表的方法，则利用相应的热数据地址链表，通过地址找到公有云中的热数据，然后进行迁移。迁移的过程则是直接将查找得到的热数据，从公有云传输至私有云，由私有云进行存储，此时混合云上的热数据都存储在私有云中，大大提高数据的访问效率。

本发明实施例公开了一种具体的混合云存储数据迁移方法，参见图2所示，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

上一实施例步骤11中，根据数据被访问频率分别标记出私有云和公有云上的热数据以及冷数据的过程，具体包括：

步骤21：当公有云上任一数据的被访问频率高于th，则将该数据标记为热数据。

本申请实施例中，混合云存储的公有云存储空间可以由第三方存储资源商提供，存储空间足够大，是一个共享的存储空间，由供应商进行管理，适合访问频率不高，以及安全性比较低的数据进行存储，因此在公有云进行数据标记时，只需要标记公有云中不适合存储的热数据。

数据的访问频率的获取可以利用统计的方法获得，例如在公有云中搭载有数据访问次数统计程序，在用户选取打开或者下载混合云存储中的数据时进行统计，设置一个时间周期结合时间周期内数据的访问次数，最终计算出数据的被访问频率。为了能够准确的计算出数据的被访问频率，可以适当的调整时间周期的长度，例如设定为一周，这里不做要求。

而th是一个预先设定的阈值，如果公有云中某个数据的访问频率超过了这个阈值，则可标记这个数据为热数据。th可以是一个详细的数值，例如根据上述的访问次数统计方法，可以为100，单位为(次/周)。

步骤22：当私有云上任一数据的被访问频率低于tc，则将该数据标记为冷数据。

本申请实施例中，混合云存储的私有云存储空间可以根据用户的需求而构建的一个存储空间，这个存储空间是用户独享的一个空间，可以为本地存储空间，没有经用户授权的访问者是无法进入私有云并改动里面的文件，适合存储一些访问频率较高，以及安全性较高的数据，因此在私有云进行数据标记时，只需标记私有云中的冷数据。

而tc是一个预先设定的阈值，且tc<th，如果私有云中某个数据的访问频率低于这个阈值，则可标记这个数据为冷数据。tc可以是一个详细的数值，例如根据上述的访问次数统计方法，可以为10，单位为(次/周)。

对于公有云和私有云中，访问频率在(tc，th)之间的数据，不进行标记。

本申请实施例公开了另一种混合云存储数据迁移方法，参见图3所示，相对于上述两个实施例，本实施例对的技术方案做了进一步增加。具体的：

在上述步骤13之前，进一步包括：

步骤31：对私有云进行分层，得到第一层私有云和第二层私有云。

参见图4所示，为私有云分层后混合云的整体结构示意图。

其中，第一层私有云对应的存储介质的读写性能优于第二层私有云对应的存储介质的读写性能。

本实施例中，私有云的存储空间结构可以根据用户的需求来进行构建，这里进行二分层的结构，并且第一层的存储介质读写性能优于第二层，可以让用户有更好的云存储体验，例如，用户可以把经常要进行访问的重要数据储存在第一层私有云中，方便快速对数据进行读写，而不需要经常访问，仅仅是出于备份需求的一些重要数据则可以存储在第二层私有云中，这样既可以满足用户访问数据的要求，还可以降低私有云的成本。

对于私有云的分层，并不一定只分为两层，还可以分为三层、四层等多层结构，是根据用户的存储需求以及私有云的性能决定的。在多层结构的私有云中，可以根据数据被访问的频率，由高到低对应私有云的高层到底层进行存储，相应的设置私有云各层存储介质的读写性能。

而在本实施例中，将公有云中被标记为高安全级别的冷数据迁移至所述私有云的过程，包括：

将公有云中被标记为高安全级别的冷数据迁移至第二层私有云。

高安全级别的冷数据，也就是一些被用户标记为高安全级别，但是用户并没有进行频繁访问的数据，例如一些重要文件的混合云存储备份，迁移至第二层私有云，有利于私有云存储空间的利用率。当然，在私有云进行更多分层结构时，这些不经常访问的数据是可以存储在私有云读写性能较低的底层的。

将公有云中的热数据迁移至所述私有云的过程，包括：

判断公有云中任一热数据的被访问频率是否高于th1，如果是，则迁移该热数据至第一层私有云，如果否，则迁移该热数据至第二层私有云；

其中，所述th1为预先设定的阈值。

相对于前述的实施例，本实施例对公有云上热数据的迁移做出了优化的方案，在热数据迁移至私有云后，还会判断该热数据被访问频率是否高于预先设定的一个阈值th1，如果高于则存储在第一层私有云，如果在(th，th1)之间则存储在第二层私有云中。这里的阈值th1可以是一个详细的数值，例如根据上述的访问次数统计方法，可以为110，单位为(次/周)。

当然，在私有云进行更多的分层时，可以预先设置更多的阈值，将热数据有规律的存储在私有云的分层中，例如分为三层私有云时，第一层私有云存储被访问频率超过th2的热数据，第二层私有云存储被访问频率在(th1，th2)之间的热数据，第三层私有云存储被访问频率在(th，th1)之间的热数据。

在上述步骤13之后，进一步包括：

步骤32：将第一层私有云中被标记为高安全级别的冷数据迁移至第二层私有云。

步骤33：将第二层私有云中被标记为高安全级别的热数据迁移至第一层私有云。

上面两个步骤为私有云内部数据的迁移，冷热数据的判断并标记过程以及数据迁移的过程可以参考前述实施例中的说明，这里不再赘述。私有云内部数据迁移的目的主要是把高安全级别的热数据迁移至第一层私有云，提高私有云数据访问的效率，把高安全级别的冷数据迁移至第二层私有云，提高私有云存储空间的利用率，降低使用成本。

本申请实施例还公开了一种混合云存储数据迁移系统，参见图5所示，该系统包括：

冷热数据标记模块51，用于根据数据被访问频率分别标记出私有云和公有云上的热数据以及冷数据；

私有云数据迁移模块52，用于将私有云中未被标记为高安全级别的冷数据迁移至公有云；

公有云数据迁移模块53，用于将公有云中的热数据以及被标记为高安全级别的冷数据迁移至私有云。

具体的，参考图6所示，上述冷热数据标记模块，包括：

热数据标记单元61，用于当公有云上任一数据的被访问频率高于th，则将该数据标记为热数据；

冷数据标记单元62，用于当私有云上任一数据的被访问频率低于tc，则将该数据标记为冷数据；

其中，所述th和tc为预先设定的阈值，并且tc<th。

关于上述各个模块以及各个单元更加详细的工作过程可以参考前述实施例中公开的相应内容，在此不再赘述。

本申请实施例还公开了另一种混合云存储数据迁移系统，参见图7所示，该系统包括：

私有云分层模块54，用于对私有云进行分层，得到第一层私有云和第二层私有云；

其中，所述第一层私有云对应的存储介质的读写性能优于所述第二层私有云对应的存储介质的读写性能。

具体的，上述公有云数据迁移模块，包括：

热数据迁移单元71，用于判断公有云中任一热数据的被访问频率是否高于th1，如果是，则迁移该热数据至第一层私有云，如果否，则迁移该热数据至第二层私有云；

其中，所述th1为预先设定的阈值。

关于上述各个模块以及各个单元更加详细的工作过程可以参考前述实施例中公开的相应内容，在此不再赘述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种混合云存储数据迁移方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。