一种业务数据迁移方法、装置和云存储系统的制作方法
【专利摘要】本发明实施例公开了一种业务数据迁移方法，所述方法包括：根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备；获取原存储设备中的对象业务的备份业务数据；将所述备份业务数据写入所述目标存储设备；在所述备份业务数据完成写入所述目标存储设备后，根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。本发明实施例还公开了一种业务数据迁移装置和云存储系统。采用本发明，可实现业务数据在云存储系统的无缝迁移，并降低对业务访问的影响。
【专利说明】一种业务数据迁移方法、装置和云存储系统
【技术领域】
[0001] 本发明涉及数据存储领域，尤其涉及一种业务数据迁移方法、装置和云存储系统。
【背景技术】
[0002] 随着互联网技术的飞速发展，互联网业务的数据存储量增长幅度非常大，因业务 数据增长到超出存储设备预先分配的存储空间的时候，就需要将业务数据迁移到拥有更大 存储空间的存储设备中，这时会遇到数据迁移的通用问题。现有的云存储系统一般需要手 工将原数据备份下来，然后再导入到新存储设备中存储空间中，同时在迁移数据的过程中， 还需要将业务前端访问的数据实时从原存储设备同步到新存储设备，以保证数据的一致 性，最后才进行完整的切换。整个过程人工介入步骤较多，同时在路由切换过程中，服务可 能会短暂不可用。数据迁移存在着一定的毛刺，对业务正常访问会产生一定的影响。
【发明内容】
[0003] 有鉴于此，本发明实施例提供了一种业务数据迁移方法、装置和云存储系统，可实 现业务数据在云存储系统的无缝迁移，并降低对业务访问的影响。
[0004] 为了解决上述技术问题，本发明实施例提供了一种业务数据迁移方法，所述方法 包括：
[0005] 根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接 收到的对象业务的业务数据双向写入原存储设备和目标存储设备；
[0006] 获取原存储设备中的对象业务的备份业务数据；
[0007] 将所述备份业务数据写入所述目标存储设备；
[0008] 在所述备份业务数据完成写入所述目标存储设备后，根据所述对象业务在目标存 储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
[0009] 相应地，本发明实施例还提供了一种业务数据迁移装置，所述业务数据迁移装置 包括：
[0010] 双向写入模块，用于根据所述对象业务分别在原存储设备和目标存储设备中的业 务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备；
[0011] 备份业务获取模块，用于获取原存储设备中的对象业务的备份业务数据；
[0012] 备份业务迁移模块，用于将所述备份业务数据写入所述目标存储设备；
[0013] 写入迁移模块，用于在备份业务迁移模块完成将所述备份业务数据写入所述目标 存储设备后，根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务 的业务数据写入目标存储设备。
[0014] 相应地，本发明实施例还提供了一种云存储系统，所述云存储系统包括如前文所 述的业务数据迁移装置、对象业务的原存储设备以及目标存储设备，其中：
[0015] 所述业务数据迁移装置用于根据所述对象业务分别在原存储设备和目标存储设 备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储 设备；获取原存储设备中的对象业务的备份业务数据；将所述备份业务数据写入所述目标 存储设备；在所述备份业务数据完成写入所述目标存储设备后，根据所述对象业务在目标 存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
[0016] 本发明实施例通过在迁移过程中将对象业务的业务数据双向写入原存储设备和 目标存储设备，从而保证了将原存储设备中的业务数据平滑无缝地迁移至目标存储设备， 并降低对业务访问的影响。
【专利附图】
【附图说明】
[0017] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0018] 图1是本发明实施例中一种业务数据迁移方法的流程示意图；
[0019] 图2是本发明另一实施例中的一种务数据迁移方法的流程示意图；
[0020] 图3是本发明实施例中的一种业务数据迁移装置的流程示意图；
[0021] 图4是本发明实施例中双向写入模块的结构示意图；
[0022] 图5是本发明实施例中的一种云存储系统的结构示意图。
【具体实施方式】
[0023] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0024] 本发明实施例中的业务数据迁移方法可以应用于云存储系统，如CBM (Cloud Bitmap，云位图）云存储系统，可以由云存储系统中负责控制逻辑的业务数据迁移装置执行 本发明的业务数据迁移流程。当前互联网中存在有大量的存储标志位、时间戳、等级等小数 据的业务，这些业务有如下显著特点：
[0025] (1)数据只有有限的长度，如一百字节以下。
[0026] (2)对数据访问的性能要求很高，几万次/秒甚至更高的访问量。
[0027] (3)对数据访问的稳定性要求很高，业务访问不可中断。
[0028] (4)对数据的存储安全性要求很高，要求数据无丢失。
[0029] (5)要求业务的扩容、缩容、迁移便捷，能快速响应业务的访问量、数据量快速增 长。
[0030] (6)要求业务上下线便捷，如节假日相关活动的业务，要求业务能够快速上线，活 动结束后存储资源又能快速回收。
[0031] CBM系统就是针对这种业务要求的一种云存储系统，采用全内存的数据存储方案， 提供高稳定性和高性能的数据存储能力；提供高安全性的数据存储，数据实时多机热备，定 时冷备；同时系统提供了自动容灾能力。业务使用方只需关注自己的业务逻辑，无需关心数 据存储本身的容灾、备份、扩缩容，享受透明化的云端数据存储服务。
[0032] 图1是本发明实施例中一种业务数据迁移方法的流程示意图，如图所示，本实施 例中的业务数据迁移流程至少可以包括：
[0033] S101，根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将 新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备。
[0034] 具体的，所述目标存储设备为本次将对象业务迁移至的存储设备，云存储系 统可以预先为对象业务在目标存储设备中注册一个用于迁移对象业务的业务标识BID (Business IDentity)，并获取对象业务在目标存储设备中的业务路由信息，所述业务路由 信息可以包括存储设备的IP(Internet Protocol，网络互连协议)地址、为对象业务分配的 业务端口等，还可以包括预先为对象业务创建得到的BID。在本次对象业务的迁移过程中， 云存储系统接收到客户端发送的对象业务的业务数据时，可以根据所述对象业务分别在原 存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入 原存储设备和目标存储设备，保证对象业务平滑迁移至目标存储设备，避免迁移过程中导 致的数据丢失。
[0035] 具体实现中，云存储系统可以将对象业务分别在原存储设备和目标存储设备中的 业务路由信息发送至内置的双向写入模块或外置的双向写入设备，从而通过内置的双向写 入模块或外置的双向写入设备将新接收到的对象业务的业务数据双向写入原存储设备和 目标存储设备。
[0036] 进而在可选实施例中，云存储系统可以为通过接入代理proxy获取客户端发送的 对象业务的业务数据，这时云存储系统可以通知业务接入代理将前端业务的请求路由从原 存储设备切换到内置的双向写入模块或外置的双向写入设备，使得业务接入代理将新接收 到的对象业务的业务数据发送至所述双向写入设备。
[0037] S102,获取原存储设备中的对象业务的备份业务数据。
[0038] 具体的，云存储系统可以通知原存储设备为对象业务的业务数据进行备份，例如 将对象业务的业务数据按key_value格式备份至bid. biz文件，其中bid为对象业务在原 存储设备中的业务标识，原存储设备在将对象业务的所有业务数据完成备份后，将备份业 务数据发送至云存储系统，本发明实施例中由云存储系统中负责控制逻辑的业务数据迁移 装置将接收到的备份业务数据写入指定目录下。
[0039] S103,将所述备份业务数据写入所述目标存储设备。
[0040] 具体的，可以由云存储系统中的业务数据迁移装置根据注册得到的所述对象业务 在目标存储设备中的业务路由信息将获取到的备份业务数据按一定的速度写入目标存储 设备中，写入速度可以根据对象业务的实际访问情况和机器的负载情况确定。
[0041] S104,在所述备份业务数据完成写入所述目标存储设备后，根据所述对象业务在 目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。 [0042] 具体的，在完成将备份业务数据迁移至目标存储设备后，云存储系统接收到客户 端发送的对象业务的业务数据时，可以根据所述对象业务在目标存储设备中的业务路由信 息将新接收到的对象业务的业务数据写入目标存储设备。例如云存储系统可以通知业务接 入代理将前端业务的请求路由从当前的内置的双向写入模块或外置的双向写入设备切换 至目标存储设备，使得业务接入代理将新接收到的对象业务的业务数据发送至目标存储设 备。进而在可选实施例中，云存储系统在完成将备份业务数据迁移至目标存储设备后可以 将对象业务分别在原存储设备和目标存储设备中的业务数据进行比对，并根据比对结果对 对象业务在目标存储设备中的业务数据进行修复，待确认对象业务分别在原存储设备和目 标存储设备中的业务数据一致时才开始将新接收到的对象业务的业务数据只写入目标存 储设备，并且将数据服务器中的对象业务在原存储设备中的bid改为临时业务标识，待对 象业务在目标存储设备中试运行一段时间后，删除对象业务在原存储设备中的bid，使得原 存储设备中的对象业务下线。
[0043] 图2是本发明另一实施例中的一种业务数据迁移方法的流程示意图，本实施例中 的业务数据迁移方法由图2中所示的云存储系统完成，包括负责控制逻辑的业务数据迁移 装置、负责从客户端获取对象业务的业务数据的业务接入代理、对象业务的原存储设备、目 标存储设备以及双向写入设备如图所示本实施例中的业务数据迁移方法流程可以包括：
[0044] S201，业务数据迁移装置为所述对象业务在所述目标存储设备中申请创建业务标 识。
[0045] S202,目标存储设备为所述对象业务创建业务标识。
[0046] S203,业务数据迁移装置获取所述对象业务在所述目标存储设备中的业务路由信 息。所述业务路由信息可以包括存储设备的IP(Internet Protocol,网络互连协议)地址、 为对象业务分配的业务端口等，还可以包括预先为对象业务创建得到的BID。
[0047] S204,业务数据迁移装置初始化业务迁移任务。
[0048] 本步骤为可选步骤。具体的，业务数据迁移装置可以将本次针对对象业务的业务 数据迁移中划分得到的各个任务和步骤写到云存储系统的迁移任务表和迁移步骤表中，以 保证迁移流程中的某个任务或步骤失败时，业务数据迁移装置可以根据迁移任务表或迁移 步骤表进行一定次数的重试，避免因进程异常终止而导致迁移任务失败，在重试次数达到 预定的阈值后可以发送告警消息。所述迁移任务表和迁移步骤表可以保存在云存储系统的 预设数据库中，例如可以为mysql数据库，示例性的迁移任务表和迁移步骤表可以如下：
【权利要求】
1. 一种业务数据迁移方法，其特征在于，所述方法包括： 根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到 的对象业务的业务数据双向写入原存储设备和目标存储设备； 获取原存储设备中的对象业务的备份业务数据； 将所述备份业务数据写入所述目标存储设备； 在所述备份业务数据完成写入所述目标存储设备后，根据所述对象业务在目标存储设 备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
2. 如权利要求1所述的业务数据迁移方法，其特征在于，所述根据所述对象业务分别 在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向 写入原存储设备和目标存储设备之前还包括： 为所述对象业务在所述目标存储设备中创建业务标识，并获取所述对象业务在所述目 标存储设备中的业务路由信息。
3. 如权利要求1所述的业务数据迁移方法，其特征在于，所述根据所述对象业务分别 在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向 写入原存储设备和目标存储设备包括： 将所述对象业务分别在原存储设备和目标存储设备中的业务路由信息发送至双向写 入设备； 将新接收到的对象业务的业务数据发送至所述双向写入设备，W使所述双向写入设备 将所述新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备。
4. 如权利要求3所述的业务数据迁移方法，其特征在于，所述将新接收到的对象业务 的业务数据发送至所述双向写入设备包括： 通知业务接入代理将新接收到的对象业务的业务数据发送至所述双向写入设备； 所述根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的 业务数据写入目标存储设备包括： 通知所述业务接入代理根据所述对象业务在目标存储设备中的业务路由信息将新接 收到的对象业务的业务数据写入目标存储设备。
5. 如权利要求1所述的业务数据迁移方法，其特征在于，所述根据所述对象业务在目 标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备之前 还包括： 将对象业务分别在原存储设备和目标存储设备中的业务数据进行比对，并根据比对结 果对对象业务在目标存储设备中的业务数据进行修复。
6. -种业务数据迁移装置，其特征在于，所述业务数据迁移装置包括： 双向写入模块，用于根据所述对象业务分别在原存储设备和目标存储设备中的业务路 由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备； 备份业务获取模块，用于获取原存储设备中的对象业务的备份业务数据； 备份业务迁移模块，用于将所述备份业务数据写入所述目标存储设备； 写入迁移模块，用于在备份业务迁移模块完成将所述备份业务数据写入所述目标存储 设备后，根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业 务数据写入目标存储设备。
7. 如权利要求6所述的业务数据迁移装置，其特征在于，所述根业务数据迁移装置还 包括： 存储业务注册模块，用于为所述对象业务在所述目标存储设备中创建业务标识，并获 取所述对象业务在所述目标存储设备中的业务路由信息。
8. 如权利要求6所述的业务数据迁移装置，其特征在于，所述双向写入模块包括： 路由发送单元，用于将所述对象业务分别在原存储设备和目标存储设备中的业务路由 信息发送至双向写入设备； 业务数据发送单元，用于将新接收到的对象业务的业务数据发送至所述双向写入设 备，W使所述双向写入设备将所述新接收到的对象业务的业务数据双向写入原存储设备和 目标存储设备。
9. 如权利要求8所述的业务数据迁移装置，其特征在于，所述业务数据发送单元用于： 通知业务接入代理将新接收到的对象业务的业务数据发送至所述双向写入设备； 所述写入迁移模块用于： 通知所述业务接入代理根据所述对象业务在目标存储设备中的业务路由信息将新接 收到的对象业务的业务数据写入目标存储设备。
10. 如权利要求6所述的业务数据迁移装置，其特征在于，所述业务数据迁移装置还包 括： 业务数据比较模块，用于将对象业务分别在原存储设备和目标存储设备中的业务数据 进行比对，并根据比对结果对对象业务在目标存储设备中的业务数据进行修复，在对象业 务分别在原存储设备和目标存储设备中的业务数据一致时触发写入迁移模块根据所述对 象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存 储设备。
11. 一种云存储系统，其特征在于，所述云存储系统包括如权利要求6?10中任一项所 述的业务数据迁移装置、对象业务的原存储设备W及目标存储设备其中： 所述业务数据迁移装置用于根据所述对象业务分别在原存储设备和目标存储设备中 的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备； 获取原存储设备中的对象业务的备份业务数据；将所述备份业务数据写入所述目标存储设 备；在所述备份业务数据完成写入所述目标存储设备后，根据所述对象业务在目标存储设 备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
12. 如权利要求11所述的云存储系统，其特征在于，所述云存储系统还包括双向写入 设备； 所述双向写入设备用于从所述业务数据迁移装置获取对象业务分别在原存储设备和 目标存储设备中的业务路由信息，从所述业务数据迁移装置获取新接收到的对象业务的业 务数据，根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收 到的对象业务的业务数据双向写入原存储设备和目标存储设备。
【文档编号】H04L29/08GK104468641SQ201310416286
【公开日】2015年3月25日 申请日期:2013年9月12日 优先权日:2013年9月12日
【发明者】谭仕朝 申请人:腾讯科技（深圳）有限公司