数据备份方法及装置、数据恢复方法及装置的制造方法

文档序号:8395778阅读:565来源:国知局
数据备份方法及装置、数据恢复方法及装置的制造方法
【技术领域】
[0001] 本发明涉及数据备份技术领域,尤其涉及数据备份方法及装置、数据恢复方法及 装直。
【背景技术】
[0002] 移动业务运营支撑系统(Business and Operation Support System,BOSS)的帐 详单系统已建成多年,承担着原始话单批价处理、账单生成、账详单查询等基础功能,并为 统计分析等提供数据来源,而随着用户量和业务量的日益增长,帐详单系统的海量数据引 起了存储空间不足、查询性能下降、统计分析瓶颈、文件库修改困难等问题,基于这些问题, 人们引入了基于列模式、适合于存储海量数据的分布式数据库(Hbase)系统,为帐详单系统 的性能带来了全面提升。
[0003] 在BOSS帐详单系统的云方案中,Hbase存储着海量的详单数据,数据备份在数据 的安全管理等方面起着非常重要的作用;现有的基于Hbase的数据备份方案是利用Hbase 的输出(Export)工具进行数据的备份,以及利用输入(Import)工具进行数据的恢复,其具 体步骤为:利用Export工具将Hbase中的指定范围的数据,以表为粒度导出成HDFS中的文 件;将HDFS中的文件备份到远端的存储节点中进行保存;数据恢复时先从远端存储节点中 将数据恢复到HDFS中,再利用Import工具将HDFS中的文件加载到Hbase中。
[0004] 在需要备份的数据量较大时,上述利用Hbase的Export工具进行数据的备份的方 法需要的备份时间窗口会较长,从而严重影响了备份效率;同样地,在需要恢复的数据量较 大时,上述利用Import工具进行数据的恢复的方法需要的恢复窗口也较长,从而严重影响 了恢复效率。

【发明内容】

[0005] 本发明实施例提供一种数据备份方法及装置,用以解决现有技术中利用Hbase的 Export工具进行数据备份的方法需要的备份时间窗口会较长的问题;
[0006] 本发明实施例还提供一种数据恢复方法及装置,用以解决现有技术中利用Hbase 的用Import工具进行数据恢复的方法需要的恢复窗口较长的问题。
[0007] 本发明实施例提供的一种数据备份方法,包括:
[0008] 备份节点根据控制节点的指示,通过分布式数据存储系统Hbase,为备份对象创建 快照;
[0009] 所述备份节点将创建的所述快照中的数据通过分布式文件系统HDFS备份到远端 存储节点中,其中,所述快照中的数据为在创建该快照之后,下一次为所述备份对象创建快 照之前,所述备份对象中增加或修改的数据。
[0010] 可选地,所述备份节点为备份对象创建快照,包括:
[0011] 所述备份节点根据所述控制节点指示的增量备份时间间隔,为所述控制节点指示 的备份对象创建快照;其中,具有关联关系的备份对象之间的增量备份时间间隔相同。
[0012] 本发明另一实施例提供的一种数据备份方法,包括:
[0013] 控制节点根据用户输入的备份指示信息,生成备份策略;
[0014] 所述控制节点根据所述备份策略,指示多个备份节点并行执行数据备份任务,所 述数据备份任务包括:针对备份对象创建快照,将创建的所述快照中的数据通过分布式文 件系统HDFS备份到远端存储节点中。
[0015] 可选地,所述备份策略包括:备份对象、备份对象之间的关系和增量备份时间间 隔,其中,具有关联关系的备份对象之间的增量备份时间间隔相同。
[0016] 本发明实施例提供的一种数据恢复方法,包括:
[0017] 恢复节点根据控制节点的指示,读取远端存储节点存储的数据;
[0018] 所述恢复节点将读取的数据整理成快照格式的数据,并将整理后的数据通过分布 式文件系统HDFS接口写入用于提供数据访问服务的数据恢复系统。
[0019] 可选地,所述恢复节点将读取的数据整理成快照格式的数据,包括:
[0020] 所述恢复节点根据备份前的快照目录结构,创建读取的所述数据在所述HDFS中 的快照目录结构。
[0021] 本发明另一实施例提供的一种数据恢复方法,包括:
[0022] 控制节点根据用户输入的恢复指示信息,生成恢复策略;
[0023] 所述控制节点根据所述恢复策略,指示多个恢复节点并行执行数据恢复任务,所 述数据恢复任务包括:读取远端存储节点存储的数据,将读取的数据整理成快照格式的数 据,并将整理后的数据通过分布式文件系统HDFS接口写入用于提供数据访问服务的数据 恢复系统。
[0024] 可选地,所述恢复策略包括:恢复对象和恢复的时间段。
[0025] 本发明实施例提供的一种数据备份装置,包括:
[0026] 创建模块,用于根据控制节点的指示,通过分布式数据存储系统Hbase,为备份对 象创建快照;
[0027] 备份模块,用于将所述创建模块创建的所述快照中的数据通过分布式文件系统 HDFS备份到远端存储节点中,其中,所述快照中的数据为在创建该快照之后,下一次为所述 备份对象创建快照之前,所述备份对象中增加或修改的数据。
[0028] 本发明另一实施例提供的一种数据备份装置,包括:
[0029] 生成模块,用于根据用户输入的备份指示信息,生成备份策略;
[0030] 指示模块,用于根据所述所述生成模块生成的备份策略,指示多个备份节点并行 执行数据备份任务,所述数据备份任务包括:针对备份对象创建快照,将创建的所述快照中 的数据通过分布式文件系统HDFS备份到远端存储节点中。
[0031] 本发明实施例提供的一种数据恢复装置,包括:
[0032] 读取模块,用于根据控制节点的指示,读取远端存储节点存储的数据;
[0033] 写入模块,用于将所述读取模块读取的数据整理成快照格式的数据,并将整理后 的数据通过分布式文件系统HDFS接口写入用于提供数据访问服务的数据恢复系统。
[0034] 本发明另一实施例提供的一种数据恢复装置,包括:
[0035] 生成模块,用于根据用户输入的恢复指示信息,生成恢复策略;
[0036] 指示模块,用于根据所述生成模块生成的恢复策略,指示多个恢复节点并行执行 数据恢复任务,所述数据恢复任务包括:读取远端存储节点存储的数据,将读取的数据整理 成快照格式的数据,并将整理后的数据通过分布式文件系统HDFS接口写入用于提供数据 访问服务的数据恢复系统。
[0037] 本发明实施例中备份节点通过Hbase为备份对象创建快照,在需要备份时,将快 照中的数据通过HDFS备份到远端存储节点中,从而不仅可以不必再采用Export工具进行 数据的导出操作,而且可以仅对数据的增量部分进行备份,从而可以极大地缩短了备份窗 口,提高了备份效率。
【附图说明】
[0038] 图1为本发明实施例一提供的数据备份方法流程图;
[0039] 图2为本发明实施例二提供的数据备份方法流程图;
[0040] 图3为本发明实施例一提供的数据恢复方法流程图;
[0041] 图4为本发明实施例二提供的数据恢复方法流程图;
[0042]图5为本发明实施例提供的数据备份及恢复的系统结构示意图;
[0043] 图6为本发明实施例三提供的数据备份方法流程图;
[0044] 图6a为备份节点进行数据备份的方法流程图;
[0045] 图7为本发明实施例三提供的数据恢复方法流程图;
[0046] 图8为本发明实施例一提供的一种数据备份装置结构示意图;
[0047] 图9为本发明实施例二提供的一种数据备份装置结构示意图;
[0048] 图10为本发明实施例一提供的一种数据恢复装置结构示意图;
[0049] 图11为本发明实施例二提供的一种数据恢复装置结构示意图。
【具体实施方式】
[0050] 本发明实施例中备份节点通过Hbase为备份对象创建快照,在需要备份时,将快 照中的数据通过HDFS备份到远端存储节点中,从而不仅可以不必再采用Export工具进行 数据的导出操作,而且可以仅对数据的增量部分进行备份,从而可以极大地缩短了备份窗 口,提高了备份效率。
[
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1