一种磁盘级网络数据备份的系统及方法

专利名称：一种磁盘级网络数据备份的系统及方法
技术领域：
本发明涉及数据备份领域，尤其涉及一种磁盘级网络数据备份的系统及 方法领域。
背景技术：
随着计算机技术的不断发展和信息化程度的不断提高，人们对信息的依
赖程度越来越高。信息在IT环境中的高度集中存储，在很大程度上提高了信 息和数据管理的自动化，提高了运营效率，降低了成本。但同时，风险性也 在不断的增加，灾难发生所造成的数据丢失，可能会导致巨大的损失。
为了避免灾难带来的不利影响，需要对数据进行定时或者实时的备份。 但是，目前的灾备技术存在着和业务应用逻辑相关性太强、建设成本高以及 建成后维护困难的问题，这些问题导致灾备系统无法满足当前大规模的市场 需求。基于上述问题，国内外厂商开始关注结构无关的低成本灾备系统的研 发，重点研究如何降低灾备系统的建设成本和建设难度；针对维护难的问题， 目前国内外逐渐出现了对第三灾备服务的需求，第三方灾备市场的规模在不 断扩大，然而目前的灾备技术并无法真正支持第三方灾备市场的建设，因此， 研发支持第三方灾备系统建设的低成本网络灾备技术是目前灾备技术发展的 重要趋势。

发明内容
为解决上述问题，本发明公开了一种磁盘级网络数据备份的系统及方法， 通过采用多用户共享灾备数据存储设施， 一次全量多次增量相结合，以及基 于叠加的高效数据恢复技术提供了 一种能针对各种应用终端的系统进行数据 备份的方法和系统，以克服灾备技术和产品存在的建设、维护高成本、通用 性低的问题。
本发明公开了一种磁盘级网络数据备份的方法，包括
步骤1，集中控制装置向备份任务对应的终端的备份恢复代理装置发送 所述备份任务，所述备份恢复代理装置接收所述备份任务；
步骤2，所述备份恢复代理装置根据所述备份任务确定待备份数据的数
据量，根据所述待备份数据的数据量向存储管理装置申请用于备份所述待备
份数据的存储资源；
步骤3，所述存储管理装置分配所述存储资源，并将分配的存储资源的 信息回复给所述备份恢复代理装置；
步骤4，所述备份恢复代理装置获得所述分配的存储资源的信息后，读 取所述终端的备份数据，将所述备份数据发送给存储装置中的备份服务端装 置，所述存储装置为所述分配的存储资源的信息所指定的存储装置；
步骤5，所述备份服务端装置接收所述备份数据，将所述备份数据写到
所述存储装置的存储介质。所述步骤5后还包括
步骤21，所述集中控制装置向恢复任务对应的终端的备份恢复代理装置 发送所述恢复任务，所述备份恢复代理装置接收所述恢复任务；
步骤22，所述备份恢复代理装置向所述存储管理装置询问所述恢复数据 的存储位置；
步骤23，所述存储管理装置査找到所述恢复数据在某一个或多个存储装 置中有对应的备份数据，将所述存储装置的信息回复给所述备份恢复代理装 置；歩骤24，所述备份恢复代理装置向所述恢复数据所在存储装置的备份 服务端装置发送恢复请求，以获得恢复数据；
步骤25，所述备份服务端装置根据所述恢复请求从所述存储装置的存储 介质上读取恢复数据，并发送给所述备份恢复代理装置；
步骤26，所述备份恢复代理装置将接收的恢复数据写入所述终端的磁盈:。
所述步骤1和所述歩骤2之间还包括
步骤31，在所述备份任务为增量备份时，所述备份恢复代理装置判断增 量监控结果是否完整，如果是，则获取监控快照表，否则，向所述存储管理 装置询问备份数据的存储位置；
步骤32，所述存储管理装置将备份数据所在存储装置的信息回复给所述 备份恢复代理装置；
步骤33，所述备份恢复代理装置向所述存储装置的备份服务端装置发送 校验请求；
步骤34，所述备份服务端装置根据所述校验请求从所述存储装置的存储 介质读取备份数据，计算校验值，将所述校验值发送给所述备份恢复代理装 置；
步骤35，所述备份恢复代理装置计算所述终端的磁盘上同所述备份数据 对应的数据的校验值，将两个校验值进行比较，将比较结果记录到校验快照 表中。
所述步骤31中所述备份恢复代理装置判断增量监控结果是否完整进一 步为所述备份恢复代理装置判断最后一次增量备份后，所述终端是否未停止 过，如果是，则所述增量监控结果完成，否则，所述增量监测结果不完整；
所述歩骤32进一歩为所述存储管理装置将查找到的最后一次备份所用 的存储装置的信息回复给所述备份恢复代理装置。
所述步骤1和所述2之间还包括
步骤51，在所述备份任务为全量备份时，所述备份恢复代理装置获取磁 盘快照表。
所述步骤2中所述确定备份的数据量进一步为根据所述监控快照表、所 述校验快照表、或所述磁盘快照表确定备份的数据量。
所述步骤1中集中控制装置向备份任务对应的终端的备份恢复代理装置 发送所述备份任务进一步为，
歩骤71，读取配置信息，建立任务列表；
歩骤72，逐条检査所述任务列表中的任务，在被检查的任务满足调度条 件，并且所述任务为备份任务时，向所述任务对应的终端的备份恢复代理装 置发送所述任务。
所述步骤21中所述集中控制装置向恢复任务对应的终端的备份恢复代 理装置发送所述恢复任务进一步为，
步骤81，读取配置信息，建立任务列表；
步骤82，逐条检査所述任务列表中的任务，在被检查的任务满足调度条 件，并且所述任务为恢复任务时，向所述任务对应的终端的备份恢复代理装 置发送所述任务。
所述步骤3中的所述存储管理装置分配存储资源进一步为
步骤91，所述存储管理装置判断所述终端是否没有进行过备份，如果是，
则分配空间最大的存储介质作为所述终端的存储资源；否则，分配所述终端
上次备份使用的存储介质作为所述终端的存储资源。 所述步骤5中还包括
步骤101，所述备份服务端装置判断所述存储装置中备份数据的副本是 否超出预设的存放副本个数，如果是，则将所述存储装置中的副本个数减去 预设的存放副本个数获得差值，差值为n，将所述存储装置的副本中n+l个 时间最早的备份数据的副本进行合并，以保证所述存储装置保持指定的副本 个数。
所述步骤25中根据所述恢复请求从所述存储装置的存储介质上读取恢 复数据进一歩为，
歩骤111，对所述恢复请求指定的恢复时间点的数据索引进行合并，生 成新数据索引，根据所述新数据索引从所述存储装置的存储介质上读取恢复 数据。
所述步骤34中所述备份服务端装置根据所述校验请求从所述存储装置 的存储介质读取备份数据进一步为，
步骤121，对所述校验请求指定的恢复时间点的数据索引进行合并，生 成新数据索弓I ，根据所述新数据索弓I从所述存储装置的存储介质上读取备份 数据。
所述步骤3还包括，所述存储管理装置维护一个二维表，记录备份数据 和所述备份数据对应的存储装置；
所述步骤23进一步为，所述存储管理装置査找所述二维表，获得所述恢 复数据对应的备份数据所在的存储装置的信息，将所述存储装置的信息回复 给所述备份恢复代理装置。
本发明还公开了一种磁盘级网络数据备份的系统，包括多个终端和用于 连接所述系统中装置的通信网络，所述终端包括磁盘，所述终端还包括备份 恢复代理装置，所述系统还包括集中控制装置、存储管理装置和多个存储 装置，所述存储装置包括用于存储备份数据的存储介质和备份服务端装置，
所述集中控制装置，用于向备份任务对应的终端的备份恢复代理装置发
送所述备份任务；
所述备份恢复代理装置，用于在接收到所述集中控制装置向其发送的备 份任务后，根据所述备份任务确定待备份数据的数据量，根据所述待备份数 据的数据量向存储管理装置申请用于备份所述待备份数据的存储资源；在获 得所述存储管理装置分配的存储资源的信息后，读取所属终端的备份数据， 将所述备份数据发送给存储装置中的备份服务端装置，所述存储装置为所述 分配的存储资源的信息所指定的存储装置；
所述存储管理装置，用于为备份分配所述存储资源，并将分配的存储资 源的信息回复给申请存储资源的备份恢复代理装置；
所述备份服务端装置，用于接收备份恢复代理装置向其发送的备份数据， 将所述备份数据写到所属存储装置的存储介质。
所述集中控制装置，还用于向恢复任务对应终端的备份恢复代理装置发 送所述恢复任务；
所述备份恢复代理装置，还用于在接收到所述集中控制装置的恢复任务 时，向所述存储管理装置询问恢复数据的存储位置；在接收到所述存储管理 装置回复的所述恢复数据所在存储装置的信息后，向所述恢复数据所在存储 装置的备份服务端装置发送恢复请求，以获得恢复数据；将接收的所述备份 服务端装置向其发送的恢复数据写入所属终端的磁盘；
所述存储管理装置，还用于在査找到所述恢复数据在某一个或多个存储 装置中有对应的备份数据后，将所述存储装置的信息回复给所述备份恢复代 理装置；
所述备份服务端装置，还用于根据备份恢复代理装置向其发送的恢复请 求，从所属存储装置的存储介质上读取恢复数据，并发送给所述备份恢复代 理装置。
所述备份恢复代理装置，还用于在所述备份任务为增量备份时，判断增 量监控结果是否完整，如果是，则获取监控快照表；否则，向所述存储管理 装置询问备份数据的存储位置，在接收到所述存储管理装置回复的存储装置 的信息后向所述存储装置的备份服务端装置发送校验请求，在接收到备份服 务端装置向其发送的检验值后，计算所属终端的磁盘上同所述备份数据对应 的数据的校验值，将两个校验值进行比较，将比较结果记录到校验快照表中；
所述存储管理装置，还用于将査找到的备份数据所在存储装置的信息回 复给所述备份恢复代理装置；
所述备份服务端装置，还用于根据备份恢复代理装置向其发送的校验请 求，从所属存储装置的存储介质读取备份数据，计算校验值，将所述校验值 发送给所述备份恢复代理装置。
所述备份恢复代理装置，进一步用于在判断所述增量监控结果是否完整 时，判断最后一次增量备份后，所述终端是否未停止过，如果是，则所述备 增量监控结果完整，否则，所述增量监控结果不完整；
所述存储管理装置，进一步用于将査找到的最后一次备份所用的存储装 置的信息回复给所述备份恢复代理装置。
所述备份恢复代理装置，还用于在所述备份任务为全量备份时，获取磁 盘快照表。
所述备份恢复代理装置进一步用于根据所述监控快照表、所述校验快照 表、或所述磁盘快照表确定备份的数据量。所述集中控制装置进一步用于读取配置信息，建立任务列表；逐条检査 所述任务列表中的任务，在被检查的任务满足调度条件，并且所述任务为备 份任务时，向所述任务对应的终端的备份恢复代理装置发送所述任务。
所述集中控制装置进一步用于读取配置信息，建立任务列表；逐条检査 所述任务列表中的任务，在被检查的任务满足调度条件，并且所述任务为恢 复任务时，向所述任务对应的终端的备份恢复代理装置发送所述任务。
所述存储管理装置进一步用于在分配存储资源时，判断进行备份的终端 是否没有进行过备份，如果是，则分配空间最大的存储介质作为所述终端的 存储资源；否则，分配所述终端上次备份使用的存储介质作为所述终端的存 储资源。
所述备份服务端装置，还用于判断所述存储装置中备份数据的副本是否 超出预设的存放副本个数，如果是，则将所述存储装置中的副本个数减去预 设的存放副本个数获得差值，差值为n，将所述存储装置的副本中n个时间 最早的备份数据的副本进行合并，以保证所述存储装置保持指定的副本个数。
所述备份服务端装置进一步用于在根据接收的恢复请求从所属存储装置 的存储介质上读取恢复数据时，对所述恢复请求指定的恢复时间点的数据索
引进行合并，生成新数据索引，根据所述新数据索引从所述存储装置的存储 介质上读取恢复数据。
所述备份服务端装置进一步用于在根据接收的校验请求从所述存储装置 的存储介质读取备份数据时，对所述校验请求指定的恢复时间点的数据索引 进行合并，生成新数据索引，根据所述新数据索引从所述存储装置的存储介 质上读取备份数据。
所述存储管理装置还用于维护一个二维表，记录备份数据和所述备份数 据对应的存储装置；在确定恢复数据所在存储装置时，查找所述二维表，获 得所述恢复数据对应的备份数据所在的存储装置的信息，将所述存储装置的 信息回复给所述备份恢复代理装置。
本发明的有益效果在于，由于本发明的方法和系统进行备份同上层应用 业务的无关，所以能够对采用任何业务应用类型的终端进行数据备份和恢复； 备份采用了低成本的存储设备构建了存储平台，能够降低备份系统的建设成 本；每个存储设备可以独立的和进行备份的终端进行数据交互，实现了并行 1/0，提高了传输的效率。


图1是本发明的磁盘级网络数据备份系统结构图； 图2本发明的磁盘级网络数据备份方法流程图； 图3是终端的备份恢复代理装置的运行流程图； 图4是终端的备份恢复代理装置的校验流程图； 图5是存储管理装置的运行流程图； 图6是备份服务端装置的运行流程图； 图7是集中控制装置的调度流程图。
具体实施例方式
下面结合附图，对本发明做进一步的详细描述。
图l是本发明的系统结构图，本发明系统包括终端101、存储装置102、 用于连接系统中装置的通信网络103、集中控制装置D、存储管理装置B;终 端101包括备份恢复代理装置A和磁盘F，存储装置102包括备份服务器装
置C和用于存储备份数据的存储介质E。本实施例中的通信网络103为互联 网或局域网。
备份恢复代理装置A，用于接收集中控制装置D的任务，根据接收到的 任务类型执行具体的备份、校验或者恢复操作。备份恢复代理装置A接收到 集中控制装置D的备份任务后，向存储管理装置B发送备份指令以申请用于 备份的存储资源，获得用于备份的存储资源后，向备份服务端装置C发出备 份请求，开始进行备份，读取磁盘F的数据将数据发送给备份服务端装置C; 当备份恢复代理装置A发现增量监控结果不完整时，向存储管理装置B发出 校验指令，以获取备份数据的存储位置信息，然后向存储位置信息指定的备 份服务端装置C发出校验请求，从存储服务端C获取数据的校验值进行校验 操作，生成校验快照表；在接收到集中控制装置D发送的恢复任务时，向存 储管理装置B发送恢复指令，以询问恢复数据的存储位置，接收到存储管理 装置B回复的恢复数据所在存储装置的信息后，向恢复数据所在存储装置102 的备份服务端装置C发送恢复请求，将接收的备份服务端装置C发送的恢复 数据写入所属终端的磁盘F中；并且在进行增量备份操作时，监控磁盘F的 写操作，记录更改过的磁盘扇区，生成增量快照表。
备份恢复代理装置A支持全量备份和增量备份两种备份模式，全量备份 对指定巻上所有扇区数据进行备份，增量备份根据监控的结果只对自上次备 份后变动的扇区数据进行备份；备份恢复代理装置A可工作于全量备份、增 量备份和写监控三个阶段，在全量或增量备份阶段，在读取磁盘扇区数据进 行备份的同时对磁盘写操作进行监控和记录，采用写前读机制保证了备份数 据的时间点一致性；在写监控阶段只监控磁盘写操作，并以快照表的形式记 录变动的磁盘扇区。
存储管理装置B用于管理存储装置组成的存储系统，以及存放于存储系 统的备份数据。在接收到备份恢复代理装置A的备份指令后，为该次备份分 配存储资源，将存储资源信息回复给备份恢复代理装置A;在接收到备份恢 复代理装置A的恢复指令或校验指令时，将恢复备份数据的存储位置信息回 复给备份恢复代理装置A。
备份服务端装置C，用于支持备份恢复代理装置A完成备份、恢复和校 验操作。在备份时，接收终端101的数据，将数据写入存储装置102的存储
介质E中；恢复时，根据接收的恢复请求信息从存储介质E中读取备份数据， 加密后传送给备份恢复的终端101的备份恢复代理装置A;校验时，备份服 务端装置C根据接收的校验请求从存储介质E中读取备份数据，分块计算数
据的MD5值，分块的大小可以根据情况进行定义，例如可以定义为32K，每 个分块中的扇区号都是连续的，如果连续的扇区数据不足32K，则取实际大 小的数据计算MD5值，然后将数据块的起始扇区号、结束扇区号以及相应的 MD5值传送给备份恢复代理装置A;并且还对存储介质E中的备份数据定时进 行副本合并。
备份服务端装置C在处理备份请求时，如果存储装置102中备份数据副 本个数超过了指定的存放副本个数，将现有副本个数减去指定的存放副本个 数获得差值，该差值为超过副本个数n，将现有副本中时间最早的n+l个副 本进行合并，保证存储装置保持指定的副本个数；在处理恢复或者校验请求 时，如果一次恢复请求指定恢复多个时间点的备份数据，备份服务装置对多 个时间点的备份索引进行合并，生成一个合并索引，根据该索引读取备份数 据进行恢复或者校验。
集中控制装置D提供了配置系统信息的接口 ，并可根据用户的配置信息 管理系统中的其它装置。其中的配置信息，包括配置的任务信息、备份客户 端信息、用户信息、介质信息、备份数据信息以及系统参数等。通过向备份 恢复代理装置A发送任务来控制备份恢复代理装置A。触发集中控制装置D 发送任务的方式有多种，本实施方案中提供两种， 一种是调度计划触发，另 一种是手动触发。调度计划触发方式即集中控制装置D根据调度计划来确定 发动任务的时刻，当满足调度条件时，集中控制装置D将任务发送给任务对 应的备份恢复代理装置A;手动触发方式就是由用户直接发送指令，集中控 制装置D根据该指令向任务对应的备份恢复代理装置A发送任务。
图2所示为本发明的方法流程。
步骤S201，集中控制装置D向备份任务对应的终端101的备份恢复代理 装置A发送备份任务；备份恢复代理装置A接收该备份任务。
步骤S202，备份恢复代理装置A确定备份的数据量，向存储管理装置B 申请用于备份的存储资源。
步骤S203，存储管理装置B分配存储资源，并将分配的存储资源的信息
回复给备份恢复代理装置A。
步骤S204，备份恢复代理装置A获得分配的存储资源的信息后，读取终 端101的备份数据，将该备份数据发送给分配的存储资源的信息指定的存储 装置102的备份服务端装置C。
步骤S205，备份服务端装置C接收备份数据，将备份数据写到存储装置 102的存储介质E。
步骤S201和步骤S202之间还包括
步骤S211，在备份任务为增量备份时，备份恢复代理装置A判断增量监 控结果是否完整，如果是，则获取监控快照表，否则，向存储管理装置B询 问备份数据的存储位置。
步骤S212，存储管理装置B将备份数据的存储位置信息回复给备份恢复 代理装置A。
步骤S213，备份恢复代理装置A向存储装置102的备份服务端装置C发 送校验请求。
步骤S214，备份服务端装置C根据所述校验请求从存储装置102的存储 介质E读取备份数据，计算校验值。
步骤S215，备份服务端装置C将校验值发送给备份恢复代理装置A;备 份恢复代理装置A计算终端101的磁盘F上同所述备份数据对应的数据的校 验值，将两个校验值进行比较，将比较结果记录到校验快照表中。
步骤S221，集中控制装置D向恢复任务对应的终端101的备份恢复代理 装置A发送恢复任务，备份恢复代理装置A接收该恢复任务；
步骤S222，备份恢复代理装置A向存储管理装置B询问恢复数据的存储 位置。
步骤S223，存储管理装置B将查找到的恢复数据所在存储装置的信息回 复给备份恢复代理装置A。
步骤S224，备份恢复代理装置A向恢复数据所在存储装置102的备份服 务端装置C发送恢复请求，以获得恢复数据。
步骤S225，备份服务端装置C根据恢复请求从存储装置102的存储介质 E上读取恢复数据，
步骤S226，备份服务端装置C发送恢复数据给备份恢复代理装置A;备
份恢复代理装置A将接收的恢复数据写入终端101的磁盘F。
图3所示为备份恢复代理装置A的工作流程。备份恢复代理装置A负责
终端101上的备份、校验、恢复操作，备份恢复代理装置A的动作由集中控
制装置D集中控制，根据集中控制装置D发送的任务执行备份、校验或者恢
复操作，具体执行过程如下所示
歩骤A301，备份恢复代理装置A等待接收集中控制装置D发送的任务。 步骤A302，接收任务。
步骤A303，判断接收到任务的类型，如果是备份任务，执行步骤A304。 如果是恢复任务，执行步骤A316。
步骤A304，判断备份任务的类型，如果是全量备份，执行步骤A305，如 果是增量备份，执行步骤A306。
步骤A305，获取磁盘快照表。
步骤A306，判断是否执行过全量备份，如果没有执行过，执行步骤A305， 否则，执行步骤A307。
步骤A307，判断上次增量备份后系统是否停止过，如果没有停止过，执 行步骤A308，否则，执行步骤A309。
步骤A308，获取监控快照表。
步骤A309,执行校验过程，生成校验快照表。
歩骤A310，根据磁盘快照表、监控快照表、校验快照表，确定备份数据
步骤A311，向存储管理装置B发送备份指令，以申请备份存储资源。 步骤A312，向存储装置102的备份服务端装置C传送备份请求。 步骤A313，传送备份数据索引。 步骤A314，循环传送备份数据。 步骤A315，备份结束，返回步骤A301。
步骤A316，向存储管理装置B发送恢复指令，以获得备份数据的存储信
步骤A317，向存储装置102的备份服务端装置C发送恢复请求。
步骤A318，循环从存储装置102的存储介质E读取数据写到磁盘F上。
步骤A319，恢复结束，返回步骤A301。
图4所示为备份恢复代理装置A校验过程的工作流程图，当增量监控结 果不完整时，该过程用于保证增量数据的完整性，将当前的磁盘状态与存储 端最近一次备份点的数据状态进行比较，根据差异产生校验快照表，校验快
照表中为"1"的位表示该位对应的磁盘数据与存储介质E中的数据不同，需 要进行备份；反之，"0"表示同存储介质中数据相同，不需要进行备份。校
验过程的具体流程如下
步骤A401，向存储管理装置B发送校验指令，请求存放备份数据的存储 装置102的信息。
步骤A402，获取磁盘快照表。 步骤A403，将校验快照表清零。
步骤A404，向存储装置102的备份服务端装置C发出校验请求。
歩骤A405，接收校验数据，接收到的数据的格式为，起始扇区号，连续 的扇区个数和该段扇区数据的校验值。
步骤A406，判断校验数据在磁盘快照表中相应的位是否为1，如果为1， 则执行步骤A407;否则，执行步骤A405。其中，磁盘快照表中"1"表示对 应的磁盘扇区被使用；"0"表示对应的磁盘扇区没有被使用。
歩骤A407，从磁盘读取对应扇区的数据。
步骤A408，计算MD5校验值。
步骤A409，判断该值与接收到的校验数据中的校验值是否相等，如果相 等，执行步骤A411;否则，执行步骤A410。
步骤A410，将校验快照表中对应的位置为1。
步骤A411，判断校验数据是否传送完成，如果传送完成，则校验过程结 束；否则，执行歩骤A405。
图5所示为存储管理装置B的工作流程图，具体执行过程如下 歩骤B501 ，等待接收终端101的备份恢复代理装置A发送的指令。 步骤B502，接收指令。
步骤B503，判断指令类型，如果是备份，执行步骤B504;如果是校验， 执行步骤B509;如果是恢复，执行B510。
步骤B504，判断该终端101是否备份过，如果没有备份过，执行步骤B505; 如果备份过，执行步骤B506。
步骤B505，该终端101获取资源池中可用空间最大的存储介质E。 步骤B506，从资源池中获取该终端101上次备份使用的存储介质E。 歩骤B507，将分配存储资源信息传送给终端IOI。 步骤B508，修改资源池中存储介质E的存储资源信息； 步骤B509，査找存储该终端101最后一次备份数据的存储介质E。 步骤B510，査找终端101恢复数据所在的存储介质E。 步骤B511，将存储位置信息传送给发送指令的终端101。 存储管理装置B维护一个二维表，在步骤507中，记录备份数据和该备 份数据对应的存储装置102;在步骤510中，存储管理装置B査找二维表， 获得恢复数据对应的备份数据所在的存储装置102的信息，将该信息回复给 备份恢复代理装置A。
图6所示为备份服务端装置C的工作流程图，具体的操作过程如下所示 步骤C601，等待接收备份终端101的请求。 步骤C602，接收终端101请求。
步骤C603，判断请求类型，如果为备份请求，执行步骤C604-C609;如 果为校验请求，执行步骤C610-C615;如果为恢复请求，执行步骤C616-C621。 步骤C604，接收备份的全局信息。 步骤C605，接收备份扇区索引。 步骤C606，接收备份数据。 步骤C607，将数据放到备份的存储介质E。
歩骤C608，判断备份数据是否接收结束，如果结束，则执行步骤C609; 否则，执行步骤C606。
步骤C609，备份结束，清理资源。
步骤C610，接收校验全局信息。
步骤C611，根据恢复时间点合并生成新的数据索引。
步骤C612，基于新的数据索引，读取数据，分段计算校验值。
步骤C613，将扇区段索引和校验值发送给终端IOI。
步骤C614，判断是否读取完成，如果完成，则执行步骤C615;否则，执 行步骤C612。
步骤C615，校验结束，清理资源。
步骤C616，接收恢复全局信息。 步骤C617，根据恢复时间点合并生成新的数据索引。 步骤C618,基于新的数据索引，读取数据。 步骤C619，将扇区段索引和扇区数据返回给终端101。 步骤C620，判断是否恢复结束，如果结束，则执行步骤C621;否则，执 行歩骤C618。
步骤C621，恢复结束，清理资源。
图7所示为集中控制装置D自动调度任务的过程，具体流程如下所示 歩骤D701，读取配置信息，建立任务列表。 步骤D702，开始检查任务列表。
歩骤D703，判断任务列表中是否还有未检查的任务，如果有，执行步骤 D704;否则，执行步骤D707。 步骤D704，取出一个任务。
歩骤D705，判断该任务是否满足调度条件，如果满足，执行步骤D706; 否则，执行步骤D703。
歩骤D706，将该任务发送给指定的备份恢复代理装置A。 歩骤D707，等待一段时间，准备下一次检査。
本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条 件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限 于以上的说明，而是由权利要求书的范围来确定的。
权利要求
1. 一种磁盘级网络数据备份的方法，其特征在于，包括步骤1，集中控制装置向备份任务对应的终端的备份恢复代理装置发送所述备份任务，所述备份恢复代理装置接收所述备份任务；步骤2，所述备份恢复代理装置根据所述备份任务确定待备份数据的数据量，根据所述待备份数据的数据量向存储管理装置申请用于备份所述待备份数据的存储资源；步骤3，所述存储管理装置分配所述存储资源，并将分配的存储资源的信息回复给所述备份恢复代理装置；步骤4，所述备份恢复代理装置获得所述分配的存储资源的信息后，读取所述终端的备份数据，将所述备份数据发送给存储装置中的备份服务端装置，所述存储装置为所述分配的存储资源的信息所指定的存储装置；步骤5，所述备份服务端装置接收所述备份数据，将所述备份数据写到所述存储装置的存储介质。
2. 如权利要求l所述的磁盘级网络数据备份的方法，其特征在于，所述 步骤5后还包括步骤21，所述集中控制装置向恢复任务对应的终端的备份恢复代理装置 发送所述恢复任务，所述备份恢复代理装置接收所述恢复任务；步骤22，所述备份恢复代理装置向所述存储管理装置询问所述恢复数据 的存储位置；步骤23，所述存储管理装置查找到所述恢复数据在某一个或多个存储装 置中有对应的备份数据，将所述存储装置的信息回复给所述备份恢复代理装 置；步骤24，所述备份恢复代理装置向所述恢复数据所在存储装置的备份 服务端装置发送恢复请求，以获得恢复数据；步骤25，所述备份服务端装置根据所述恢复请求从所述存储装置的存储 介质上读取恢复数据，并发送给所述备份恢复代理装置；步骤26，所述备份恢复代理装置将接收的恢复数据写入所述终端的磁盘。
3. 如权利要求1所述的磁盘级网络数据备份的方法，其特征在于，所述步骤1和所述步骤2之间还包括步骤31，在所述备份任务为增量备份时，所述备份恢复代理装置判断增 量监控结果是否完整，如果是，则获取监控快照表，否则，向所述存储管理 装置询问备份数据的存储位置；步骤32，所述存储管理装置将备份数据所在存储装置的信息回复给所述 备份恢复代理装置；步骤33，所述备份恢复代理装置向所述存储装置的备份服务端装置发送 校验请求；步骤34，所述备份服务端装置根据所述校验请求从所述存储装置的存储 介质读取备份数据，计算校验值，将所述校验值发送给所述备份恢复代理装 置；步骤35，所述备份恢复代理装置计算所述终端的磁盘上同所述备份数据 对应的数据的校验值，将两个校验值进行比较，将比较结果记录到校验快照 表中。
4. 如权利要求3所述的磁盘级网络数据备份的方法，其特征在于， 所述步骤31中所述备份恢复代理装置判断增量监控结果是否完整进一步为所述备份恢复代理装置判断最后一次增量备份后，所述终端是否未停止 过，如果是，则所述增量监控结果完成，否则，所述增量监测结果不完整；所述歩骤32进一步为所述存储管理装置将査找到的最后一次备份所用 的存储装置的信息回复给所述备份恢复代理装置。
5. 如权利要求3所述的磁盘级网络数据备份的方法，其特征在于，所述 步骤1和所述2之间还包括歩骤51，在所述备份任务为全量备份时，所述备份恢复代理装置获取磁 盘快照表。
6. 如权利要求5所述的磁盘级网络数据备份的方法，其特征在于， 所述步骤2中所述确定备份的数据量进一步为根据所述监控快照表、所述校验快照表、或所述磁盘快照表确定备份的数据量。
7. 如权利要求1所述的磁盘级网络数据备份的方法，其特征在于，所述 步骤1中集中控制装置向备份任务对应的终端的备份恢复代理装置发送所述 备份任务进一步为， 步骤71，读取配置信息，建立任务列表；步骤72，逐条检查所述任务列表中的任务，在被检査的任务满足调度条 件，并且所述任务为备份任务时，向所述任务对应的终端的备份恢复代理装 置发送所述任务。
8. 如权利要求2所述的磁盘级网络数据备份的方法，其特征在于，所述 步骤21中所述集中控制装置向恢复任务对应的终端的备份恢复代理装置发 送所述恢复任务进一步为，歩骤81，读取配置信息，建立任务列表；步骤82，逐条检查所述任务列表中的任务，在被检査的任务满足调度条 件，并且所述任务为恢复任务时，向所述任务对应的终端的备份恢复代理装 置发送所述任务。
9. 如权利要求1所述的磁盘级网络数据备份的方法，其特征在于，所述步骤3中的所述存储管理装置分配存储资源进一步为步骤91，所述存储管理装置判断所述终端是否没有进行过备份，如果是， 则分配空间最大的存储介质作为所述终端的存储资源；否则，分配所述终端 上次备份使用的存储介质作为所述终端的存储资源。
10. 如权利要求1所述的磁盘级网络数据备份的方法，其特征在于，所述 歩骤5中还包括步骤101，所述备份服务端装置判断所述存储装置中备份数据的副本是 否超出预设的存放副本个数，如果是，则将所述存储装置中的副本个数减去 预设的存放副本个数获得差值，差值为n，将所述存储装置的副本中n+l个 时间最早的备份数据的副本进行合并，以保证所述存储装置保持指定的副本 个数。
11. 如权利要求2所述的磁盘级网络数据备份的方法，其特征在于，所述 步骤25中根据所述恢复请求从所述存储装置的存储介质上读取恢复数据进 一步为，步骤111,对所述恢复请求指定的恢复时间点的数据索引进行合并，生 成新数据索引，根据所述新数据索引从所述存储装置的存储介质上读取恢复 数据。
12. 如权利要求3所述的磁盘级网络数据备份的方法，其特征在于，所述 步骤34中所述备份服务端装置根据所述校验请求从所述存储装置的存储介 质读取备份数据进一步为，步骤121，对所述校验请求指定的恢复时间点的数据索引进行合并，生 成新数据索引，根据所述新数据索引从所述存储装置的存储介质上读取备份 数据。
13. 如权利要求2所述的磁盘级网络数据备份的方法，其特征在于， 所述步骤3还包括，所述存储管理装置维护一个二维表，记录备份数据和所述备份数据对应的存储装置；所述步骤23进一步为，所述存储管理装置查找所述二维表，获得所述恢 复数据对应的备份数据所在的存储装置的信息，将所述存储装置的信息回复 给所述备份恢复代理装置。
14. 一种磁盘级网络数据备份的系统，包括多个终端和用于连接所述系 统中装置的通信网络，所述终端包括磁盘，其特征在于，所述终端还包括备 份恢复代理装置，所述系统还包括集中控制装置、存储管理装置和多个存 储装置，所述存储装置包括用于存储备份数据的存储介质和备份服务端装置，所述集中控制装置，用于向备份任务对应的终端的备份恢复代理装置发 送所述备份任务；所述备份恢复代理装置，用于在接收到所述集中控制装置向其发送的备 份任务后，根据所述备份任务确定待备份数据的数据量，根据所述待备份数 据的数据量向存储管理装置申请用于备份所述待备份数据的存储资源；在获 得所述存储管理装置分配的存储资源的信息后，读取所属终端的备份数据， 将所述备份数据发送给存储装置中的备份服务端装置，所述存储装置为所述 分配的存储资源的信息所指定的存储装置；所述存储管理装置，用于为备份分配所述存储资源，并将分配的存储资 源的信息回复给申请存储资源的备份恢复代理装置；所述备份服务端装置，用于接收备份恢复代理装置向其发送的备份数据， 将所述备份数据写到所属存储装置的存储介质。
15. 如权利要求14所述的磁盘级网络数据备份的系统，其特征在于，所述集中控制装置，还用于向恢复任务对应终端的备份恢复代理装置发 送所述恢复任务； 所述备份恢复代理装置，还用于在接收到所述集中控制装置的恢复任务时，向所述存储管理装置询问恢复数据的存储位置；在接收到所述存储管理 装置回复的所述恢复数据所在存储装置的信息后，向所述恢复数据所在存储 装置的备份服务端装置发送恢复请求，以获得恢复数据；将接收的所述备份 服务端装置向其发送的恢复数据写入所属终端的磁盘；所述存储管理装置，还用于在査找到所述恢复数据在某一个或多个存储 装置中有对应的备份数据后，将所述存储装置的信息回复给所述备份恢复代 理装置；所述备份服务端装置，还用于根据备份恢复代理装置向其发送的恢复请 求，从所属存储装置的存储介质上读取恢复数据，并发送给所述备份恢复代 理装置。
16. 如权利要求14所述的磁盘级网络数据备份的系统，其特征在于， 所述备份恢复代理装置，还用于在所述备份任务为增量备份时，判断增量监控结果是否完整，如果是，则获取监控快照表；否则，向所述存储管理 装置询问备份数据的存储位置，在接收到所述存储管理装置回复的存储装置 的信息后向所述存储装置的备份服务端装置发送校验请求，在接收到备份服 务端装置向其发送的检验值后，计算所属终端的磁盘上同所述备份数据对应 的数据的校验值，将两个校验值进行比较，将比较结果记录到校验快照表中；所述存储管理装置，还用于将査找到的备份数据所在存储装置的信息回 复给所述备份恢复代理装置；所述备份服务端装置，还用于根据备份恢复代理装置向其发送的校验请 求，从所属存储装置的存储介质读取备份数据，计算校验值，将所述校验值 发送给所述备份恢复代理装置。
17. 如权利要求16所述的磁盘级网络数据备份的系统，其特征在于， 所述备份恢复代理装置，进一步用于在判断所述增量监控结果是否完整时，判断最后一次增量备份后，所述终端是否未停止过，如果是，则所述备 增量监控结果完整，否则，所述增量监控结果不完整；所述存储管理装置，进一步用于将査找到的最后一次备份所用的存储装 置的信息回复给所述备份恢复代理装置。
18. 如权利要求16所述的磁盘级网络数据备份的系统，其特征在于， 所述备份恢复代理装置，还用于在所述备份任务为全量备份时，获取磁 盘快照表。
19. 如权利要求18所述的磁盘级网络数据备份的系统，其特征在于， 所述备份恢复代理装置进一步用于根据所述监控快照表、所述校验快照表、或所述磁盘快照表确定备份的数据量。
20. 如权利要求14所述的磁盘级网络数据备份的系统，其特征在于，所 述集中控制装置进一步用于读取配置信息，建立任务列表；逐条检査所述任 务列表中的任务，在被检查的任务满足调度条件，并且所述任务为备份任务 时，向所述任务对应的终端的备份恢复代理装置发送所述任务。
21. 如权利要求15所述的磁盘级网络数据备份的系统，其特征在于，所 述集中控制装置进一步用于读取配置信息，建立任务列表；逐条检査所述任 务列表中的任务，在被检查的任务满足调度条件，并且所述任务为恢复任务 时，向所述任务对应的终端的备份恢复代理装置发送所述任务。
22. 如权利要求14所述的磁盘级网络数据备份的系统，其特征在于，所述存储管理装置进一步用于在分配存储资源时，判断进行备份的终端是否没 有进行过备份，如果是，则分配空间最大的存储介质作为所述终端的存储资 源；否则，分配所述终端上次备份使用的存储介质作为所述终端的存储资源。
23. 如权利要求14所述的磁盘级网络数据备份的系统，其特征在于，所 述备份服务端装置，还用于判断所述存储装置中备份数据的副本是否超出预 设的存放副本个数，如果是，则将所述存储装置中的副本个数减去预设的存 放副本个数获得差值，差值为n，将所述存储装置的副本中n个时间最早的 备份数据的副本进行合并，以保证所述存储装置保持指定的副本个数。
24. 如权利要求15所述的磁盘级网络数据备份的系统，其特征在于，所 述备份服务端装置进一步用于在根据接收的恢复请求从所属存储装置的存储 介质上读取恢复数据时，对所述恢复请求指定的恢复时间点的数据索引进行 合并，生成新数据索引，根据所述新数据索引从所述存储装置的存储介质上 读取恢复数据。
25. 如权利要求16所述的磁盘级网络数据备份的系统，其特征在于，所 述备份服务端装置进一步用于在根据接收的校验请求从所述存储装置的存储 介质读取备份数据时，对所述校验请求指定的恢复时间点的数据索引进行合并，生成新数据索引，根据所述新数据索引从所述存储装置的存储介质上读 取备份数据。
26.如权利要求15所述的磁盘级网络数据备份的系统，其特征在于， 所述存储管理装置还用于维护一个二维表，记录备份数据和所述备份数据对应的存储装置；在确定恢复数据所在存储装置时，查找所述二维表，获 得所述恢复数据对应的备份数据所在的存储装置的信息，将所述存储装置的 信息回复给所述备份恢复代理装置。
全文摘要
本发明涉及磁盘级网络数据备份的方法和系统，方法包括步骤1，集中控制装置向备份任务对应的终端的备份恢复代理装置发送备份任务，备份恢复代理装置接收备份任务；步骤2，备份恢复代理装置确定备份的数据量，向存储管理装置申请用于备份的存储资源；步骤3，存储管理装置分配存储资源，并将存储资源的信息回复给备份恢复代理装置；步骤4，备份恢复代理装置获得存储资源的信息后，读取备份数据，将备份数据发送给指定的存储装置的备份服务端装置；步骤5，备份服务端装置接收备份数据，将备份数据写到存储装置的存储介质。本发明能够对采用任何业务应用类型的终端进行数据备份和恢复，降低备份系统的建设成本，提高了传输的效率。
文档编号H04L29/08GK101394424SQ20081022494
公开日2009年3月25日 申请日期2008年10月27日 优先权日2008年10月27日
发明者云晓春, 吴广君, 李书豪, 王树鹏 申请人:中国科学院计算技术研究所