一种数据处理方法以及备份服务器与流程

文档序号:12120296阅读:388来源:国知局
一种数据处理方法以及备份服务器与流程

本申请涉及计算机领域,尤其涉及一种数据处理方法以及备份服务器。



背景技术:

随着信息技术(英文全称:information technology,简称:IT)的不断发展,越来越多的企业将其数据中心的IT基础设施改造为虚拟化和云化环境,从而利用虚拟化技术提供计算资源的使用效率,实现弹性计算系统架构。在云计算/虚拟化环境中,为避免由于人为误删除或系统故障导致的虚拟机数据丢失,一般会引入备份系统对虚拟机进行数据备份,将虚拟机数据备份到第三方的备份存储设备上。虚拟机数据恢复的时候,需要将之前备份的数据从备份存储上恢复到生产环境中。

近年来出现一种虚拟机即时恢复技术,实现过程为将备份数据模拟为网络文件系统(英文全称:Network File System,简称:NFS)共享,将该NFS共享挂载到生产环境主机并创建为NFS数据存储(英文全称:Data Store),然后在生产环境上注册NFS Data Store中的虚拟机,最后就可以直接运行NFS DataStore中的虚拟机,上述NFS DataStore挂载及创建和虚拟机注册动作完成之后,就可以直接启动要恢复的虚拟机。由于NFS Data Store设置为非持久化存储,即时恢复出来的虚拟机进行读写操作时写入的数据保存在NFS DataStore的临时存储空间中。业界备份服务器一般采用多节点分布式架构,可靠性上具备任务失效切换机制Failover,任务失败后会自动切换到另外一个备份节点上重新执行。

现有技术方案是在备份节点上模拟出的NFS共享,即对外提供NFS共享服务的地址为备份节点的互联网协议(英文全称:Internet Protocol,简称:IP)地址。一旦发生备份任务的故障切换,即备份任务自身的执行失败故障,之前的NFS共享服务会中断。这样会导致在即时恢复任务故障后,切换到另外一个备份节点重新执行后,之前的即时恢复任务已经传输的恢复数据不支持断点续传,只能全部重新重头开始恢复。



技术实现要素:

本申请实施例提供了一种数据处理方法以及备份服务器,用于在即时恢复任务在进行切换之后,可以保证数据断点续传。

第一方面,本申请实施例提供一种数据处理方法,包括:

该数据处理方法用于备份服务器,该备份服务器包括管理节点,第一备份节点,第二备份节点;其中该第一备份节点为正在执行即时恢复任务的执行节点,该第二备份节点为在该即时恢复任务发生故障后,继续执行该即时恢复任务的执行节点。而该数据处理方法具体包括如下步骤:该第一备份节点将备份数据虚拟为块存储设备,并根据该备份数据携带的虚拟机的规格创建目标虚拟机;该第一备份节点为该备份数据虚拟生成的块存储设备标识全求标识名称(英文全称:World Wide Name,简称:WWN);该管理节点获取并保存该目标虚拟机的标识和该WWN;在该备份服务器运行期间,当该管理节点确定该即时恢复任务发生故障时,该管理节点向该第二备份节点发送执行该即时恢复任务的执行指令;该第二备份节点在接收到该执行指令之后,该第二备份节点获取临时数据存储Data Storer的标识、该WWN和该目标虚拟机的标识,该临时Data Storer为预告设置;该第二备份节点将该备份数据虚拟为该块存储设备,并为该块存储设备标识该WWN;该第二备份节点根据该块存储设备、该临时Data Storer的标识以及该目标虚拟机的标识执行该即时恢复任务。

本申请实施例中,该第一备份节点在获取该备份数据之前,该备份服务器从备份存储空间中确定备份数据,并选择用于存储临时数据的临时Data Storer和用于恢复虚拟机的目标Data Storer。该临时Data Storer的标识和该目标Data Storer的标识预先存储在该备份服务器的管理节点。该备份服务器的管理节点通过负载均衡机制确定首先执行即时恢复任务的该第一备份节点,并向该第一备份节点发送执行即时恢复任务的指令。该第一备份节点获取该备份服务器确定的备份数据的元数据进行校验,在校验通过之后,该第一备份节点才可以获取到该备份数据。

本申请实施例提供的技术方案中,该第二备份节点与该第一备份节点为块存储设备标识相同的WWN,即该第二备份节点与该第一备份节点使用的块存储设备相同,同时该第二备份节点与该第一备份节点使用相同的临时Data Storer和目标虚拟机,因此该第二备份节点在执行即时恢复任务时,可以保证在该第一备份节点的基础上继续执行该即时恢复任务,即保证可以断点续传。

可选的,该数据处理方法还包括如下方案:该第一备份节点将该块存储设备以原始设备映射(英文全称:Raw Device Mapping,简称:RDM)的方式挂载给该目标虚拟机,并在该临时Data Storer生成虚拟机VM磁盘文件;该第一备份节点将该VM磁盘文件由该临时Data Storer迁移到预先设置目标数据存储Data Storer。

本申请实施例提供的技术方案中,该第一备份节点利用生产环境虚拟化平台的数据迁移能力将备份数据迁移至目标Data Storer中完成即时恢复。

可选的,该数据处理方法还包括如下方案:该第一备份节点利用快照技术为该目标虚拟机生成快照文件,并在该临时Data Storer生成变更虚拟机Delta VM磁盘文件;该第一备份节点将该Delta VM磁盘文件由该临时Data Storer迁移到该目标Data Storer。

本申请实施例提供的技术方案中,该第一备份节点利用生产环境虚拟化平台的数据迁移能力以及快照技术将即时恢复任务中产生的读写数据迁移到该目标Data Storer,从而防止该读写数据丢失。

可选的,该数据处理方法还包括如下方案:该第一备份节点将该块存储设备以原始设备映射RDM的方式挂载给该目标虚拟机,并在该临时Data Storer生成虚拟机VM磁盘文件;该第一备份节点利用快照技术为该目标虚拟机生成快照文件,并在该临时Data Storer生成变更虚拟机Delta VM磁盘文件;该第一备份节点将该VM磁盘文件和该Delta VM磁盘文件由该临时Data Storer迁移到该目标Data Storer。

本申请实施例提供的技术方案中,该第一备份节点利用生产环境虚拟化平台的数据迁移能力将备份数据迁移至目标Data Storer中完成即时恢复。同时该第一备份节点利用生产环境虚拟化平台的数据迁移能力以及快照技术将即时恢复任务中产生的读写数据迁移到该目标Data Storer,从而防止该读写数据丢失。

可选的,该第一备份节点在将该VM磁盘文件和该Delta VM磁盘文件由该临时Data Storer迁移到该目标Data Storer之后,该第一备份节点删除该快照文件,该目标Data Storer将该VM磁盘文件和该Delta VM磁盘文件合并。

本申请实施例提供的技术方案中,可以有效的节省存储空间。

第二方面,本申请实施例提供了一种备份服务器,该备份服务器具有实现上述方法中备份服务器的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。该备份服务器包括:

该第一备份节点,用于将备份数据虚拟为块存储设备,并根据该备份数据携带的虚拟机的规格创建目标虚拟机;为该块存储设备标识全球标识名称WWN;

该管理节点,用于获取并保存该目标虚拟机的标识和该WWN;当确定该即时恢复任务发生故障时,向该第二备份节点发送执行该即时恢复任务的执行指令;

该第二备份节点,用于获取临时数据存储Data Storer的标识,该WWN和该目标虚拟机的标识,该临时Data Storer为预先设置;将该备份数据虚拟为该块存储设备,并为该块存储设备标识该WWN;根据该块存储设备,该临时Data Storer的标识以及该目标虚拟机的标识执行该即时恢复任务。

第三方面,本申请实施例提供一种计算机存储介质,该计算机存储介质中存储有程序代码,该程序代码用于指示执行上述第一方面或第二方面的方法。

从以上技术方案可以看出,本申请实施例具有以下优点:该第二备份节点与该第一备份节点为块存储设备标识相同的WWN,即该第二备份节点与该第一备份节点使用的块存储设备相同,同时该第二备份节点与该第一备份节点使用相同的临时Data Storer和目标虚拟机,因此该第二备份节点在执行即时恢复任务时,可以保证在该第一备份节点的基础上继续执行该即时恢复任务,即保证可以断点续传。

附图说明

图1为本申请实施例中数据处理方法的系统框架图;

图2为本申请实施例中数据处理方法的一个实施例示意图;

图3为本申请实施例中备份服务器的一个实施例示意图。

具体实施方式

本申请实施例提供了一种数据处理方法以及备份服务器,用于在即时恢复任务在进行切换之后,可以保证数据断点续传。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参考图1所示的数据处理系统框架图,该数据处理系统框架中包括备份服务器,备份存储,生产环境,以及生产存储。其中,备份服务器包括管理节点,第一备份节点,第二备份节点,第三备份节点。可以理解的是,该备份服务器可以包括多个备份节点,不仅仅是图中所画出的三个备份节点。各个备份节点为数据处理系统中的备份执行节点,提供备份恢复任务执行功能。该管理节点提供数据处理系统的备份管理和系统管理等功能;同时负责数据处理系统中备份恢复任务的调度,提供任务调度负载均衡和故障切换能力。备份存储负责存储生产环境中虚拟机的备份数据。生产环境负责承载用户的生产业务,通常采用虚拟化基础设施架构,即包括主机以及主机上的多个虚拟机。生产存储负责存储生产环境中生产业务数据。

该备份服务器中的各个备份节点采用多节点分布式架构,可靠性上具备任务Failover机制,即当前备份节点上任务失败后,该任务会自动切换到另一个备份节点上重新执行。而目前的虚拟机即时恢复技术中,该备份节点上模拟出的NFS共享,即对外提供NFS共享服务的地址为备份节点的互联网协议(英文全称:Internet Protocol,简称:IP)地址。一旦发生备份任务的故障切换,即备份任务自身的执行失败故障,之前的NFS共享服务会中断。这样会导致在即时恢复任务故障后,切换到另外一个备份节点重新执行后,之前的即时恢复任务已经传输的恢复数据不支持断点续传,只能全部重新重头开始恢复。

为了解决这一问题,本申请实施例提供了如下解决方案:该第一备份节点将备份数据虚拟为块存储设备,并根据该备份数据携带的虚拟机的规格创建目标虚拟机;该第一备份节点为该备份数据虚拟生成的块存储设备标识WWN;该管理节点获取并保存该目标虚拟机的标识和该WWN;在该备份服务器运行期间,当该管理节点确定该即时恢复任务发生故障时,该管理节点向该第二备份节点发送执行该即时恢复任务的执行指令;该第二备份节点在接收到该执行指令之后,该第二备份节点获取临时数据存储Data Storer的标识、该WWN和该目标虚拟机的标识,该临时Data Storer为预告设置;该第二备份节点将该备份数据虚拟为该块存储设备,并为该块存储设备标识该WWN;该第二备份节点根据该块存储设备、该临时Data Storer的标识以及该目标虚拟机的标识执行该即时恢复任务。

具体请参阅图2所示,本申请实施例中一种数据处理方法的一个实施例,包括:

201、第一备份节点将备份数据虚拟为块存储设备,并根据该备份数据携带的虚拟机的规格创建目标虚拟机。

该第一备份节点作为当前即时恢复任务的执行节点,在接收到执行虚拟机即时恢复任务的指令之后,该第一备份节点从备份存储中获取到备份数据,并将获取到的该备份数据虚拟为块存储设备;另外该第一备份节点根据该备份数据中携带的虚拟机的规格创建一个新的目标虚拟机。该虚拟机的规格包括CPU型号,内存的大小以及硬盘的大小。比如该备份数据中携带的虚拟机的规格为CPU为2核,内存为3.5千兆字节(英文全称:gigabyte,简称:GB),硬盘为500GB,则该第一备份节点创建的该目标虚拟机的规格为CPU为2核,内存为3.5GB,硬盘为500GB。

在实际应用中,该第一备份节点可以基于开源软件tgt、lio或scst将该备份数据虚拟为块存储设备,具体采用何种方式,此处不做限定。

可以理解的是,本申请实施例中,该第一备份节点在获取该备份数据之前,该备份服务器从备份存储中确定备份数据,并选择用于存储临时数据的临时数据存储Data Storer和用于恢复虚拟机的目标Data Storer。该临时Data Storer的标识和该目标Data Storer的标识预先存储在该备份服务器的管理节点。该备份服务器的管理节点通过负载均衡机制确定首先执行即时恢复任务的该第一备份节点,并向该第一备份节点发送执行即时恢复任务的指令。该第一备份节点获取该备份服务器确定的备份数据的元数据进行校验,在校验通过之后,该第一备份节点才可以获取到该备份数据。比如,该备份存储中存在备份数据A,备份数据B,备份数据C,该备份数据A携带的虚拟机的规格为默认规格;该备份服务器中有第一备份节点,第二备份节点,第三备份节点。若该备份服务器需要进行即时恢复任务,且该备份服务器确定备份数据A作为即时恢复的备份数据,在生产存储空间中确定了临时Data Storer的地址以及目标Data Storer的地址。该管理节点在确定该第一备份节点作为执行该即时恢复任务的执行节点之后,该第一备份节点会获取该临时Data Storer的地址和该目标Data Storer的地址;该第一备份节点也将获取该备份数据A的元数据并进行完整性校验。若该第一备份节点确定该备份数据A完整,则该第一备份节点获取该备份数据A。该第一备份节点根据该备份数据A携带的虚拟机的规格(即默认规格)在生产环境创建一个目标虚拟机,该目标虚拟机的规格为默认规格。该第一备份节点将该备份数据A虚拟为块存储设备A。

202、该第一备份节点为该块存储设备标识WWN。

该第一备份节点在将备份数据虚拟为该块存储设备之后,为该块存储设备标注WWN。

本申请实施例中,该第一备份节点会给块存储设备A标注WWN。

203、该第一备份节点将该WWN和该目标虚拟机的标识发送给该管理节点。

该第一备份节点将块存储设备的WWN与该第一备份节点创建的目标虚拟机的标识发送给该管理节点。

本申请实施例中,该第一备份节点将块存储设备A的WWN和该目标虚拟机的标识发送给该管理节点。

在实际的正常的即时恢复任务中,该第一备份节点在创建好该目标虚拟机之后,该第一备份节点就可以将该块存储设备以原始设备映射的方式挂载在该目标虚拟机上进行虚拟机的即时恢复任务,同时该第一备份节点将产生的临时数据生成虚拟机磁盘文件并将该虚拟机磁盘文件存储在该临时Data Storer中;然后该第一备份节点将该虚拟机磁盘文件迁移到目标Data Storer进行存储,从而完成即时恢复任务。可选的,该第一备份节点还可以将该目标虚拟机中的数据通过快照技术生成快照文件,并根据该临时Data Storer的标识进行存储,生成为变更虚拟机磁盘文件,然后将该变更虚拟机磁盘文件迁移到目标目标Data Storer进行存储。可选的,该第一备份节点也可以在迁移完成之后将生成的快照文件进行删除。在实际应用中,该快照文件可以删除也可以不删除,具体情况此处不做限定。

204、该管理节点将该WWN和该目标虚拟机的标识进行保存。

该管理节点在接收到该WWN和该目标虚拟机的标识之后,将该WWN与该目标虚拟机的标识进行保存。

205、当该管理节点确定该即时恢复任务出现故障时,该管理节点向第二备份节点发送执行该即时恢复任务的指令。

该管理节点在实际运行期间将会定期的监控该即时恢复任务的进度和实时状态,若该管理节点检测到该即时恢复任务的实时状态显示该即时恢复任务出现故障(比如该第一备份节点掉电、重启等或者访问备份存储失败、从生产环境读取数据失败等),则该管理节点通过负载均衡机制确定该第二备份节点为执行该即时恢复任务的执行节点,并向该第二备份节点发送执行该即时恢复任务的指令。

206、该管理节点向该第二备份节点发送该WWN和该目标虚拟机的标识,以及临时Data Storer的标识。

该管理节点在确定了该第二备份节点为该即时恢复任务的执行节点之后,该管理节点向该第二备份节点发送该WWN和该临时Data Storer的标识。

207、该第二备份节点将该备份数据虚拟为该块存储设备,并为该块存储设备标识该WWN。

该第二备份节点在接收到该管理节点发送的执行该即时恢复任务的指令之后获取该备份数据,然后该第二备份节点将该备份数据虚拟为该块存储设备,并为该块存储设备标识该WWN。

本申请实施例中,该第二备份节点在获取该备份数据之前,该管理节点将该备份数据的信息、该目标虚拟机的标识、该临时Data Storer的标识和该目标Data Storer的标识发送给该第二备份节点。该第二备份节点获取该备份数据的元数据进行校验,在校验通过之后,该第二备份节点才可以获取到该备份数据。比如在该管理节点在确定该第二备份节点作为继续执行该即时恢复任务的执行节点之后,该第二备份节点获取该临时Data Storer的地址和该目标Data Storer的地址;该第二备份节点还获取该备份数据A的元数据并进行完整性校验。若该第二备份节点确定该备份数据A完整,则该第二备份节点获取该备份数据A。该第二备份节点还需要基于开源软件tgt、lio或scst将该备份数据A虚拟为块存储设备A。

208、该第二备份节点利用该块存储设备、该临时Data Storer的标识和该目标虚拟机的标识执行该即时恢复任务。

该第二备份节点获取该块存储设备之后,该第二备份节点利用该目标虚拟机的标识以及该临时Data Storer的标识执行该即时恢复任务。

本申请实施例中,该第二备份节点将临时数据存储在该临时Data Storer中,该第二备份节点将该目标虚拟机作为生产环境中的虚拟机进行工作。该第二备份节点在正常执行该即时恢复任务时,执行的步骤与该第一备份节点在正常执行该即时恢复任务的步骤相同,此处不再赘述。

本申请实施例中,该第二备份节点与该第一备份节点为块存储设备标识相同的WWN,即该第二备份节点与该第一备份节点使用的块存储设备相同,同时该第二备份节点与该第一备份节点使用相同的临时Data Storer和目标虚拟机,因此该第二备份节点在执行即时恢复任务时,可以保证在该第一备份节点的基础上继续执行该即时恢复任务,即保证可以断点续传。

上面对本申请实施例中的数据处理方法进行了描述,下面对本申请实施例中的备份服务器进行描述。

具体请参阅图3,本申请实施例中的备份服务器300的一个实施例,包括:该第一备份节点301,用于将备份数据虚拟为块存储设备,并根据该备份数据携带的虚拟机的规格创建目标虚拟机;为该块存储设备标识全球标识名称WWN;

该管理节点302,用于获取并保存该目标虚拟机的标识和该WWN;当确定该即时恢复任务发生故障时,向该第二备份节点发送执行该即时恢复任务的执行指令;

该第二备份节点303,用于获取临时数据存储Data Storer的标识,该WWN和该目标虚拟机的标识,该临时Data Storer为预先设置;将该备份数据虚拟为该块存储设备,并为该块存储设备标识该WWN;根据该块存储设备,该临时Data Storer的标识以及该目标虚拟机的标识执行该即时恢复任务。

可选的,所述第一备份节点301,还用于将所述块存储设备以原始设备映射RDM的方式挂载给所述目标虚拟机,并在所述临时Data Storer生成虚拟机VM磁盘文件;将所述VM磁盘文件由所述临时Data Storer迁移到目标数据存储Data Storer,所述目标Data Storer为预先设置。

可选的,所述第一备份节点301,还用于利用快照技术为所述目标虚拟机生成快照文件,并在所述临时Data Storer生成变更虚拟机Delta VM磁盘文件;将所述Delta VM磁盘文件由所述临时Data Storer迁移到所述目标Data Storer。

可选的,所述第一备份节点301,还用于将所述块存储设备以原始设备映射RDM的方式挂载给所述目标虚拟机,并在所述临时Data Storer生成虚拟机VM磁盘文件;利用快照技术为所述目标虚拟机生成快照文件,并在所述临时Data Storer生成变更虚拟机Delta VM磁盘文件;将所述VM磁盘文件和所述Delta VM磁盘文件由所述临时Data Storer迁移到所述目标Data Storer。

可选的,所述第一备份节点,还用于删除所述快照文件。

本申请实施例中,该第二备份节点303与该第一备份节点301为块存储设备标识相同的WWN,即该第二备份节点303与该第一备份节点301使用的块存储设备相同,同时该第二备份节点303与该第一备份节点301使用相同的临时Data Storer和目标虚拟机,因此该第二备份节点303在执行即时恢复任务时,可以保证在该第一备份节点301的基础上继续执行该即时恢复任务,即保证可以断点续传。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1