数据备份方法、装置、设备、存储介质及程序产品与流程

文档序号:25543644发布日期:2021-06-18 20:40
数据备份方法、装置、设备、存储介质及程序产品与流程

本申请实施例涉及物联网技术领域,尤其涉及一种数据备份方法、装置、设备、存储介质及程序产品



背景技术:

随着5g及数字经济的发展,各行各业的信息系统建设水平在快速的提高,it信息技术服务与各项业务深度结合,各单位系统的数据呈现爆炸式增长。

对于企业而言,自身源源不断生产出来的数据其实是企业最宝贵的核心资产,如何保护数据的安全避免数据丢失对企业来说至关重要,对企业的it技术提出了更高的要求。

传统备份产品只能在数据中心安装使用,备份数据基于磁带格式存储,需要先拷贝恢复到磁盘阵列上之后才能使用,恢复时间为小时级到天级,与备份数据量成正比,因此必须周期性进行重复的全量备份,数据备份耗时,且基于磁带格式的存储方式,扩展性较差,当数据备份的设备出现故障时,将导致数据无法回复。



技术实现要素:

本申请实施例提供一种数据备份方法、装置、设备、存储介质及程序产品,通过云端备份、数据冗余机制进行数据备份,提高了数据备份的效率、灵活性和安全性,且云端存储可扩展性强。

第一方面,本申请实施例提供一种数据备份方法,包括:

获取系统数据,并生成所述系统数据的第一备份数据,其中,所述第一备份数据与所述系统数据的数据格式一致;生成所述第一备份数据的多份冗余备份数据,并存储各个所述冗余备份数据;生成所述多份冗余备份数据的共享访问链接,以基于所述共享访问链接访问所述冗余备份数据。

可选地,生成所述系统数据的第一备份数据,包括:

基于永久增量合成技术,生成所述系统数据的第一备份数据。

可选地,生成所述第一备份数据的多份冗余备份数据,包括:

获取预先编译的脚本文件;基于对象存储平台的预设接口以及所述脚本文件,定时上传所述第一备份数据;基于对象存储机制,生成所述第一备份数据的多份冗余备份数据。

可选地,基于对象存储平台的预设接口以及所述脚本文件,定时上传所述第一备份数据,包括:

基于所述对象存储平台的预设接口,获取所述系统数据对应的验证信息;当所述验证信息满足预设条件时,执行所述脚本文件,通过所述预设接口,定时将所述第一备份数据上传至所述对象存储平台。

可选地,存储各个所述冗余备份数据,包括:

将各个所述冗余备份数据存储至对象存储平台的各个存储服务器中。

可选地,所述方法还包括:

当计算所述系统数据的服务器发生故障时,通过所述共享访问链接,复制任意一份所述冗余备份数据,以基于复制的所述冗余备份数据进行数据计算。

第二方面,本申请实施例提供了一种数据备份装置,包括:

第一备份模块,用于获取系统数据,并生成所述系统数据的第一备份数据,其中,所述第一备份数据与所述系统数据的数据格式一致;冗余备份模块,用于生成所述第一备份数据的多份冗余备份数据,并存储各个所述冗余备份数据;访问链接生成模块,用于生成所述多份冗余备份数据的共享访问链接,以基于所述共享访问链接访问所述冗余备份数据。

可选地,第一备份模块,具体用于:

基于永久增量合成技术,生成所述系统数据的第一备份数据。

可选地,冗余备份模块,包括:

脚本获取单元,用于获取预先编译的脚本文件;第一备份上传单元,用于基于对象存储平台的预设接口以及所述脚本文件,定时上传所述第一备份数据;冗余备份单元,用于基于对象存储机制,生成所述第一备份数据的多份冗余备份数据;冗余数据存储单元,用于存储各个所述冗余备份数据。

可选地,第一备份上传单元,具体用于:

基于所述对象存储平台的预设接口,获取所述系统数据对应的验证信息;当所述验证信息满足预设条件时,执行所述脚本文件,通过所述预设接口,定时将所述第一备份数据上传至所述对象存储平台。

可选地,冗余数据存储单元,具体用于:

将各个所述冗余备份数据存储至对象存储平台的各个存储服务器中。

可选地,所述装置还包括:

数据复制模块,用于当计算所述系统数据的服务器发生故障时,通过所述共享访问链接,复制任意一份所述冗余备份数据,以基于复制的所述冗余备份数据进行数据计算。

第三方面,本申请实施例提供了一种数据备份设备,包括:存储器,处理器以及计算机程序;

其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行如本申请实施例第一方面任一实施例提供的数据备份方法。

第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如本申请实施例第一方面任一实施例提供的数据备份方法。

第五方面,本申请实施例提供了一种计算机程序产品,所述程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,数据备份设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得数据备份设备执行本申请实施例第一方面任一实施例提供的数据备份方法。

本申请实施例提供的数据备份方法、装置、设备、存储介质及程序产品,针对本地产生的系统数据,在云端生成其第一备份数据,该第一备份数据保持系统数据的原数据格式,采用原格式生成第一备份数据,提高了数据复制的速度;并在云端生成并存储该第一备份数据的多份冗余备份数据,实现了基于云端进行数据备份,提高了数据备份的灵活性和扩展性,同时通过冗余机制,生成多份备份数据,提高了数据备份的安全性和健壮性;通过相应的对象标识,生成该多份冗余备份数据共享访问链接,从而使得当用户存在需求时,可以基于该共享访问链接进行冗余备份数据的访问,实现了数据的快速访问和恢复。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的数据备份方法的一种应用场景图;

图2为本申请一个实施例提供的数据备份方法的流程图;

图3为本申请另一个实施例提供的数据备份方法的流程图;

图4为本申请一个实施例提供的数据备份装置的结构示意图;

图5为本申请一个实施例提供的数据备份设备的示意图;

图6为本申请一个实施例提供的数据备份系统的结构示意图。

通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。

下面对本申请实施例的应用场景进行解释:

图1为本申请实施例提供的数据备份方法的一种应用场景图,如图1所示,本申请实施例提供的数据备份方法运行在数据备份设备或系统上,具体地,该数据备份设备可以是计算机、服务器,该数据备份系统可以包括管理节点和多个存储节点。用户的生产系统110会源源不断地产生系统数据111,该系统数据111往往是用户非常宝贵的核心数据,为了保证系统数据111的安全性,往往需要对系统数据111进行备份,现有的数据备份方式,往往通过设置专门的数据中心120进行系统数据111的备份,生成备份数据121,备份数据121所采用的数据格式为磁带格式,因此,当需要进行数据恢复时,需要先将备份数据121拷贝恢复到生成系统110的磁盘阵列上之后才能使用,恢复时间为小时级到天级,与需要备份的数据量成正比,因此必须周期性进行重复的全量备份,以降低恢复作业的复杂度和超长时间。传统的数据备份方法,基于线下的数据中心120进行,可扩展性较差,备份数据121由于在备份时发生格式变化,从而无法直接使用,在数据恢复时,需要先将备份数据121拷贝至磁盘,所需时间较长,且当数据中心120故障时,将导致备份数据无法恢复,安全性较差。

为了解决上述问题,本申请实施例提供的数据备份方法的主要技术方案为:基于云端进行数据备份,且通过生成与系统数据格式一致的第一备份数据,使得该第一备份数据可以快速派生出多个冗余备份数据,采用冗余机制可以提高了备份数据的安全性和健壮性,同时生成共享访问链接,使得用户可以根据自身需求访问备份数据,从而使得当需要数据恢复时,可以直接将其中一份冗余备份数据拷贝至本地,以进行相应的数据计算。基于云端以及数据冗余机制进行数据备份,备份效率高、灵活性强、扩展性高,且采用与系统数据格式一致的备份数据,使得用户可直接复制该备份数据进行使用,提高了数据恢复的效率。

图2为本申请一个实施例提供的数据备份方法的流程图,如图2所示,本实施例提供的数据备份方法可以由数据备份设备或系统执行,该方法包括以下几个步骤:

步骤s201,获取系统数据,并生成所述系统数据的第一备份数据。

其中,所述第一备份数据与所述系统数据的数据格式一致。系统数据可以是任意一种系统在使用或生产的过程中,产生的数据,如通信系统的各个客户的通讯数据、网约车系统的各个用户的状态数据等。对于一个系统,为了提高系统数据的安全性,往往包括数据生成终端和数据管理终端,将数据的产生和管理分开进行,以保护原始数据,即系统数据的安全。数据生成终端可以是用户的本地数据中心。

具体的,在获取用户本地的系统数据之后,可以基于数据副本管理(copydatamanagement,cdm)节点,生成系统数据的第一备份数据。cdm技术是独立咨询评测机构gartner在2016年明确界定的新一代云数据管理技术,可用于企事业单位数据中心及混合云系统下的数据保护、数据跨域存储和数据快速使用等场景。该第一备份数据具体可以为黄金副本,黄金副本为系统数据的最新的一个备份数据,与系统数据具有相同的数据格式,从而使得在黄金副本的基础上,可以快速派生出多个虚拟副本。同时由于第一备份数据采用原格式,当本地需要拷贝云端的备份数据时,无需进行数据恢复,便可以直接从云端获取备份数据进行使用。

进一步地,可以通过cdm节点的io接口接收来自用户本地相关设备的系统数据,进而生成系统数据的第一备份数据。

可选地,生成所述系统数据的第一备份数据,包括:

基于永久增量合成技术,生成所述系统数据的第一备份数据。

具体的,当捕获系统数据之后,通过cdm节点,基于永久增量合成技术,得到系统数据的第一备份数据。同时以原格式存储系统数据的全量数据快照,从而,当存在逻辑错误或者人为错误时,可以不经过数据格式转换和io拷贝,直接将第一备份数据对应的后续派生的备份数据挂载至相应的主机上,进行系统生产的恢复。

进一步地,cdm节点可以采用cdm块级变化数据捕捉技术和永久增量合成技术,生产第一备份数据,实现系统数据的高效备份,减少备份窗口,消除重复数据,提高数据备份的效率。

步骤s202,生成所述第一备份数据的多份冗余备份数据,并存储各个所述冗余备份数据。

其中,冗余备份数据是在第一备份数据的基础上生成的备份数据,且冗余备份数据与第一备份数据的格式一致。

具体的,在生成第一备份数据之后,cdm节点将该第一备份数据转存至云端的对象存储平台中,对象存储平台对第一备份数据进行数据备份,并生成多份冗余备份数据。该对象存储平台对应多个存储节点,各个冗余备份数据可以存储在不同的存储节点,或者同一存储节点的不同磁盘中。

进一步地,对象存储平台采用对象存储机制和冗余存储机制进行数据备份,从而生成第一备份数据的多份冗余备份数据。对象存储技术是一种无目录层次结构、无数据格式限制的分布式数据存储技术。对象存储的主要过程为:将备份数据拆成多个部分并散布在多个硬件中,将每个部分视为一个对象,保存在存储空间中。

进一步地,对象存储平台会周期性检测冗余备份数据的完整性,当发现冗余备份数据的部分数据损坏时,如由于硬件失效导致部分数据丢失,对象存储平台会利用其他冗余备份数据对损坏的数据进行重建和修复。

可选地,存储各个所述冗余备份数据,包括:

将各个所述冗余备份数据存储至对象存储平台的各个存储服务器中。

其中,存储服务器也可以称为存储节点。通过将不同的冗余备份数据存储于不同的存储服务器中,从而使得当部分存储服务器失效时,仍可以得到完整的备份数据,保证数据的可靠性和可用性,提高了数据备份的安全性和健壮性。

步骤s203,生成所述多份冗余备份数据的共享访问链接,以基于所述共享访问链接访问所述冗余备份数据。

其中,共享访问链接可以是基于http(hypertexttransferprotocol,超文本传输协议)协议的链接。

具体的,对象存储平台在生成多份冗余备份数据之后,可以基于各个冗余备份数据的存储情况,生成其共享访问链接,以便于授权的用户可以通过该共享访问链接访问其中一份冗余备份数据。

具体的,可以基于对象存储平台的restful(representationalstatetransfer,表象性状态转变)接口,将上述共享访问链接发送至相关用户终端。

本申请实施例提供的数据备份方法,针对本地产生的系统数据,在云端生成其第一备份数据,该第一备份数据保持系统数据的原数据格式,采用原格式生成第一备份数据,提高了数据复制的速度;并在云端生成并存储该第一备份数据的多份冗余备份数据,实现了基于云端进行数据备份,提高了数据备份的灵活性和扩展性,同时通过冗余机制,生成多份备份数据,提高了数据备份的安全性和健壮性;通过相应的对象标识,生成该多份冗余备份数据共享访问链接,从而使得当用户存在需求时,可以基于该共享访问链接进行冗余备份数据的访问,实现了数据的快速访问和恢复。

图3为本申请另一个实施例提供的数据备份方法的流程图,如图3所示,本实施例提供的数据备份方法是对图2所示实施例中步骤s202的进一步地细化,以及在步骤s203之后增加数据拷贝的步骤,本实施例提供的数据备份方法的包括以下几个步骤:

步骤s301,获取系统数据。

步骤s302,基于永久增量合成技术,生成所述系统数据的第一备份数据。

步骤s303,获取预先编译的脚本文件。

其中,该脚本文件可以放置于对象存储平台的上传工具的安装文件夹下,以便于通过执行该脚本文件可以将相应的数据上传至对象存储平台。

具体的,该脚本文件中包括数据上传语句,该数据上传语句中可以包括各个第一备份数据所在的文件夹的名称或路径,还可以包括同步时间的设定语句。

示例性的,该上传工具可以是s3brower,s3brower是一种图形化界面工具,该数据上传语句可以为:s3browser-con.exesynctestfortkd:\tests3:obs-180103/testncdhs,其中,d:\tests3:obs-180103/testncdhs即为各个第一备份数据所在的路径。

进一步地,在生成第一备份数据之后,还包括:获取用户在对象存储平台的用户名和备份配置信息。其中,备份配置信息包括访问域名endpoint、访问密钥(accesskey,ak)、身份验证密钥(secretaccesskey,sk)、数据归档策略等。从而基于该备份配置信息中的用户名、ak以及sk对用户进行验证,验证通过之后,基于访问域名、数据归档策略等确定所生成的各个冗余备份数据的存储位置和状态,如设置冗余备份数据仅为可读状态等。

步骤s304,基于对象存储平台的预设接口以及所述脚本文件,定时上传所述第一备份数据。

其中,预设接口可以是对象存储平台的任意一个或多个io接口。

具体的,当用户验证通过之后,通过执行该脚本文件,将脚本文件中的各个第一备份数据,通过对象存储平台的预设接口,不断上传至对象存储平台。

步骤s305,基于对象存储机制,生成所述第一备份数据的多份冗余备份数据,并将各个所述冗余备份数据存储至对象存储平台的各个存储服务器中。

具体的,对象存储平台,基于对象存储机制,生成所述第一备份数据的多份冗余备份数据,将各个冗余备份数据拆分程多个部分,将每个部分视为一个对象,每个对象对应一个存储单元,从而实现冗余备份数据的分布式存储。

在一些实施例中,冗余备份数据的份数至少为3份,以保证备份数据的安全性。

可选地,基于对象存储平台的预设接口以及所述脚本文件,定时上传所述第一备份数据,包括:

基于所述对象存储平台的预设接口,获取所述系统数据对应的验证信息;当所述验证信息满足预设条件时,执行所述脚本文件,通过所述预设接口,定时将所述第一备份数据上传至所述对象存储平台。

其中,该验证信息可以包括用户名、访问密钥、身份验证密钥等信息。验证信息满足预设条件可以是验证信息与预先存储的用户的验证信息匹配,还可以是各个验证信息之间互相匹配。

步骤s306,生成所述多份冗余备份数据的共享访问链接。

步骤s307,当计算所述系统数据的服务器发生故障时,通过所述共享访问链接,复制任意一份所述冗余备份数据,以基于复制的所述冗余备份数据进行数据计算。

其中,计算系统数据的服务器可以是系统的数据管理终端。

具体的,当数据管理终端发生故障时,云端数据管理服务器或应急主机,通过该共享访问链接,无需经过格式转换和io拷贝,便可以直接将对象存储平台的其中一个冗余备份数据复制到云端数据管理服务器或应急主机,从而使得云端数据管理服务器或应急主机可以接管本地应用,继续系统的相关数据管理任务,从而使得用户的系统正常运行。即当本地数据丢失或损坏时,用户可以直接复用云端的备份数据,进行系统应用,保证了系统的顺利运行。

在本实施例中,通过cdm节点生成用户本地的系统数据的云端的第一备份数据,即黄金副本,该第一备份数据与系统数据保持相同的数据格式,进而基于对象存储,转存该第一备份数据,并生成该第一备份数据的多份冗余备份数据,通过数据冗余机制进行数据备份,提高了数据备份的安全性和可靠性;且基于云端进行数据备份,提高了数据备份的灵活性和可扩展性;备份数据采用与原始数据,即系统数据,相同的数据格式,从而当系统发生故障,需要复制数据或恢复数据时,无需进行格式转换和io拷贝,可直接获取备份数据进行应用,提高了备份数据的恢复速度和响应速度。

图4为本申请一个实施例提供的数据备份装置的结构示意图,如图4所示,本实施例提供的数据备份装置包括:第一备份模块410、冗余备份模块420和访问链接生成模块430。

其中,第一备份模块410,用于获取系统数据,并生成所述系统数据的第一备份数据,其中,所述第一备份数据与所述系统数据的数据格式一致;冗余备份模块420,用于生成所述第一备份数据的多份冗余备份数据,并存储各个所述冗余备份数据;访问链接生成模块430,用于生成所述多份冗余备份数据的共享访问链接,以基于所述共享访问链接访问所述冗余备份数据。

可选地,第一备份模块410,具体用于:

基于永久增量合成技术,生成所述系统数据的第一备份数据。

可选地,冗余备份模块420,包括:

脚本获取单元,用于获取预先编译的脚本文件;第一备份上传单元,用于基于对象存储平台的预设接口以及所述脚本文件,定时上传所述第一备份数据;冗余备份单元,用于基于对象存储机制,生成所述第一备份数据的多份冗余备份数据;冗余数据存储单元,用于存储各个所述冗余备份数据。

可选地,第一备份上传单元,具体用于:

基于所述对象存储平台的预设接口,获取所述系统数据对应的验证信息;当所述验证信息满足预设条件时,执行所述脚本文件,通过所述预设接口,定时将所述第一备份数据上传至所述对象存储平台。

可选地,冗余数据存储单元,具体用于:

将各个所述冗余备份数据存储至对象存储平台的各个存储服务器中。

可选地,所述装置还包括:

数据复制模块,用于当计算所述系统数据的服务器发生故障时,通过所述共享访问链接,复制任意一份所述冗余备份数据,以基于复制的所述冗余备份数据进行数据计算。

本实施例提供的数据备份装置可以执行如图2-图3所示的方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。

图5为本申请一个实施例提供的数据备份设备的示意图,如图5所示,本实施例提供的数据备份设备包括:存储器510,处理器520以及计算机程序。

其中,计算机程序存储在存储器510中,并被配置为由处理器520执行以实现本申请图2-图3所对应的实施例中任一实施例提供的数据备份方法。

其中,存储器510和处理器520通过总线530连接。

相关说明可以对应参见图2-图3的步骤所对应的相关描述和效果进行理解,此处不做过多赘述。

图6为本申请一个实施例提供的数据备份系统的结构示意图,如图6所示,该系统包括:cdm节点610、对象存储平台620、云端服务器630和调度管理平台640。

其中,cdm节点610、对象存储平台620和云端服务器630通过建立通讯链接。cdm节点610用于接收系统数据,并生成所述系统数据的第一备份数据。对象存储平台620用于生成所述第一备份数据的多份冗余备份数据,存储各个所述冗余备份数据,并生成所述多份冗余备份数据的共享访问链接,以基于所述共享访问链接访问所述冗余备份数据。云端服务器630用于当计算所述系统数据的服务器发生故障时,通过所述共享访问链接,复制任意一份所述冗余备份数据,以基于复制的所述冗余备份数据进行数据计算。

具体的,cdm节点610用于基于永久增量合成技术,生成所述系统数据的第一备份数据。对象存储平台620具体用于基于对象存储机制,生成所述第一备份数据的多份冗余备份数据,并将各个所述冗余备份数据存储至对象存储平台的各个存储服务器中。

本申请一个实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现本申请图2-图6所对应的实施例中任一实施例提供的数据备份方法。

其中,计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本申请一个实施例提供一种计算机程序产品,所述程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,数据备份设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行以实现本申请图2-图3所对应的实施例中任一实施例提供的数据备份方法。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。

本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

再多了解一些
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1