数据备份方法、边缘节点、数据中心及计算机存储介质与流程

文档序号:25543631发布日期:2021-06-18 20:40
数据备份方法、边缘节点、数据中心及计算机存储介质与流程

本公开涉及云计算技术领域,尤其涉及一种数据备份方法、一种边缘节点、一种数据中心以及一种计算机可读存储介质。



背景技术:

边缘云作为云计算未来发展方向之一,近几年逐步成为一大热门方向,然而边缘节点存在安全性差易受外部攻击、硬件资源不足等问题,因此边缘节点如何利用更少的硬件资源实现更高的可靠性成为一项难点。



技术实现要素:

本公开提供了一种数据备份方法、边缘节点、数据中心及计算机可读存储介质,以至少解决上述问题。

根据本公开实施例的一方面,提供一种数据备份方法,包括:

边缘节点在创建虚拟机后,每隔预设周期对其虚拟机存储的硬盘数据进行去重,得到各个预设周期下的增量数据;以及,

所述边缘节点依次将各个预设周期下的增量数据传输至数据中心,以使所述数据中心在依次接收到所述各个预设周期下的增量数据后,分别对所述各个预设周期下的增量数据进行合并,并生成各个预设周期下的关于所述虚拟机的备份数据。

在一种实施方式中,所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行去重,包括:

所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行基于硬盘数据各文件块的去重操作。

在一种实施方式中,所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行基于硬盘数据各文件块的去重操作,包括:

所述边缘节点每隔预设周期分别计算其虚拟机当前周期存储的硬盘数据各文件块的第一摘要向量,以及其虚拟机上个周期存储的硬盘数据各文件块的第二摘要向量;

所述边缘节点每隔预设周期分别计算当前周期存储的硬盘数据各文件块的第一摘要向量与上个周期存储的硬盘数据各对应文件块的第二摘要向量之间的海明距离;

所述边缘节点每隔预设周期分别判断当前周期存储的硬盘数据各文件块的第一摘要向量与上个周期存储的硬盘数据各对应文件块的第二摘要向量之间的海明距离是否低于预设阈值;

若存在当前周期存储的硬盘数据的某文件块的第一摘要向量与上个周期存储的硬盘数据的对应文件块的第二摘要向量低于预设阈值,则所述边缘节点判定所述文件块对应的数据为重复数据;以及,

所述边缘节点每隔预设周期删除被判定为重复数据的文件块所对应的数据。

在一种实施方式中,在边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行去重之后,以及依次将各个预设周期下的增量数据传输至数据中心之前,还包括:

所述边缘节点依次对各个预设周期下的增量数据进行压缩处理;

所述边缘节点依次将各个预设周期下的增量数据传输至数据中心,包括:

所述边缘节点依次将各个预设周期下经过压缩处理的增量数据传输至数据中心,以使所述数据中心在依次接收到各个预设周期下经过压缩处理的增量数据后进行解压处理,得到各个预设周期下解压后的增量数据,再分别对各个预设周期下解压后的增量数据进行合并,并生成各个预设周期下的关于所述虚拟机的备份数据。

根据本公开实施例的第二方面,提供一种数据备份方法,包括:

数据中心依次接收边缘节点传输的各个预设周期下的增量数据,其中所述各个预设周期下的增量数据是所述边缘节点在创建虚拟机后,每隔预设周期对其虚拟机存储的硬盘数据进行去重后得到的;

所述数据中心依次对各个预设周期下的增量数据进行合并,并生成各个预设周期下的关于所述虚拟机的备份数据。

在一种实施方式中,所述数据中心依次接收的各个预设周期下的增量数据具体是各个预设周期下经过压缩处理的增量数据,其中所述边缘节点依次对各个预设周期下的增量数据进行压缩处理后形成所述各个预设周期下经过压缩处理的增量数据;

在数据中心依次接收边缘节点传输的各个预设周期下的增量数据之后,以及所述数据中心依次对各个预设周期下的增量数据进行合并之前,还包括:

所述数据中心依次对各个预设周期下经过压缩处理的增量数据进行解压处理,得到各个预设周期下解压后的增量数据。

在一种实施方式中,在生成各个预设周期下的关于所述虚拟机的备份数据之后,还包括:

所述数据中心对各个预设周期下的关于所述虚拟机的备份数据分别进行备份数据编号。

在一种实施方式中,在生成各个预设周期下的关于所述虚拟机的备份数据之后,还包括:

在边缘节点的虚拟机出现故障后,基于所述虚拟机的故障信息将相应预设周期下的关于所述虚拟机的备份数据传输给所述边缘节点。

根据本公开实施例的第三方面,提供一种边缘节点,包括存储器和处理器,所述存储器中存储有计算机程序,当所述处理器运行所述存储器存储的计算机程序时,所述处理器执行所述的数据备份方法。

根据本公开实施例的第四方面,提供一种数据中心,包括存储器和处理器,所述存储器中存储有计算机程序,当所述处理器运行所述存储器存储的计算机程序时,所述处理器执行所述的另一种数据备份方法。

根据本公开实施例的第五方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,所述处理器执行所述的数据备份方法,或者所述的另一种数据备份方法。

本公开的实施例提供的技术方案可以包括以下有益效果:

本公开实施例提供的数据备份方法,通过边缘节点在创建虚拟机后,每隔预设周期对其虚拟机存储的硬盘数据进行去重,得到各个预设周期下的增量数据;以及,所述边缘节点依次将各个预设周期下的增量数据传输至数据中心,以使所述数据中心在依次接收到所述各个预设周期下的增量数据后,分别对所述各个预设周期下的增量数据进行合并,并生成各个预设周期下的关于所述虚拟机的备份数据。本公开实施例边缘节点每隔固定周期对其虚拟机存储的硬盘数据进行去重然后上传到数据中心,由数据中心存储边缘节点去重后的增量备份数据,其至少可以达到提高边缘节点高可用的效果。

本公开的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本公开技术方案的进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开的技术方案,并不构成对本公开技术方案的限制。

图1为本公开实施例提供的一种数据备份方法的流程示意图之一;

图2为本公开实施例提供一种数据备份方法的流程示意图之二;

图3为本公开实施例提供的另一种数据备份方法的流程示意图之一;

图4为本公开实施例提供的另一种数据备份方法的流程示意图之二;

图5为本公开实施例提供的一种边缘节点的结构示意图;

图6为本公开实施例提供的一种数据中心的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。

需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序;并且,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互任意组合。

在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本公开的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。

请参照图1,图1为本公开实施例提供的一种数据备份方法,所述方法包括步骤s101和步骤s102。

在步骤s101中,边缘节点在创建虚拟机后,每隔预设周期对其虚拟机存储的硬盘数据进行去重,得到各个预设周期下的增量数据。

需要说明的是,预设周期是本领域技术人员结合现有技术及实际情况自适应设定的固定周期。

本实施例中,当边缘节点新建一台虚拟机实例后,首先将虚拟机的初始硬盘数据传输给数据中心,具体地,可以对初始硬盘数据进行md5摘要算法计算各文件块的摘要向量并存储其摘要向量值(通常为多位由1和0组成的数组,例如file1={1,0,1,0,…,1,1}),然后将初始硬盘数据经过压缩传递给该边缘节点对应的数据中心,数据中心将该份数据进行解压缩,然后建立一份备份存储,由统一管理系统进行备份数据编号,并在数据库中记录该虚拟机的虚拟机编号、ip地址、边缘节点编号、备份数据编号。

在建立该虚拟机后的每隔固定周期(可以根据虚拟机重要程度可设为12小时、24小时、7天等),边缘节点将其虚拟机的硬盘数据进行去重操作后形成增量数据),然后传输给数据中心形成备份数据。

进一步地,为提高边缘节点的数据去重效率,本实施例通过对其虚拟机的硬盘数据进行块级数据去重,具体地,所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行去重(步骤s101),包括:所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行基于硬盘数据各文件块的去重操作。

进一步地,所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行基于硬盘数据各文件块的去重操作,具体包括以下步骤a-d:

a、所述边缘节点每隔预设周期分别计算其虚拟机当前周期存储的硬盘数据各文件块的第一摘要向量,以及其虚拟机上个周期存储的硬盘数据各文件块的第二摘要向量;

b、所述边缘节点每隔预设周期分别计算当前周期存储的硬盘数据各文件块的第一摘要向量与上个周期存储的硬盘数据各对应文件块的第二摘要向量之间的海明距离;

c、所述边缘节点每隔预设周期分别判断当前周期存储的硬盘数据各文件块的第一摘要向量与上个周期存储的硬盘数据各对应文件块的第二摘要向量之间的海明距离是否低于预设阈值;

d、若存在当前周期存储的硬盘数据的某文件块的第一摘要向量与上个周期存储的硬盘数据的对应文件块的第二摘要向量低于预设阈值,则所述边缘节点判定所述文件块对应的数据为重复数据;以及,

e、所述边缘节点每隔预设周期删除被判定为重复数据的文件块所对应的数据。

具体地,使用md5摘要算法计算各个文件块file的摘要向量ci,为提高去重效率,可以首先对于文件块名相同的部分进行去重操作,然后根据文件块名与上次存储的对应文件块的摘要向量进行对比:计算两个摘要向量的海明距离,因为两个摘要向量的海明距离越小,表示两个文件块的重复度越高,具体的计算公式如下:

其中hamingd(ca,cb)表示文件块a摘要向量和文件块b摘要向量的海明距离,la表示文件块a的向量长度,lb表示文件块b的向量长度;当两个文件的s[a,b]值低于预设阈值(本领域技术人员可以根据实际情况对预设阈值进行适应性设定)时,则判断其为重复部分,并从待传递部分(即向数据中心传输数据部分)中进行删除,处理完成后形成新增数据,进一步地,可以记录本次计算得到的摘要向量集合,替换原摘要向量。

在步骤s102中,所述边缘节点依次将各个预设周期下的增量数据传输至数据中心,以使所述数据中心在依次接收到所述各个预设周期下的增量数据后,分别对所述各个预设周期下的增量数据进行合并,并生成各个预设周期下的关于所述虚拟机的备份数据。

具体地,边缘节点在每个预设周期对数据去重得到增量数据后,将增量数据发送给数据中心,例如,在初次将初始硬盘数据上传给数据中心后,在第一个预设周期例如12小时,对当前存储的硬盘数据与(上一次的)初始硬盘数据进行去重,并将得到的第一个预设周期的增量数据传输给数据中心;然后在第二个预设周期,对当前存储的硬盘数据与上一次存储的硬盘数据进行去重,并将第二预设周期下的增量数据传输给数据中心,依次类推。

为了提高边缘节点的安全性及可用度,相关技术中,采用传统数据中心的双活或备份策略,即在边缘节点建立一份同等数据备份或者建立一台同样的虚拟机,然而其未考虑边缘节点资源不足等特点,上述方案占用较多边缘节点的硬件资源,且在受到网络攻击时,容易出现无法恢复的情况。而相较于相关技术,本实施例通过边缘节点在创建虚拟机后,每隔固定周期对其虚拟机存储的硬盘数据进行去重,并上传到数据中心,由数据中心存储边缘节点去重后的增量备份数据,以实现边缘节点高可用的目的,其能够使用更少硬件资源的情况下,实现边缘节点虚拟机的高可用方案,更好的发挥边缘节点的资源潜力,提供更多的服务。

请参照图2,图2为本公开实施例提供的一种数据备份方法的流程示意图之二,本实施例中增量数据的传输进行压缩及解压缩处理,具体地,在边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行去重之后,以及依次将各个预设周期下的增量数据传输至数据中心之前(即步骤s101之后,以及步骤s102之前),还包括以下步骤s201,步骤s102进一步划分为步骤s102’。

在步骤s201中,所述边缘节点依次对各个预设周期下的增量数据进行压缩处理;

在步骤s102’中,所述边缘节点依次将各个预设周期下经过压缩处理的增量数据传输至数据中心,以使所述数据中心在依次接收到各个预设周期下经过压缩处理的增量数据后进行解压处理,得到各个预设周期下解压后的增量数据,再分别对各个预设周期下解压后的增量数据进行合并,并生成各个预设周期下的关于所述虚拟机的备份数据。

具体地,数据中心将收到经过压缩的增量数据解压缩后同已有备份数据(即,上一周期生成的备份数据)进行合并,存储为最新备份数据,并可以在数据库中更新备份编号。

在一些实施例中,如果边缘节点虚拟机实例出现故障必须重建,则可以从数据中心获取相应的备份数据,对相关数据进行恢复,以保障虚拟机相关服务的进行。

请参照图3,图3为本公开实施例本公开实施例提供的另一种数据备份方法的流程示意图,如图3所示,所述方法包括步骤s301和步骤s302。

在步骤s301中,数据中心依次接收边缘节点传输的各个预设周期下的增量数据,其中所述各个预设周期下的增量数据是所述边缘节点在创建虚拟机后,每隔预设周期对其虚拟机存储的硬盘数据进行去重后得到的;

在步骤s302中,所述数据中心依次对各个预设周期下的增量数据进行合并,并生成各个预设周期下的关于所述虚拟机的备份数据。

在一种实施方式中,在生成各个预设周期下的关于所述虚拟机的备份数据之后,还包括以下步骤:

所述数据中心对各个预设周期下的关于所述虚拟机的备份数据分别进行备份数据编号。

具体地,数据中心第每一周期的备份数据进行备份数据编号,并在数据库中记录该虚拟机的虚拟机编号、ip地址、边缘节点编号、备份数据编号,以便于在边缘节点虚拟机出现异常时,高效查询及返回虚拟机的备份数据。

在一种实施方式中,所述数据中心依次接收的各个预设周期下的增量数据具体是各个预设周期下经过压缩处理的增量数据,其中所述边缘节点依次对各个预设周期下的增量数据进行压缩处理后形成所述各个预设周期下经过压缩处理的增量数据;

在数据中心依次接收边缘节点传输的各个预设周期下的增量数据之后,以及所述数据中心依次对各个预设周期下的增量数据进行合并之前,还包括以下步骤:

所述数据中心依次对各个预设周期下经过压缩处理的增量数据进行解压处理,得到各个预设周期下解压后的增量数据。

具体地,数据中心将收到经过压缩的增量数据解压缩后同已有备份数据(即,上一周期生成的备份数据)进行合并,存储为最新备份数据,并可以在数据库中更新备份数据编号。

请参照图4,图4为本公开实施例提供的另一种数据备份的流程示意图之二,本实施例为进一步提高边缘节点的高可用性,在步骤s302之后,所述方法还包括以下步骤s401。

在步骤s401中,在边缘节点的虚拟机出现故障后,基于所述虚拟机的故障信息将相应预设周期下的关于所述虚拟机的备份数据传输给所述边缘节点。

具体地,可以通过管理系统实时监测各边缘节点虚拟机运行情况,当边缘节点虚拟机实例出现故障必须重建时,管理系统根据故障虚拟机编号,从数据中心的数据库中提取其相关信息,然后将其对应的备份数据压缩后再传递给边缘节点,边缘节点收到数据后,通过压缩过程的逆操作将相关数据恢复,进而恢复虚拟机及相关服务。

基于相同的技术构思,本公开实施例相应还提供一种边缘节点,如图5所示,包括存储器51和处理器52,所述存储器51中存储有计算机程序,当所述处理器52运行所述存储器存储的计算机程序时,所述处理器52执行所述的数据备份方法。

基于相同的技术构思,本公开实施例相应还提供一种数据中心,包括存储器和处理器,如图6所示,所述存储器61中存储有计算机程序,当所述处理器62运行所述存储器61存储的计算机程序时,所述处理器62执行所述的另一种数据备份方法。

基于相同的技术构思,本公开实施例相应还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,所述处理器执行所述的数据备份方法,或者所述的另一种数据备份方法。

本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。

最后应说明的是:以上各实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述各实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

再多了解一些
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1