数据备份方法、装置、电子设备及计算机可读存储介质与流程

文档序号:26405767发布日期:2021-08-24 16:20阅读:95来源:国知局
数据备份方法、装置、电子设备及计算机可读存储介质与流程

本公开实施例涉及数据处理技术领域,具体涉及一种数据备份方法、装置、电子设备及计算机可读存储介质。



背景技术:

随着网络科学技术和数据技术的发展,云计算的应用越来越广泛,其中,数据库数据是云产品的核心数据,为了实现数据的高可靠性,通常会在云上进行数据库备份,但仅仅在一个云产品上进行备份无法满足数据可靠性要求,可以想到的一个解决方案是把云上的备份数据下载到本地存至本地持久化存储中,或者继续上传到其他云产品中,以实现混合云备份,进而满足数据可靠性要求,这就要求下载到本地的数据,需要能够恢复到本地,同时,还需要具有可读性,能够支持数据的查询和分析。为了实现上述解决方案,有的方法是由用户自己选择云上的数据库备份文件进行手工下载,这种方法虽然可以基本实现数据库备份文件的再次备份,但存在多个缺点:用户需要手工选择多个数据库备份文件进行下载,操作较为繁琐;直接下载的数据库备份文件通常无法满足数据的可读性要求,无法支持数据的查询和分析;下载数据与云上数据库备份文件数据之间的一致性难以确认和保障。因此,亟需一种操作方便,既能够保障数据的可读性,又能够保障下载数据与云上数据库备份文件数据之间的一致性的数据再次备份方案。



技术实现要素:

本公开实施例提供一种数据备份方法、装置、电子设备及计算机可读存储介质。

第一方面,本公开实施例中提供了一种数据备份方法。

具体的,所述数据备份方法,包括:

获取云端待备份数据;

对所述云端待备份数据进行压缩,得到云端压缩待备份数据;

计算所述云端压缩待备份数据的云端校验值,并将所述云端校验值和所述云端压缩待备份数据发送给本地设备。

结合第一方面,本公开实施例在第一方面的第一种实现方式中,所述获取云端待备份数据之前,还包括:

向本地设备发送备份授权请求,并接收所述本地设备发送的备份授权确认信息。

结合第一方面和第一方面的第一种实现方式,本公开实施例在第一方面的第二种实现方式中,所述对所述云端待备份数据进行压缩之前,还包括:

将所述云端待备份数据转换为预设数据格式。

结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式,本公开在第一方面的第三种实现方式中,所述计算所述云端压缩待备份数据的云端校验值,被实施为:

使用与本地设备相同的校验算法计算所述云端压缩待备份数据的云端校验值。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式,本公开在第一方面的第四种实现方式中,所述计算所述云端压缩待备份数据的云端校验值之后,还包括:

保存所述云端校验值。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式,本公开在第一方面的第五种实现方式中,所述将所述云端校验值和所述云端压缩待备份数据发送给本地设备,被实施为:

将所述云端校验值和云端压缩待备份数据获取地址发送给本地设备,以使所述本地设备能够根据所述云端压缩待备份数据获取地址获取得到所述云端压缩待备份数据。

第二方面,本公开实施例中提供了一种数据备份方法。

具体的,所述数据备份方法,包括:

接收云端设备发送的云端校验值和云端压缩待备份数据;

计算所述云端压缩待备份数据的本地校验值;

比较所述本地校验值和所述云端校验值,当所述本地校验值与所述云端校验值匹配时,执行预设操作。

结合第二方面,本公开实施例在第二方面的第一种实现方式中,所述接收云端设备发送的云端校验值和云端压缩待备份数据之前,还包括:

响应于接收到所述云端设备发送的备份授权请求,向所述云端设备发送备份授权确认信息。

结合第二方面和第二方面的第一种实现方式,本公开实施例在第二方面的第二种实现方式中,所述接收云端设备发送的云端校验值和云端压缩待备份数据,被实施为:

接收云端设备发送的云端校验值和云端压缩待备份数据获取地址;

跳转至所述云端压缩待备份数据获取地址,获取得到所述云端压缩待备份数据。

结合第二方面、第二方面的第一种实现方式和第二方面的第二种实现方式,本公开在第二方面的第三种实现方式中,所述计算所述云端压缩待备份数据的本地校验值,被实施为:

使用与云端设备相同的校验算法计算所述云端压缩待备份数据的本地校验值。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式和第二方面的第三种实现方式,本公开在第二方面的第四种实现方式中,所述预设操作包括以下操作中的一种或多种:本地持久化存储,数据查询和数据分析。

第三方面,本公开实施例中提供了一种数据备份方法。

具体的,所述数据备份方法,包括:

云端设备获取云端待备份数据,对所述云端待备份数据进行压缩,得到云端压缩待备份数据,计算所述云端压缩待备份数据的云端校验值,并将所述云端校验值和所述云端压缩待备份数据发送给本地设备;

本地设备接收云端设备发送的云端校验值和云端压缩待备份数据,计算所述云端压缩待备份数据的本地校验值,比较所述本地校验值和所述云端校验值,当所述本地校验值与所述云端校验值匹配时,执行预设操作。

结合第三方面,本公开实施例在第三方面的第一种实现方式中,所述云端设备获取云端待备份数据之前,还包括:

所述云端设备向所述本地设备发送备份授权请求;

所述本地设备响应于接收到所述云端设备发送的备份授权请求,向所述云端设备发送备份授权确认信息;

所述云端设备接收所述本地设备发送的备份授权确认信息。

结合第三方面和第三方面的第一种实现方式,本公开实施例在第三方面的第二种实现方式中,所述对所述云端待备份数据进行压缩之前,还包括:

将所述云端待备份数据转换为预设数据格式。

结合第三方面、第三方面的第一种实现方式和第三方面的第二种实现方式,本公开在第三方面的第三种实现方式中,所述计算所述云端压缩待备份数据的云端校验值,被实施为:

使用与本地设备相同的校验算法计算所述云端压缩待备份数据的本地校验值。

结合第三方面、第三方面的第一种实现方式、第三方面的第二种实现方式和第三方面的第三种实现方式,本公开在第三方面的第四种实现方式中,所述计算所述云端压缩待备份数据的云端校验值之后,还包括:

保存所述云端校验值。

结合第三方面、第三方面的第一种实现方式、第三方面的第二种实现方式、第三方面的第三种实现方式和第三方面的第四种实现方式,本公开在第三方面的第五种实现方式中,所述将所述云端校验值和所述云端压缩待备份数据发送给本地设备,被实施为:

将所述云端校验值和云端压缩待备份数据获取地址发送给本地设备,以使所述本地设备能够根据所述云端压缩待备份数据获取地址获取得到所述云端压缩待备份数据。

结合第三方面、第三方面的第一种实现方式、第三方面的第二种实现方式、第三方面的第三种实现方式、第三方面的第四种实现方式和第三方面的第五种实现方式,本公开在第三方面的第六种实现方式中,所述本地设备接收云端设备发送的云端校验值和云端压缩待备份数据,被实施为:

所述本地设备接收云端设备发送的云端校验值和云端压缩待备份数据获取地址,跳转至所述云端压缩待备份数据获取地址,获取得到所述云端压缩待备份数据。

结合第三方面、第三方面的第一种实现方式、第三方面的第二种实现方式、第三方面的第三种实现方式、第三方面的第四种实现方式、第三方面的第五种实现方式和第三方面的第六种实现方式,本公开在第三方面的第七种实现方式中,所述计算所述云端压缩待备份数据的本地校验值,被实施为:

使用与云端设备相同的校验算法计算所述云端压缩待备份数据的本地校验值。

结合第三方面、第三方面的第一种实现方式、第三方面的第二种实现方式、第三方面的第三种实现方式、第三方面的第四种实现方式、第三方面的第五种实现方式、第三方面的第六种实现方式和第三方面的第七种实现方式,本公开在第三方面的第八种实现方式中,所述预设操作包括以下操作中的一种或多种:本地持久化存储,数据查询和数据分析。

第四方面,本公开实施例中提供了一种数据备份装置。

具体的,所述数据备份装置,包括:

获取模块,被配置为获取云端待备份数据;

压缩模块,被配置为对所述云端待备份数据进行压缩,得到云端压缩待备份数据;

第一计算模块,被配置为计算所述云端压缩待备份数据的云端校验值,并将所述云端校验值和所述云端压缩待备份数据发送给本地设备。

第五方面,本公开实施例中提供了一种数据备份装置。

具体的,所述数据备份装置,包括:

接收模块,被配置为接收云端设备发送的云端校验值和云端压缩待备份数据;

第二计算模块,被配置为计算所述云端压缩待备份数据的本地校验值;

执行模块,被配置为比较所述本地校验值和所述云端校验值,当所述本地校验值与所述云端校验值匹配时,执行预设操作。

第六方面,本公开实施例中提供了一种数据备份系统。

具体的,所述数据备份系统,包括:

云端设备,被配置为获取云端待备份数据,对所述云端待备份数据进行压缩,得到云端压缩待备份数据,计算所述云端压缩待备份数据的云端校验值,并将所述云端校验值和所述云端压缩待备份数据发送给本地设备;

本地设备,被配置为接收云端设备发送的云端校验值和云端压缩待备份数据,计算所述云端压缩待备份数据的本地校验值,比较所述本地校验值和所述云端校验值,当所述本地校验值与所述云端校验值匹配时,执行预设操作。

第七方面,本公开实施例提供了一种电子设备,包括存储器和处理器,所述存储器用于存储一条或多条支持数据备份装置或系统执行上述数据备份方法的计算机指令,所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述数据备份装置或系统还可以包括通信接口,用于数据备份装置或系统与其他设备或通信网络通信。

第八方面,本公开实施例提供了一种计算机可读存储介质,用于存储数据备份装置或系统所用的计算机指令,其包含用于执行上述数据备份方法为数据备份装置或系统所涉及的计算机指令。

本公开实施例提供的技术方案可包括以下有益效果:

上述技术方案通过自动对于云端待备份数据进行压缩和校验值计算来实现云端待备份数据的下载和一致性确认。该技术方案操作方便,无需用户手工选择多个数据库备份文件进行下载,而且该技术方案在数据再次备份时既能够保障数据的可读性,支持数据的查询和分析,又能够保障下载数据与云上数据库备份文件数据之间的一致性。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开实施例。

附图说明

结合附图,通过以下非限制性实施方式的详细描述,本公开实施例的其它特征、目的和优点将变得更加明显。在附图中:

图1示出根据本公开一实施方式的数据备份方法的流程图;

图2示出根据本公开另一实施方式的数据备份方法的流程图;

图3示出根据本公开再一实施方式的数据备份方法的流程图;

图4示出根据本公开一实施方式的数据备份方法的整体流程图;

图5示出根据本公开一实施方式的数据备份装置的结构框图;

图6示出根据本公开另一实施方式的数据备份装置的结构框图;

图7示出根据本公开一实施方式的数据备份系统的结构框图;

图8是适于用来实现根据本公开一实施方式的数据备份方法的计算机系统的结构示意图。

具体实施方式

下文中,将参考附图详细描述本公开实施例的示例性实施方式,以使本领域技术人员可容易地实现它们。此外,为了清楚起见,在附图中省略了与描述示例性实施方式无关的部分。

在本公开实施例中,应理解,诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开实施例。

本公开实施例提供的技术方案通过自动对于云端待备份数据进行压缩和校验值计算来实现云端待备份数据的下载和一致性确认。该技术方案操作方便,无需用户手工选择多个数据库备份文件进行下载,而且该技术方案在数据再次备份时既能够保障数据的可读性,支持数据的查询和分析,又能够保障下载数据与云上数据库备份文件数据之间的一致性。

图1示出根据本公开一实施方式的数据备份方法的流程图,如图1所示,所述数据备份方法包括以下步骤s101-s103:

在步骤s101中,获取云端待备份数据;

在步骤s102中,对所述云端待备份数据进行压缩,得到云端压缩待备份数据;

在步骤s103中,计算所述云端压缩待备份数据的云端校验值,并将所述云端校验值和所述云端压缩待备份数据发送给本地设备。

上文提及,随着网络科学技术和数据技术的发展,云计算的应用越来越广泛,其中,数据库数据是云产品的核心数据,为了实现数据的高可靠性,通常会在云上进行数据库备份,但仅仅在一个云产品上进行备份无法满足数据可靠性要求,可以想到的一个解决方案是把云上的备份数据下载到本地存至本地持久化存储中,或者继续上传到其他云产品中,以实现混合云备份,进而满足数据可靠性要求,这就要求下载到本地的数据,需要能够恢复到本地,同时,还需要具有可读性,能够支持数据的查询和分析。为了实现上述解决方案,有的方法是由用户自己选择云上的数据库备份文件进行手工下载,这种方法虽然可以基本实现数据库备份文件的再次备份,但存在多个缺点:用户需要手工选择多个数据库备份文件进行下载,操作较为繁琐;直接下载的数据库备份文件通常无法满足数据的可读性要求,无法支持数据的查询和分析;下载数据与云上数据库备份文件数据之间的一致性难以确认和保障。因此,亟需一种操作方便,既能够保障数据的可读性,又能够保障下载数据与云上数据库备份文件数据之间的一致性的数据再次备份方案。

考虑到上述问题,在该实施方式中,提出一种数据备份方法,该方法通过自动对于云端待备份数据进行压缩和校验值计算来实现云端待备份数据的下载和一致性确认。该技术方案操作方便,无需用户手工选择多个数据库备份文件进行下载,而且该技术方案在数据再次备份时既能够保障数据的可读性,支持数据的查询和分析,又能够保障下载数据与云上数据库备份文件数据之间的一致性。

在本公开一实施方式中,所述数据备份方法可适用于在云端对于数据执行备份操作的数据备份操作方,比如,对于数据执行备份操作的计算机、计算设备、电子设备、服务器、服务集群等设备。

在本公开一实施方式中,所述云端待备份数据指的是需要下载到本地持久化存储中,或者下载后继续上传到其他云产品中,以实现数据再次备份的原始文件或者备份文件,比如云端数据库原始文件、云端数据库备份文件等等。

在本公开一实施方式中,当所述云端待备份数据量较大,或者数据文件较多时,可采用并行处理方法来获取所述云端待备份数据,以提高数据获取效率。

为了方便数据的传输,提高数据传输效率,在本公开一实施方式中,在获得云端待备份数据之后,还需对其进行打包和压缩,生成对应的云端压缩待备份数据。其中,在对所述云端待备份数据进行压缩时,可采用多种数据压缩方法,本公开对于具体的数据压缩方法不作特别限定,只要能够实现数据的有效压缩即可。

为了方便与后续下载到本地的数据进行一致性校对,确定下载数据与所述云端待备份数据是否为同一数据,或者是否为具有一致性的数据,在本公开一实施方式中,在对于所述云端待备份数据进行压缩后,还对于得到的云端压缩待备份数据进行校验值计算,并最终将计算得到的云端校验值和所述云端压缩待备份数据一并发送给接收下载数据的本地设备。其中,在对所述云端压缩待备份数据进行校验值计算时,可采用多种数据一致性校验方法,比如crc64,本公开对于具体的数据一致性校验方法不作特别限定,只要能够实现下载数据与云端待备份数据的一致性确认即可。

在本公开一实施方式中,所述步骤s101,即获取云端待备份数据的步骤之前,还包括以下步骤:

向本地设备发送备份授权请求,并接收所述本地设备发送的备份授权确认信息。

为了保障数据备份操作的合法性,在该实施方式中,在进行数据备份之前,还向本地设备发送备份授权请求,以获得本地设备或者本地设备操作方的授权和许可,若所述本地设备或者本地设备操作方同意数据备份,即授权数据备份操作方进行数据备份操作,则可向所述数据备份操作方发送备份授权确认信息。其中,所述备份授权请求可携带有备份配置参数,所述备份配置参数可包括以下参数中的一种或多种:需备份数据标识、数据备份频率等等,其中,所述需备份数据标识指的是所述需备份数据的具有区别性的标识信息,比如需备份数据的名称或id等等。所述备份配置参数确定之后,所述数据备份操作方即可按照所述备份配置参数对于所述云端待备份数据自动执行备份操作,从而避免了用户手工选择数据库备份文件的繁琐。当然,所述本地设备或者本地设备操作方也可随时根据实际应用的需要对于所述备份配置参数进行修改。

在本公开一实施方式中,所述步骤s102,即对所述云端待备份数据进行压缩的步骤之前,还包括以下步骤:

将所述云端待备份数据转换为预设数据格式。

考虑到所述云端待备份数据通常为人工难以识别的数据格式,比如parquet格式等等,因此,在该实施方式中,在对所述云端待备份数据进行压缩之前,首先将其转换为易于人工识别的预设数据格式,比如csv、sql等等,以增强数据的可读性,方便对于数据的查询和分析。

在本公开一实施方式中,所述步骤s103中计算所述云端压缩待备份数据的云端校验值的步骤,可被实施为:

使用与本地设备相同的校验算法计算所述云端压缩待备份数据的云端校验值。

为了方便与后续将要在本地设备中计算得到的本地校验值相比较,以确定云端压缩待备份数据与将其下载到本地得到的数据是否一致,在该实施方式中,云端设备需使用与本地设备相同的校验算法来计算所述云端压缩待备份数据的校验值,即云端校验值。

在本公开一实施方式中,所述步骤s103中计算所述云端压缩待备份数据的云端校验值的步骤之后,还可包括以下步骤:

保存所述云端校验值。

在该实施方式中,在计算得到所述云端压缩待备份数据的云端校验值之后,还对其进行保存,以备后续可取来与本地设备计算得到的本地校验值进行比较。

在本公开一实施方式中,所述步骤s103中将所述云端校验值和所述云端压缩待备份数据发送给本地设备的步骤,可被实施为:

将所述云端校验值和云端压缩待备份数据获取地址发送给本地设备,以使所述本地设备能够根据所述云端压缩待备份数据获取地址获取得到所述云端压缩待备份数据。

为了减少数据传输量,提高数据传输效率,在云端设备将云端校验值和云端压缩待备份数据发送给本地设备时,并不发送全部的云端压缩待备份数据,而是仅向所述本地设备发送所述云端校验值和存储有所述云端压缩待备份数据的地址,即云端压缩待备份数据获取地址。借助所述云端压缩待备份数据获取地址,所述本地设备即能够获取得到完整的所述云端压缩待备份数据。

图2示出根据本公开另一实施方式的数据备份方法的流程图,如图2所示,所述数据备份方法包括以下步骤s201-s203:

在步骤s201中,接收云端设备发送的云端校验值和云端压缩待备份数据;

在步骤s202中,计算所述云端压缩待备份数据的本地校验值;

在步骤s203中,比较所述本地校验值和所述云端校验值,当所述本地校验值与所述云端校验值匹配时,执行预设操作。

上文提及,随着网络科学技术和数据技术的发展,云计算的应用越来越广泛,其中,数据库数据是云产品的核心数据,为了实现数据的高可靠性,通常会在云上进行数据库备份,但仅仅在一个云产品上进行备份无法满足数据可靠性要求,可以想到的一个解决方案是把云上的备份数据下载到本地存至本地持久化存储中,或者继续上传到其他云产品中,以实现混合云备份,进而满足数据可靠性要求,这就要求下载到本地的数据,需要能够恢复到本地,同时,还需要具有可读性,能够支持数据的查询和分析。为了实现上述解决方案,有的方法是由用户自己选择云上的数据库备份文件进行手工下载,这种方法虽然可以基本实现数据库备份文件的再次备份,但存在多个缺点:用户需要手工选择多个数据库备份文件进行下载,操作较为繁琐;直接下载的数据库备份文件通常无法满足数据的可读性要求,无法支持数据的查询和分析;下载数据与云上数据库备份文件数据之间的一致性难以确认和保障。因此,亟需一种操作方便,既能够保障数据的可读性,又能够保障下载数据与云上数据库备份文件数据之间的一致性的数据再次备份方案。

考虑到上述问题,在该实施方式中,提出一种数据备份方法,该方法通过对于从云端下载下来的待备份数据校验值计算来实现云端待备份数据的下载和一致性确认。该技术方案操作方便,无需用户手工选择多个数据库备份文件进行下载,而且该技术方案在数据再次备份时既能够保障数据的可读性,支持数据的查询和分析,又能够保障下载数据与云上数据库备份文件数据之间的一致性。

在本公开一实施方式中,所述数据备份方法可适用于在本地对于数据执行备份操作的数据备份操作方,比如,对于数据执行备份操作的计算机、计算设备、电子设备、服务器、服务集群等设备。

在上述实施方式中,本地设备在接收到云端设备发送的云端校验值和云端压缩待备份数据之后,计算得到所述云端压缩待备份数据的本地校验值,然后再将所述本地校验值与接收到的所述云端校验值进行比较,若所述本地校验值与所述云端校验值相匹配,即相同或相一致时,所述本地设备可执行预设操作。其中,所述预设操作可包括以下操作中的一种或多种:本地持久化存储,数据查询和数据分析。

在本公开一实施方式中,所述步骤s201,即接收云端设备发送的云端校验值和云端压缩待备份数据的步骤之前,还包括:

响应于接收到所述云端设备发送的备份授权请求,向所述云端设备发送备份授权确认信息。

为了保障数据备份操作的合法性,在该实施方式中,在云端设备进行数据备份之前,会向本地设备发送备份授权请求,以获得本地设备或者本地设备操作方的授权和许可。而本地设备在接收到所述备份授权请求后,会向所述云端设备发送是否同意授权云端设备进行备份操作的信息,若所述本地设备同意授权云端设备进行备份操作,则可向所述云端设备发送备份授权确认信息,若所述本地设备不同意授权云端设备进行备份操作,可不发送信息或者发送备份授权未确认信息。如上文所述,所述备份授权请求可携带有备份配置参数,其中,所述备份配置参数可包括以下参数中的一种或多种:需备份数据标识、数据备份频率等等,其中,所述需备份数据标识指的是所述需备份数据的具有区别性的标识信息,比如需备份数据的名称或id等等。所述备份配置参数确定之后,所述数据备份操作方即可按照所述备份配置参数对于所述云端待备份数据自动执行备份操作,从而避免了用户手工选择数据库备份文件的繁琐。当然,所述本地设备或者本地设备操作方也可随时根据实际应用的需要对于所述备份配置参数进行修改。

在本公开一实施方式中,当所述云端压缩待备份数据存在两个或多个时,为了对于所述两个或多个云端压缩待备份数据进行准确有效的识别,在所述步骤s201,即本地设备接收云端设备发送的云端校验值和云端压缩待备份数据之后,所述本地设备还需根据所述云端压缩待备份数据的生成时间对其进行排序。

在本公开一实施方式中,所述步骤s201,即接收云端设备发送的云端校验值和云端压缩待备份数据的步骤,可被实施为:

接收云端设备发送的云端校验值和云端压缩待备份数据获取地址;

跳转至所述云端压缩待备份数据获取地址,获取得到所述云端压缩待备份数据。

上文提及,为了减少数据传输量,提高数据传输效率,云端设备在将云端校验值和云端压缩待备份数据发送给本地设备时,并不发送全部的云端压缩待备份数据,而是仅向所述本地设备发送所述云端校验值和存储有所述云端压缩待备份数据的地址,即云端压缩待备份数据获取地址。因此,在该实施方式中,当所述本地设备接收到云端设备发送的云端校验值和云端压缩待备份数据获取地址之后,可跳转至所述云端压缩待备份数据获取地址,来获取完整的所述云端压缩待备份数据。

在本公开一实施方式中,所述步骤s202,即计算所述云端压缩待备份数据的本地校验值的步骤,可被实施为:

使用与云端设备相同的校验算法计算所述云端压缩待备份数据的本地校验值。

为了方便与在云端设备中计算得到的云端校验值相比较,以确定下载到本地得到的数据与云端压缩待备份数据是否一致,在该实施方式中,所述本地设备需使用与云端设备相同的校验算法来计算获得的所述云端压缩待备份数据的校验值,即本地校验值。

图2所示及相关实施方式中涉及的技术术语和技术特征与图1所示及相关实施方式中提及的技术术语和技术特征相同或相似,对于图2所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图1所示及相关实施方式的解释的说明,此处不再赘述。

图3示出根据本公开再一实施方式的数据备份方法的流程图,如图3所示,所述数据备份方法包括以下步骤s301-s302:

在步骤s301中,云端设备获取云端待备份数据,对所述云端待备份数据进行压缩,得到云端压缩待备份数据,计算所述云端压缩待备份数据的云端校验值,并将所述云端校验值和所述云端压缩待备份数据发送给本地设备;

在步骤s302中,本地设备接收云端设备发送的云端校验值和云端压缩待备份数据,计算所述云端压缩待备份数据的本地校验值,比较所述本地校验值和所述云端校验值,当所述本地校验值与所述云端校验值匹配时,执行预设操作。

在本公开一实施方式中,所述云端设备获取云端待备份数据之前,还包括:

所述云端设备向所述本地设备发送备份授权请求;

所述本地设备响应于接收到所述云端设备发送的备份授权请求,向所述云端设备发送备份授权确认信息;

所述云端设备接收所述本地设备发送的备份授权确认信息。

在本公开一实施方式中,所述对所述云端待备份数据进行压缩之前,还包括:

将所述云端待备份数据转换为预设数据格式。

在本公开一实施方式中,所述计算所述云端压缩待备份数据的云端校验值,被实施为:

使用与本地设备相同的校验算法计算所述云端压缩待备份数据的本地校验值。

在本公开一实施方式中,所述计算所述云端压缩待备份数据的云端校验值之后,还包括:

保存所述云端校验值。

在本公开一实施方式中,所述将所述云端校验值和所述云端压缩待备份数据发送给本地设备,被实施为:

将所述云端校验值和云端压缩待备份数据获取地址发送给本地设备,以使所述本地设备能够根据所述云端压缩待备份数据获取地址获取得到所述云端压缩待备份数据。

在本公开一实施方式中,所述本地设备接收云端设备发送的云端校验值和云端压缩待备份数据,被实施为:

所述本地设备接收云端设备发送的云端校验值和云端压缩待备份数据获取地址,跳转至所述云端压缩待备份数据获取地址,获取得到所述云端压缩待备份数据。

在本公开一实施方式中,所述计算所述云端压缩待备份数据的本地校验值,被实施为:

使用与云端设备相同的校验算法计算所述云端压缩待备份数据的本地校验值。

在本公开一实施方式中,所述预设操作包括以下操作中的一种或多种:本地持久化存储,数据查询和数据分析。

图3所示及相关实施方式中涉及的技术术语和技术特征与图1-2所示及相关实施方式中提及的技术术语和技术特征相同或相似,对于图3所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图1-2所示及相关实施方式的解释的说明,此处不再赘述。

图4示出根据本公开一实施方式的数据备份方法的整体流程图,在该示例中,云端设备获取云端待备份数据,将所述云端待备份数据转换为预设数据格式,然后对所述云端待备份数据进行压缩,得到云端压缩待备份数据,计算并保存所述云端压缩待备份数据的云端校验值,并将所述云端校验值和云端压缩待备份数据获取地址发送给本地设备。本地设备接收到云端设备发送的云端校验值和云端压缩待备份数据获取地址之后,跳转至所述云端压缩待备份数据获取地址,获取得到所述云端压缩待备份数据,使用与云端设备相同的校验算法计算所述云端压缩待备份数据的本地校验值,最后比较所述本地校验值和接收到的所述云端校验值,当所述本地校验值与所述云端校验值匹配时,可执行本地持久化存储、数据查询、数据分析等操作。

下述为本公开装置实施例,可以用于执行本公开方法实施例。

图5示出根据本公开一实施方式的数据备份装置的结构框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图5所示,所述数据备份装置包括:

获取模块501,被配置为获取云端待备份数据;

压缩模块502,被配置为对所述云端待备份数据进行压缩,得到云端压缩待备份数据;

第一计算模块503,被配置为计算所述云端压缩待备份数据的云端校验值,并将所述云端校验值和所述云端压缩待备份数据发送给本地设备。

上文提及,随着网络科学技术和数据技术的发展,云计算的应用越来越广泛,其中,数据库数据是云产品的核心数据,为了实现数据的高可靠性,通常会在云上进行数据库备份,但仅仅在一个云产品上进行备份无法满足数据可靠性要求,可以想到的一个解决方案是把云上的备份数据下载到本地存至本地持久化存储中,或者继续上传到其他云产品中,以实现混合云备份,进而满足数据可靠性要求,这就要求下载到本地的数据,需要能够恢复到本地,同时,还需要具有可读性,能够支持数据的查询和分析。为了实现上述解决方案,有的方法是由用户自己选择云上的数据库备份文件进行手工下载,这种方法虽然可以基本实现数据库备份文件的再次备份,但存在多个缺点:用户需要手工选择多个数据库备份文件进行下载,操作较为繁琐;直接下载的数据库备份文件通常无法满足数据的可读性要求,无法支持数据的查询和分析;下载数据与云上数据库备份文件数据之间的一致性难以确认和保障。因此,亟需一种操作方便,既能够保障数据的可读性,又能够保障下载数据与云上数据库备份文件数据之间的一致性的数据再次备份方案。

考虑到上述问题,在该实施方式中,提出一种数据备份装置,该装置通过自动对于云端待备份数据进行压缩和校验值计算来实现云端待备份数据的下载和一致性确认。该技术方案操作方便,无需用户手工选择多个数据库备份文件进行下载,而且该技术方案在数据再次备份时既能够保障数据的可读性,支持数据的查询和分析,又能够保障下载数据与云上数据库备份文件数据之间的一致性。

在本公开一实施方式中,所述数据备份装置可实现为在云端对于数据执行备份操作的数据备份操作方,比如,对于数据执行备份操作的计算机、计算设备、电子设备、服务器、服务集群等设备。

在本公开一实施方式中,所述云端待备份数据指的是需要下载到本地持久化存储中,或者下载后继续上传到其他云产品中,以实现数据再次备份的原始文件或者备份文件,比如云端数据库原始文件、云端数据库备份文件等等。

在本公开一实施方式中,当所述云端待备份数据量较大,或者数据文件较多时,可采用并行处理方法来获取所述云端待备份数据,以提高数据获取效率。

为了方便数据的传输,提高数据传输效率,在本公开一实施方式中,在获得云端待备份数据之后,还需对其进行打包和压缩,生成对应的云端压缩待备份数据。其中,在对所述云端待备份数据进行压缩时,可采用多种数据压缩方法,本公开对于具体的数据压缩方法不作特别限定,只要能够实现数据的有效压缩即可。

为了方便与后续下载到本地的数据进行一致性校对,确定下载数据与所述云端待备份数据是否为同一数据,或者是否为具有一致性的数据,在本公开一实施方式中,在对于所述云端待备份数据进行压缩后,还对于得到的云端压缩待备份数据进行校验值计算,并最终将计算得到的云端校验值和所述云端压缩待备份数据一并发送给接收下载数据的本地设备。其中,在对所述云端压缩待备份数据进行校验值计算时,可采用多种数据一致性校验方法,比如crc64,本公开对于具体的数据一致性校验方法不作特别限定,只要能够实现下载数据与云端待备份数据的一致性确认即可。

在本公开一实施方式中,所述装置还包括:

第一发送模块,被配置为向本地设备发送备份授权请求,并接收所述本地设备发送的备份授权确认信息。

为了保障数据备份操作的合法性,在该实施方式中,在进行数据备份之前,还向本地设备发送备份授权请求,以获得本地设备或者本地设备操作方的授权和许可,若所述本地设备或者本地设备操作方同意数据备份,即授权数据备份操作方进行数据备份操作,则可向所述数据备份操作方发送备份授权确认信息。其中,所述备份授权请求可携带有备份配置参数,所述备份配置参数可包括以下参数中的一种或多种:需备份数据标识、数据备份频率等等,其中,所述需备份数据标识指的是所述需备份数据的具有区别性的标识信息,比如需备份数据的名称或id等等。所述备份配置参数确定之后,所述数据备份操作方即可按照所述备份配置参数对于所述云端待备份数据自动执行备份操作,从而避免了用户手工选择数据库备份文件的繁琐。当然,所述本地设备或者本地设备操作方也可随时根据实际应用的需要对于所述备份配置参数进行修改。

在本公开一实施方式中,所述装置还包括:

转换模块,被配置为将所述云端待备份数据转换为预设数据格式。

考虑到所述云端待备份数据通常为人工难以识别的数据格式,比如parquet格式等等,因此,在该实施方式中,在对所述云端待备份数据进行压缩之前,首先将其转换为易于人工识别的预设数据格式,比如csv、sql等等,以增强数据的可读性,方便对于数据的查询和分析。

在本公开一实施方式中,所述第一计算模块503中计算所述云端压缩待备份数据的云端校验值的部分,被配置为:

使用与本地设备相同的校验算法计算所述云端压缩待备份数据的云端校验值。

为了方便与后续将要在本地设备中计算得到的本地校验值相比较,以确定云端压缩待备份数据与将其下载到本地得到的数据是否一致,在该实施方式中,云端设备需使用与本地设备相同的校验算法来计算所述云端压缩待备份数据的校验值,即云端校验值。

在本公开一实施方式中,所述第一计算模块503还被配置为:

保存所述云端校验值。

在该实施方式中,在计算得到所述云端压缩待备份数据的云端校验值之后,还对其进行保存,以备后续可取来与本地设备计算得到的本地校验值进行比较。

在本公开一实施方式中,所述第一计算模块503中将所述云端校验值和所述云端压缩待备份数据发送给本地设备的部分,可被配置为:

将所述云端校验值和云端压缩待备份数据获取地址发送给本地设备,以使所述本地设备能够根据所述云端压缩待备份数据获取地址获取得到所述云端压缩待备份数据。

为了减少数据传输量,提高数据传输效率,在云端设备将云端校验值和云端压缩待备份数据发送给本地设备时,并不发送全部的云端压缩待备份数据,而是仅向所述本地设备发送所述云端校验值和存储有所述云端压缩待备份数据的地址,即云端压缩待备份数据获取地址。借助所述云端压缩待备份数据获取地址,所述本地设备即能够获取得到完整的所述云端压缩待备份数据。

图6示出根据本公开另一实施方式的数据备份装置的结构框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示,所述数据备份装置包括:

接收模块601,被配置为接收云端设备发送的云端校验值和云端压缩待备份数据;

第二计算模块602,被配置为计算所述云端压缩待备份数据的本地校验值;

执行模块603,被配置为比较所述本地校验值和所述云端校验值,当所述本地校验值与所述云端校验值匹配时,执行预设操作。

上文提及,随着网络科学技术和数据技术的发展,云计算的应用越来越广泛,其中,数据库数据是云产品的核心数据,为了实现数据的高可靠性,通常会在云上进行数据库备份,但仅仅在一个云产品上进行备份无法满足数据可靠性要求,可以想到的一个解决方案是把云上的备份数据下载到本地存至本地持久化存储中,或者继续上传到其他云产品中,以实现混合云备份,进而满足数据可靠性要求,这就要求下载到本地的数据,需要能够恢复到本地,同时,还需要具有可读性,能够支持数据的查询和分析。为了实现上述解决方案,有的方法是由用户自己选择云上的数据库备份文件进行手工下载,这种方法虽然可以基本实现数据库备份文件的再次备份,但存在多个缺点:用户需要手工选择多个数据库备份文件进行下载,操作较为繁琐;直接下载的数据库备份文件通常无法满足数据的可读性要求,无法支持数据的查询和分析;下载数据与云上数据库备份文件数据之间的一致性难以确认和保障。因此,亟需一种操作方便,既能够保障数据的可读性,又能够保障下载数据与云上数据库备份文件数据之间的一致性的数据再次备份方案。

考虑到上述问题,在该实施方式中,提出一种数据备份装置,该装置通过对于从云端下载下来的待备份数据校验值计算来实现云端待备份数据的下载和一致性确认。该技术方案操作方便,无需用户手工选择多个数据库备份文件进行下载,而且该技术方案在数据再次备份时既能够保障数据的可读性,支持数据的查询和分析,又能够保障下载数据与云上数据库备份文件数据之间的一致性。

在本公开一实施方式中,所述数据备份装置可实现为在本地对于数据执行备份操作的数据备份操作方,比如,对于数据执行备份操作的计算机、计算设备、电子设备、服务器、服务集群等设备。

在上述实施方式中,本地设备在接收到云端设备发送的云端校验值和云端压缩待备份数据之后,计算得到所述云端压缩待备份数据的本地校验值,然后再将所述本地校验值与接收到的所述云端校验值进行比较,若所述本地校验值与所述云端校验值相匹配,即相同或相一致时,所述本地设备可执行预设操作。其中,所述预设操作可包括以下操作中的一种或多种:本地持久化存储,数据查询和数据分析。

在本公开一实施方式中,所述装置还包括:

第二发送模块,被配置为响应于接收到所述云端设备发送的备份授权请求,向所述云端设备发送备份授权确认信息。

为了保障数据备份操作的合法性,在该实施方式中,在云端设备进行数据备份之前,会向本地设备发送备份授权请求,以获得本地设备或者本地设备操作方的授权和许可。而本地设备在接收到所述备份授权请求后,会向所述云端设备发送是否同意授权云端设备进行备份操作的信息,若所述本地设备同意授权云端设备进行备份操作,则可向所述云端设备发送备份授权确认信息,若所述本地设备不同意授权云端设备进行备份操作,可不发送信息或者发送备份授权未确认信息。如上文所述,所述备份授权请求可携带有备份配置参数,其中,所述备份配置参数可包括以下参数中的一种或多种:需备份数据标识、数据备份频率等等,其中,所述需备份数据标识指的是所述需备份数据的具有区别性的标识信息,比如需备份数据的名称或id等等。所述备份配置参数确定之后,所述数据备份操作方即可按照所述备份配置参数对于所述云端待备份数据自动执行备份操作,从而避免了用户手工选择数据库备份文件的繁琐。当然,所述本地设备或者本地设备操作方也可随时根据实际应用的需要对于所述备份配置参数进行修改。

在本公开一实施方式中,当所述云端压缩待备份数据存在两个或多个时,为了对于所述两个或多个云端压缩待备份数据进行准确有效的识别,所述接收模块601在接收云端设备发送的云端校验值和云端压缩待备份数据之后,还需根据所述云端压缩待备份数据的生成时间对其进行排序。

在本公开一实施方式中,所述接收模块601可被配置为:

接收云端设备发送的云端校验值和云端压缩待备份数据获取地址;

跳转至所述云端压缩待备份数据获取地址,获取得到所述云端压缩待备份数据。

上文提及,为了减少数据传输量,提高数据传输效率,云端设备在将云端校验值和云端压缩待备份数据发送给本地设备时,并不发送全部的云端压缩待备份数据,而是仅向所述本地设备发送所述云端校验值和存储有所述云端压缩待备份数据的地址,即云端压缩待备份数据获取地址。因此,在该实施方式中,当所述本地设备接收到云端设备发送的云端校验值和云端压缩待备份数据获取地址之后,可跳转至所述云端压缩待备份数据获取地址,来获取完整的所述云端压缩待备份数据。

在本公开一实施方式中,所述第二计算模块602可被配置为:

使用与云端设备相同的校验算法计算所述云端压缩待备份数据的本地校验值。

为了方便与在云端设备中计算得到的云端校验值相比较,以确定下载到本地得到的数据与云端压缩待备份数据是否一致,在该实施方式中,所述本地设备需使用与云端设备相同的校验算法来计算获得的所述云端压缩待备份数据的校验值,即本地校验值。

图6所示及相关实施方式中涉及的技术术语和技术特征与图5所示及相关实施方式中提及的技术术语和技术特征相同或相似,对于图6所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图5所示及相关实施方式的解释的说明,此处不再赘述。

图7示出根据本公开一实施方式的数据备份系统的结构框图,该系统可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图7所示,所述数据备份系统包括:

云端设备701,被配置为获取云端待备份数据,对所述云端待备份数据进行压缩,得到云端压缩待备份数据,计算所述云端压缩待备份数据的云端校验值,并将所述云端校验值和所述云端压缩待备份数据发送给本地设备;

本地设备702,被配置为接收云端设备发送的云端校验值和云端压缩待备份数据,计算所述云端压缩待备份数据的本地校验值,比较所述本地校验值和所述云端校验值,当所述本地校验值与所述云端校验值匹配时,执行预设操作。

在本公开一实施方式中,所述云端设备在获取云端待备份数据之前,还被配置为:

所述云端设备向所述本地设备发送备份授权请求;

所述本地设备响应于接收到所述云端设备发送的备份授权请求,向所述云端设备发送备份授权确认信息;

所述云端设备接收所述本地设备发送的备份授权确认信息。

在本公开一实施方式中,所述云端设备对所述云端待备份数据进行压缩之前,还被配置为:

将所述云端待备份数据转换为预设数据格式。

在本公开一实施方式中,所述云端设备计算所述云端压缩待备份数据的云端校验值的部分,被配置为:

使用与本地设备相同的校验算法计算所述云端压缩待备份数据的本地校验值。

在本公开一实施方式中,所述云端设备计算所述云端压缩待备份数据的云端校验值之后,还被配置为:

保存所述云端校验值。

在本公开一实施方式中,所述云端设备将所述云端校验值和所述云端压缩待备份数据发送给本地设备的部分,被配置为:

将所述云端校验值和云端压缩待备份数据获取地址发送给本地设备,以使所述本地设备能够根据所述云端压缩待备份数据获取地址获取得到所述云端压缩待备份数据。

在本公开一实施方式中,所述本地设备接收云端设备发送的云端校验值和云端压缩待备份数据的部分,被配置为:

所述本地设备接收云端设备发送的云端校验值和云端压缩待备份数据获取地址,跳转至所述云端压缩待备份数据获取地址,获取得到所述云端压缩待备份数据。

在本公开一实施方式中,所述本地设备计算所述云端压缩待备份数据的本地校验值的部分,被配置为:

使用与云端设备相同的校验算法计算所述云端压缩待备份数据的本地校验值。

在本公开一实施方式中,所述预设操作包括以下操作中的一种或多种:本地持久化存储,数据查询和数据分析。

图7所示及相关实施方式中涉及的技术术语和技术特征与图5-6所示及相关实施方式中提及的技术术语和技术特征相同或相似,对于图7所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图5-6所示及相关实施方式的解释的说明,此处不再赘述。

本公开实施例还公开了一种电子设备,所述电子设备包括存储器和处理器;其中,

所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现上述任一方法步骤。

图8是适于用来实现根据本公开一实施方式的数据备份方法的计算机系统的结构示意图。

如图8所示,计算机系统800包括处理单元801,其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行上述实施方式中的各种处理。在ram803中,还存储有系统800操作所需的各种程序和数据。处理单元801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。

以下部件连接至i/o接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。其中,所述处理单元801可实现为cpu、gpu、tpu、fpga、npu等处理单元。

特别地,根据本公开的实施方式,上文描述的方法可以被实现为计算机软件程序。例如,本公开的实施方式包括一种计算机程序产品,其包括有形地包含在及其可读介质上的计算机程序,所述计算机程序包含用于执行所述数据备份方法的程序代码。在这样的实施方式中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。

附图中的流程图和框图,图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面,本公开实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施方式中所述装置或系统中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本公开实施例的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1