数据恢复方法、装置、电子设备及计算机可读存储介质与流程

文档序号:22124239发布日期:2020-09-04 17:00阅读:109来源:国知局
数据恢复方法、装置、电子设备及计算机可读存储介质与流程

本申请涉及数据处理技术领域,尤其是涉及一种数据恢复方法、装置、电子设备及计算机可读存储介质。



背景技术:

在分布式存储系统中,最常见的两种数据冗余技术是多副本策略和纠删码(erasurecode,简称ec)。相比于多副本策略,纠删码具有冗余度更低、磁盘利用率更高等优势。纠删码技术主要通过相关纠删码算法将原始的数据块进行编码得到校验块,并将数据块和校验块一并存储起来,以达到容错的目的。

目前的分布式存储系统中,当副本出现缺失时,会触发副本的恢复机制。管理节点会在副本数量没有达到阈值数量时,逐一恢复丢失的副本。对于多副本而言,如果丢失一个副本,就会触发一次恢复;丢失两个副本,就会依次触发两次恢复;丢失了多个副本,就会依次触发多次恢复。

可见,在现有ec副本的恢复过程中,当恢复多个副本时,需要触发多次恢复任务,对于处理器和网络带宽都是一种浪费,而且多次恢复需要花费更长的时间,降低了数据安全性。



技术实现要素:

本发明的目的在于提供一种数据恢复方法、装置、电子设备及计算机可读存储介质,以解决目前的分布式存储系统的在多个ec副本恢复过程中存在的效率较低的技术问题。

第一方面,本发明实施例提供了一种数据恢复方法,应用于分布式对象存储系统中的管理设备,方法包括:

当检测到数据缺失了一个或多个副本时,选择所缺失的一个或多个副本作为待恢复副本;

生成恢复任务命令,所述恢复任务命令包括每个所述待恢复副本的id,以及每个所述待恢复副本的目的节点设备的信息;

将所述恢复任务命令发送至目标存储设备,使所述目标存储设备根据所述恢复任务命令恢复每个所述待恢复副本,并根据每个所述待恢复副本的目的节点设备的信息,将每个恢复后的待恢复副本写入与其对应的目的节点设备。

在一些实施方式中,所述目标存储设备为所述目的节点设备其中之一,

所述将恢复任务命令发送至目标存储设备,使所述目标存储设备根据所述恢复任务命令恢复每个所述待恢复副本,包括:

当检测到数据缺失了多个副本时,将所述恢复任务命令发送至任意一个目的节点设备,使所述任意一个目的节点设备恢复多个所述待恢复副本,且根据每个所述待恢复副本的目的节点设备的信息,将恢复后的所述待恢复副本写入与其对应的目的节点设备。

在一些实施方式中,所述目标存储设备包括存储单元,

所述将所述恢复任务命令发送至目标存储设备,使所述目标存储设备根据所述恢复任务命令恢复每个所述待恢复副本,包括:

将所述恢复任务命令发送至任意一个所述目标存储设备的存储单元,以在所述目标存储设备的存储单元恢复每个所述待恢复副本,且根据每个所述待恢复副本的目的节点设备的信息,将恢复后的所述待恢复副本写入与其对应的目的节点设备。

在一些实施方式中,在所述将所述恢复任务命令发送至目标存储设备,使所述目标存储设备根据所述恢复任务命令恢复每个所述待恢复副本的步骤之后,还包括:

接收来自所述目标存储设备的完成恢复消息,并更新每个所述待恢复副本的状态信息。

第二方面,本申请实施例又提供了一种数据恢复方法,应用于分布式对象存储系统中的存储设备,所述方法包括:

接收来自管理设备的恢复任务命令,所述恢复任务命令包括一个或多个待恢复副本的id,以及每个所述待恢复副本的目的节点设备的信息;

通过纠删码解码,获得每个所述待恢复副本的数据;

根据每个所述待恢复副本的目的节点设备的信息,将每个所述待恢复副本的数据写入与其对应的目的节点设备。

在一些实施方式中,所述存储设备为所述目的节点设备的其中之一;

所述根据每个所述待恢复副本的目的节点设备的信息,将每个所述待恢复副本的数据写入与其对应的目的节点设备,包括:

根据每个所述待恢复副本的数据形成每个恢复后的所述待恢复副本,且根据每个所述待恢复副本的目的节点设备的信息,将恢复后的所述待恢复副本写入与其对应的目的节点设备。

在一些实施方式中,所述存储设备包括存储单元,

所述通过纠删码解码,获得每个所述待恢复副本的数据,包括:

通过纠删码解码,获得每个所述待恢复副本的数据,在所述存储单元恢复每个所述待恢复副本。

在一些实施方式中,在所述将每个所述待恢复副本的数据写入相应的目的节点设备中的步骤之后,还包括:

向所述管理设备发送完成恢复消息,使所述管理设备更新每个所述待恢复副本的状态信息。

第三方面,本申请实施例又提供了一种数据恢复装置,应用于分布式对象存储系统中的管理设备,所述装置包括:

待恢复副本选择模块,用于当检测到数据缺失了一个或多个副本时,选择所缺失的一个或多个副本作为待恢复副本;

恢复任务命令生成模块,用于生成恢复任务命令,所述恢复任务命令包括每个所述待恢复副本的id,以及每个所述待恢复副本的目的节点设备的信息;

待恢复副本恢复模块,用于将所述恢复任务命令发送至目标存储设备,使所述目标存储设备根据所述恢复任务命令恢复每个所述待恢复副本,并根据每个所述待恢复副本的目的节点设备的信息,将每个恢复后的待恢复副本写入与其对应的目的节点设备。

第四方面,本申请实施例又提供了一种数据恢复装置,应用于分布式对象存储系统中的存储设备,所述装置包括:

恢复任务命令接收模块,用于接收来自管理设备的恢复任务命令,所述恢复任务命令包括一个或多个待恢复副本的id,以及每个所述待恢复副本的目的节点设备的信息;

待恢复副本数据获取模块,用于通过纠删码解码,获得每个所述待恢复副本的数据;

待恢复副本数据写入模块,用于根据每个所述待恢复副本的目的节点设备的信息,将每个所述待恢复副本的数据写入与其对应的目的节点设备。

第五方面,本申请实施例又提供了一种电子设备,包括存储器、处理器,存储器中存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的第一方面或第二方面方法。

第六方面,本申请实施例又提供了一种计算机可读存储介质,计算机可读存储介质存储有机器可运行指令,计算机可运行指令在被处理器调用和运行时,计算机可运行指令促使处理器运行上述的第一方面或第二方面方法。

本申请实施例带来了以下有益效果:

本申请实施例提供的一种数据恢复方法、装置、电子设备及计算机可读存储介质,该数据恢复方法应用于分布式对象存储系统中的管理设备时,当检测到数据缺失了一个或多个副本时,选择所缺失的一个或多个副本作为待恢复副本;然后生成恢复任务命令,恢复任务命令包括每个待恢复副本的id,以及每个待恢复副本的目的节点设备的信息。再将恢复任务命令发送至目标存储设备,使目标存储设备根据恢复任务命令恢复每个待恢复副本,且根据每个所述待恢复副本的目的节点设备的信息,将恢复后的所述待恢复副本写入与其对应的目的节点设备。在分布式对象存储系统中的存储设备中会接收来自管理设备的恢复任务命令,恢复任务命令包括一个或多个待恢复副本的id,以及每个待恢复副本的目的节点设备的信息;然后通过纠删码解码,获得每个待恢复副本的数据;最终根据每个待恢复副本的目的节点设备的信息,将每个待恢复副本的数据写入与其对应的目的节点设备中。上述方法中的节点设备检测到恢复任务时,只需下发一次恢复任务即可实现一个或多个节点的恢复,实现了一次ec解码过程就将所有的丢失副本还原并恢复到指定的一个或多个节点中,减少了不必要的资源浪费,数据恢复的时间也更短,提升了数据安全性。

为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种应用于分布式对象存储系统中的管理设备的数据恢复方法的流程图;

图2为本申请实施例提供的一种应用于分布式对象存储系统中的存储设备的数据恢复方法的流程图;

图3为本申请实施例提供的一种应用于分布式对象存储系统中的管理设备的数据恢复装置的结构示意图;

图4为本申请实施例提供的一种应用于分布式对象存储系统中的存储设备的数据恢复方法的结构示意图;

图5为本申请实施例提供的一种电子设备的结构示意图。

图标:

310-待恢复副本选择模块;320-恢复任务命令生成模块;330-待恢复副本恢复模块;410-恢复任务命令接收模块;420-待恢复副本数据获取模块;430-待恢复副本数据写入模块;500-电子设备;501-存储器;502-处理器;503-总线;504-通信接口。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

对象存储系统可以在一个持久稳固且高度可用的系统中存储任意的对象,用户和应用可以在对象存储中使用简单的api(applicationprogramminginterface,应用程序接口)访问数据。对象存储系统基本都是通过在多个磁盘上存储多个副本来保证数据的安全性,多个副本之间数据保持一致。

分布式存储系统中最常见的两种数据冗余技术是多副本策略和纠删码,相比于多副本策略而言,纠删码具有更高的磁盘利用率。纠删码技术主要是通过纠删码算法将原始的数据块进行编码得到校验块,并将数据块和校验块一并存储起来,以达到容错的目的。其基本思想是将m块原始的数据块通过计算,得到n块校验块,对于这m+n个块,丢失任意的n块元素时,均可以通过对应的算法恢复出原来的数据。生成校验块的过程称为编码(encode),恢复丢失数据块的过程被称为解码(decode)。基于纠删码的方法与多副本方法相比具有冗余度低,磁盘利用率高等优点。

当副本出现缺失时会触发副本的恢复,现有技术中系统的管理节点会在副本数没有达到指定数量时逐一恢复丢失的副本。例如对于三副本而言,丢失了一个副本会触发一次恢复;丢失了两个副本会依次触发两次恢复;丢失了三个副本会依次触发三次恢复。

可见,在现有ec副本的恢复过程中,当恢复多个副本时,需要触发多次恢复任务,对于处理器和网络带宽都是一种浪费,而且多次恢复需要花费更长的时间,降低了数据安全性。

本申请实施例提供了一种数据恢复方法、装置、电子设备及计算机可读存储介质。通过该方法可以解决目前的分布式存储系统的在多个ec副本恢复过程中存在的效率较低的技术问题。

下面结合附图对本发明实施例进行进一步地介绍。

图1为本申请实施例提供的一种数据恢复方法的流程示意图。其中,该方法应用于分布式对象存储系统中的管理设备,该方法包括:

s110,当检测到数据缺失了一个或多个副本时,选择所缺失的一个或多个副本作为待恢复副本。

本步骤中的分布式存储系统,可利用纠删码ec技术,通过运用纠删码相关算法将原始的数据块进行编码从而得到校验块,得到的校验块与数据块同时存储,以达到容错的目的。

例如,分布式存储系统将m块待存储的原始数据通过计算,得到n块校验块。对于这m+n个块,丢失任意的n块元素时,均可以通过对应的算法恢复出原来的数据。

假设分布式对象存储系统中的管理设备通过ec的方式监控数据块,监控的过程可采用监听的方式得以实现。监听的过程可为周期性的循环检测,当检测到数据中开始丢失一个或多个副本时,选择其中所缺失的一个或多个数据副本作为待恢复副本。

在上述过程中,选择的待恢复副本可以是全部丢失的副本,也可以是这些副本中的一部分。

s120,生成恢复任务命令,恢复任务命令包括每个待恢复副本的id,以及每个待恢复副本的目的节点设备的信息。

恢复任务命令的生成通过分布式对象存储系统中的管理设备得以实现,所得的恢复任务命令需要通过将待恢复副本进行遍历,从而获得每一个待恢复副本的相关属性。

具体的说,恢复任务命令包括每个待恢复副本的id,以及每个待恢复副本的目的节点设备。该id(identitydocument,身份证件)值作为待恢复副本的唯一衡量参数,为唯一的数值,可通过该id值来衡量对应的待恢复副本。

目的节点与待恢复副本相关联,关联的过程是通过映射的方式得以实现,具体实现的过程通过分布式对象存储系统中的管理设备进行指定完成关联的过程。

s130,将恢复任务命令发送至目标存储设备,使目标存储设备根据恢复任务命令恢复每个待恢复副本,并根据每个待恢复副本的目的节点设备的信息,将每个恢复后的待恢复副本写入与其对应的目的节点设备。

分布式对象存储系统中的管理设备将恢复命令发送至目标存储设备,恢复任务命令中包含每个待恢复副本的id以及对应的目的节点设备的信息,因此通过id找到对应的待恢复副本,并根据每个待恢复副本的目的节点设备的信息,将每个恢复后的待恢复副本写入与其对应的目的节点设备。在这个过程中,由于目的节点设备与待恢复副本相对应,通过一次恢复过程并结合对应的目的节点设备完成其它待恢复副本的恢复。

上述实施例可知,上述方法中的节点设备检测到恢复任务时,只需下发一次恢复任务即可实现一个或多个节点的恢复,实现了一次解码过程就将所有的丢失副本还原并恢复到指定的一个或多个节点中,减少了不必要的资源浪费,数据恢复的时间也更短,提升了数据安全性。

在一些实施方式中,上述目标存储设备为目的节点设备的其中之一。

当管理节点发现数据需要恢复时,如果是ec副本缺失n个副本,会直接选择n个符合要求的节点作为目的节点,其中目标存储设备可为目的节点设备的其中之一。上述步骤s130中,当检测到数据缺失了多个副本时,将恢复任务命令发送至任意一个目的节点设备,使任意一个目的节点设备恢复多个待恢复副本,通过下发恢复任务到其中的一个目的节点,并且携带每个节点和副本id的映射信息。该目的节点接收到恢复任务命令后,负责请求还存在的副本节点并且进行ec解码得到缺失n个副本块,根据每个待恢复副本的目的节点设备的信息,将恢复后的待恢复副本写入与其对应的目的节点设备,直至副本恢复成功后反馈给管理节点。

在一些实施方式中,目标存储设备包括存储单元,上述步骤s130中,管理节点将恢复任务命令发送至任意一个目标存储设备的存储单元,以在目标存储设备的存储单元恢复每个待恢复副本。且根据每个待恢复副本的目的节点设备的信息,将恢复后的待恢复副本写入与其对应的目的节点设备。

在一些实施方式中,上述在将恢复任务命令发送至目标存储设备,使目标存储设备根据恢复任务命令恢复每个待恢复副本的步骤s130之后,还包括:

接收来自目标存储设备的完成恢复消息,并更新每个待恢复副本的状态信息。

当目标存储设备完成恢复后,会向分布式对象存储系统中的目标管理设备告知已完成副本数据的恢复。此时管理设备会接收到来自目标存储设备的完成恢复消息,该消息中包括每个待恢复副本的相关属性信息,可包括:每个待恢复副本的id,以及每个待恢复副本的目的节点设备等相关属性数据。当获取到来自目标存储设备的完成恢复消息后,将其中对应的每个待恢复副本的状态信息进行更新,从而完成更新过程。

在一些实施方式中,上述在当检测到数据缺失了一个或多个副本时,选择所缺失的一个或多个副本作为待恢复副本的步骤s110之前,该数据恢复方法还包括:

以预设周期,检测分布式对象存储系统中是否有副本缺失。

在具体实施过程中,检测分布式对象存储系统中是否有副本缺失的手段,可采用事件监听得以实现。例如可采用相关文件监听器来对存储系统中的副本进行监听。

在进行副本监听的过程中,需要将副本所在的路径作为输入参数,并输入至相关文件监听器中,在执行监听时,文件监听器会对输入的路径中包含的所有文件以及文件夹的状态进行监控,可实时获取文件所改变的状态。可实现监听的事件主要包括:监听是否从文件中读取数据、监听是否从文件中编辑数据、监听文件中元数据(权限、拥有者、时间戳)是否被改变、监听是否打开文件或者目录进行书写并且关闭它、监听是否打开文件或者目录但没有编辑并关闭了它、监听一个文件或者目录是否被打开、监听一个文件或者子目录是否从被监控目录被移出、监听一个文件或者子目录是否从被移到被监控的目录中、监听一个文件或者子目录是否在被监控的目录下被创建、监听一个文件是否从监控目录里被删除、监控的文件或者目录被删除时监控停止、监控的文件或者目录被移动时监控继续等。

上述各类监听事件在应用过程中可采用多个事件相结合的方式进行,例如可监听副本所在的路径下的所有副本文件是否被打开,如果是,则再监听该副本文件是被删除。

监听的过程可通过预设的周期进行,预设的周期可采用循环时间为计量单位。例如该周期设置为1小时,在这1小时中对分布式对象存储系统中的副本是否缺失进行循环检测。在该周期中如果没有发现缺失文件,则再重新执行监听,直至发现副本缺失时执行后续流程。

预设的周期还可采用循环次数来设置,例如该周期为遍历所监听路径下所有的副本文件10次,当超过10次时如果仍没有副本缺失,则继续执行监听,直至发现副本缺失时执行后续流程。

图2为本申请实施例提供的一种数据恢复方法的流程示意图。其中,该方法应用于分布式对象存储系统中的存储设备,该方法包括:

步骤s210,接收来自管理设备的恢复任务命令,恢复任务命令包括一个或多个待恢复副本的id,以及每个待恢复副本的目的节点设备的信息。

分布式对象存储系统中的管理设备监听到副本缺失后,会向分布式对象存储系统中的存储设备发送恢复任务的命令,恢复任务命令在步骤s120中已生成,其中包括每个待恢复副本的id,以及每个待恢复副本的目的节点设备的信息。

步骤s220,通过纠删码解码,获得每个待恢复副本的数据。

在本领域中,生成校验块的过程称为编码,恢复丢失数据块的过程为解码。纠删码技术主要是通过纠删码算法将原始的数据块进行编码得到校验块,并将数据块和校验块一并存储起来以达到容错的目的。其基本思想是将m块原始的数据块通过计算得到n块校验块,对于这m+n个块,丢失任意的n块元素时,均可以通过对应的算法恢复出原来的待恢复副本的数据。

在一些实施方式中,存储设备包括存储单元,那么本步骤中,存储设备可以将恢复任务命令保存至存储单元,并通过纠删码解码,获得每个待恢复副本的数据,在存储单元恢复每个待恢复副本。也可以不保存恢复任务命令至存储单元,直接通过纠删码解码,获得每个待恢复副本的数据,在存储单元恢复每个待恢复副本。

步骤s230,根据每个待恢复副本的目的节点设备的信息,将每个待恢复副本的数据写入与其对应的目的节点设备。

具体的,在一些实施方式中,上述存储设备为目的节点设备的其中之一。那么步骤s230中,存储设备根据每个待恢复副本的数据形成每个恢复后的待恢复副本,且根据每个待恢复副本的目的节点设备的信息,将恢复后的待恢复副本写入与其对应的目的节点设备。

在一些实施方式中,上述在将每个待恢复副本的数据写入相应的目的节点设备中的步骤s230之后,还包括:

向管理设备发送完成恢复消息,使管理设备更新每个待恢复副本的状态信息。

恢复消息的触发,是建立在对每个待恢复副本的数据是否写入相应的目的节点设备中的判断之后的。具体实施过程中,当所有的待恢复副本均已经写入相应的节点设备中,会向管理设备发送相关消息,可采用回调函数的方式来执行,即当所有的待恢复副本均已经写入相应的节点设备后立即触发回调函数,向管理设备发送已完成的消息。

上述实施例中的数据恢复方法从两个层面分别对流程进行了解释,下面对上述数据恢复方法进行整体说明。例如在现有的架构下,假设ec的方式是8个数据块,对应的副本id分别为1至8;包含的4个校验块副本对应的id分别为9至12。如果上述副本中丢失了两个数据块副本,id分别为2和6,为了更好的进行说明,首先对传统ec数据的恢复逻辑进行介绍。

步骤1.管理节点周期性的检测副本是否存在缺失,当存在副本缺失时,随机选择一个丢失的副本触发恢复任务。分配一个节点x作为目的节点,并向其下发恢复任务。

步骤2.节点x接受到恢复命令后,请求现存的任意8个副本:副本1、副本3、副本4、副本5、副本7、副本8、副本9、副本10通过ec的解码,得到副本2的数据,并将其写入到本地中,然后提交恢复完成消息给管理节点。

步骤3.管理节点更新副本2的信息,本次恢复任务结束。

步骤4.管理节点周期性的任务检测到副本存在缺失,此时只缺失了副本6,管理节点分配一个节点y作为目的节点,向其下发恢复任务。

步骤5.与节点x恢复副本2的过程相似,节点y完成副本6的恢复,并且提交恢复完成消息给管理节点。

步骤6.管理节点更新副本6的信息,本次恢复任务结束。

步骤7.管理节点周期性任务检测,确认不存在副本缺失,等待下一次检测。

可见,传统ec副本恢复的过程中,当恢复多个副本时,需要触发多次的恢复任务,这对于设备资源和带宽都是一种浪费,而且恢复所用的时间也较长,不利于数据的安全。

通过本实施例提供的数据恢复方法后,ec副本的数据恢复逻辑如下:

步骤1.管理节点周期性的执行检测任务,以检测副本是否存在缺失。当检测到丢失了副本2和副本6时,为副本2选择节点x作为目的节点;为副本6选择节点y作为目的节点;将恢复任务下发到随机一个丢失副本触发恢复任务。

步骤2.以副本2为例,节点x接受到恢复命令后,请求现存的任意8个副本:副本1,副本3,副本4,副本5,副本7,副本8,副本9,副本10依次通过ec的解码,得到副本2和副本6的数据,并且将副本2的数据写入到本地,副本6的数据写入到节点y,然后提交恢复完成消息给管理节点。

步骤3.管理节点更新副本2和副本6的信息,本次恢复任务结束。

步骤4.管理节点周期性的执行任务检测,确认不存在副本缺失后,等待下一次检测。

管理节点可以拆分恢复任务,可以一次恢复部分副本,而不是所有副本。如缺失四个副本时,下发两次恢复任务,每次恢复两个副本。ec解码时,可以将数据恢复完整后再写入到本地和其他节点,也可以流式的解码一部分数据写入一部分数据。

本发明实施例中提到的数据恢复方法,当管理节点发现数据需要恢复时,如果ec副本缺失n个副本,会直接选择n个符合要求的节点作为目的节点,下发恢复任务到其中的一个目的节点,并且携带每个节点和副本id的映射信息。该目的节点接收到恢复任务后,负责请求还存在的副本节点,并且进行ec解码得到缺失n个副本块,并且将对应的副本块写入到对应的节点,恢复成功后反馈给管理节点。可见,管理节点只需要下发一次恢复任务,减少了和数据节点的交互,并且数据节点只需要进行一次ec的解码,减少了不必要的资源消耗,恢复的时间更短。

本申请实施例提供的应用于分布式对象存储系统中的存储设备的数据恢复方法,与上述实施例提供的应用于分布式对象存储系统中的管理设备的数据恢复方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。

图3提供了一种数据恢复装置的结构示意图。该数据恢复装置应用于分布式对象存储系统中的管理设备。如图3所示,数据恢复装置包括:

待恢复副本选择模块310,用于当检测到数据缺失了一个或多个副本时,选择所缺失的一个或多个副本作为待恢复副本;

恢复任务命令生成模块320,用于生成恢复任务命令,恢复任务命令包括每个待恢复副本的id,以及每个待恢复副本的目的节点设备的信息;

待恢复副本恢复模块330,用于将恢复任务命令发送至目标存储设备,使目标存储设备根据恢复任务命令恢复每个待恢复副本,并根据每个待恢复副本的目的节点设备的信息,将每个恢复后的待恢复副本写入与其对应的目的节点设备。

在一些实施方式中,上述目标存储设备为目的节点设备的其中之一。待恢复副本恢复模块330具体用于当检测到数据缺失了多个副本时,将恢复任务命令发送至任意一个目的节点设备,使任意一个目的节点设备恢复多个待恢复副本,且根据每个待恢复副本的目的节点设备的信息,将恢复后的待恢复副本写入与其对应的目的节点设备。

在一些实施方式中,上述目标存储设备包括存储单元。待恢复副本恢复模块330具体用于将恢复任务命令发送至任意一个目标存储设备的存储单元,以在目标存储设备的存储单元恢复每个待恢复副本,且根据每个待恢复副本的目的节点设备的信息,将恢复后的待恢复副本写入与其对应的目的节点设备。

在一些实施方式中,上述数据恢复装置还包括:

待恢复副本状态信息更新模块,用于接收来自目标存储设备的完成恢复消息,并更新每个待恢复副本的状态信息。

在一些实施方式中,上述数据恢复装置还包括:

周期检测模块,用于以预设周期,检测分布式对象存储系统中是否有副本缺失。

本申请实施例提供的应用于分布式对象存储系统中的管理设备的数据恢复装置,与上述实施例提供的应用于分布式对象存储系统中的管理设备的数据恢复方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。

图4提供了一种数据恢复装置的结构示意图,该数据恢复装置应用于分布式对象存储系统中的存储设备,该装置包括:

恢复任务命令接收模块410,用于接收来自管理设备的恢复任务命令,恢复任务命令包括一个或多个待恢复副本的id,以及每个待恢复副本的目的节点设备的信息;

待恢复副本数据获取模块420,用于通过纠删码解码,获得每个待恢复副本的数据;

待恢复副本数据写入模块430,用于根据每个待恢复副本的目的节点设备的信息,将每个待恢复副本的数据写入与其对应的目的节点设备。

在一些实施方式中,上述存储设备为目的节点设备的其中之一。待恢复副本数据写入模块430具体用于根据每个待恢复副本的数据形成每个恢复后的待恢复副本,且根据每个待恢复副本的目的节点设备的信息,将恢复后的待恢复副本写入与其对应的目的节点设备。

在一些实施方式中,上述目标存储设备包括存储单元。待恢复副本数据获取模块420具体用于将恢复任务命令保存至存储单元,并通过纠删码解码,获得每个待恢复副本的数据,在存储单元恢复每个待恢复副本。待恢复副本数据获取模块420也可以不保存恢复任务命令至存储单元,直接通过纠删码解码,获得每个待恢复副本的数据,在存储单元恢复每个待恢复副本。

在一些实施方式中,上述数据恢复装置,还包括:

恢复消息发送模块,用于向管理设备发送完成恢复消息,使管理设备更新每个待恢复副本的状态信息。

本申请实施例提供的应用于分布式对象存储系统中的存储设备的数据恢复装置,与上述实施例提供的应用于分布式对象存储系统中的存储设备的数据恢复方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。

本申请实施例提供的一种电子设备,如图5所示,电子设备500包括存储器501、处理器502,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。

参见图5,电子设备还包括:总线503和通信接口504,处理器502、通信接口504和存储器501通过总线503连接;处理器502用于执行存储器501中存储的可执行模块,例如计算机程序。

其中,存储器501可能包含高速随机存取存储器(ram,randomaccessmemory),也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。通过至少一个通信接口504(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。

总线503可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。

其中,存储器501用于存储程序,所述处理器502在接收到执行指令后,执行所述程序,前述本申请任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器502中,或者由处理器502实现。

处理器502可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器502中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器502可以是通用处理器,包括中央处理器(centralprocessingunit,简称cpu)、网络处理器(networkprocessor,简称np)等;还可以是数字信号处理器(digitalsignalprocessing,简称dsp)、专用集成电路(applicationspecificintegratedcircuit,简称asic)、现成可编程门阵列(field-programmablegatearray,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501,处理器502读取存储器501中的信息,结合其硬件完成上述方法的步骤。

对应于上述数据存储方法,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有机器可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述数据恢复方法的步骤。

本申请实施例所提供的数据恢复装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述移动控制方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。

最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1