一种数据处理的方法以及相关设备与流程

文档序号:15982191发布日期:2018-11-17 00:27阅读:142来源:国知局

本申请涉及计算机领域,特别涉及一种数据处理的方法以及相关设备。

背景技术

随着技术的发展,越来越多的数据业务展开,而数据备份或数据迁移等也越来越重要。在存储系统中,容灾备份、数据保护是非常重要的指标。通常需要对主卷中的数据进行数据复制或数据迁移。

而在进行数据迁移时,即将主卷中所保存的数据或所备份的数据迁移到从卷中,将涉及到数据转换、格式转换等,且数据迁移与设备上的其他业务或进行同时展开,占用进行数据迁移的设备大量的进程或容量,可能影响该设备正在进行或即将进行业务。

因此,如何减少数据迁移对设备的影响,并且正常完成数据迁移成为亟待解决的问题。



技术实现要素:

本申请提供一种数据处理的方法以及相关设备,用于通过标识位记录数据迁移的状态,降低数据迁移对设备的业务的影响,完成对待迁移数据的迁移。

有鉴于此,本申请第一方面提供一种数据处理的方法,可以包括:

确定从主卷迁移到从卷的迁移数据;

确定目标标识数据,所述目标标识数据中包括至少一位,所述目标标识数据用于标识所述迁移数据的迁移状态,所述目标标识数据中的每一位用于标识所述迁移数据中对应的数据的迁移状态;

若目标标识位为第一预设值,则对所述目标标示位对应的数据从所述主卷同步到所述从卷,所述目标标识位为所述目标标识数据中任一位。

可选地,在一些可能的实施方式中,所述方法还包括:

若所述目标标识位为第二预设值,则确定所述目标标识位对应的数据同步完成。

可选地,在一些可能的实施方式中,所述方法还包括:

当所述目标标识数据中的所有标识位都为所述第二预设值,则确定所述迁移数据迁移完成,以及删除所述主卷上的所述迁移数据。

可选地,在一些可能的实施方式中,

当所述目标标识位为所述第二预设值,若对所述目标标识位在所述迁移数据中对应的数据进行改写,则对所述主卷上对应的数据与所述从卷上对应的数据进行改写;

或,

当所述目标标识位为所述第一预设值,若对所述目标标识位在所述迁移数据中对应的数据进行改写,则对所述主卷上对应的数据进行改写。

可选地,在一些可能的实施方式中,所述确定目标标识数据,包括:

根据所述主卷或所述从卷的容量确定所述目标标识数据的长度。

本申请第二方面提供一种数据处理装置,可以包括:

确定单元,用于确定从主卷迁移到从卷的迁移数据;

标识单元,用于确定目标标识数据,所述目标标识数据中包括至少一位,所述目标标识数据用于标识所述迁移数据的迁移状态,所述目标标识数据中的每一位用于标识所述迁移数据中对应的数据的迁移状态;

同步单元,用于若目标标识位为第一预设值,则对所述目标标示位对应的数据从所述主镜像卷同步到所述从镜像卷,所述目标标识位为所述目标标识数据中任一位。

可选地,在一些可能的实施方式中,

所述同步单元,还用于若所述目标标识位为第二预设值,则确定所述目标标识位对应的数据同步完成。

可选地,在一些可能的实施方式中,所述数据处理装置还包括:删除单元;

所述同步单元,还用于当所述目标标识数据中的所有标识位都为所述第二预设值,则确定所述迁移数据迁移完成;

所述删除单元,用于当所述同步单元确定所述迁移数据迁移完成,删除所述主卷上的所述迁移数据。

可选地,在一些可能的实施方式中,所述数据处理装置还包括:

改写单元,用于当所述目标标识位为所述第二预设值,若对所述目标标识位在所述迁移数据中对应的数据进行改写,则对所述主卷上对应的数据与所述从卷上对应的数据进行改写;

或,

当所述目标标识位为所述第一预设值,若对所述目标标识位在所述迁移数据中对应的数据进行改写,则对所述主卷上对应的数据进行改写。

可选地,在一些可能的实施方式中,

所述确定单元,具体用于根据所述主卷或所述从卷的容量确定所述目标标识数据的长度。

本申请第三方面提供一种计算机装置,可以包括:

处理器、存储器、总线以及输入输出接口,该处理器、该存储器与该输入输出接口通过该总线连接;

该存储器,用于存储程序代码;

该处理器调用该存储器中的程序代码时执行本申请第一方面提供的方法的步骤。

本申请实施例第四方面提供一种存储介质,需要说明的是,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产口的形式体现出来,该计算机软件产品存储在一个存储介质中,用于储存为上述设备所用的计算机软件指令,其包含用于执行上述为第一方面所设计的程序。

该存储介质包括:u盘、移动硬盘、只读存储器(英文缩写rom,英文全称:read-onlymemory)、随机存取存储器(英文缩写:ram,英文全称:randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例第五方面提供了一种计算机程序产品,该计算机程序产品包括计算机软件指令,该计算机软件指令可通过处理器进行加载来实现上述第一方面中任意一项的数据处理的方法中的流程。

从以上技术方案可以看出,本申请实施例具有以下优点:在本申请实施方式中,通过目标标识数据标识迁移数据的迁移状态,可以防止在数据迁移过程中,因迁移中断或通信断开等原因引起的数据传输失败,而导致无法确定迁移数据是否传输成功。在进行数据迁移时,可以主动或被动停止数据迁移,以保证设备上的业务或进程等正常运行,当设备空闲或执行的业务或进程低于阈值时,继续进行数据迁移,或在设备上正在开展业务或正在运行进程时,可以根据开展的业务量或进程所占设备的比例等,选择迁移的数据量,避免影响设备上正在开展的业务或运行的进程等。

附图说明

图1为本申请实施例中数据处理的方法的一种实施例示意图;

图2为本申请实施例中数据处理的方法的另一种实施例示意图;

图3为本申请实施例中数据处理装置的一个实施例示意图;

图4为本申请实施例中数据处理装置的另一个实施例示意图。

具体实施方式

本申请提供一种数据处理的方法以及相关设备,用于通过标识位记录数据迁移的状态,降低数据迁移对设备的业务的影响,完成对待迁移数据的迁移。

首先,本申请实施例中的数据处理的方法的一种实施例示意图如图1所示,包括:

101、确定从主卷迁移到从卷的迁移数据;

首先确定需要从主卷迁移到从卷的迁移数据,包括该迁移数据的长度以及具体数据内容等。

其中,主卷可以位于终端设备、计算机或服务器等设备中,从卷也可以是位于终端设备、计算机或服务器中。

在实际应用中,包括容灾备份、数据保护等场景,主卷中保存了迁移数据,该迁移数据需要迁移到从卷中,主卷与从卷共同组成镜像卷。

102、确定目标标识数据;

在确定迁移数据后,根据主卷或从卷的容量大小确定预置长度的目标标识数据,该目标标识数据用于标识迁移数据的迁移状态,该迁移状态包括迁移完成以及迁移未完成,迁移完成即表示迁移数据以从主卷迁移到从卷,迁移未完成即表示迁移数据未完全从主卷迁移到从卷。

目标标识数据的包括与迁移数据的迁移状态对应的标识位,例如,一个标识位可以对应迁移数据中的256kb(kilobyte,千字节)数据的迁移状态,若该256kb数据未完成迁移,则该标识位为第一预设值,若该256kb数据完成迁移,则该标识位为第一预设值。

103、判断目标标识位是否为第一预设值,若是,则执行步骤104,若否,则执行步骤105;

在进行数据迁移或进行数据迁移之前,确定目标标识数据中的目标标识位的值,该目标标识位可以是目标标识数据中的任一位。若该目标标识位的值为第一预设值,则执行步骤104,若该目标标识位不为第一预设值,则执行步骤105。

104、将目标标示位对应的数据从主卷同步到从卷;

若目标标识位为第一预设值,则可以确定迁移数据中的与目标标识位所对应的数据未未完成迁移,可以将迁移数据中与该目标标识位对应的数据同步到从卷中,以完成该目标标识位对应的数据的迁移。

105、确定目标标识位对应的数据同步完成;

若目标标识位不为第一预设值,则可以确定目标标识位为第二预设值,即表示迁移数据中目标标识位对应的数据已同步完成。

此外,若在数据迁移时,此时有需要对目标标识位对应的待迁移或正在迁移的数据进行改写,若目标标识位为第一预设值,即目标标识位所对应的数据未进行迁移,则此时可以对主卷上与目标标识位对应的数据进行改写,后续对该主卷上的数据进行迁移;若目标标识位为第二预设值,即已完成对目标标识位对应的数据的迁移,则此时可以对主卷上与目标标识位对应的数据,以及从卷上与目标标识位对应的数据进行改写,以使主卷上的数据与从卷上的数据保持一致。

106、删除主卷上的迁移数据以及目标标识数据。

当确定目标标识数据中每一标识位所对应的迁移数据中的数据都已完成迁移,即目标标识数据中的每一位标识位都为第二预设值,则可以删除主卷上的迁移数据以及目标标识数据。

应理解,该目标标识位可以包括与主卷所对应的设备中,也可以包括与从卷所对应的设备中,还可以是其他设备中,具体可根据实际场景调整,此处不作限定。

在本申请实施方式中,通过目标标识数据标识迁移数据的迁移状态,可以防止在数据迁移过程中,因迁移中断或通信断开等原因引起的数据传输失败,而导致无法确定迁移数据是否传输成功。在进行数据迁移时,可以随时停止迁移,以保证设备上的业务或进程等正常运行,当设备空闲或执行的业务或进程低于阈值时,继续进行数据迁移,或在设备上正在开展业务或正在运行进程时,可以根据开展的业务量或进程所占设备的比例等,选择迁移的数据量,避免影响设备上正在开展的业务或运行的进程等。若出现数据迁移停止或意外停止等情况,则进行数据迁移的设备可以根据该目标标识数据确定未成功迁移的数据,继续进行未迁移的数据的迁移,以完成对迁移数据的完整准确迁移。

前述对本申请提供的数据处理的方法流程进行了说明,其中,通过目标标识位对前述数据的迁移状态进行判定的具体过程可以如图2所示。

下面以一种具体的实施例对本申请提供的数据处理的方法进行详细说明。请参阅图2,本申请实施方式中数据处理方法的另一种实施例示意图,可以包括:

201、遍历目标标识数据;

在确定目标标识数据后,进行数据前、数据迁移时或数据迁移后,都可以对目标标识数据进行遍历,即对目标标识数据的每一位进行读取并判断,以确认迁移数据是否迁移成功。

202、判断目标标识位为是否为0,若是,则执行步骤203,若否,则执行步骤208;

获取目标标识数据中的目标标识位的值,目标标识位可以是目标标识数据中的任意一位。判断目标标识位的值是否为0,即是否为第一预设值,若为0,则执行步骤203,若不为0,则执行步骤208。

需要说明的是,第一预设值可以是0,也可以是1或其他值,此处仅以0作为示例性说明,具体可根据实际场景调整,此处不作限定。

203、锁定目标标识位;

在确定目标标识位为0后,对目标标识位进行锁定,目标标识位被锁定后,只能被读取,不能被改写。

204、定位映射的数据快;

目标标识数据中的每一位都对应迁移数据中的数据。可以在锁定目标标识位后,确定目标标识位所对应的数据块。该数据块即迁移数据中与该目标标识位对应的预置大小的数据。例如,一个标识位对应256kb或64kb大小的数据块,该数据块包括于迁移数据。

205、同步数据;

在定位目标标识位映射的数据块后,对定位到的数据块进行同步,即将数据库从主卷同步到从卷中。

206、目标标识位改写为1;

在同步完目标标识位对应的数据块后,可以将目标标识位改写为1,即第二预设值。

需要说明的是,第二预设值可以是1,也可以是0或其他值,此处仅以1作为示例性说明,具体可根据实际场景调整,此处不作限定。

207、解锁目标标识位;

在将目标标识位改写为1后,即可解锁目标标识位。此时该目标标识位可以被读取或写入。

208、判断是否遍历完成,若是,则执行步骤209,若否,则执行步骤201;

在解锁目标标识位后,判断是否遍历完成,若遍历完成,则执行步骤209,若遍历未完成,则执行步骤201。

209、删除主卷上的迁移数据;

在对目标标识数据遍历完成,且确认数据迁移完成后,可以删除主卷上的迁移数据,以完成数据迁移。

210、删除目标标识数据。

在完成数据迁移,且删除主卷上的迁移数据后,可以删除目标标识数据,可以对目标数据标识进行清零处理。

在本申请实施方式中,可以通过目标标识数据对迁移数据的迁移状态进行标识,可以在影响进行数据迁移的设备上运行业务的情况下对数据进行迁移,在数据迁移中止或主暂停迁移等情况下,可以根据目标标识数据继续对未完成更新的数据进行更新。

前述对本申请实施例提供的数据处理的方法进行了说明,下面对本申请提供的装置进行说明。请参阅图3,本申请提供的数据处理装置的一种实施例示意图,可以包括:

确定单元301,用于确定从主卷迁移到从卷的迁移数据;

标识单元302,用于确定目标标识数据,该目标标识数据中包括至少一位,该目标标识数据用于标识该迁移数据的迁移状态,该目标标识数据中的每一位用于标识该迁移数据中对应的数据的迁移状态;

同步单元303,用于若目标标识位为第一预设值,则对该目标标示位对应的数据从该主镜像卷同步到该从镜像卷,该目标标识位为该目标标识数据中任一位。

可选地,在一些可能的实施方式中,

该同步单元303,还用于若该目标标识位为第二预设值,则确定该目标标识位对应的数据同步完成。

可选地,在一些可能的实施方式中,该数据处理装置还包括:删除单元304;

该同步单元303,还用于当该目标标识数据中的所有标识位都为该第二预设值,则确定该迁移数据迁移完成;

该删除单元304,用于当该同步单元303确定该迁移数据迁移完成,删除该主卷上的该迁移数据。

可选地,在一些可能的实施方式中,该数据处理装置还包括:

改写单元305,用于当该目标标识位为该第二预设值,若对该目标标识位在该迁移数据中对应的数据进行改写,则对该主卷上对应的数据与该从卷上对应的数据进行改写;

或,

当该目标标识位为该第一预设值,若对该目标标识位在该迁移数据中对应的数据进行改写,则对该主卷上对应的数据进行改写。

可选地,在一些可能的实施方式中,

该确定单元301,具体用于根据该主卷或该从卷的容量确定该目标标识数据的长度。

请参阅图4,本申请实施例中数据处理装置的另一个实施例示意图,包括:

中央处理器(centralprocessingunits,cpu)401,存储介质402,电源403,存储器404,输入输出接口405,应理解,本申请实施例中的cpu可以是一个,也可以是多个,输入输出接口可以是一个,也可以是多个,具体此处不作限定。电源403可以为稳态检测装置提供工作电源,存储器404和存储介质403可以是短暂存储或持久存储,存储介质中存储了指令,当cpu可以根据该存储器中的指令执行前述图1至图2实施例中的具体步骤。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请图1至图2各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1