数据处理方法及装置与流程

文档序号:26404866发布日期:2021-08-24 16:18阅读:100来源:国知局
数据处理方法及装置与流程

本说明书涉及计算机技术领域,特别涉及一种数据处理方法。本说明书同时涉及一种数据处理装置,一种计算设备,以及一种计算机可读存储介质。



背景技术:

随着互联网技术的发展,各个企业所拥有的数据量越来越大,而这些数据中有些数据是被经常性访问的,而有些数据是不被经常性访问的,并且数据的价值大多会随着时间的增长而递减,例如数据大多会从被经常性访问的阶段逐渐转变到不被经常性访问的阶段,而针对不同阶段的数据可以通过采用不同类型的存储介质进行存储,从而减少存储成本,因此,在数据的价值转变时,通常需要对数据在不同类型的存储介质之间进行转储,而目前在数据的转储过程中,由于一些原因,比如程序代码问题、网络错误、目标存储介质不可用等等,可能会出现数据错误,因此,需要更安全的方式进行数据处理。



技术实现要素:

有鉴于此,本说明书实施例提供了一种数据处理方法。本说明书同时涉及一种数据处理装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面,提供了一种数据处理方法,包括:

接收针对目标数据的数据转储指令;

基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质,其中,在所述转储的过程中对所述目标数据进行第一次数据校验;

在所述第一次数据校验通过的情况下,将所述目标数据保留在所述初始存储介质中。

根据本说明书实施例的第二方面,提供了一种数据处理装置,包括:

接收针对目标数据的数据转储指令;

基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质,其中,在所述转储的过程中对所述目标数据进行第一次数据校验;

在所述第一次数据校验通过的情况下,将所述目标数据保留在所述初始存储介质中。

根据本说明书实施例的第三方面,提供了一种计算设备,包括:存储器和处理器;

所述存储器用于存储计算机指令,所述处理器用于执行所述计算机指令:

接收针对目标数据的数据转储指令;

基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质,其中,在所述转储的过程中对所述目标数据进行第一次数据校验;

在所述第一次数据校验通过的情况下,将所述目标数据保留在所述初始存储介质中。

根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机指令,所述计算机指令被处理器执行时实现所述数据处理方法的步骤。

本说明书提供的数据处理方法,通过接收针对目标数据的数据转储指令基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质,其中,在所述转储的过程中对所述目标数据进行第一次数据校验;在所述第一次数据校验通过的情况下,将所述目标数据保留在所述初始存储介质中,实现了将目标数据转储至目标存储介质之后,将目标数据在初始存储介质中进行保留,作为对目标数据进行转储的缓冲,以便通过对目标数据转储的缓冲,提高了目标数据在不同类型的存储介质之间进行转储的数据安全性。

附图说明

图1是本说明书一实施例提供的一种数据处理方法的示意图;

图2是本说明书一实施例提供的一种数据处理方法的流程图;

图3是本说明书一实施例提供的一种应用于实际场景中的数据处理方法的示意图;

图4是本说明书一实施例提供的一种数据处理装置的结构示意图;

图5是本说明书一实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先,对本说明书一个或多个实施例涉及的名词术语进行解释。

数据生命周期管理(datalifecyclemanagement,dlm)是一种基于策略的方法,用于管理信息系统的数据在整个生命周期内的流动:从创建和初始存储,到它过时被删除。

循环冗余校验(cyclicredundancycheck,crc)是一种根据网络数据包或计算机文件等数据产生简短固定位数校验码的一种信道编码技术,主要用来检测或校验数据传输或者保存后可能出现的错误。它是利用除法及余数的原理作错误侦测的。

低频存储(infrequentaccess),一种适合不会被频繁访问的数据的存储类型,实际应用中,低频存储的单位存储成本比标准存储低,但是读写延时比标准存储高,并在读写过程中相比标准存储会产生更多网络开销,其中,标准存储也是一种存储类型,提供高可靠、高可用、高性能的存储服务,能够支持频繁的数据访问。

为了实现数据在不同存储介质之间的转储,图1示出了根据本说明书一实施例提供的一种数据处理方法的示意图。

具体的,以对线上(online)目标数据的转储为例,目标数据(可以理解为待转储的数据)在未进行转储之前的存储状态为未转储状态,而在接收到针对目标数据的数据转储指令之后,将目标数据从初始存储介质中转储至目标存储介质中,并在转储完成后,将目标数据的存储状态从未转储状态,修改为已转储状态,并将目标数据的转储子状态修改为none状态,修改完成后,目标数据的存储状态为已转储状态且存储子状态为none状态,若在存储状态为已转储状态且转储子状态为none状态的期间,接收对目标数据的读写请求,则触发针对目标数据的数据取回(即将目标数据从目标存储介质中取回至初始存储介质中)。

在数据取回后,将目标数据的转储子状态从none状态,修改为recalled(召回)状态,修改完成后,目标数据的存储状态为已转储状态且转储子状态为recalled(可以理解为下述实施例中的第二状态),若该状态期间过程出现了针对目标数据的更新,则需要在目标数据满足重新转储的条件后,将目标数据从初始存储介质中重新转储至目标存储介质中,并在重新转储之后,将目标数据的存储子状态修改回none状态。

此外,在对目标数据重新转储之前,可以将已经转储至目标存储介质的目标数据作为过期的数据加入gc(garbagecollect)垃圾回收表,并通过数据删除程序,对该表中的过期数据进行删除。

为了解决上述问题,进一步的,在本说明书中,提供了一种数据处理方法,本说明书同时涉及一种数据处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。

图2示出了根据本说明书一实施例提供的一种数据处理方法的流程图,具体包括以下步骤:

步骤202:接收针对目标数据的数据转储指令。

实际应用中,在数据的生命周期中,数据的数据价值决定着数据生命周期的长度,而数据价值会随着时间的增长而递减。因此,在进行数据生命周期管理的过程中,通常将数据分为热数据和冷数据,其中,热数据,可以是较新的数据和可能被频繁访问的数据。而冷数据,可以是旧的数据和不常被访问的数据,比如企业备份数据、操作日志数据等。

具体实施时,为了降低数据的存储成本,通常对冷热数据采用不同的存储介质,比如,将热数据存储在读写速度快的存储介质上,而将冷数据存储在读写速度较慢的存储介质上,具体的,可以是将热数据存储在标准存储中,而把冷数据存储在低频存储中;或者将热数据存储在内存中,而把冷数据存储在更廉价的存储介质中(例如ssd或硬盘)等,在此不做限制。

进一步的,所述目标数据,可以理解为任意需要转换存储介质的数据,比如:热数据或冷数据等类型的数据。相应的,所述数据转储指令,可以理解为指示目标数据进行转储的指令,该指令可以基于预先设置的条件(比如每隔3天等)进行触发,也可以由用户进行提交,在此不做限制,实际应用中,该数据转储指令中可以携带筛选条件/确定条件,以便基于该筛选条件/确定条件,确定待转储的目标数据,具体的,该筛选条件/确定条件可以是数据创建时间区间、最近访问时间区间等,在此不做限制。

具体实施时,本申请实施例中的数据转储,可以是在文件存储、对象存储、块存储或者数据库的存储等存储方式的基础上,针对目标数据进行数据转储,在此不做限制。

步骤204:基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质,其中,在所述转储的过程中对所述目标数据进行第一次数据校验。

其中,所述初始存储介质,是指当前目标数据所存储的存储介质,所述目标存储介质,是指对目标数据进行转移后所存储的存储介质。进一步的,基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质,可以理解为将存储于初始存储介质中的目标数据进行复制,并将目标数据的副本转移或传输至目标存储介质进行存储。

具体实施时,数据转储指令中可以携带目标数据在初始存储介质中所存储的位置信息,用以指示从何处获取目标数据以便进行数据转储。此外,数据转储指令中还可以携带针对目标数据在目标存储介质中进行存储的位置信息(比如目标存储介质中用以存储目标数据的存储路径等),用以指示目标数据的转储位置。

实际应用中,为了确定目标数据在不同存储介质中进行转移或传输的过程中是否出现传输错误,可以在转储过程中对目标数据进行数据校验(即第一次数据校验)。具体的,第一次数据校验,可以采用循环冗余校验(cyclicredundancycheck,crc)、奇偶校验、格雷码校验等,在此不做限制。

循环冗余校验的原理是:在发送端(即初始存储介质)要发送的数据帧(该数据帧中包含目标数据中的数据)后面附加一个数(即crc码简称循环码,是一种具有检错、纠错能力的校验码,该crc码可以是二进制序列),生成一个新的数据帧发送给接收端(即目标存储介质)。

接收端在接收到新的数据帧后,通过crc码对新的数据帧进行数据校验,以判断接收的数据是否有错,若有错则进行纠错。具体的,在接收端进行数据校验是利用crc码的特性:可以使所生成的新的数据帧能与发送端和接收端共同选定的某个特定数整除。如果余数为0,表明该帧在传输过程中没有错误;若余数不为0,则表明该帧在传输过程中出现了错误,需要纠错。

实际应用中,本申请实施例提供的一种可选实施方式中,所述基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质之后,还包括:

接收针对所述初始存储介质中所述目标数据的更新请求;

基于所述更新请求对所述初始存储介质中的所述目标数据进行更新。

具体的,所述更新请求,可以理解为针对目标数据的写请求,也可以理解为对目标数据的修改请求,实际应用中,在将目标数据从初始存储介质转储至目标存储介质之后,或在目标数据转储的过程中,可能接收到针对初始存储介质中目标数据的更新请求,在这种情况下,基于更新请求对初始存储介质中的目标数据进行更新,避免了在目标数据转储过程中停止对目标数据的更新,保障了用户针对目标数据的转储体验以及更新体验。

需要说明的是,在目标数据转储至目标存储介质之后,若基于更新请求对初始存储介质中的目标数据进行更新,则会出现初始存储介质中所存储的目标数据,与目标存储介质中存储的目标数据不一致的问题,基于此,本申请实施例提供的一种可选实施方式中,所述基于所述更新请求对所述初始存储介质中的所述目标数据进行更新之后,还包括:

接收针对所述目标数据的第二数据转储指令;

基于所述第二数据转储指令,将所述目标存储介质中的所述目标数据进行删除,并将更新后的目标数据从所述初始存储介质转储至所述目标存储介质。

具体的,所述第二数据转储指令,与上述数据转储指令类似,都是指示将目标数据从初始存储介质转储至目标存储介质的指令,不同的是,由于目标存储介质已经存储于目标存储介质,因此,基于第二数据转储指令,需要先将之前已经存储于目标存储介质中的目标数据进行删除,再重新将初始存储介质中的目标数据转储至目标存储介质,以保障初始存储介质以及目标存储介质中目标数据的一致性。

进一步的,在目标数据存在对应的存储状态的基础上,还可以通过存储状态对转储至目标存储介质中的目标数据,在初始存储介质中的更新情况进行状态标记,以便基于该存储状态,判断转储至目标存储介质中的目标数据是否发生了变化,本申请实施例提供的一种可选实施方式中,在所述第一次数据校验通过的情况下,还包括:

接收针对所述初始存储介质中所述目标数据的更新请求;

基于所述更新请求对所述初始存储介质中的所述目标数据进行更新,并将所述存储状态修改为第二状态。

具体的,接收针对所述初始存储介质中所述目标数据的更新请求,并基于更新请求对所述初始存储介质中的所述目标数据进行更新的具体实现与上述步接收针对所述初始存储介质中所述目标数据的更新请求,并基于更新请求对所述初始存储介质中的所述目标数据进行更新的具体实现类似,参考上述具体实现即可,在此不再赘述。

进一步的,所述第二状态,可以理解为已转储,需重新转储的状态,本申请实施例,在完成针对初始存储介质中的目标数据的更新之后,将目标数据对应的存储状态修改为第二状态,以便基于第二状态对已转储,但需要重新转储的数据进行筛选,并重新转储。

再进一步的,在上述将目标数据转储至目标存储介质之后,且目标数据存在对应的存储状态的基础上,若基于更新请求对初始存储介质中的目标数据进行更新,也需要将初始存储介质中所存储的目标数据重新进行转储,以保障初始存储介质的目标数据与目标存储介质中的目标数据的一致性,本申请实施例提供的一种可选实施方式中,所述将所述存储状态修改为第二状态之后,还包括:

接收针对所述目标数据的第二数据转储指令;

基于所述第二数据转储指令,将所述目标存储介质中的所述目标数据进行删除,并将更新后的目标数据从所述初始存储介质转储至所述目标存储介质;

将所述存储状态修改从所述第二状态修改为所述第一状态。

具体的,接收针对目标数据的第二数据转储指令,并基于第二数据转储指令,将目标存储介质中的目标数据进行删除,并将更新后的目标数据从初始存储介质转储至目标存储介质的重新转储的具体实现,与上述具体基于第二数据转储指令重新进行数据转储的具体实现类似,在此不做限制。

需要说明的是,第二数据转储指令中,可以携带针对需要重新转储的目标数据的筛选条件,比如,该筛选条件可以包括存储状态为第二状态,以便基于该指令中携带的筛选条件,确定需要重新转储的目标数据。

此外,筛选条件中还可以包括对数据的更新时间区间,由于对目标数据进行更新时,可能只是针对目标数据中的一部分数据进行更新,通过更新时间区间,可以筛选出目标数据中更新的那部分数据(更新数据),并将目标数据中的更新数据重新转储即可。

在将目标数据重新转储之后,将目标数据对应的存储状态从第二状态修改为第一状态,其中,第一状态,可以表明目标数据已经存储于目标存储介质。而将存储状态从第二状态修改为第一状态,表明针对更新后的目标数据已重新转储,实现了通过存储状态对目标数据是否重新转储进行标记,以便对目标数据的转储情况更加清晰。

步骤206:在所述第一次数据校验通过的情况下,将所述目标数据保留在所述初始存储介质中。

具体的,在第一次数据校验通过的情况下,将目标数据保留在初始存储介质中保留一段时间(比如2小时、1天等,在此并不做限制),避免了在目标数据转储后直接从初始存储介质中将目标数据删除,而目标数据在转储后的一段时间内可能出现数据错误等所导致的数据风险,增加了目标数据的安全性。

进一步的,若目标数据在转储过程中进行的第一次数据校验的校验结果为不通过,表明目标数据在转储过程中出错,则可以针对目标数据重新进行转储。

实际应用中,将目标数据保留在初始存储介质中,是为了对目标数据进行第二次数据校验,从而保障目标数据在转储前后的一致性,本申请实施例提供的一种可选实施方式中,所述数据处理方法,还包括:

接收针对所述目标数据的二次校验指令;

基于所述二次校验指令,对所述目标数据进行第二次数据校验;

在所述第二次数据校验通过的情况下,将所述目标数据从所述初始存储介质中删除。

其中,所述二次校验指令,是在对目标数据进行了第一数据校验的基础上,用以指示针对目标数据进行第二次数据校验的校验指令。实际应用中,对目标数据进行第二次数据校验的校验方式可以与第一数据校验的校验方式相同,也可以与第一数据校验的校验方式不同,在此不做限制。

具体实施时,将目标数据在初始存储介质中保留一段时间后,基于接收到针对目标数据的二次校验指令,对目标数据进行第二次数据校验,具体的,该二次校验指令,可以是周期性地触发(比如根据想要目标数据在初始存储介质中的保留时长,设定触发周期),也可以由用户手动触发,在此不做限制。而第二次数据校验可以包括:一致性校验和/或完整性校验等,在此不做限制。

需要说明的是,二次校验指令中也可以携带针对待进行第二次数据校验的数据的筛选条件/确定条件(比如转储时间超过1天或2小时等),并将基于该指令中携带的筛选条件/确定条件确定的待校验数据的数据标识等信息,加入第二次数据校验的处理列表,那么进行第二次数据校验时,则可以根据该处理列表中的信息,依次对待校验数据进行第二次数据校验。

需要注意的是,上述确定的待校验数据中除了目标数据,还可以包括其他满足上述筛选条件/确定条件的转储数据,在此不做限制。

进一步的,在第二次数据校验通过的情况下,表明初始存储介质中的目标数据与目标存储介质中的目标数据是一致的,也表明针对目标数据的转储成功,则将目标数据从初始存储介质中进行删除。

具体实施时,对目标数据进行第二次数据校验的方式是多种多样的,本申请实施例提供的一种可选实施方式中,所述对所述目标数据进行第二次数据校验,可以通过以下3种校验方式自由组合对目标数据进行数据校验:

1)根据所述目标数据的元数据中的数据量信息以及所述目标存储介质中所述目标数据的数据量,对所述目标数据进行一致性校验。

其中,所述元数据,可以理解为目标数据的标签,而标签的条目类型和数量是没有限制的,具体的,元数据可以是目标数据的各种描述信息。比如,目标数据是一张人物照片,那么元数据可以包括照片中人物的姓名、国籍等,此外,元数据还可以包括该照片的拍摄地点、拍摄时间等,在此不做限制。

需要说明的是,元数据可以属于目标数据本身,和目标数据一起封装存储。此外,元数据也可以从目标数据中独立出来,并不在目标数据内部封装。

本申请实施例中,目标数据的元数据中包括了目标数据的数据量信息(比如45kb,10m等,在此不做限制),将元数据中的数据量信息与目标存储介质中目标数据的数据量进行对比,在比对一致的情况下,表明对目标数据的一致性校验通过,则将所述目标数据从所述初始存储介质中删除;在比对不一致的情况下,表明对目标数据的一致性校验未通过,也表明针对目标数据的第二次数据校验未通过,则需要将目标存储介质中的目标数据进行删除,并对目标数据重新进行转储。

2)根据所述初始存储介质中目标数据的版本信息以及所述目标存储介质中所述目标数据的版本信息,对所述目标数据进行一致性校验。

实际应用中,目标数据每次变更的同时,也会对其版本信息进行变更。因此,当初始存储介质中目标数据的版本信息与目标存储介质中目标数据的版本信息不一致时,则表明所述初始存储介质中的目标数据与目标存储介质中的目标数据并不一致。需要说明的是,初始存储介质中目标数据的版本信息,也可以作为目标数据的元数据中的数据进行更新并存储。

具体实施时,将初始存储介质中目标数据的版本信息与目标存储介质中目标数据的版本信息进行比对,在比对一致的情况下,表明对目标数据的一致性校验通过,则将所述目标数据从所述初始存储介质中删除;在比对不一致的情况下,表明对目标数据的一致性校验未通过,也表明针对目标数据的第二次数据校验未通过,则需要将目标存储介质中的目标数据进行删除,并对目标数据重新进行转储。

3)根据所述初始存储介质中的目标数据以及预设校验方式,确定数据校验码;

基于所述数据校验码对所述目标数据进行一致性校验。

其中,所述数据校验码,可以根据预先设置的不同的数据校验的方式(预设校验方式)生成不同的数据校验码,比如采用循环冗余校验进行数据校验时,则根据循环冗余校验的规则以及初始存储介质中的目标数据,生成crc码;采用奇偶校验进行数据校验时,则根据奇偶校验的规则以及初始存储介质中的目标数据,生成奇偶校验码等,在此不做限制。

进一步的,基于数据校验码对目标数据进行一致性校验,可以理解为基于数据校验码对初始存储介质中的目标数据和目标存储介质中的目标数据进行一致性校验。

需要说明的是,除上述数据校验的方式之外,还可以采用其他方式进行数据校验,在此不做限制。

实际应用中,通过对初始存储介质中的目标数据和目标存储介质中的目标数据进行至少一种一致性校验,保障了目标数据在初始存储介质和目标存储介质中的一致性。

具体实施时,为了更加清楚地了解并控制目标数据的转储情况,可以针对目标数据设置存储状态,并通过对存储状态进行修改,实现对目标数据的转储过程进行状态标记,本申请实施例提供的一种可选实施方式中,所述在所述第一次数据校验通过的情况下,还包括:

将所述目标数据在所述初始存储介质中的元数据中的存储状态修改为第一状态;

相应的,所述基于所述二次校验指令,对所述目标数据进行第二次数据校验,包括:

基于所述二次校验指令中携带的数据筛选条件,确定所述目标数据,其中,所述数据筛选条件包括:所述存储状态为所述第一状态且在所述初始存储介质中的保留时长满足预设时长;

对所述目标数据进行第二次数据校验。

具体的,在第一次数据校验通过的情况下,将目标数据的存储状态修改为第一状态,其中,第一状态,可以表明目标数据已经存储于目标存储介质。实际应用中,为了避免对目标数据进行修改,可以采用元数据的方式记录目标数据的存储状态,并且该元数据与所述目标数据相互独立,则对该元数据进行修改并不会对已转储的目标数据造成影响。

进一步的,将目标数据在初始存储介质中的元数据中的存储状态修改为第一状态之后,在需要对目标数据进行第二数据校验之时,则可以基于二次校验指令中携带的数据筛选条件,对存储状态为第一状态的数据进行筛选,从而确定目标数据,并进一步,对目标数据进行第二次数据校验。

具体的,所述保留时长,可以理解为目标数据转储至目标存储介质之后,在初始存储介质中保留的时长;所述预设时长,可以根据经验或实际需求进行设置,在此不做限制。

本申请实施例,将目标数据在初始存储介质中保留超过预设时长再进行第二次数据校验,即通过存储状态以及预设时长先对待进行第二次数据校验的目标数据进行筛选之后,再对目标数据进行第二次数据校验,提升了针对目标数据进行第二数据校验的准确性。

进一步的,本申请实施例提供的一种可选实施方式中,所述将所述目标数据从所述初始存储介质中删除之后,还包括:

将所述存储状态从所述第一状态修改为第三状态。

所述第三状态,可以理解为转储完成状态,具体的,在将目标数据从初始存储介质中删除之后,将目标数据的元数据中的存储状态从第一状态修改为第三状态,表明针对目标数据完成转储,本申请实施例,通过不同的存储状对目标数据的转储情况的标记,也便于对目标数据的存储状态进行检索以及查询。

除上述通过存储状态对目标数据的转储情况进行区分之外,为了使目标数据在初始存储介质中保留一段时间,还可以通过隐藏文件夹,对目标数据的存储情况进行区分,本申请实施例提供的一种可选实施方式中,所述将所述目标数据保留在所述初始存储介质中,包括:

将所述目标数据转移并保留至在所述初始存储介质中预先创建的隐藏文件夹;

相应的,所述对所述目标数据进行第二次数据校验,包括:

对所述隐藏文件夹中的所述目标数据以及所述目标存储介质中的所述目标数据进行一致性校验。

其中,隐藏文件夹,可以理解为隐藏状态的文件夹,该隐藏文件夹在用户空间(可以理解为用户可以进行数据访问的空间)是不可见的,但可以通过目标数据的内部属性(比如数据关键字、数据标识等)索引到转移至该隐藏文件夹中目标数据。

基于此,在对目标数据进行第二次数据校验,则可以对隐藏文件夹中的目标数据以及目标存储介质中的目标数据进行第二次数据校验(比如一致性校验)。

本申请实施例,在目标数据转储至目标存储介质之后,将目标数据转移至隐藏文件夹中进行保留,不仅表明了目标数据已经被转储,也可以实现目标数据在初始存储介质中的保留,以便为第二次数据校验预留时间。

进一步的,在将目标数据转移并保留在隐藏文件夹且对目标数据完成第二次数据校验的基础上,在第二次数据校验通过的情况下,本申请实施例提供的一种可选实施方式中,所述将所述目标数据从所述初始存储介质中删除,包括:

将所述目标数据以及所述隐藏文件夹从所述初始存储介质中删除。

本申请实施例,由于隐藏文件夹被用于存储已转储的目标数据,在将目标数据删除的情况下,将隐藏文件夹一并进行删除,实现了将隐藏文件夹和目标数据一起进行管理,增加了管理的便利性。

需要说明的是,除上述针对目标数据的删除方式之外,还可以将目标数据从所述初始存储介质中的隐藏文件夹中删除,即在删除目标数据的情况下,保留隐藏文件夹,以便用以存储其他已转储,但还需进行第二次数据校验的数据,避免了频繁创建/删除隐藏文件夹,提高了隐藏文件夹的利用率。

本申请实施例提供的一种可选实施方式中,所述将所述目标数据存储至所述初始存储介质中预先创建的隐藏文件夹之后,还包括:

接收针对所述初始存储介质中所述目标数据的更新请求;

基于所述更新请求以及预先建立的所述目标数据与所述隐藏文件夹之间的映射关系,对所述隐藏文件夹中的所述目标数据进行更新。

具体的,所述映射关系,可以根据目标数据的数据标识以及隐藏文件夹的文件夹标识进行预先创建,即建立数据标识和文件夹标识之间的映射关系,作为目标数据和隐藏文件夹之间的映射关系,此外,实际应用中,还可以采用其他可以表示目标数据的数据信息,以及其他表示隐藏文件夹的信息创建映射关系,在此不做限制。

具体实施时,更新请求中可以携带目标数据的数据标识或其他可以表示目标数据的数据信息,以便基于数据标识或数据信息以及预先建立的映射关系,确定隐藏文件夹,并确定隐藏文件夹中的目标数据,再对目标数据进行更新。

本申请实施例,基于预先建立的目标数据和隐藏文件夹之间的映射关系,实现了对隐藏文件夹的查找,并在确定隐藏文件夹之后,实现了对隐藏文件夹中目标数据进行更新。

进一步的,在对初始存储介质中隐藏文件夹中目标数据进行更新后,隐藏文件夹中的目标数据与目标存储介质中的目标数据出现了不一致的情况下,因此,需要对目标数据重新进行转储,本申请实施例提供的一种可选实施方式中,所述数据处理方法,对所述隐藏文件夹中的所述目标数据进行更新之后,还包括:

接收针对所述目标数据的第二数据转储指令;

基于所述第二数据转储指令,将所述目标存储介质中的所述目标数据进行删除,并将更新后的目标数据从所述隐藏文件夹转储至所述目标存储介质。

具体的,将更新后的目标数据从所述隐藏文件夹转储至所述目标存储介质与上述将更新后的目标数据从初始存储介质转储至目标存储介质的具体实现类似,在此不做限制。

综上所述,本说明书提供的数据处理方法,通过接收针对目标数据的数据转储指令基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质,其中,在所述转储的过程中对所述目标数据进行第一次数据校验;在所述第一次数据校验通过的情况下,将所述目标数据保留在所述初始存储介质中,实现了将目标数据转储至目标存储介质之后,将目标数据在初始存储介质中进行保留,作为对目标数据进行转储的缓冲,以便通过对目标数据转储的缓冲,对目标数据进行第二次数据校验,提高了目标数据在不同类型的存储介质之间进行转储的数据安全性。

下述结合附图3,以本说明书提供的数据处理方法在实际场景中的应用为例,对所述数据处理方法进行进一步说明。其中,图3示出了本说明书一实施例提供的一种应用于实际场景中的数据处理方法的示意图,具体包括以下步骤:

以对线上(online)目标数据的转储为例,对目标数据在转储过程中的状态控制进行详细说明。

具体的,目标数据在未进行转储之前的存储状态为未转储状态,而在接收到针对目标数据的数据转储指令之后,将目标数据从初始存储介质中转储至目标存储介质中,并在转储完成后,将目标数据保留在初始存储介质中,将目标数据的存储状态从未转储状态,修改为已转储状态。并将目标数据的转储子状态修改为grace(分级)状态,修改完成后,目标数据的存储状态为已转储状态且存储子状态为grace状态(可以理解为上述实施例中的第一状态),若在目标数据的存储状态为已转储状态且转储子状态为grace状态(可以理解为下述实施例中的第一状态)的期间,接收对初始存储介质中目标数据的读请求,则直接在初始存储介质中进行数据读取即可,并不进行状态修改。

若在此期间,接收针对目标数据的写请求(可以理解为上述实施例中的更新请求),则基于该写请求,对初始存储介质中的目标数据进行更新,并将目标数据的转储子状态从grace状态,修改为recalled(召回)状态,修改完成后,目标数据的存储状态为已转储状态且转储子状态为recalled(可以理解为上述实施例中的第二状态)。且在目标数据满足重新转储的条件(比如:转储子状态为recalled,且目标数据的更新时长超过重新转储周期)后,通过转储程序,将目标数据从初始存储介质中重新转储至目标存储介质,并在重新转储之后,将目标数据的存储子状态修改回grace状态。

此外,若在目标数据的存储状态为已转储状态且转储子状态为grace状态,且目标数据的转储时长超过第二次数据校验的校验周期的情况下,则对目标数据进行第二次数据校验,并在第二次数据校验通过的情况下,将目标数据从初始存储介质中删除,并将目标数据的转储子状态修改为none状态。修改完成后,目标数据的存储状态为已转储状态且转储子状态为none状态(可以理解为上述实施例中的第三状态)。

若在目标数据的存储状态为已转储状态且转储子状态为none状态期间,对目标数据进行了更新,则需要根据配置(比如数据取回的比例)对目标数据进行数据取回(即将数据从目标存储介质中取回至初始存储介质中),并将取回的数据的转储子状态修改为recalled。

综上所述,本说明书提供的数据处理方法,通过接收针对目标数据的数据转储指令基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质,其中,在所述转储的过程中对所述目标数据进行第一次数据校验;在所述第一次数据校验通过的情况下,将所述目标数据保留在所述初始存储介质中,实现了将目标数据转储至目标存储介质之后,将目标数据在初始存储介质中进行保留,作为对目标数据进行转储的缓冲,以便通过对目标数据转储的缓冲,对目标数据进行第二次数据校验,提高了目标数据在不同类型的存储介质之间进行转储的数据安全性。

与上述方法实施例相对应,本说明书还提供了数据处理装置实施例,图4示出了本说明书一实施例提供的一种数据处理装置的结构示意图。如图4所示,该装置包括:

接收模块402,被配置为接收针对目标数据的数据转储指令;

转储模块404,被配置为基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质,其中,在所述转储的过程中对所述目标数据进行第一次数据校验;

保留模块406,被配置为在所述第一次数据校验通过的情况下,将所述目标数据保留在所述初始存储介质中。

可选地,所述数据处理装置,还包括:

第二接收模块,被配置为接收针对所述目标数据的二次校验指令;

二次校验模块,被配置为基于所述二次校验指令,对所述目标数据进行第二次数据校验;

第一删除模块,被配置为在所述第二次数据校验通过的情况下,将所述目标数据从所述初始存储介质中删除。

可选地,所述数据处理装置,还包括:

第三接收模块,被配置为接收针对所述初始存储介质中所述目标数据的更新请求;

第一更新模块,被配置为基于所述更新请求对所述初始存储介质中的所述目标数据进行更新。

可选地,所述数据处理装置,还包括:

第四接收模块,被配置为接收针对所述目标数据的第二数据转储指令;

第二删除模块,被配置为基于所述第二数据转储指令,将所述目标存储介质中的所述目标数据进行删除,并将更新后的目标数据从所述初始存储介质转储至所述目标存储介质。

可选地,所述数据处理装置,还包括:

第一修改模块,被配置为将所述目标数据在所述初始存储介质中的元数据中的存储状态修改为第一状态;

相应的,所述二次校验模块,进一步被配置为:

基于所述二次校验指令中携带的数据筛选条件,确定所述目标数据,其中,所述数据筛选条件包括:所述存储状态为所述第一状态且在所述初始存储介质中的保留时长满足预设时长;

对所述目标数据进行第二次数据校验。

可选地,所述数据处理装置,还包括:

第五接收模块,被配置为接收针对所述初始存储介质中所述目标数据的更新请求;

第二更新模块,被配置为基于所述更新请求对所述初始存储介质中的所述目标数据进行更新,并将所述存储状态修改为第二状态。

可选地,所述数据处理装置,还包括:

第六接收模块,被配置为接收针对所述目标数据的第二数据转储指令;

第三删除模块,被配置为基于所述第二数据转储指令,将所述目标存储介质中的所述目标数据进行删除,并将更新后的目标数据从所述初始存储介质转储至所述目标存储介质;

第二修改模块,被配置为将所述存储状态修改从所述第二状态修改为所述第一状态。

可选地,所述数据处理装置,还包括:

第三修改模块,被配置为将所述存储状态从所述第一状态修改为第三状态。

可选地,所述二次校验模块,进一步被配置为:

根据所述目标数据的元数据中的数据量信息以及所述目标存储介质中所述目标数据的数据量,对所述目标数据进行一致性校验;和/或

根据所述初始存储介质中目标数据的版本信息以及所述目标存储介质中所述目标数据的版本信息,对所述目标数据进行一致性校验;和/或

根据所述初始存储介质中的目标数据以及预设校验方式,确定数据校验码;

基于所述数据校验码对所述目标数据进行一致性校验。

可选地,所述保留模块406,进一步被配置为:

将所述目标数据转移并保留至在所述初始存储介质中预先创建的隐藏文件夹;

相应的,所述二次校验模块,进一步被配置为:

对所述隐藏文件夹中的所述目标数据以及所述目标存储介质中的所述目标数据进行一致性校验。

可选地,所述第一删除模块,进一步被配置为:

将所述目标数据以及所述隐藏文件夹从所述初始存储介质中删除。

可选地,所述数据处理装置,还包括:

第七接收模块,被配置为接收针对所述初始存储介质中所述目标数据的更新请求;

第三更新模块,被配置为基于所述更新请求以及预先建立的所述目标数据与所述隐藏文件夹之间的映射关系,对所述隐藏文件夹中的所述目标数据进行更新。

可选地,所述数据处理装置,还包括:

第八接收模块,被配置为接收针对所述目标数据的第二数据转储指令;

第四删除模块,被配置为基于所述第二数据转储指令,将所述目标存储介质中的所述目标数据进行删除,并将更新后的目标数据从所述隐藏文件夹转储至所述目标存储介质。

综上所述,本说明书提供的数据处理装置,通过接收针对目标数据的数据转储指令基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质,其中,在所述转储的过程中对所述目标数据进行第一次数据校验;在所述第一次数据校验通过的情况下,将所述目标数据保留在所述初始存储介质中,实现了将目标数据转储至目标存储介质之后,将目标数据在初始存储介质中进行保留,作为对目标数据进行转储的缓冲,以便通过对目标数据转储的缓冲,对目标数据进行第二次数据校验,提高了目标数据在不同类型的存储介质之间进行转储的数据安全性。

上述为本实施例的一种数据处理装置的示意性方案。需要说明的是,该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思,数据处理装置的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。

图5示出了根据本说明书一个实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接,数据库550用于保存数据。

计算设备500还包括接入设备540,接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。

在本说明书的一个实施例中,计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图5所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。

计算设备500可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备500还可以是移动式或静止式的服务器。

其中,处理器520用于执行如下计算机可执行指令:

接收针对目标数据的数据转储指令;

基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质,其中,在所述转储的过程中对所述目标数据进行第一次数据校验;

在所述第一次数据校验通过的情况下,将所述目标数据保留在所述初始存储介质中。

上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,所述计算机指令被处理器执行时以用于:

接收针对目标数据的数据转储指令;

基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质,其中,在所述转储的过程中对所述目标数据进行第一次数据校验;

在所述第一次数据校验通过的情况下,将所述目标数据保留在所述初始存储介质中。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。

需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书并不受所描述的动作顺序的限制,因为依据本说明书,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1