数据管理异常的补救方法及系统与流程

本发明涉及数据管理技术领域，特别涉及一种数据管理异常的补救方法及系统。

背景技术：

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。企业依赖有效的数据管理为其提供可靠、有价值和高质量的数据，提供更好的产品和服务，同时降低开发及运维成本，控制风险，以及为企业提供更明智和更有效的决策数据支持。

现有技术中，目前大部分数据都缺乏有效的管理，在整个数据传输过程中，某些数据缺失、数据延迟、数据计算错误及参数配置错误等这些异常现象是不可避免，但是如果这些原因经常引起后面一系列不准确的结果，从而导致数据的可靠性变差、数据质量逐渐变差及数据价值逐渐丧失，因此数据异常补救的问题已经迫在眉睫。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种具有数据管理异常补救功能的数据管理异常的补救方法及系统。

根据本发明实施例的一种数据管理异常的补救方法，包括：

将从源数据至目标数据的整个传递过程分割成若干个任务单元，并对每个该任务单元进行建模，每个该任务单元的建模信息中均包括对应的任务号、结果状态及输入输出数据；

根据所有的该任务单元的输入输出数据记录所有的该任务单元之间的血缘关系；

当检测到异常数据时，根据该血缘关系分析出该若干个任务单元中产生该异常数据的任务单元及受该异常数据影响的所有任务单元；

将所述产生该异常数据的任务单元修正并将所述受该异常数据影响的所有任务单元及其生成的数据进行更新。

另外，根据本发明上述实施例的一种数据管理异常的补救方法，还可以具有如下附加的技术特征：

在所述将从源数据至目标数据的整个传递过程分割成若干个任务单元，并对每个该任务单元进行建模，每个该任务单元的建模信息中均包括对应的任务号、结果状态及输入输出数据的步骤之后，该数据管理异常的补救方法还包括：

判断每个该任务单元的输入输出数据是否形成闭环，如果形成闭环将重新对对应的该任务单元进行建模。

所述将所述产生该异常数据的任务单元修正并将所述受该异常数据影响的所有任务单元及其生成的数据进行更新的步骤包括：

将所述产生该异常数据的任务单元修正；

将所述受该异常数据影响的所有任务单元全部对应替换成新的任务单元；

将所述受该异常数据影响的所有任务单元之前生成的数据删除；

该新的任务单元重新生成新数据。

在所述将所述产生该异常数据的任务单元修正的步骤之前，所述将所述产生该异常数据的任务单元修正并将所述受该异常数据影响的所有任务单元及其生成的数据进行更新的步骤还包括：

判断所述产生该异常数据的任务单元及所述受该异常数据影响的所有任务单元中是否包含正在进行数据传输的任务单元，若包含，则将该正在进行数据传输的任务单元进行备份存储。

在所述将所述受该异常数据影响的所有任务单元全部对应替换成新的任务单元的步骤之后，所述将所述产生该异常数据的任务单元修正并将所述受该异常数据影响的所有任务单元及其生成的数据进行更新的步骤还包括：

将所述受该异常数据影响的所有任务单元的结果状态标记为取消状态。

每个该任务单元均为最小粒度任务单元。

根据本发明实施例的一种数据管理异常的补救系统，用于当一数据库内的数据发生异常时进行补救，包括：

数据处理模块，用于将从源数据至目标数据的整个传递过程分割成若干个任务单元，并对每个该任务单元进行建模，每个该任务单元的建模信息中均包括对应的任务号、结果状态及输入输出数据；

存储模块，用于存储所有的该任务单元并根据所有的该任务单元的输入输出数据记录所有的该任务单元之间的血缘关系；

异常分析模块，用于检测异常数据，若检测到异常数据，将根据该血缘关系分析出该若干个任务单元中产生该异常数据的任务单元及受该异常数据影响的所有任务单元；

重生成模块，将所述产生该异常数据的任务单元修正并将所述受该异常数据影响的所有任务单元及其生成的数据进行更新。

另外，根据本发明上述实施例的一种数据管理异常的补救系统，还可以具有如下附加的技术特征：

该数据管理异常的补救系统还包括：

闭环分析模块，用于判断每个该任务单元的输入输出数据是否形成闭环，如果形成闭环将控制该数据处理模块重新对对应的该任务单元进行建模。

该重生成模块包括：

修正单元，用于将所述产生该异常数据的任务单元修正；

替换单元，用于将所述受该异常数据影响的所有任务单元全部对应替换成新的任务单元；

删除单元，用于将所述受该异常数据影响的所有任务单元之前生成的数据删除。

该重生成模块还包括：

第一判断单元，判断所述产生该异常数据的任务单元及所述受该异常数据影响的所有任务单元中是否包含正在进行数据传输的任务单元，若包含，则将该正在进行数据传输的任务单元通过该存储模块进行备份存储。

该重生成模块还包括：

标记单元，用于将所述受该异常数据影响的所有任务单元的结果状态标记为取消状态。

上述数据管理异常的补救方法及系统，通过将从源数据至目标数据的整个传递过程分割成若干个任务单元，然后对每个该任务单元进行建模并进行保存，使得当检测出异常数据时，根据建立的模型能够很快的分析出产生该异常数据的任务单元及受该异常数据影响的任务单元，通过对产生该异常数据的任务单元进行修正，并将受该异常数据影响的任务单元及其产生的数据进行更新，即可得到新的正确数据。因此该数据管理异常的补救方法及系统通过数据建模的方法，巧妙了实现数据异常补救的功能，提高了数据管理的质量，并且还可以实现多次重复的进行补救，直到用户认为数据准确为止。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明第一实施例中数据管理异常的补救方法的流程图。

图2为本发明第一实施例中的举例说明图。

图3为本发明第二实施例中数据管理异常的补救方法的流程图。

图4为本发明第一实施例中数据管理异常的补救系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不能理解为对本发明的限制。

请参阅图1，所示为本发明第一实施例中数据管理异常的补救方法的流程图，包括步骤s01至步骤s04。

步骤s01，将从源数据至目标数据的整个传递过程分割成若干个任务单元，并对每个该任务单元进行建模，每个该任务单元的建模信息中均包括对应的任务号、结果状态及输入输出数据。

其中，对每个该任务单元进行建模是指将每个该任务单元及与其相关的所有信息整体进行打包，使得每个该任务单元及与其相关的所有信息都是一个单独的模型，便于后续的处理及异常查询。

其中，每个该任务单元的建模信息中还可以包括对应的算法、优先级、创建的时间及执行的周期等信息。

其中，每个该任务单元可以为最小粒度任务单元。最小粒度任务单元是指将整个数据传递过程按最小粒度为规格进行分割后的任务单元，其自身为一个独立的任务单元且不包括任何的任务子单元。从输入数据和输出数据的角度来考虑，最小粒度任务单元的输出数据通过一算法直接对输入数据进行运算而得到，最小粒度任务单元无法再细化。

步骤s02，根据所有的该任务单元的输入输出数据记录所有的该任务单元之间的血缘关系。

血缘关系是指每个该任务单元的输入输出数据之间的相互联系。例如，任务a的输入输出数据分别为a和b，任务b的输入输出数据分别为b和c，任务c的输入输出数据分别为c和d。其中，任务b的输入数据是任务a的输出数据，任务c的输入数据为任务b的输出数据，因此根据这种输入输出数据之间的相互联系即可建立血缘关系。

步骤s03，当检测到异常数据时，根据该血缘关系分析出该若干个任务单元中产生该异常数据的任务单元及受该异常数据影响的所有任务单元。

步骤s04，将所述产生该异常数据的任务单元修正并将所述受该异常数据影响的所有任务单元及其生成的数据进行更新。

具体地，该步骤s04的具体实施方式为：首先，将所述产生该异常数据的任务单元修正，接着将所述受该异常数据影响的所有任务单元全部对应替换成新的任务单元，接着将所述受该异常数据影响的所有任务单元之前生成的数据删除，最后该新的任务单元重新生成新数据。

其中，将所述产生该异常数据的任务单元修正并将所述受该异常数据影响的所有任务单元及其生成的数据进行更新的目的为：使得一旦将所述产生该异常数据的任务单元修正后，直接可以生成正确的数据，如果没有将之前的数据删除掉，当将所述产生该异常数据的任务单元修正后，无法直接得到新的正确数据。

上述数据管理异常的补救方法及系统，通过将从源数据至目标数据的整个传递过程分割成若干个任务单元，然后对每个该任务单元进行建模并进行保存，使得当检测出异常数据时，根据建立的模型能够很快的分析出产生该异常数据的任务单元及受该异常数据影响的任务单元，通过对产生该异常数据的任务单元进行修正，并将受该异常数据影响的任务单元及其产生的数据进行更新，即可得到新的正确数据。因此该数据管理异常的补救方法及系统通过数据建模的方法，巧妙了实现数据异常补救的功能，提高了数据管理的质量，并且还可以实现多次重复的进行补救，直到用户认为数据准确为止。

以下举例说明上述数据管理异常的补救方法，包括：

将一数据库从源数据至目标数据的整个传递过程按最小粒度任务单元为标准分割成四个任务单元，分别为t1、t2、t3及t4，并分别对t1、t2、t3及t4进行建模，其中t1的建模信息中包括t1的任务号、结果状态、输入数据d1和d2及输出数据d3和d4，t2的建模信息中包括t2的任务号、结果状态、输入数据d3和d4及输出数据d5，t3的建模信息中包括t3的任务号、结果状态、输入数据d2、d6和d7及输出数据d8，t4的建模信息中包括t4的任务号、结果状态、输入数据d8及输出数据d9，根据t1至t4的输入输出数据，建立了如图2所示的t1至t4之间的血缘关系(也称建立dag图或者建立有向无环图),并将建立的该血缘关系记录保存。当检测出异常数据时，例如产生d3的算法出现错误而导致d3为该异常数据时，通过建立的该血缘关系可以很快的查找出产生该异常数据的该任务单元为t1，并且根据该血缘关系可以分析出d3将影响t2的输出数据d5，此时通过对t1中产生d3的算法进行纠正并将t2及其产生的数据替换掉，即可以生成新的正确的数据。

请参阅图3，所示为本发明第二实施例中数据管理异常的补救方法的流程图，包括步骤s11至步骤s20。

步骤s11，将从源数据至目标数据的整个传递过程按最小粒度为规格分割成若干个任务单元，并对每个该任务单元进行建模，每个该任务单元的建模信息中均包括对应的任务号、结果状态及输入输出数据。

其中按最小粒度为规格进行分割后的任务单元均为最小粒度任务单元。

步骤s12，判断每个该任务单元的输入输出数据是否形成闭环，如果形成闭环将重新对对应的该任务单元进行建模。

其中，每次对该任务单元建模之后都需要判断每个该任务单元的输入输出数据是否形成闭环，如果形成闭环将重新对对应的该任务单元进行建模，直到不存在闭环现象为止，防止了由于存在闭环而导致的数据传递出现死循环的现象。

步骤s13，根据所有的该任务单元的输入输出数据记录所有的该任务单元之间的血缘关系。

步骤s14，当检测到异常数据时，根据该血缘关系分析出该若干个任务单元中产生该异常数据的任务单元及受该异常数据影响的所有任务单元。

步骤s15，判断与该异常数据相关的所有任务单元中是否包含正在进行数据传输的任务单元，若包含，则将该正在进行数据传输的任务单元进行备份存储。

其中，所述与该异常数据相关的所有任务单元由所述产生该异常数据的任务单元及所述受该异常数据影响的所有任务单元组成。

其中，将该正在进行数据传输的任务单元进行备份存储的目的为区别后续重新下发的新任务，并且方便后续的对其进行过滤过滤和查询。

步骤s16，将所述产生该异常数据的任务单元修正。

步骤s17，将所述受该异常数据影响的所有任务单元全部对应替换成新的任务单元。

其中，该新的任务单元与对应替换掉的该任务单元只有任务号不同。

步骤s18，将所述受该异常数据影响的所有任务单元的结果状态标记为取消状态。

其中，将替换掉的所有该任务单元的结果状态标记为取消状态的目的为使该新的任务单元与对应替换掉的该任务单元的结果状态不一致，便于后续对替换掉的任务单元进行过滤和查询。

步骤s19，将所述受该异常数据影响的所有任务单元之前生成的数据删除。

步骤s20，该新的任务单元重新生成新数据。

请参阅图4，依据本发明另一方面，还提供了一种数据管理异常的补救系统，用于当一数据库产生异常数据时进行异常补救，包括：

数据处理模块，用于将从源数据至目标数据的整个传递过程分割成若干个任务单元，并对每个该任务单元进行建模，每个该任务单元的建模信息中均包括对应的任务号、结果状态及输入输出数据；

存储模块，用于存储所有的该任务单元并根据所有的该任务单元的输入输出数据记录所有的该任务单元之间的血缘关系；

异常分析模块，用于检测异常数据，若检测到异常数据，将根据该血缘关系分析出该若干个任务单元中产生该异常数据的任务单元及受该异常数据影响的所有任务单元；

重生成模块，将所述产生该异常数据的任务单元修正并将所述受该异常数据影响的所有任务单元及其生成的数据进行更新。

其中，该重生成模块包括：

修正单元，用于将所述产生该异常数据的任务单元修正；

替换单元，用于将所述受该异常数据影响的所有任务单元全部对应替换成新的任务单元；

删除单元，用于将所述受该异常数据影响的所有任务单元之前生成的数据删除。

其中，该重生成模块还包括：

第一判断单元，判断所述产生该异常数据的任务单元及所述受该异常数据影响的所有任务单元中是否包含正在进行数据传输的任务单元，若包含，则将该正在进行数据传输的任务单元通过该存储模块进行备份存储。

其中，该重生成模块还包括：

标记单元，用于将所述受该异常数据影响的所有任务单元的结果状态标记为取消状态。

其中，该数据管理异常的补救系统还包括：

闭环分析模块，用于判断每个该任务单元的输入输出数据是否形成闭环，如果形成闭环将控制该数据处理模块重新对对应的该任务单元进行建模。

其中，每个该任务单元可以为最小粒度任务单元。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。