基于血缘关系的数据管理方法及装置与流程

1.本技术涉及大数据技术领域，特别是基于血缘关系的数据管理方法及装置。


背景技术：

2.在数据级联系统中，数据在各个层次的数据节点之间流转，海量复杂的数据通过各种加工融合转换，从低层级的数据节点逐渐向高层级的数据节点汇聚。
3.相关技术中，数据级联系统的数据汇聚由于部分数据节点可能存在加工异常或者传输异常的问题，导致数据在从低层级的数据节点向高层级的数据节点传输的过程中可能会出现数据错误或者数据缺失等情况。


技术实现要素：

4.有鉴于此，本技术提供基于血缘关系的数据管理方法及装置，用于校验数据级联系统中存储的数据，从而发现数据级联系统中存储的异常数据。
5.具体的，本技术通过如下技术方案实现：
6.根据本技术的第一方面，提出了一种基于血缘关系的数据管理方法，应用于数据级联系统中的任一数据节点，包括：
7.对所述任一数据节点中待校验的目标数据表进行血缘分析，以确定对应于所述目标数据表的原始数据表以及所述原始数据表所属的原始数据节点；
8.获取所述原始数据表对应的目标血缘路径，所述目标血缘路径的起点为所述原始数据节点、终点为与所述任一数据节点处于同一层级的其他数据节点；
9.根据所述目标血缘路径获取所述其他数据节点中汇聚了所述原始数据表的校验数据表；
10.若所述目标数据表与所述校验数据表中的数据相匹配，则确定所述目标数据表与所述校验数据表中的数据均正确；若所述目标数据表与所述校验数据表中的数据不匹配，则确定所述目标数据表和/或所述校验数据表中存在数据错误。
11.根据本技术的第二方面，提出了一种基于血缘关系的数据管理装置，应用于数据级联系统中的任一数据节点，包括：
12.血缘分析单元，用于对所述任一数据节点中待校验的目标数据表进行血缘分析，以确定对应于所述目标数据表的原始数据表以及所述原始数据表所属的原始数据节点；
13.血缘路径获取单元，用于获取所述原始数据表对应的目标血缘路径，所述目标血缘路径的起点为所述原始数据节点、终点为与所述任一数据节点处于同一层级的其他数据节点；
14.校验数据表获取单元，用于根据所述目标血缘路径获取所述其他数据节点中汇聚了所述原始数据表的校验数据表；
15.匹配单元，用于若所述目标数据表与所述校验数据表中的数据相匹配，则确定所述目标数据表与所述校验数据表中的数据均正确；若所述目标数据表与所述校验数据表中
的数据不匹配，则确定所述目标数据表和/或所述校验数据表中存在数据错误。
16.根据本技术的第三方面，提供一种电子设备，包括：
17.处理器；
18.用于存储处理器可执行指令的存储器；
19.其中，所述处理器通过运行所述可执行指令以实现如上述第一方面的实施例中所述的方法。
20.根据本技术实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述第一方面的实施例中所述方法的步骤。
21.由以上本技术提供的技术方案可见，本技术通过对待验证的目标数据表进行血缘关系分析以确定其对应的原始数据表，并查找原始数据表的血缘路径以确定各个原始数据表在目标数据表所处层级的其他数据节点中所汇聚得到的校验数据表，通过该校验数据表对目标数据表进行匹配验证，可以及时确定目标数据表中的数据在汇聚过程中是否可能存在缺失或者错误。
附图说明
22.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
23.图1是根据本技术一示例性实施例示出的一种数据级联系统的网络架构图；
24.图2是根据本技术一示例性实施例示出的一种基于血缘关系的数据管理方法的流程图；
25.图3是根据本技术一示例性实施例示出的一种基于血缘关系的数据管理方法的多方交互流程图；
26.图4是根据本技术一示例性实施例示出的一种血缘路径拓扑图；
27.图5是根据本技术一示例性实施例示出的另一种基于血缘关系的数据管理方法的多方交互流程图；
28.图6是根据本技术一示例性实施例示出的一种基于血缘关系的数据管理电子设备示意图；
29.图7是根据本技术一示例性实施例示出的一种基于血缘关系的数据管理装置的框图。
具体实施方式
30.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
31.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
32.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
33.接下来对本技术实施例进行详细说明。
34.参见图1，为本技术示出的一种数据级联系统的网络架构图。如图1所示，数据级联系统按照树型拓扑结构分布有多层级的数据节点，包括一级数据库节点1-1、一级数据中心节点1、一级数据库节点1-2、二级数据库节点1-1、二级数据中心节点1、二级数据库节点1-2、二级数据库节点2-1、二级数据中心节点2、二级数据库节点2-2、三级数据库节点1-1、三级数据中心节点1、三级数据库节点1-2、三级数据库节点2-1、三级数据中心节点2和三级数据库节点2-2。各数据节点用于对数据表进行调度和存储，当任一数据节点接收到下层级的数据节点发送的数据表时可以对该数据表进行存储并对其数据进行加工处理，再将其发送至上层级的数据节点。
35.而数据血缘分析则是元数据管理和数据治理中的核心功能，数据血缘是指数据产生的上下游链路，是数据在产生、处理、流转到消亡过程中，数据之间形成的一种类似于人类社会血缘关系的关系，描述了不同的数据表之间或者不同数据表中的字段之间的依赖关系。通过对数据级联系统中的数据表进行血缘分析，可以查找到该数据表所涉及的所有数据的数据来源。
36.图2为根据本技术一示例性实施例示出的一种基于血缘关系的数据管理方法的流程图。如图2所示，该方法应用于数据级联系统中的任一数据节点，可以包括如下步骤：
37.步骤202：对所述任一数据节点中待校验的目标数据表进行血缘分析，以确定对应于所述目标数据表的原始数据表以及所述原始数据表所属的原始数据节点。
38.在本技术的技术方案中，针对目标数据表的血缘分析可以通过计算数据级联系统中各数据表的表名和表结构信息的相似度得到，其中表结构信息可以包括字段名、字段类型、字段长度等；或者也可以通过例如druid或spark的logicplan等多种工具分析表与表之间的血缘逻辑关系，并建立相应的数据模型以形成数据的血缘关系图谱。实际上，现有技术中的数据血缘分析方法均可以用于本技术的技术方案中，本技术对此不作限制。通过对目标数据表进行血缘分析可以追溯该数据表的来源，确定出数据级联系统中对应于目标数据表的原始数据表。除了表级的血缘分析，目标数据表所属的任一数据节点也可以针对目标数据表中各个字段进行血缘分析，以确定目标数据表中各个字段的数据来源，本技术对此不作限制。
39.步骤204：获取所述原始数据表对应的目标血缘路径，所述目标血缘路径的起点为所述原始数据节点、终点为与所述任一数据节点处于同一层级的其他数据节点。
40.各原始数据表除了被上传至所述任一数据节点以汇聚得到待验证的目标数据表这一条传输路径外，还同时通过其他路径进行传输，也就是说通过分析原始数据表在数据级联系统中的传输路径即可查询由待检测的目标数据表的原始数据表汇聚而成的其他数据表。
41.在一实施例中，目标数据表所属的任一数据节点在确定目标数据表所对应的原始
数据表后，可以分别向各个原始数据表所属的原始数据节点发送关于针对原始数据表的查询请求，使得各个原始数据节点可以根据该原始数据表的信息查找其向上级汇聚时的血缘路径，并将查找到的血缘路径信息返回该任一数据节点。其中，血缘路径信息包括以原始数据节点为起点的多条不同目的方向的血缘路径。任一数据节点在接收到原始数据节点返回的血缘路径信息后需要对其中的血缘路径进行筛选，获取血缘路径信息的多条血缘路径中终点为与自身节点处于同一层级的其他数据节点的血缘路径作为目标血缘路径。以图1所示的数据级联系统为例，若三级数据库节点1-1中表b为待验证的一级数据中心节点1中表a所对应的原始数据表之一，则三级数据库节点1-1可以在接收到一级数据中心节点1发送的查询请求后根据表b的数据信息查询到表b的血缘路径，包括：三级数据库节点1-1——三级数据中心节点1——二级数据中心节点1——一级数据中心节点1、三级数据库节点1-1——二级数据库节点1-1——二级数据中心节点1、三级数据库节点1-1——二级数据库节点1-1——一级数据库节点1-1这三条血缘路径。一级数据中心节点1在接收到三级数据库节点1-1返回的这三条血缘路径后可以对其进行筛选，选取其中终点为与自身处于同一层级的其他数据节点的，即三级数据库节点1-1——二级数据库节点1-1——一级数据库节点1-1这一条血缘路径作为目标血缘路径。
42.在另一实施例中，原始数据表所属的数据节点可能由于层级较低，数据管理能力较弱，无法存储数据血缘信息也无法分析原始数据表的血缘路径，因此需要依赖其他数据节点的血缘分析能力。目标数据表所属的任一数据节点在确定目标数据表所对应的原始数据表后，可以向其所属层级的其他数据节点发送针对原始数据表的血缘路径查询请求，使得该层级的其他数据节点检索各自本地数据表的血缘路径，将各个本地数据表的血缘路径信息与原始数据表的信息进行比对，若存在任一本地数据表的血缘路径包括对应于各个原始数据表的内容，则可以确定该本地数据表是由各个原始数据表汇聚得到的，也就是说该本地数据表的血缘路径即为原始数据表的目标血缘路径。仍以以图1所示的数据级联系统为例，当待检测的目标数据表为一级数据中心节点1中的数据表a，且该数据表a所对应的原始数据表为三级数据库节点1-1中的表b以及三级数据库节点2-1中的表c时，一级数据中心节点1可以向其同层级的一级数据库节点1-1和一级数据库节点1-2发送关于表b和表c的血缘路径查询请求。若一级数据库节点1-1通过检索本地数据表的血缘路径可以发现存在某一本地数据表的血缘路径与表b和表c相对应，则将该血缘路径作为对应于原始数据表的目标血缘路径。通过与目标数据表所属的任一数据节点同层级的其他数据节点对原始数据表的血缘路径检索，可以减小较低层级原始数据节点的处理压力，也避免由于较低层级的数据节点无法对数据进行血缘分析而无法确定与待验证的目标数据表相对应的校验数据表的情况。
43.通常来说，数据血缘可以分为表级数据血缘和字段级数据血缘两个维度。具体来将，与上述对目标数据表中字段进行血缘分析相同，查询原始数据表的血缘路径除了从表的角度确定表与表之间的关联以外，也可以从字段的角度来确定。目标数据表所属的任一数据节点所发送的血缘路径查询请求可以包含原始数据表的字段信息。在由原始数据节点进行血缘路径查询的情况下，原始数据节点可以根据字段信息查找对应字段的血缘路径；在由与目标数据表所属的任一数据节点属于同一层级的其他数据节点进行血缘路径查询的情况下，其他数据节点可以检索本地数据表中字段的血缘路径以确定本地数据表的各字
段的血缘路径是否存在对应于该字段信息的目标血缘路径。除了上述直接根据字段信息进行血缘路径查询外，本技术也可以在表级血缘路径查询的基础上，将表级血缘路径所对应的数据表中字段与目标数据表所需的字段进行比对，从表级血缘路径中筛选出字段级血缘路径。举例而言，若三级数据库节点1-1中的原始数据表中仅存在字段a’与待检测的目标数据表相对应，而在查询表级血缘路径时发现，在一条血缘路径中原始数据表传输至三级数据中心节点1生成数据表f，在另一条表级血缘路径中原始数据表传输至三级数据中心节点1生成数据表e。原始数据节点可以分别将传输至数据表f和数据表e的字段与字段a’进行比较，若传输至数据表e的字段中不包含字段a’，则可以确定数据表e所对应的血缘路径并非目标数据表所需的字段级血缘路径，可以将其排除。通过获取字段级的血缘路径，可以有针对性的查询与待检测的目标数据表有关的字段的传输路径，无需考虑原始数据表中其他无关字段的传输，从而实现血缘路径的精准筛选。
44.步骤106：根据所述目标血缘路径获取所述其他数据节点中汇聚了所述原始数据表的校验数据表。
45.在由原始数据节点分析原始数据表的血缘路径的情况下，目标数据表所属的任一数据节点在根据接收到的原始数据表所返回的血缘路径信息确定目标血缘路径后，可以根据目标血缘路径确定该目标血缘路径终点处其他数据节点中汇聚了各个原始数据表的校验数据表，并向该其他数据节点发送关于校验数据表的数据同步请求，以使得该其他数据节点将校验数据表的数据同步给待验证的目标数据表所属的任一数据节点。
46.在由与任一数据节点属于同一层级的其他数据节点对原始数据表的血缘路径进行分析的情况下，目标数据表所属的任一数据节点在接收到其他数据节点发送的目标血缘路径后可以将该目标血缘路径所对应的本地数据表作为校验数据表并向该其他数据节点发送关于校验数据表的数据同步请求，以使得该其他数据节点将校验数据表的数据同步给待验证的目标数据表所属的任一数据节点。进一步的，其他数据表也可以在检索本地数据表中字段的血缘路径以确定有对应于该字段信息的目标血缘路径后，可以直接主动将目标血缘路径所对应的本地数据表作为校验数据表同步给待验证的目标数据表所属的任一数据节点。
47.步骤108：若所述目标数据表与所述校验数据表中的数据相匹配，则确定所述目标数据表与所述校验数据表中的数据均正确；若所述目标数据表与所述校验数据表中的数据不匹配，则确定所述目标数据表和/或所述校验数据表中存在数据错误。
48.在一实施例中，待验证的目标数据表所属的任一数据节点在接收到校验数据表后可以将校验数据表与目标数据表中的数据均按照主键进行排列，以根据主键的排列情况将校验数据表中的数据与目标数据表对应字段中的数据进行匹配。若目标数据表与校验数据表中的数据相匹配，则目标数据表与校验数据表同时出错的可能性较小可以忽略不计，即可以确定目标数据表与校验数据表中的数据均正确；若目标数据表与校验数据表中的数据不匹配，则说明目标数据表与校验数据表中的至少一方的数据出现了错误，可以确定目标数据表和/或所述校验数据表中存在数据错误。
49.进一步的，在如图1所示的数据级联系统中，各层级的数据节点包括至少一个数据中心节点，各数据中心节点与本层级的至少一个数据库节点相关联。数据库节点用于将数据表传输至对应的数据中心节点和/或上级数据库节点，数据中心节点用于将数据表传输
至对应的数据库节点和/或上级数据中心节点数据库节点可以将数据发送至与其关联的数据中心节点和/或与其关联的上级数据库节点。数据中心节点用于对本层级相关联的数据库节点的数据进行汇总管理，也就是说数据表在上传汇总过程中即便通过多路径上传，也没有必要传输至多个数据库节点中。因此，当待检测的目标数据所属的任一数据节点为任一数据中心节点时，校验数据表所属的其他节点为与任一数据中心节点对应的数据库节点；当任一数据节点为任一数据库节点时，其他节点为与任一数据库节点对应的数据中心节点。
50.由以上本技术提供的技术方案可见，本技术通过对待验证的目标数据表进行血缘关系分析以确定其对应的原始数据表，并查找原始数据表的血缘路径以确定各个原始数据表在目标数据表所处层级的其他数据节点中所汇聚得到的校验数据表，通过该校验数据表对目标数据表进行匹配验证，可以及时确定目标数据表中的数据在汇聚过程中是否可能存在缺失或者错误。下面结合图3进行详细说明。其中，图3根据本技术一示例性实施例示出的一种基于血缘关系的数据管理方法的多方交互流程图。如图3所示，一级数据中心节点1、一级数据库节点1-1、三级数据库节点1-1、三级数据库节点2-1的交互过程包括以下步骤：
51.步骤301，一级数据中心节点1对一级数据中心节点1中待校验的目标数据表a进行血缘分析。
52.当需要对一级数据中心节点1中的数据表a进行管理校验时，以及数据中心节点1可以通过例如相关技术中的数据血缘分析方法对数据表a进行处理，确定数据表a中的数据来源于三级数据库节点1-1中的数据表b和三级数据库节点2-1中的数据表c，即表b和表c是数据表a的原始数据表，三级数据库节点1-1和三级数据库节点2-1是对应的原始数据节点。
53.步骤302a，一级数据中心节点1向三级数据库节点1-1发送关于数据表b的血缘路径查询请求。
54.步骤302b，一级数据中心节点1向三级数据库节点2-1发送关于数据表c的血缘路径查询请求。
55.一级数据中心节点1在确定数据表b和数据表c为待检测的数据表a的原始数据表后，可以生成关于数据表b和数据表c的查询请求。
56.若通过字段级的数据血缘分析确定出数据表a中的字段a来源于数据表b中的字段a’，数据表a中的字段b来源于数据表c中的字段b’，则在查询原始数据表的血缘路径时也可以是针对字段的血缘路径，一级数据中节点1可以向三级数据库节点1-1发送包含与字段a’相关的字段信息的血缘路径查询请求，向三级数据库节点2-1发送包含与字段b’相关的字段信息的血缘路径查询请求。
57.步骤303a，三级数据库节点1-1对数据表b的血缘路径进行查询。
58.步骤303b，三级数据库节点2-1对数据表c的血缘路径进行查询。
59.三级数据库节点1-1和2-1在接收到一级数据中心节点1发送的血缘路径查询请求后，可以根据查询请求所包含的数据表信息或者字段信息查询该数据表或者字段向上级汇聚时的血缘路径。
60.举例而言，表1为三级数据库节点1-1根据数据表b中字段a’的字段信息进行查询所得到的血缘路径信息表，表2为三级数据库节点2-1根据数据表c中字段b’的字段信息进行查询所得到的血缘路径信息表。
[0061][0062]
表1
[0063][0064][0065]
表2
[0066]
通过对原始数据表进行血缘路径信息可以确定该原始数据表在数据级联系统中的上传路径。同时，本领域人员应当理解的是，虽然表中并未显示，但通过对数据表进行血缘路径查询并不仅仅可以确定该数据表在传输过程中所经过的各个节点，还可以得到该数据表在经过的各个数据节点中对应生成的数据表的信息。
[0067]
进一步的，除了血缘路径信息表以外，也可以通过其他形式对原始数据的血缘路径进行显示。如图4所示，为根据本技术一示例性实施例示出的一种血缘路径拓扑图。如图所示，对于三级数据库节点1-1和三级数据库节点2-1而言，分别有两条血缘路径，其中实线即为生成待检测的目标数据表的血缘路径，虚线即为目标血缘路径。
[0068]
步骤304a，一级数据中心节点1接收三级数据库节点1-1发送的关于数据表b的血缘路径信息。
[0069]
步骤304b，一级数据中心节点1接收三级数据库节点2-1发送的关于数据表c的血缘路径信息。
[0070]
三级数据库节点1-1和三级数据库节点2-1在根据查询信息确定血缘路径信息后可以将如上述表1、表2的血缘路径信息表发送至一级数据中心节点1。
[0071]
步骤305，一级数据中心节点1确定目标血缘路径以及对应的校验数据表。
[0072]
一级数据中心节点1在接收到血缘路径信息后可以对血缘路径信息中所包含的多条血缘路径进行分析，将终点为与一级数据中心节点处于同一层级的其他数据节点的血缘路径作为目标血缘路径，并根据各个原始数据表的目标血缘路径确定其对应的校验数据表。
[0073]
举例而言，上述表1和表2中均各自包含两条血缘路径，通过分析各个血缘路径的终点可以确定表1中的血缘路径
②
为数据表b所对应的目标血缘路径，表2中的血缘路径
②
为数据表c所对应的目标血缘路径。数据表b和数据表c汇聚于一级数据库节点1-1，且根据数据血缘路径信息中所包含的数据表b和数据表c在所经过的各个数据节点中对应生成的数据表的信息可以得到数据表b和数据表c汇聚于一级数据库节点1-1中的数据表d，即可以将数据表d确定为校验数据表。
[0074]
步骤306，一级数据中心节点1向一级数据库节点1-1发送数据同步请求。
[0075]
一级数据中心节点1在确定校验数据表为数据表d后生关于数据表d的数据同步请
求，并将该数据同步请求发送给一级数据库节点1-1。
[0076]
步骤307，一级数据中心节点1接收数据库节点1-1发送的校验数据表。
[0077]
一级数据库1-1在接收到以及数据中心节点1发送的关于数据表d的数据同步请求后，可以将数据表d返回给一级数据中心节点1。
[0078]
步骤308，一级数据中心节点1将校验数据表与待验证的目标数据表进行匹配。
[0079]
一级数据中心节点1在接收到数据表d后可以将数据表d与待验证的数据表a中的数据进行比对。若数据表d中的数据匹配于数据表a中的数据，则可以确定数据表d和数据表a中的数据均正确；若数据表d中的数据与数据表a中的数据不匹配，则可以确定该不匹配数据是由于数据表d与数据表a中至少一方的数据存在错误而产生的。
[0080]
进一步的，由于原始数据节点处于较为下层，数据血缘存储和分析能力可能较弱，因此可以通过其他数据节点来对原始数据表的血缘路径进行查询。图4是根据本技术一示例性实施例示出的另一种基于血缘关系的数据管理方法的多方交互流程图。如图5所示，一级数据中心节点1和一级数据库节点1-1的交互过程包括以下步骤：
[0081]
步骤501，一级数据中心节点1对一级数据中心节点1中待校验的目标数据表a进行血缘分析。
[0082]
当需要对一级数据中心节点1中的数据表a进行管理校验时，以及数据中心节点1可以通过例如相关技术中的数据血缘分析方法对数据表a进行处理，确定数据表a中的数据来源于三级数据库节点1-1中的数据表b和三级数据库节点2-1中的数据表c，即表b和表c是数据表a的原始数据表，三级数据库节点1-1和三级数据库节点2-1是对应的原始数据节点。
[0083]
步骤502，一级数据中心节点1向一级数据库节点1-1发送关于数据表b和数据表c的血缘路径查询请求。
[0084]
一级数据中心节点1在确定数据表b和数据表c为待检测的数据表a的原始数据表后，可以生成关于数据表b和数据表c的查询请求。并向与自身处于同一层级且与原始数据节点相关联的一级数据库节点1-1发送关于数据表b和数据表c的血缘路径查询请求。
[0085]
步骤503，一级数据库节点1-1分别对自身的各个本地数据表血缘进行检索。
[0086]
一级数据库节点1-1在接收到以及数据中心节点1发送的血缘路径查询请求后，可以根据查询请求中所包含的数据表b和数据表c的数据表信息检索本地数据表的血缘路径，判断是否存在本地数据表的血缘路径与数据表b和数据表c的数据表信息相关联，即是否存在本地数据表的数据来源包含数据表b和数据表c。
[0087]
步骤504，一级数据中心节点1接收一级数据库节点1-1发送的校验数据表。
[0088]
在一实施例中，一级数据库节点1-1可以先将与数据表b和数据表c的数据表信息相关联的本地数据表血缘路径确定为目标血缘路径，并将该目标血缘路径发送给一级数据中心节点1，由一级数据中心节点1将目标血缘路径所对应的本地数据表确定为校验数据表，并向一级数据库节点1-1发送关于该校验数据表的数据同步请求。一级数据库节点1-1在接收到数据同步请求后再将该校验数据表发送至一级数据中心节点1。
[0089]
在另一实施例中，一级数据库节点1-1在确定存在血缘路径与数据表b和数据表c的数据表信息相关联后可以直接将该血缘路径所对应的本地数据表作为校验数据表，并直接将该校验数据表发送至一级数据中心节点1。
[0090]
步骤505，一级数据中心节点1将校验数据表与待验证的目标数据表进行匹配。
[0091]
一级数据中心节点1在接收到本地数据表后可以将本地数据表与待验证的数据表a中的数据进行比对。若本地数据表中的数据匹配于数据表a中的数据，则可以确定本地数据表和数据表a中的数据均正确；若本地数据表中的数据与数据表a中的数据不匹配，则可以确定该不匹配数据是由于本地数据表与数据表a中至少一方的数据存在错误而产生的。
[0092]
与上述方法实施例相对应，本说明书还提供了一种装置的实施例。
[0093]
图6是根据本技术一示例性实施例示出的一种基于血缘关系的数据管理电子设备的结构示意图。参考图6，在硬件层面，该电子设备包括处理器602、内部总线604、网络接口606、内存608以及非易失性存储器610，当然还可能包括其他业务所需要的硬件。处理器602从非易失性存储器610中读取对应的计算机程序到内存608中然后运行。当然，除了软件实现方式之外，本技术并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
[0094]
图7是根据本技术一示例性实施例示出的一种基于血缘关系的数据管理装置的框图。参照图7，该装置包括血缘分析单元702、血缘路径获取单元704、校验数据表获取单元706和匹配单元708，其中：
[0095]
血缘分析单元702被配置为对所述任一数据节点中待校验的目标数据表进行血缘分析，以确定对应于所述目标数据表的原始数据表以及所述原始数据表所属的原始数据节点。
[0096]
血缘路径获取单元704被配置为获取所述原始数据表对应的目标血缘路径，所述目标血缘路径的起点为所述原始数据节点、终点为与所述任一数据节点处于同一层级的其他数据节点。
[0097]
校验数据表获取单元706被配置为根据所述目标血缘路径获取所述其他数据节点中汇聚了所述原始数据表的校验数据表。
[0098]
匹配单元708被配置为若所述目标数据表与所述校验数据表中的数据相匹配，则确定所述目标数据表与所述校验数据表中的数据均正确；若所述目标数据表与所述校验数据表中的数据不匹配，则确定所述目标数据表和/或所述校验数据表中存在数据错误。
[0099]
可选的，所述获取所述原始数据表对应的目标血缘路径包括：向所述原始数据节点发送关于所述原始数据表的查询请求，以使所述原始数据节点查找所述原始数据表的血缘路径；接收所述原始数据节点返回的血缘路径信息，所述血缘路径信息包含起点为所述原始数据节点的多条血缘路径；获取所述多条血缘路径中终点为与所述任一数据节点处于同一层级的其他数据节点的目标血缘路径。
[0100]
可选的，所述向所述原始数据节点发送关于所述原始数据表的查询请求，以使所述原始数据节点查找所述原始数据表的血缘路径，包括：向所述原始数据节点发送包含所述原始数据表的字段信息的查询请求，以使所述原始数据节点根据所述字段信息查找所述字段信息对应字段的血缘路径。
[0101]
可选的，所述根据所述目标血缘路径获取所述其他数据节点中汇聚了所述原始数据表的校验数据表包括：根据所述目标血缘路径确定所述其他数据节点中汇聚了所述原始数据表的校验数据表；向所述其他数据节点发送关于所述校验数据表的数据同步请求；接收所述其他数据节点发送的校验数据表。
[0102]
可选的，所述获取所述原始数据表的目标血缘路径包括：向所述任一数据节点所
rom、磁带、软盘和光数据存储设备等，本技术并不对此进行限制。
[0111]
以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。