基于有向图实现数据血缘关系结构的系统、方法及介质与流程

本技术涉及数据血缘关系，尤其涉及一种基于有向图实现数据血缘关系结构的系统、方法及介质。

背景技术：

1、随着大数据时代的到来，数据量呈现指数爆炸性增长，数据的复杂性和多样性也日益增强，数据之间的关系变得越来越复杂，在这些大规模数据中，数据之间的血缘关系对于数据的质量，可信度及可解释性等，起着正要作用，数据血缘的追踪变得尤为重要。

2、数据血缘关系是指数据在产生，处理，流转到消亡过程中，数据之间形成的一种类似于人类社会血缘关系的关系.这种情况可以用于描述数据的来源和流向，即数据的血缘关系可以表示数据是如何从原始数据经过一系列的处理和转换，最终形成我们得到的结果数据的过程。

3、现有的，查询数据血缘关系的方法有：一种基于语法分析的获取数据血缘关系的系统及方法，包括数据血缘关系分析服务器；数据血缘关系分析服务器主要由原始操作信息输入模块、框架分析模块、词法分析模块、语法分析模块、中间结果信息生成模块、数据血缘关系逻辑分析模块和查询接口；还包括血缘关系代理插件。

4、但是，上述方案主要侧重于整条记录的血缘关系分析，不具有拆分整条记录数据，进行数据内部数据血缘关系的提取采集的功能。

技术实现思路

1、针对现有技术的上述不足，本技术提供一种基于有向图实现数据血缘关系结构的系统、方法及介质，以解决现有的方法主要侧重于整条记录的血缘关系分析，不具有拆分整条记录数据，进行数据内部数据血缘关系的提取采集的功能。

2、第一方面，本技术提供了一种基于有向图实现数据血缘关系结构的方法，有向图包括节点和边，方法包括：获取向量图中节点对应的节点数据结构、向量图中边对应的关系数据结构、节点与节点之间预设节点逻辑规则、关系与关系之间的预设关系逻辑规则；其中，节点数据结构至少包括节点唯一标识、节点类型、数据类型、预设节点扩展数据，关系数据结构至少包括关系唯一标识、起点节点数据、终点节点数据、关系类型、预设关系扩展数据，预设节点逻辑规则至少包括预设节点运算公式和节点逻辑唯一标识，预设关系逻辑规则至少包括预设关系运算公式和关系逻辑唯一标识；读取给定数据，基于给定数据的内容，将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则；获取操作指令，以新建有向图或打开现有有向图；在操作指令对应新建有向图时，将节点数据作为新建有向图的节点；将预设节点逻辑规则的第一预设运行结果和预设关系逻辑规则的第二预设运行结果作为新建有向图的节点；将关系数据、预设节点逻辑规则和预设关系逻辑规则作为新建有向图的边，以完成新建有向图；在操作指令对应打开现有有向图时，基于唯一标识，确定给定数据对应的节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则是否存在于现有有向图中；基于预设解析引擎，将存在的数据更新至现有有向图中，将不存在数据添加至现有有向图中。

3、进一步地，在基于给定数据的内容，将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则之后，方法还包括：获取加密方法以及待加密数据；其中，待加密数据至少包括以下任意一项或多项：节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则；基于加密方法，对待加密数据进行加密处理；在后续接收到待加密数据的查询操作时，调用预设解密处理器，将加密处理的数据进行解密。

4、进一步地，在将存在的数据更新至现有有向图中之前，方法还包括：将现有有向图中的数据存储至预设历史数据库中。

5、进一步地，在完成新建有向图之后和在基于预设解析引擎，将存在的数据更新至现有有向图中，将不存在数据添加至现有有向图中之后，方法还包括：基于预设数据校验规则，对新建有向图和现有有向图进行数据校验，在不满足预设数据校验规则时，进行有向图异常告警。

6、进一步地，初始第一预设运行结果和初始第二预设运行结果为空值。

7、第二方面，本技术提供了一种基于有向图实现数据血缘关系结构的系统，系统包括：获取模块，用于获取向量图中节点对应的节点数据结构、向量图中边对应的关系数据结构、节点与节点之间预设节点逻辑规则、关系与关系之间的预设关系逻辑规则；其中，节点数据结构至少包括节点唯一标识、节点类型、数据类型、预设节点扩展数据，关系数据结构至少包括关系唯一标识、起点节点数据、终点节点数据、关系类型、预设关系扩展数据，预设节点逻辑规则至少包括预设节点运算公式和节点逻辑唯一标识，预设关系逻辑规则至少包括预设关系运算公式和关系逻辑唯一标识；获得模块，与获取模块相连，用于读取给定数据，基于给定数据的内容，将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则；有向图模块，用于获取操作指令，以新建有向图或打开现有有向图；新建有向图模块，分别与获得模块和有向图模块相连，用于在操作指令对应新建有向图时，将节点数据作为新建有向图的节点；将预设节点逻辑规则的第一预设运行结果和预设关系逻辑规则的第二预设运行结果作为新建有向图的节点；将关系数据、预设节点逻辑规则和预设关系逻辑规则作为新建有向图的边，以完成新建有向图；更新有向图模块，分别与获得模块和有向图模块相连，用于在操作指令对应打开现有有向图时，基于唯一标识，确定给定数据对应的节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则是否存在于现有有向图中；基于预设解析引擎，将存在的数据更新至现有有向图中，将不存在数据添加至现有有向图中。

8、进一步地，获得模块包括加密处理单元，用于获取加密方法以及待加密数据；其中，待加密数据至少包括以下任意一项或多项：节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则；基于加密方法，对待加密数据进行加密处理；在后续接收到待加密数据的查询操作时，调用预设解密处理器，将加密处理的数据进行解密。

9、进一步地，更新有向图模块包括存储单元，用于将现有有向图中的数据存储至预设历史数据库中。

10、进一步地，系统还包括数据校验模块，分别与新建有向图模块和更新有向图模块相连，用于基于预设数据校验规则，对新建有向图和现有有向图进行数据校验，在不满足预设数据校验规则时，进行有向图异常告警。

11、第三方面，本技术提供了一种非易失性计算机存储介质，其上存储有计算机指令，计算机指令在被执行时实现如上述任一项的一种基于有向图实现数据血缘关系结构的方法。

12、本领域技术人员能够理解的是，本技术至少具有如下有益效果：

13、本技术将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则，将节点数据作为新建有向图的节点；将预设节点逻辑规则的第一预设运行结果和预设关系逻辑规则的第二预设运行结果作为新建有向图的节点；将关系数据、预设节点逻辑规则和预设关系逻辑规则作为新建有向图的边，以完成将血缘数据转换成有向图（解决了现有的方法主要侧重于整条记录的血缘关系分析，不具有拆分整条记录数据，无法进行数据内部数据血缘关系的提取采集的问题）。且本技术能够利用有向图的特性，实现高效的数据存储和查询， 支持大规模数据的处理，可实现快速的数据分析和决策。且本技术对于扩展数据中较大存储空间的扩展数据节点，可进行节点复用，能够有效节省数据存储空间。

14、另外，本技术还可以对数据进行加密和解码，确保了数据的机密性和完整性。