数据资产管理方法、控制装置及可读存储介质与流程

本发明涉及信息技术，具体提供一种数据资产管理方法、控制装置及可读存储介质。

背景技术：

1、元数据管理和数据质量管理是数据资产管理的重点和难点，元数据管理包括业务元数据管理、技术元数据管理、操作元数据管理和数据血缘管理。目前的业务数据流、技术元数据、业务元数据管理、操作元数据管理、数据血缘管理都是各自独立的，业务元数据人工维护的比例很高，严重地影响到数据的准确性、一致性以及数据管理效率。同时，也对数据质量问题发现造成了阻碍，很难发现深层次的数据质量问题，如数据一致性的问题。

2、相应地，本领域需要一种新的数据资产管理方案来解决上述问题。

技术实现思路

1、为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何对数据资产进行有效管理，以提升数据管理的一致性、准确性和管理效率的问题。

2、在第一方面，本发明提供一种数据资产管理方法，所述方法包括：

3、获取待管理的数据信息；

4、将所述数据信息解析为三元组的形式；

5、将所述三元组存入知识图谱中，以生成所述数据信息的数据资产全景地图；

6、根据预设规则，对所述数据资产全景地图进行数据评估，以实现对所述数据信息的管理

7、在上述数据资产管理方法的一个技术方案中，所述数据信息包括业务数据流和/或数据血缘和/或业务元数据和/或技术元数据和/或操作元数据。

8、在上述数据资产管理方法的一个技术方案中，所述预设规则包括一致性规则，“根据预设规则，对所述数据资产全景地图进行数据评估”的步骤包括：

9、根据所述一致性规则，针对所述数据资产全景地图的每个节点，根据所述数据血缘生成有向无环子图；

10、根据所述有向无环子图，获取所述节点的最终编码；

11、根据所有节点的最终编码，获取所述数据信息的最终不一致性问题，作为数据评估结果。

12、在上述数据资产管理方法的一个技术方案中，“根据所述有向无环子图，获取所述节点的最终编码”的步骤包括：

13、应用预设的遍历方式，对所述有向无环子图进行遍历，生成所述节点的预编码；

14、应用md5算法，根据所述预编码，获取所述节点的最终编码。

15、在上述数据资产管理方法的一个技术方案中，“根据所有节点的最终编码，获取所述数据信息的最终不一致性问题”的步骤包括：

16、将每个节点的节点名称和最终编码分别与其他节点的节点名称和最终编码进行比较；

17、当存在两个节点的节点名称不一致但最终编码一致时，判定为疑似不一致问题；

18、针对疑似不一致问题对应的节点，应用预设的机器学习分类模型对所述节点进行分类筛选，获得最终不一致问题；

19、其中，所述机器学习分类模型为根据所述节点的节点特征构建的；所述节点特征至少包括所述节点对应的链路更新频率和/或使用频率和/或数据来源。

20、在上述数据资产管理方法的一个技术方案中，所述预设规则包括准确性规则，“根据预设规则，对所述数据资产全景地图进行数据评估”的步骤包括：

21、根据所述准确性规则，判断所述数据资产全景地图中业务数据流拓扑和对应的数据血缘拓扑之间的一致性；

22、根据判断结果，获取所述业务数据流拓扑与对应的所述数据血缘拓扑之间不一致的边数，作为数据评估结果。

23、在上述数据资产管理方法的一个技术方案中，“将所述三元组存入知识图谱中，以生成所述数据信息的数据资产全景地图”的步骤包括：

24、将所述三元组存入知识图谱中，根据所述业务数据流和所述数据血缘，构建所述数据信息的依赖关系树；

25、根据所述业务元数据和所述依赖关系树，实现所述依赖关系树的后续节点从前继节点继承所述业务元数据，以生成所述数据信息的数据资产全景地图；

26、其中，所述数据资产全景地图的节点属性存储在所述知识图谱中或关系型数据库中；所述节点属性根据所述技术元数据和/或所述操作元数据的三元组获得。

27、在上述数据资产管理方法的一个技术方案中，“将所述数据信息解析为三元组的形式”的步骤包括：

28、根据预设的解析规则，应用数据仓库技术对所述数据血缘的sql语法树进行解析，获取所述数据血缘的三元组；和/或，

29、将所述业务元数据和/或所述技术元数据和/或所述操作元数据分别以三元组的形式进行保存；和/或，

30、将所述业务数据流以三元组的形式进行保存。

31、在第二方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述数据资产管理方法的技术方案中任一项技术方案所述的数据资产管理方法。

32、在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述数据资产管理方法的技术方案中任一项技术方案所述的数据资产管理方法。

33、本发明上述一个或多个技术方案，至少具有如下一种或多种

34、有益效果：

35、在实施本发明的技术方案中，本发明能够将待管理的数据信息解析为三元组的形式，并将三元组存储于知识图谱中，从而生成数据信息的数据资产全景地图，并基于预设规则对数据资产全景地图进行数据评估。通过上述配置方式，本发明能够基于数据资产全景地图对数据信息进行全面的数据评估，更加有利于发现数据存在的质量问题，实现对数据信息的有效管理，能够有效提升数据管理的一致性、准确性和管理效率。

技术特征：

1.一种数据资产管理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的数据资产管理方法，其特征在于，所述数据信息包括业务数据流和/或数据血缘和/或业务元数据和/或技术元数据和/或操作元数据。

3.根据权利要求2所述的数据资产管理方法，其特征在于，所述预设规则包括一致性规则，“根据预设规则，对所述数据资产全景地图进行数据评估”的步骤包括：

4.根据权利要求3所述的数据资产管理方法，其特征在于，“根据所述有向无环子图，获取所述节点的最终编码”的步骤包括：

5.根据权利要求3所述的数据资产管理方法，其特征在于，“根据所有节点的最终编码，获取所述数据信息的最终不一致性问题”的步骤包括：

6.根据权利要求2所述的数据资产管理方法，其特征在于，所述预设规则包括准确性规则，“根据预设规则，对所述数据资产全景地图进行数据评估”的步骤包括：

7.根据权利要求2所述的数据资产管理方法，其特征在于，“将所述三元组存入知识图谱中，以生成所述数据信息的数据资产全景地图”的步骤包括：

8.根据权利要求2所述的数据资产管理方法，其特征在于，“将所述数据信息解析为三元组的形式”的步骤包括：

9.一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至8中任一项所述的数据资产管理方法。

10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的数据资产管理方法。

技术总结
本发明涉及信息技术技术领域，具体提供一种数据资产管理方法、控制装置及可读存储介质，旨在解决如何对数据资产进行有效管理，以提升数据管理的一致性、准确性和管理效率的问题。为此目的，本发明能够将待管理的数据信息解析为三元组的形式，并将三元组存储于知识图谱中，从而生成数据信息的数据资产全景地图，并基于预设规则对数据资产全景地图进行数据评估。通过上述配置方式，本发明能够基于数据资产全景地图对数据信息进行全面的数据评估，更加有利于发现数据存在的质量问题，实现对数据信息的有效管理，能够有效提升数据管理的一致性、准确性和管理效率。

技术研发人员：郑志骏
受保护的技术使用者：北京云从科技有限公司
技术研发日：
技术公布日：2024/1/14