基于DAMA数据框架的数据治理过程管理方法和系统与流程

本发明涉及数据管理，尤其涉及一种基于dama数据框架的数据治理过程管理方法和系统。

背景技术：

1、数据治理是保证数据在整个生命周期中保持高质量、可信、安全和合规性的过程。在数据治理中，需要涉及到多个方面，包括数据采集、数据管理、数据治理规划等。现有的数据治理过程管理方法通常是基于规则和流程的，这些规则和流程用于确保数据资产的质量、可用性、可信度和安全性。

2、现有的数据治理过程管理方法存在着分散化的管理模式，缺乏系统性和整体性的规划和管理。这种方式难以满足组织对数据的全面治理需求，存在数据质量不稳定、数据共享困难等问题。

技术实现思路

1、本发明提供了一种基于dama数据框架的数据治理过程管理方法和系统，解决了现有方法无法满足组织对数据的全面治理需求，并且存在数据质量不稳定、数据共享困难的问题。

2、第一方面，本发明实施例提供了一种基于dama数据框架的数据治理过程管理方法，方法包括：

3、基于dama数据框架获取不同项目维度的原始项目数据，并根据预设数据管理策略对原始项目数据进行数据治理，以获得标准项目数据；

4、确定标准项目数据的元数据，并根据标准项目数据的元数据，构建至少包括一个初始数据治理模型的标准项目数据库；

5、获取应用场景需求和业务需求，并结合初始数据治理模型，生成部署数据治理模型；

6、获取实时项目数据，并将实时项目数据输入部署数据治理模型，以获得决策管理结果；

7、获取决策管理结果的反馈结果，并根据反馈结果对部署数据治理模型和数据管理策略进行动态更新。

8、在一种可选的实现方式中，基于dama数据框架获取不同项目维度的原始项目数据，包括：

9、确定至少一个目标项目维度，并配置目标项目维度的dama数据框架链路；

10、根据dama数据框架链路，生成目标项目维度对应的数据查询通道。

11、在一种可选的实现方式中，数据管理策略包括数据格式管理策略和数据命名管理策略，根据预设数据管理策略对原始项目数据进行数据治理，以获得标准项目数据，包括：

12、根据数据格式管理策略，对不同项目维度的原始项目数据进行数据清洗和数据汇聚，以获得第一中间项目数据；

13、根据数据命名管理策略，对第一中间项目数据进行重命名和规整，以获得第二中间项目数据；

14、对第二中间项目数据进行校验和复核，以获得标准项目数据。

15、在一种可选的实现方式中，根据标准项目数据的元数据，构建至少包括一个初始数据治理模型的标准项目数据库，包括：

16、根据标准项目数据的元数据，创建数据仓库；

17、根据标准项目数据的元数据，生成数据仓库对应的数据架构；

18、根据数据架构，构建初始数据治理模型。

19、在一种可选的实现方式中，获取应用场景需求和业务需求，并结合初始数据治理模型，生成部署数据治理模型，包括：

20、创建多个与应用场景需求对应的第一管理节点；

21、创建多个与业务需求对应的第二管理节点；

22、创建第一管理节点和第二管理节点的节点连接关系，并将节点连接关系映射为到初始数据治理模型，以获得部署数据治理模型。

23、在一种可选的实现方式中，获取实时项目数据，并将实时项目数据输入部署数据治理模型，以获得决策管理结果，包括：

24、获取实时项目数据中携带的标识标签，其中，标识标签包括项目类型标签和数据类型标签；

25、根据类型标签，对实时项目数据进行分级脱敏处理；

26、根据项目类型标签，将实时项目数据输入对应的部署数据治理模型，以获得决策管理结果。

27、在一种可选的实现方式中，根据反馈结果对部署数据治理模型和数据管理策略进行动态更新，包括：

28、对反馈结果进行表层维度分析，以获得反馈结果表征的优化等级；

29、对反馈结果进行深层维度分析，以获得对反馈结果的根因分析结果；

30、执行与优化等级和根因分析结果匹配的动态更新策略，以对部署数据治理模型和数据管理策略进行动态更新。

31、第二方面，本发明实施例提供了一种基于dama数据框架的数据治理过程管理系统，其特征在于，系统包括：

32、数据处理模块，用于基于dama数据框架获取不同项目维度的原始项目数据，并根据预设数据管理策略对原始项目数据进行数据治理，以获得标准项目数据；

33、数据库构建模块，用于确定标准项目数据的元数据，并根据标准项目数据的元数据，构建至少包括一个初始数据治理模型的标准项目数据库；

34、模型生成模块，用于获取应用场景需求和业务需求，并结合初始数据治理模型，生成部署数据治理模型；

35、决策模块，用于获取实时项目数据，并将实时项目数据输入部署数据治理模型，以获得决策管理结果；

36、更新模块，用于获取决策管理结果的反馈结果，并根据反馈结果对部署数据治理模型和数据管理策略进行动态更新。

37、在一种可选的实现方式中，数据处理模块包括：

38、第一配置子模块，用于确定至少一个目标项目维度，并配置目标项目维度的dama数据框架链路；

39、第二配置子模块，用于根据dama数据框架链路，生成目标项目维度对应的数据查询通道。

40、在一种可选的实现方式中，数据处理模块还包括：

41、第一处理子模块，用于根据数据格式管理策略，对不同项目维度的原始项目数据进行数据清洗和数据汇聚，以获得第一中间项目数据；

42、第二处理子模块，用于根据数据命名管理策略，对第一中间项目数据进行重命名和规整，以获得第二中间项目数据；

43、校验子模块，用于对第二中间项目数据进行校验和复核，以获得标准项目数据。

44、在一种可选的实现方式中，数据库构建模块，包括：

45、第一构建子模块，用于根据标准项目数据的元数据，创建数据仓库；

46、第二构建子模块，用于根据标准项目数据的元数据，生成数据仓库对应的数据架构；

47、第三构建子模块，用于根据数据架构，构建初始数据治理模型。

48、在一种可选的实现方式中，模型生成模块包括：

49、第一管理节点构建子模块，用于创建多个与应用场景需求对应的第一管理节点；

50、第二管理节点构建子模块，用于创建多个与业务需求对应的第二管理节点；

51、模型构建子模块，用于创建第一管理节点和第二管理节点的节点连接关系，并将节点连接关系映射为到初始数据治理模型，以获得部署数据治理模型。

52、在一种可选的实现方式中，决策模块，包括：

53、标签确定子模块，用于获取实时项目数据中携带的标识标签，其中，标识标签包括项目类型标签和数据类型标签；

54、脱敏子模块，用于根据类型标签，对实时项目数据进行分级脱敏处理；

55、决策管理结果获得子模块，用于根据项目类型标签，将实时项目数据输入对应的部署数据治理模型，以获得决策管理结果。

56、在一种可选的实现方式中，更新模块，包括：

57、第一分析子模块，用于对反馈结果进行表层维度分析，以获得反馈结果表征的优化等级；

58、第二分析子模块，用于对反馈结果进行深层维度分析，以获得对反馈结果的根因分析结果；

59、更新子模块，用于执行与优化等级和根因分析结果匹配的动态更新策略，以对部署数据治理模型和数据管理策略进行动态更新。

60、本发明实施例第三方面提出一种电子设备，电子设备包括：

61、至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，

62、存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本发明实施例第一方面提出方法。

63、本发明实施例第四方面提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例第一方面提出方法。

64、本发明具有以下有益效果：

65、在本发明的方案中，首先，基于dama数据框架获取原始项目数据，并进行数据治理，得到标准项目数据。然后，确定标准项目数据的元数据，构建初始数据治理模型的标准项目数据库，并生成部署数据治理模型，结合应用场景需求和业务需求，将实时项目数据输入部署数据治理模型，获得决策管理结果。最后，根据反馈结果对部署数据治理模型和数据管理策略进行动态更新。因此具有以下优点：

66、与现有的数据治理过程管理方法相比，本发明采用了dama数据框架，可以更全面地满足组织对数据的治理需求。同时，通过数据管理策略和数据治理模型的建立，可以有效地解决现有方法中数据质量不稳定、数据共享困难等问题。此外，该方案可以动态更新数据管理策略和数据治理模型，使得数据治理工作更加实时和高效。