一种云数据平台元数据监控管理方法与流程

本发明涉及数据监控，尤其涉及一种云数据平台元数据监控管理方法。

背景技术：

1、随着云计算和大数据技术的发展，越来越多的公司和组织选择使用云数据平台来存储和管理他们的数据。然而，由于数据量巨大、数据类型多样，管理和监控数据质量和稳定性成为一项重要但具有挑战性的任务。此外，由于数据源可能包含hive、greenplum、mysql、oracle等多种类型，使得数据的采集、管理和监控更加复杂。在此背景下，需要一种有效的云数据平台元数据监控管理方法。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、鉴于上述现有存在的问题，提出了本发明。

3、因此，本发明提供了一种云数据平台元数据监控管理方法，能够解决书量巨大、管理监控数据质量和稳定性的难度大、效率低的问题。

4、为解决上述技术问题，本发明提供如下技术方案，一种云数据平台元数据监控管理方法，包括：

5、云数据平台采集数据；

6、根据采集到的所述数据构建元数据表和表结构；

7、根据所述元数据表和表结构进行监控规则配置；

8、根据所述监控规则进行监控管理。

9、作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：所述数据采集方式包括人工采集和自动采集，所述自动采集是所述云数据平台对hive、greenplum、mysql、oracle类型数据源通过策略的配置进行自动化元数据的采集。

10、作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：所述元数据表包括数据表基本概况、数据质量概况以及存储概况信息，

11、所述基本概况包含昨日质量分、昨日总存储量、昨日新增存储量、昨日总记录数、昨日新增记录数，以及各项指标对应的增长率数据；

12、数据质量概况包括数据表的质量，并可以通过时间维度了解数据表质量的变化情况；

13、存储概况包括表的存储量以及记录数趋势，含总量以及日新增量。

14、作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：所述表结构包括库信息和字段信息，所述库信息提供数据库名以及数据库类型的展示，所述字段信息提供表中所有的字段名、描述、类型以及是否主键的信息展示。

15、作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：所述监控规则包括，填写规则名称、选择监控对象、规则类型、对比对象、监控策略、告警等级、告警对象、告警方式、告警内容。

16、作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：当数据质量评分下降到80分以下时，系统将生成一条数据质量告警，告警内容包含具体的表名、导致质量下降的具体字段和问题类型，同时会在基本概况中记录此次告警，增加表告警次数、字段告警次数，计算日均告警次数与周同比增长率，以及告警规则占比比率；

17、当数据存储量的24小时内增长速度超过了50％，系统将生成一条数据存储量告警，告警内容包括具体增长的数量，告警趋势会反馈此次告警，将其作为每天告警次数变动趋势的一部分，显示数据质量、稳定性波动情况；

18、当数据更新失败率超过了5％，系统将生成一条更新失败告警，告警内容包括失败的更新操作的数量，在规则类型告警分布中，将这次告警归入对应的类型，并计算其在所有告警中的分布比率；

19、当标记过的关键业务数据异常时，系统将生成一条数据异常告警，告警内容包括异常数据的全部关联信息和异常数据的来源。

20、作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：当出现所述数据异常告警时，判定告警等级为紧急，系统自动启动预设的异常处理流程，自动隔离异常数据、自动向数据源发送查询请求进行核实和自动启动错误纠正算法进行修复；

21、当出现所述数据存储量告警时，系统自动执行扩容操作，以防止因存储空间不足而导致的数据丢失或服务中断；

22、当出现所述数据质量告警时，判定告警等级为中，系统自动从最近的高质量备份中恢复该表的数据；

23、当出现所述更新失败告警时，判定告警等级为低，系统等待1分钟后自动尝试重新执行失败的更新操作，如果经过预设的重试次数3次后仍未成功，那么系统将此告警升级为最高级别的告警，并需要人工干预，将告警信息发送给相关人员等待确认处理。

24、作为本发明所述的云数据平台元数据监控管理方法的一种优选方案，其中：当一个告警被触发时，启动远程问题诊断向导，向对应用户提供问题和选项，对历史操作进行溯源，辅助用户找出告警原因；当告警需要用户做出决策时，系统根据历史记录自动生成多种处理方案，同时对方案进行评估，辅助用户进行决策；

25、当监控因为数据源不可访问或者其他技术问题无法正常进行，系统将生成一条监控告警，告警规则信息会记录此次告警，显示其监控规则名称、对象类型、监控对象、规则类型、告警次数以及最新告警时间；

26、当添加、修改或删除数据源时，会影响到已经设置的监控规则，那么系统会生成一条规则冲突告警，在此情况下，可以选择针对该数据表设置新的告警规则；

27、当自动处理未能解决告警问题时，系统将告警升级为最高级别，将告警信息发送相关人员并发出声音警报，等待人员处理。

28、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述的方法的步骤。

29、本发明还提供一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以上所述的方法的步骤。

30、本发明的有益效果：本发明方法可以自动化采集和监控元数据，全面了解数据状态和趋势，及时发现和处理问题，提高数据质量和稳定性。灵活配置监控规则，及时生成告警，并高效处理问题，大大提高了数据管理的效率和质量，满足了大数据时代的需求。

技术特征：

1.一种云数据平台元数据监控管理方法，其特征在于：包括，

2.如权利要求1所述的云数据平台元数据监控管理方法，其特征在于：所述数据采集方式包括人工采集和自动采集，所述自动采集是所述云数据平台对hive、greenplum、mysql、oracle类型数据源通过策略的配置进行自动化元数据的采集。

3.如权利要求2所述的云数据平台元数据监控管理方法，其特征在于：所述元数据表包括数据表基本概况、数据质量概况以及存储概况信息，

4.如权利要求3所述的云数据平台元数据监控管理方法，其特征在于：所述表结构包括库信息和字段信息，所述库信息提供数据库名以及数据库类型的展示，所述字段信息提供表中所有的字段名、描述、类型以及是否主键的信息展示。

5.如权利要求4所述的云数据平台元数据监控管理方法，其特征在于：所述监控规则包括，填写规则名称、选择监控对象、规则类型、对比对象、监控策略、告警等级、告警对象、告警方式、告警内容。

6.如权利要求5所述的云数据平台元数据监控管理方法，其特征在于：当数据质量评分下降到80分以下时，系统将生成一条数据质量告警，告警内容包含具体的表名、导致质量下降的具体字段和问题类型，同时会在基本概况中记录此次告警，增加表告警次数、字段告警次数，计算日均告警次数与周同比增长率，以及告警规则占比比率；

7.如权利要求6所述的云数据平台元数据监控管理方法，其特征在于：当出现所述数据异常告警时，判定告警等级为紧急，系统自动启动预设的异常处理流程，自动隔离异常数据、自动向数据源发送查询请求进行核实和自动启动错误纠正算法进行修复；

8.如权利要求7所述的云数据平台元数据监控管理方法，其特征在于：当一个告警被触发时，启动远程问题诊断向导，向对应用户提供问题和选项，对历史操作进行溯源，辅助用户找出告警原因；当告警需要用户做出决策时，系统根据历史记录自动生成多种处理方案，同时对方案进行评估，辅助用户进行决策；

9.一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

技术总结
本发明公开了一种云数据平台元数据监控管理方法包括，云数据平台采集数据；根据采集到的所述数据构建元数据表和表结构；根据所述元数据表和表结构进行监控规则配置，监控规则包括，填写规则名称、选择监控对象、规则类型、对比对象、监控策略、告警等级、告警对象、告警方式、告警内容；根据所述监控规则进行监控管理。本方法可以自动化采集和监控元数据，全面了解数据状态和趋势，及时发现和处理问题，提高数据质量和稳定性。灵活配置监控规则，及时生成告警，并高效处理问题，大大提高了数据管理的效率和质量，满足了大数据时代的需求。

技术研发人员：孔垂杰,李太清,苏焱,田维胜,潘广吉,陈浩
受保护的技术使用者：贵州乌江水电开发有限责任公司
技术研发日：
技术公布日：2024/1/15