一种基于数据治理平台的预警处理方法及相关设备与流程

本申请涉及基架运维领域，特别涉及一种基于数据治理平台的预警处理方法及相关设备。

背景技术：

目前的数据治理平台会针对所有的历史数据及增量数据进行数据质量的监控与治理，保证数据的完整性，一致性，及时性及准确性。同时对数据处理流程及各个业务环节进行监控并及时发现异常，处理异常，发现问题，跟踪问题，解决问题。并对整体的数据质量与业务环节提供数据质量分析报告。

数据治理平台中包含监测预警页面，用于在规则执行失败时向用户显示预警信息，平台内配置的监控规则每天都会定时执行，规则执行失败就会触发一条预警事件，但是该预警事件仅在页面提示或者仅发送邮件进行预警的通知，而上述的提示及邮件通知并不包含具体任务失败的原因，由此导致平台无法记录问题产生的原因，在用户进行预警事件处理时无据可循，增加了用户的处理时间，效率低下。

技术实现要素：

本申请的目的在于针对现有技术的不足，提供一种基于数据治理平台的预警处理方法及相关设备，通过详细记录规则执行失败的原因，为后续的解决问题提供依据，减少处理问题的时间，提高效率。

为达到上述目的，本申请的技术方案提供一种基于数据治理平台的预警处理方法及相关设备。

本申请公开了一种基于数据治理平台的预警处理方法，包括以下步骤：

执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果；

当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件；

生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息。

较佳地，所述生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：

根据所述与所述预警事件相关联的任务失败相关信息处理所述预警事件，并当所述预警事件处理完毕后，删除所述预警事件对应的预警信息。

较佳地，所述执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果，包括：

获取数据治理平台的多项规则任务；

定时执行所述数据治理平台的多项规则任务；

检测所述数据治理平台的多项规则任务中每一项规则任务的执行结果。

较佳地，所述当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件，包括：

当所述数据治理平台的规则任务为多项且所述数据治理平台规则任务中至少有一项规则任务的执行结果为执行失败时，生成与所述执行失败的规则任务对应的预警事件。

较佳地，所述生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：

当所述预警事件被处理时，根据所述预警事件查询所述任务失败相关信息；

根据所述查询到的任务失败相关信息处理所述预警事件。

较佳地，所述生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：

当所述预警事件被延时处理时，设置逾期期限并进行计时，并删除所述与所述延时处理预警事件对应的预警信息；

当所述逾期期限超时后，再次发送与所述延迟处理预警事件对应的预警信息。

较佳地，所述生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：

当多个预警事件被处理时，查询所述多个预警事件的任务失败相关信息；

将所述多个预警事件的任务失败相关信息进行比对；

当所述任务失败相关信息匹配时，对所述匹配的任务失败相关信息对应的预警事件进行批量处理。

本申请还公开了一种基于数据治理平台的预警处理装置，所述装置包括：

规则执行模块：设置为执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果；

预警事件生成模块：设置为当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件；

预警事件处理模块：设置为生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息。

本申请还公开了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行上述所述预警处理方法的步骤。

本申请还公开了一种存储介质，所述存储介质可被处理器读写，所述存储介质存储有计算机指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述预警处理方法的步骤。

本申请的有益效果是：本申请通过详细记录规则执行失败的原因，为后续的解决问题提供依据，减少处理问题的时间，提高效率，并针对同一原因引发的失败规则进行批量处理，提高事件处理的效率。

附图说明

图1为本申请实施例的一种基于数据治理平台的预警处理方法的流程示意图；

图2为本申请实施例的一种基于数据治理平台的预警处理方法的流程示意图；

图3为本申请实施例的一种基于数据治理平台的预警处理方法的流程示意图；

图4为本申请实施例的一种基于数据治理平台的预警处理方法的流程示意图；

图5为本申请实施例的一种基于数据治理平台的预警处理方法的流程示意图；

图6为本申请实施例的一种基于数据治理平台的预警处理装置结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本申请实施例的一种基于数据治理平台的预警处理方法流程如图1所示，本实施例包括以下步骤：

步骤s101，执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果；

具体的，所述数据治理平台是针对数据湖的所有历史数据及增量数据进行数据质量的监控与治理，保证数据的完整性、一致性、及时性及准确性。同时对数据湖的数据处理流程及各个业务环节进行监控并及时发现异常，处理异常，发现问题，跟踪问题，解决问题，并对整体的数据质量与业务环节提供数据质量分析报告。

具体的，所述规则任务是对所述数据治理平台的监控制定的规则，所述的规则格式包括逻辑数据表达式，例如a>b；也可以由多个表达式通过逻辑运算符进行逻辑运算，例如a>b&&b<c&&c>e；但是不支持一个表达式同时进行多个逻辑运算，例如a>b<c。

具体的，所述规则的表达式构成包括常量、规则项、运算符以及数学函数。其中，常量指的是数字常量，如124.5，也支持科学计数法，如1.25e9；规则项包括一些聚合函数，比如sum、count、avg及max等，但是这些聚合函数只提供给规则项的结果使用；规则项的使用格式为：[规则项编号]，例如[c00001]＝＝1，这样写保证规则项只返回一行一列，否则会抛出异常；规则项的使用格式还可以为：[聚合函数(规则项编号).别名]，例如[avg(c00001.val1)]>1000；运算符包括算术运算、比较运算以及逻辑运算；其中算术运算包括加减乘除等；比较运算包括等于、小于以及大于等；逻辑运算包括与、和以及或等；数学函数包括一些常用的函数，比如正弦函数、余弦函数以及幂函数。

具体的，当上述规则确定以后，可以在数据治理平台上通过上述规则配置相应的监控规则任务，所述配置的监控规则任务可以是一项或者是多项，如果配置了多项监控规则任务，就要对这多项监控规则任务都要执行。

具体的，当上述规则确定以后，可以在数据治理平台上通过上述规则配置相应的监控规则任务，当监控规则任务配置完之后就可以执行相应的监控规则任务了，所述数据治理平台内配置的监控规则任务可以每天定时自动执行，也可以人为执行。

具体的，监控规则任务执行以后，会产生两种执行结果，一种是执行成功，另一种是执行失败，当监控规则执行失败的时候会生成相应的预警事件，而运营人员每天的工作就是排查这些预警事件，并对预警事件进行处理，并记录问题信息，因此当监控规则任务执行之后，数据治理平台需要对所述监控规则任务的执行结果进行检测，如果只执行了一项监控规则任务，那么只需要对这一项监控规则任务的执行结果进行检测，如果执行了多项监控规则任务，那么需要对这多项监控规则任务中的每一项监控规则任务的执行结果进行检测。

步骤s102，当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件；

具体的，当所述数据治理平台规则任务的执行结果为执行失败时，会生成相应的预警事件；所述预警事件包括状态、事件id、业务环节、规则项、预警内容、预警级别及预警时间等信息。

具体的，当所述数据治理平台的一项规则任务的执行结果为执行失败时，会生成一条或多条预警事件，其中，多条预警事件会以预警事件列表的形式展示，便于对所述预警事件根据字段信息进行查询，也可以对所述预警事件进行批量处理。

具体的，所述预警事件中的规则项信息包含触发预警的规则详情，点击规则项会出现详情按钮，点击详情按钮后可进入详情页面进行查看；其中，详情页面包括执行记录、相关预警事件及相关规则项等信息；所述执行记录信息包含依赖规则、执行计划、执行结果及执行类型等字段信息，通过所述执行记录信息，可以看到本条监控规则的历史执行记录；所述相关规则项信息包含规则项id、规则项名称、规则项内容、目标类型及监控目标等字段信息，通过所述相关规则项信息，可以看到规则项详情，点击每条规则项记录可以跳转进入规则项维护页面；所述相关预警事件包含事件id、业务环节、预警内容及预警事件等字段信息，通过所述相关预警事件信息，可以看到此条规则触发的所有预警事件，点击每条记录可以跳转到预警页面。

步骤s103，生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息。

具体的，当在所述数据治理平台上生成预警事件后，还可以生成与所述预警事件相关联的任务失败相关信息，所述任务失败相关信息包括失败原因及问题分类，所述失败原因包括监控规则任务执行失败的原因，即为何会生成预警事件，例如，通过监控规则“r01172宏观国内指标数据比对”，规则表达式为“[c01775]＝＝[c01776]”,当执行上述规则之后，如果有预警事件触发，那么针对所触发的预警事件，会具体说明宏观国内指标数据比对失败的原因；所述问题分类指的是预警事件归属于哪个问题的类别，比如说属于哪个业务环节；所述任务失败相关信息与预警事件一一对应；当对多条预警事件进行处理时，可对所述多条预警事件的任务失败相关信息进行比对，如果所述任务失败相关信息匹配，那么任务失败相关信息匹配的这几条预警事件可以进行批量处理。

具体的，当在所述数据治理平台上生成预警事件后，可以发送与所述预警事件对应的预警信息；其中所述预警信息可以是通过页面显示，也可以通过邮件发送；如通过页面显示，可以通过感叹号或者其他警示标识在页面上提示用户有预警事件发生；如果是通过邮件通知，那么可以事先在数据治理平台上设置邮箱接收地址，一旦有预警事件生成，并要发送预警信息的时候就可以获取该邮箱地址并进行发送。

具体的，所述的预警信息可以包含一条或者多条预警事件的信息，当执行监控规则任务之后，只有一条预警事件，那么发送预警信息的时候可只包含一条预警事件的信息，如果都有多条预警事件，那么发送的预警信息中可包含上述多条预警事件的信息。

具体的，当对所述预警事件进行处理后，所述的预警事件可以有几种不同的处理状态，如忽略、延时处理以及已处理等；其中，忽略状态针对的是误报，说明所述预警事件本身不是异常的时间；延时处理状态针对的是要延后时间处理的预警事件，当对所述预警事件进行延时处理时，可以输入延时处理的时间；已处理状态针对的是已处理成功的预警事件。

本实施例中，通过当生成预警事件的时候详细记录规则执行失败的原因，为后续的解决问题提供依据，减少处理问题的时间，提高效率。

在一个实施例中，所述步骤s103，生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：

根据所述与所述预警事件相关联的任务失败相关信息处理所述预警事件，并当所述预警事件处理完毕后，删除所述预警事件对应的预警信息。

具体的，当在预警页面上看到预警信息或者收到预警邮件时，可以进入到预警页面查看预警事件列表，当对所述预警事件列表中的预警事件进行处理时，可以查看与所要处理的预警事件对应的任务失败相关信息，并根据与所述预警事件相关联的任务失败相关信息处理所述预警事件。

具体的，当对预警事件处理前，所述预警事件的状态可以是未处理，当对预警事件处理完毕后，所述的预警事件可以有几种不同的处理状态，如忽略、延时处理以及已处理等；其中，忽略状态针对的是误报，说明所述预警事件本身不是异常的时间；延时处理状态针对的是要延后时间处理的预警事件，当对所述预警事件进行延时处理时，可以输入延时处理的时间；已处理状态针对的是已处理成功的预警事件；通过对预警事件处理状态的判断，如果是忽略、延时处理或者已处理时，那么可以删除所述预警事件对应的预警信息。

本实施例中，通过对预警事件处理状态的识别，对所述预警信息进行删除，可以提高运营人员的处理效率。

图2为本申请实施例的一种基于数据治理平台的预警处理方法流程示意图，如图所示，所述步骤s101，执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果，包括：

步骤s201，获取数据治理平台的多项规则任务；

具体的，当规则确定以后，可以在数据治理平台上通过上述规则配置相应的监控规则任务，所述配置的监控规则任务可以是一项或者是多项，如果配置了多项监控规则任务，就要对这多项监控规则任务都要执行。

步骤s202，定时执行所述数据治理平台的多项规则任务；

具体的，如果在数据治理平台上配置了多项监控规则任务，就要对这多项监控规则任务都要执行，所述数据治理平台内配置的监控规则任务可以每天定时自动执行，即在数据治理平台上可以预设一个时间，每天到了这个时间点就可以自动执行所述多项监控规则任务。

步骤s203，检测所述数据治理平台的多项规则任务中每一项规则任务的执行结果。

具体的，监控规则任务执行以后，会产生两种执行结果，一种是执行成功，另一种是执行失败，当监控规则执行失败的时候会生成相应的预警事件，而运营人员每天的工作就是排查这些预警事件，并对预警事件进行处理，并记录问题信息，因此当监控规则任务执行之后，数据治理平台需要对所述监控规则任务的执行结果进行检测，如果只执行了一项监控规则任务，那么只需要对这一项监控规则任务的执行结果进行检测，如果执行了多项监控规则任务，那么需要对这多项监控规则任务中的每一项监控规则任务的执行结果进行检测。

本实施例中，通过对规则任务的自动执行及结果检测，可以减轻运营人员工作量，提高工作效率。

在一个实施例中，所述步骤s102，当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件，包括：

当所述数据治理平台的规则任务为多项且所述数据治理平台规则任务中至少有一项规则任务的执行结果为执行失败时，生成与所述执行失败的规则任务对应的预警事件。

具体的，当所述数据治理平台的监控规则任务执行成功时，不会有任何预警事件生成，但是如果当所述数据治理平台的监控规则任务有多项，且其中至少有一项监控规则任务的执行结果为执行失败时，就会有预警事件生成，其中，一项监控规则任务执行失败时，会生成一条或多条预警事件。

本实施例中，通过对规则任务执行状态识别预警事件，可以提高对预警事件的识别效率。

图3为本申请实施例的一种基于数据治理平台的预警处理方法流程示意图，如图所示，所述步骤s103，生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：

步骤s301，当所述预警事件被处理时，根据所述预警事件查询所述任务失败相关信息；

具体的，当所述任务失败相关信息生成之后，就会和所述预警事件相关联，比如在预警事件列表中每一条预警事件都会链接到相对应的页面，所述相对应的页面显示与所述预警事件相关的任务失败相关信息，因此当所述预警事件被处理时，可以根据所述预警事件查询所述任务失败相关信息。

步骤s302，根据所述查询到的任务失败相关信息处理所述预警事件。

具体的，所述任务失败相关信息包含失败原因及问题分类，所述失败原因包括监控规则任务执行失败的原因，即为何会生成预警事件，例如，通过监控规则“r01172宏观国内指标数据比对”，规则表达式为“[c01775]＝＝[c01776]”,当执行上述规则之后，如果有预警事件触发，那么针对所触发的预警事件，会具体说明宏观国内指标数据比对失败的原因；所述问题分类指的是预警事件归属于哪个问题的类别，比如说属于哪个业务环节；所述任务失败相关信息与预警事件一一对应；当对多条预警事件进行处理时，可对所述多条预警事件的任务失败相关信息进行比对，如果所述任务失败相关信息匹配，那么任务失败相关信息匹配的这几条预警事件可以进行批量处理。

本实施例中，通过任务失败相关信息对预警事件进行处理，可以提高处理效率。

图4为本申请实施例的一种基于数据治理平台的预警处理方法流程示意图，如图所示，所述步骤s103，生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：

步骤s401，当所述预警事件被延时处理时，设置逾期期限并进行计时，并删除所述与所述延时处理预警事件对应的预警信息；

具体的，当所述预警事件被延迟处理时，可以对所述延时处理的预警事件设置逾期期限，并开始计时，当所述预警事件被延时处理后，所述延时处理的预警事件的处理状态就会由未处理变更为延时处理，这时可以删除所述与所述延时处理预警事件对应的预警信息。

步骤s402，当所述逾期期限超时后，再次发送与所述延迟处理预警事件对应的预警信息。

具体的，当所述逾期期限超时后，比如说当初设置的逾期期限为2018年12月31日，那么到了2018年12月31日这天就超时了，这时可以再次发送与所述延迟处理预警事件对应的预警信息。

本实施例中，通过对预警事件进行延时处理，可以提高处理的灵活度。

图5为本申请实施例的一种基于数据治理平台的预警处理方法流程示意图，如图所示，所述步骤s103，生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：

步骤s501，当多个预警事件被处理时，查询所述多个预警事件的任务失败相关信息；

具体的，预警事件列表中可能包含多条预警事件，当准备对多个预警事件进行处理时，可以首先查看所述多个预警事件的任务失败相关信息，来获取所述多个预警事件的失败原因和问题分类。

步骤s502，当将所述多个预警事件的任务失败相关信息进行比对；

具体的，当获取到所述多个预警事件的任务失败相关信息后，将所述多个预警事件任务失败相关信息中的失败原因和问题分类进行比对，即所述多个预警事件的失败原因是否相同，如是否都是由同一规则引起的；问题分类是否相同，如是否属于同一业务节点等。

步骤s503，当所述任务失败相关信息匹配时，对所述匹配的任务失败相关信息对应的预警事件进行批量处理。

具体的，当通过对所述多个预警事件的任务失败相关信息进行比对，如果其中有预警事件的任务失败相关信息有完全匹配的，那么所述任务失败相关信息完全匹配的预警事件可以进行批量处理。

本实施例中，通过对预警事件任务失败相关信息的比对，对预警事件进行批量处理，可以提高处理效率。

本申请实施例的一种基于数据治理平台的预警处理装置结构如图6所示，包括：

规则执行模块601、预警事件生成模块602以及预警事件处理模块603；其中，规则执行模块601与预警事件生成模块602相连，预警事件生成模块602与预警事件处理模块603相连；规则执行模块601设置为执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果；预警事件生成模块602设置为当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件；预警事件处理模块603设置为生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息。

本申请实施例还公开了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行上述各实施例中所述预警处理方法中的步骤。

本申请实施例还公开了一种存储介质，所述存储介质可被处理器读写，所述存储器存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中所述预警处理方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)等非易失性存储介质，或随机存储记忆体(randomaccessmemory，ram)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。