大数据作业的监控处理方法、装置及服务器与流程

本公开涉及大数据作业技术，尤其涉及一种大数据作业的监控处理方法、装置及服务器。

背景技术：

1、目前，随着科技的发展，大数据技术在人们日常生活中的诸多领域中的应用越来越多。为了保证大数据任务的正常运行，对大数据任务的监控必不可少。随着大数据业务的发展，数据作业流程不断增多，这就导致需要监控的数据作业通常是多项目、多任务的。

2、现有技术中，通常利用大数据作业调度平台对大数据任务进行监控。大数据作业调度平台可以对单个任务运行情况进行自动监控。

3、但是，这种方式无法满足多项目的监控需求。

技术实现思路

1、本公开提供了一种大数据作业的监控处理方法、装置及服务器，以解决现有技术中无法满足多项目监控需求的问题。

2、根据本公开第一方面，提供了一种大数据作业的监控处理方法，包括：

3、获取监控指令，并根据所述监控指令配置预设的监控表的配置参数，所述预设的监控表包括至少一个目标项目；所述目标项目包括至少一个目标流程、所述目标流程包括至少一个目标任务；

4、根据所述目标任务的配置参数，在预设的目标数据库中查询所述目标任务，得到查询结果；其中，所述预设的目标数据库中存储有所述目标任务的运行信息；

5、根据所述目标任务的查询结果，以及配置参数，对所述目标任务进行质量统计，并生成所述预设的监控表对应的通知告警信息；

6、根据预设方式，通报所述通知告警信息。

7、在一种可实现方式中，所述配置参数包括项目及任务参数、监控时间参数、结果解析参数、监控控制参数；

8、其中，所述项目及任务参数用于表征所述目标项目的基本信息，所述目标流程的基本信息和所述目标任务的基本信息；所述监控时间参数用于表征所述目标任务的监控时间信息；所述结果解析参数用于表征所述目标任务的预期的运行结果信息；所述监控控制参数用于表征所述目标任务是否进行监控，以及是否进行质量统计。

9、在一种可实现方式中，所述项目及任务参数包括目标项目名称、目标流程名称、目标任务名称、目标数据库表名称；所述监控时间参数包括监控账期、监控时间；所述结果解析参数包括预计完成时间、预计完成批次数量、预计完成数据量；所述监控控制参数包括生效控制参数、质量控制参数；

10、其中，所述目标项目名称用于表征所述目标项目的名称；所述目标流程名称用于表征目标流程的名称；所述目标任务名称用于表征所述目标任务的名称；所述目标数据库表名称用于表征所述目标任务的运行信息所在的所述预设的目标数据库的名称和所述预设的目标数据库中的目标表的名称；所述监控账期用于表征当前日期与所述目标任务的发生日期的差值；所述监控时间用于表征所述目标任务的查询时间；所述预计完成时间用于表征所述目标任务的预期的完成时间；所述预计完成批次数量用于表征所述目标任务预期获得的批次数量，所述批次用于表征所述目标任务的执行次数，所述目标任务包括至少一个批次；所述预计完成数据量用于表征所述目标任务预期获得的数据量；所述生效控制参数用于表征所述目标任务是否进行监控；所述质量控制参数用于表征所述目标任务是否进行质量统计。

11、在一种可实现方式中，根据所述目标任务的监控控制参数、监控时间参数，以及项目及任务参数，在所述预设的目标数据库中查询所述目标任务，得到查询结果。

12、在一种可实现方式中，若根据所述目标任务的生效控制参数，确定所述目标任务进行监控，则在达到所述目标任务的监控时间时，根据所述目标任务的监控账期、以及目标数据库表名称，在所述预设的目标数据库中查询所述目标任务，得到所述目标任务的查询结果；

13、其中，所述查询结果包括所述目标任务的运行账期、所述目标任务的实际完成时间、所述目标任务的实际完成批次数量、所述目标任务的实际完成数据量；

14、所述运行账期用于表征所述目标任务的发生日期；所述实际完成时间用于表征所述目标任务实际完成的时间；所述实际完成批次数量用于表征所述目标任务实际获得的批次数量，所述批次用于表征所述目标任务的执行次数，所述目标任务包括至少一个批次；所述实际完成数据量用于表征所述目标任务实际获得的数据量。

15、在一种可实现方式中，根据所述目标任务的查询结果、所述目标任务的配置参数，生成所述目标任务的通知告警信息包括的通知信息中的完成信息，以及所述目标任务的通知告警信息包括的告警信息；

16、根据所述目标任务的质量控制参数、所述目标任务在当前账期前一天的实际完成数据量、所述目标任务在当前账期的前七个账期的实际完成数据量的平均值，确定所述目标任务的通知信息包括的数据质量信息；

17、根据各所述目标任务的完成信息、实际完成时间、预计完成时间，数据质量信息，确定所述预设的监控表对应的所述通知信息包括的整体完成信息；其中，所述整体完成信息用于表征所述预设的监控表中各所述目标任务的整体完成情况。

18、在一种可实现方式中，将所述目标任务的实际完成时间、实际完成批次数量、实际完成数据量，与所述目标任务的预计完成时间、预计完成批次数量、预计完成数据量，进行一一比对，若全部相等，则得到所述目标任务的完成信息；或者，若不全部相等，则得到所述目标任务的告警信息。

19、在一种可实现方式中，若根据所述目标任务的质量控制参数确定所述目标任务进行质量统计，则根据所述目标任务在当前账期的实际完成数据量、以及所述目标任务在当前账期前一天的实际完成数据量，确定所述目标任务的数据质量信息包括的波动率；根据所述目标任务在当前账期的实际完成数据量、以及所述目标任务在当前账期的前七个账期的实际完成数据量的平均值，确定所述目标任务的数据质量信息包括的平均波动率。

20、在一种可实现方式中，确定所述预设的监控表中各所述目标任务的第一数量；所述第一数量用于表征所述预设的监控表中各所述目标任务的总数量；

21、根据所述目标任务的配置参数包括的结果解析参数，以及查询结果，确定所述目标任务是否完成，并确定所述预设的监控表中目标任务完成的第二数量；所述第二数量用于表征所述预设的监控表中任务完成的目标任务的数量；

22、根据所述第一数量，以及所述第二数量，确定所述预设的监控表对应的任务完成率；

23、根据所述目标任务的配置参数包括的结果解析参数，以及查询结果，确定所述目标任务是否延迟完成，并确定所述预设的监控表中目标任务延迟完成的第三数量；所述第三数量用于表征所述预设的监控表中任务延迟完成的目标任务的数量；

24、根据所述第一数量，以及所述第三数量，确定所述预设的监控表对应的延迟率；

25、根据预设系数、所述延迟率、所述波动率、所述平均波动率，所述第二数量、所述质量控制参数，确定所述预设的监控表对应的作业任务稳定度；所述作业任务稳定度用于表征所述预设的监控表中各目标任务的作业稳定度情况。

26、在一种可实现方式中，利用预设的第一方式，通报所述通知信息；

27、根据所述整体完成信息，将所述告警信息进行告警等级分类，并根据预设的告警等级与通报方式的对应关系，通报所述告警信息。

28、在一种可实现方式中，所述告警等级包括普通告警、紧急告警、严重告警；利用邮件、以及软件通报方式，通报所述通知信息；

29、利用邮件、以及软件通报方式，通报所述告警等级为普通告警的告警信息；

30、利用邮件、软件通报、以及短信方式，通报所述告警等级为紧急告警的告警信息；

31、利用邮件、软件通报、短信、电话语音方式，通报所述告警等级为严重告警的告警信息。

32、根据本公开第二方面，提供了一种大数据作业的监控和通知告警装置，包括：

33、配置模块，用于获取监控指令，并根据所述监控指令配置预设的监控表的配置参数，所述预设的监控表包括至少一个目标项目；所述目标项目包括至少一个目标流程、所述目标流程包括至少一个目标任务；

34、查询模块，用于根据所述目标任务的配置参数，在预设的目标数据库中查询所述目标任务，得到查询结果；其中，所述预设的目标数据库中存储有所述目标任务的运行信息；

35、分析模块，用于根据所述目标任务的查询结果，以及配置参数，对所述目标任务进行质量统计，并生成所述预设的监控表对应的通知告警信息；

36、通知告警模块，用于根据预设方式，通报所述通知告警信息。

37、根据本公开第三方面，提供了一种服务器，包括存储器和处理器；其中，

38、所述存储器，用于存储计算机程序；

39、所述处理器，用于读取所述存储器存储的计算机程序，并根据所述存储器中的计算机程序执行如第一方面所述的大数据作业的监控处理方法。

40、根据本公开第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面所述的大数据作业的监控处理方法。

41、根据本公开第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现如第一方面所述的大数据作业的监控处理方法。

42、本公开提供的大数据作业的监控处理方法、装置及服务器，包括：获取监控指令，并根据监控指令配置预设的监控表的配置参数，预设的监控表包括至少一个目标项目；目标项目包括至少一个目标流程、目标流程包括至少一个目标任务；根据目标任务的配置参数，在预设的目标数据库中查询目标任务，得到查询结果；其中，预设的目标数据库中存储有目标任务的运行信息；根据目标任务的查询结果，以及配置参数，对目标任务进行质量统计，并生成预设的监控表对应的通知告警信息；根据预设方式，通报通知告警信息。本方案提供的大数据作业的监控处理方法、装置及服务器中，可以配置预设的监控表的配置参数，并根据配置参数，查询预设的目标数据库得到目标任务的查询结果，根据查询结果，配置参数，生成通知告警信息，并通报该通知告警信息。可以监控预设的监控表包括的多个项目中包括的多个任务，并得到该预设的监控表对应的通知告警信息。本公开提供的方案可以满足对大数据作业中多项目的监控需求，进而可以提高大数据作业运行情况的监控效果。