一种作业的检测方法、装置及计算机存储介质与流程

本发明涉及数据处理，尤其涉及一种作业的检测方法、装置及计算机存储介质。

背景技术：

1、目前，多个批量作业通过串联或并联的方式运行，在批量作业处理的过程中，记录每一作业中数据发生错误的次数，并继续执行下一数据，当记录的次数超过错误阀值时，同时中断子作业和批量作业。不考虑不同的子作业发生错误的原因不同，仅通过上述方式进行一刀切中断，还需要等待人工处理的方式判定是否需要继续执行批量作业，从而影响作业处理的速度。

技术实现思路

1、有鉴于此，本发明实施例提供一种作业的检测方法、装置及计算机存储介质，以解决现有技术中存在的影响作业处理的速度的问题。

2、为实现上述目的，本发明实施例提供如下技术方案：

3、本发明实施例第一方面示出了一种作业的检测方法，所述方法包括：

4、针对每一子作业，采集所述子作业的运行参数；

5、在确定所述运行参数中的失败记录数超过作业错误阀值时，将所述运行参数中的错误日志输入告警模型，所述告警模型是基于历史样本数据集构建的；

6、基于所述告警模型对所述错误日志进行处理，输出判定结果；

7、若所述判定结果为中断机制，基于所述中断机制中断所述子作业。

8、可选的，还包括：

9、在基于所述中断机制中断所述子作业之后，基于所述子作业的运行参数和运行结果，确定是否中断所述批量作业的运行，所述运行结果是指基于采集到的所述子作业运行过程中每一条数据确定的。

10、可选的，所述基于所述子作业的运行参数和运行结果，确定是否中断所述批量作业的运行，包括：

11、基于所述子作业的运行参数和运行结果，确定所述子作业是否为重要作业；

12、若是，确定中断所述批量作业的运行；

13、若否，跳过所述子作业。

14、可选的，所述基于所述告警模型对所述错误日志进行处理，输出判定结果，包括：

15、基于所述告警模型提取所述错误日志中的告警因子，所述告警因子的数量为多个；

16、基于所述告警模型确定每一告警因子所属的告警标签，并统计每一种告警标签的数量；

17、若确定中断告警标签的数量大于预设阈值时，基于所述告警模型输出中断机制的判定结果。

18、可选的，所述确定每一告警因子所属的告警标签，包括：

19、基于所述告警模型将告警因子进行分类，确定每一告警因子对应的告警类型；

20、基于所述告警模型设置每一告警因子对应的告警类型对应的告警标签。

21、可选的，若确定其他告警标签的数量大于预设阈值时，基于所述告警模型输出的需要其他判定的判定结果，将所述错误日志显示给用户；

22、获取用户基于所述错误日志触发的操作机制；

23、若确定所述触发的操作机制为中断机制，则基于所述中断机制中断所述子作业运行。

24、可选的，基于历史样本数据集构建告警模型的过程包括：

25、获取历史样本数据集；

26、将所述历史样本数据集划分成训练日志集和测试日志集；

27、利用所述训练日志集对初始模型进行训练，得到训练完成的初始模型；

28、基于所述测试日志集对所述初始模型进行测试，确定测试通过的初始模型为告警模型。

29、可选的，还包括：

30、针对每一子作业，记录所述子作业的执行情况数据；

31、若所述批量作业执行结束，基于每一子作业的执行情况数据，生成批量作业情况报表，并显示。

32、本发明实施例第二方面示出了一种作业的检测装置，所述装置包括：

33、采集单元，用于针对每一子作业，采集所述子作业的运行参数；

34、输入单元，用于在确定所述运行参数中的失败记录数超过作业错误阀值时，将所述运行参数中的错误日志输入告警模型，所述告警模型是基于构建单元构建的；

35、所述告警模型，用于对所述错误日志进行处理，输出判定结果；

36、处理单元，用于若所述判定结果为中断机制，基于所述中断机制中断所述子作业。

37、本发明实施例第三方面示出了一种计算机存储介质，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如本发明实施例第一方面示出的作业的检测方法。

38、基于上述本发明实施例提供的一种作业的检测方法、装置及计算机存储介质，所述方法包括：针对每一子作业，采集所述子作业的运行参数；在确定所述运行参数中的失败记录数超过作业错误阀值时，将所述运行参数中的错误日志输入告警模型，所述告警模型是基于历史样本数据集构建的；基于所述告警模型对所述错误日志进行处理，输出判定结果；若所述判定结果为中断机制，基于所述中断机制中断所述子作业。在本发明实施例中，在监控批量作业执行过程中，针对每一作业，通过告警模型识别是否中断子作业，从而提高作业处理的速度的问题。

技术特征：

1.一种作业的检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述子作业的运行参数和运行结果，确定是否中断所述批量作业的运行，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述告警模型对所述错误日志进行处理，输出判定结果，包括：

5.根据权利要求4所述的方法，其特征在于，所述确定每一告警因子所属的告警标签，包括：

6.根据权利要求4所述的方法，其特征在于，还包括：

7.根据权利要求1所述的方法，其特征在于，基于历史样本数据集构建告警模型的过程包括：

8.根据权利要求1所述的方法，其特征在于，还包括：

9.一种作业的检测装置，其特征在于，所述装置包括：

10.一种计算机存储介质，其特征在于，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-8中任一所述的作业的检测方法。

技术总结
本发明提供一种作业的检测方法、装置及计算机存储介质，应用于云计算领域、大数据领域或金融领域。所述方法包括：针对每一子作业，采集所述子作业的运行参数；在确定所述运行参数中的失败记录数超过作业错误阀值时，将所述运行参数中的错误日志输入告警模型，所述告警模型是基于历史样本数据集构建的；基于所述告警模型对所述错误日志进行处理，输出判定结果；若所述判定结果为中断机制，基于所述中断机制中断所述子作业。在本发明实施例中，在监控批量作业执行过程中，针对每一作业，通过告警模型识别是否中断子作业，从而提高作业处理的速度的问题。

技术研发人员：李小莉,郭锦帅,陈颖琪,韦英浩
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/15