一种批处理报错作业的智能判定方法、装置及设备与流程

本发明涉及银行业务监控，尤其涉及一种批处理报错作业的智能判定方法、装置及设备。

背景技术：

1、在银行各种系统中，批处理通常指在后台对大量数据进行自动处理的过程。这包括对客户信息的审核、合同的生成、还款计划等操作，在批处理过程中系统会按照预设的规则和算法进行自动决策，提高处理的效率和准确性。随着运维服务和金融行业业务特点的需求发展，越来越多的系统需要进行批处理任务。批处理任务，指任务会按照一定的周期性定时地执行(比如每天执行)，比如数据备份、业务对账等，一般是由多个sql语句组成一套完整流程。通常在大规模的日常批处理脚本执行过程中，因为大量数据需要进行加工，且批处理十分重要，涉及到报送、对账、结息等，在大数据或与处理数据有关的批处理中各种各样的报错出现后，我们需尽量减少处理时间，避免影响正常的报送或其他业务，所以这对我们判断报错给出解决方案提出了挑战。目前工业界还没有大规模的应用机器学习的相关算法来解决该问题，金融业的现状是出现报错根据系统管理员经验、联系开发看具体日志进行判断并解决。综上，基于批处理作业报错的快速处理减少处理时间的重要性和存在难点，学术界的已有工作和工业界的已有实践在我们的实际挑战中存在局限。

技术实现思路

1、有鉴于此，本发明的目的在于提出一种批处理报错作业的智能判定方法、装置以及设备，旨在解决上述问题。

2、为实现上述目的，本发明提供一种批处理报错作业的智能判定方法，所述方法包括：

3、监控到批处理作业产生报错时，获取所述批处理作业的报错日志；

4、利用余弦相似度算法计算所述报错日志与历史报错日志的文本相似度，确定是否匹配到目标历史事件；

5、若是，将所述目标历史事件对应的解决方法以及报错产生原因进行推送；

6、若否，通过确定所述报错日志中的报错内容输入至基于决策树构建的报错处理模型进行预测，并将得到的解决方法以及报错产生原因进行推送。

7、优选的，所述方法还包括：

8、根据所述历史报错日志创建配置表并根据报错内容设置对应的关键字；其中，所述配置表包括报错类别以及报错内容，所述报错类别根据不同的报错内容进行划分。

9、优选的，所述利用余弦相似度算法计算所述报错日志与历史报错日志的文本相似度，确定是否匹配到目标历史事件，包括：

10、通过所述配置表对所述报错日志进行检索，获取对应的报错内容；

11、将所述报错日志的报错内容与历史报错日志的所有报错内容进行匹配，得到所述目标历史事件。

12、优选的，所述通过确定所述报错日志中的报错内容输入至基于决策树构建的报错处理模型进行预测，并将得到的解决方法以及报错产生原因进行推送，包括：

13、通过提取所述报错日志中的报错内容以确定对应的关键字，并根据报错内容确定所属的报错类别；

14、将所述关键字以及所述报错类别对应的编码作为输入数组输入至所述报错处理模型进行预测，得到解决方法以及报错产生原因。

15、优选的，所述基于决策树构建的报错处理模型的构建过程，包括：

16、基于所述历史报错日志构造训练数据，所述训练数据包括第一特征以及第二特征，所述第一特征为报错类别，所述第二特征为报错内容；

17、将所述第一特征以及所述第二特征输入基于cart决策树进行训练，得到所述报错处理模型。

18、优选的，所述报错类别包括数据类报错、环境类报错以及程序问题报错；所述报错内容包括ora官方报错、ibm官方报错、java官方报错、环境报错以及资源问题。

19、为实现上述目的，本发明还提供一种批处理报错作业的智能判定装置，所述装置包括：

20、获取单元，用于监控到批处理作业产生报错时，获取所述批处理作业的报错日志；

21、匹配单元，用于利用余弦相似度算法计算所述报错日志与历史报错日志的文本相似度，确定是否匹配到目标历史事件；

22、判定单元，用于判断匹配到目标历史事件时，将所述目标历史事件对应的解决方法以及报错产生原因进行推送；若否，通过确定所述报错日志中的报错内容输入至基于决策树构建的报错处理模型进行预测，并将得到的解决方法以及报错产生原因进行推送。

23、优选的，所述装置还包括：

24、创建单元，用于根据所述历史报错日志创建配置表并根据报错内容设置对应的关键字；其中，所述配置表包括报错类别以及报错内容，所述报错类别根据不同的报错内容进行划分。

25、为了实现上述目的，本发明还提出一种设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如上述实施例所述的一种批处理报错作业的智能判定方法的步骤。

26、为了实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如上述实施例所述的一种批处理报错作业的智能判定方法的步骤。

27、有益效果：

28、以上方案，通过监控到批处理作业产生报错时，获取所述批处理作业的报错日志；利用余弦相似度算法计算所述报错日志与历史报错日志的文本相似度，确定是否匹配到目标历史事件；若是，将所述目标历史事件对应的解决方法以及报错产生原因进行推送；若否，通过确定所述报错日志中的报错内容输入至基于决策树构建的报错处理模型进行预测，并将得到的解决方法以及报错产生原因进行推送；能够在实际应用上能减少人工识别排查报错的工作量，从而大幅节省人工排查的时间，做到报错产生即发现，发现即定位，明显达到提质增效的效果。

技术特征：

1.一种批处理报错作业的智能判定方法，其特征在于，所述方法包括：

2.根据权利要求1述的一种批处理报错作业的智能判定方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的一种批处理报错作业的智能判定方法，其特征在于，所述利用余弦相似度算法计算所述报错日志与历史报错日志的文本相似度，确定是否匹配到目标历史事件，包括：

4.根据权利要求1述的一种批处理报错作业的智能判定方法，其特征在于，所述通过确定所述报错日志中的报错内容输入至基于决策树构建的报错处理模型进行预测，并将得到的解决方法以及报错产生原因进行推送，包括：

5.根据权利要求1所述的一种批处理报错作业的智能判定方法，其特征在于，所述基于决策树构建的报错处理模型的构建过程，包括：

6.根据权利要求1至5任一所述的一种批处理报错作业的智能判定方法，其特征在于，所述报错类别包括数据类报错、环境类报错以及程序问题报错；所述报错内容包括ora官方报错、ibm官方报错、java官方报错、环境报错以及资源问题。

7.一种批处理报错作业的智能判定装置，其特征在于，所述装置包括：

8.根据权利要求7述的一种批处理报错作业的智能判定装置，其特征在于，所述装置还包括：

9.一种批处理报错作业的智能判定设备，其特征在于，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1至6任意一项所述的一种批处理报错作业的智能判定方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至6任意一项所述的一种批处理报错作业的智能判定方法的步骤。

技术总结
本发明公开了一种批处理报错作业的智能判定方法、装置、设备及存储介质，其包括：监控到批处理作业产生报错时，获取所述批处理作业的报错日志；利用余弦相似度算法计算所述报错日志与历史报错日志的文本相似度，确定是否匹配到目标历史事件；若是，将所述目标历史事件对应的解决方法以及报错产生原因进行推送；若否，通过确定所述报错日志中的报错内容输入至基于决策树构建的报错处理模型进行预测，并将得到的解决方法以及报错产生原因进行推送。能够在实际应用上减少人工识别排查报错的工作量，从而大幅节省人工排查的时间，提质增效。

技术研发人员：陈家学,王淇霖,蔡建平,刘畅
受保护的技术使用者：厦门国际银行股份有限公司
技术研发日：
技术公布日：2024/1/15