日志监控方法及装置与流程

本发明涉及计算机，尤其涉及一种日志监控方法及装置。

背景技术：

1、随着公司业务的发展，客户使用系统的流量增多，支撑公司业务的各种系统也越来越多，且为了保证在高并发访问下系统不崩溃，基本已由单机部署进化成微服务集群部署。软件、系统的稳定运行成为了公司业务正常进行最主要的保障。而当系统不可控制的出现了问题影响到正常的服务提供，如果不能及时的定位问题、解决问题，通常将会对公司造成一定的利益损害。

2、现有的对系统运行状态的监控一般基于监控系统中的日志并对监控的日志进行分析实现。现有的系统的日志数量庞大，直接基于海量的日志进行监控，监控效率低。

技术实现思路

1、本发明提供一种日志监控方法及装置，用以提升对日志进行监控的监控效率。

2、本发明提供一种日志监控方法，包括：

3、获取待监控日志，并对所述待监控日志进行分割，得到多个日志片段数据；

4、基于注意力机制，确定各日志片段数据的注意力权重矩阵，并基于各注意力权重矩阵，确定所述各日志片段数据的注意力权重；

5、基于所述各日志片段数据的注意力权重，确定所述各日志片段数据的相似度，并基于所述相似度，对所述各日志片段数据中的重复数据进行删除，得到目标日志数据；

6、基于预设告警指标数据，确定告警阈值，并基于所述告警阈值，对所述目标日志数据进行监控。

7、根据本发明提供的一种日志监控方法，对所述待监控日志进行分割，得到多个日志片段数据，包括：

8、基于词频-逆文本指数tf-idf算法，对所述待监控日志中的词频信息进行确定，并基于所述词频信息，确定所述待监控日志的关键字信息；

9、基于所述关键字信息，对所述待监控日志进行分割，得到多个日志片段数据。

10、根据本发明提供的一种日志监控方法，基于所述词频信息，确定所述待监控日志的关键字信息，包括：

11、基于所述词频信息，确定所述待监控日志中各关键字的评分；

12、基于所述各关键字的评分，确定所述待监控日志的关键字信息。

13、根据本发明提供的一种日志监控方法，基于所述告警阈值，对所述目标日志数据进行监控，包括：

14、确定所述目标日志数据的监控参数，在所述监控参数大于所述告警阈值的情况下，确定所述目标日志数据为异常日志数据。

15、根据本发明提供的一种日志监控方法，获取待监控日志，包括：

16、基于机器人流程自动化rpa，间隔预设时间段扫描目标系统中产生的日志，得到所述待监控日志。

17、根据本发明提供的一种日志监控方法，得到目标日志数据之后，还包括：

18、将所述目标日志数据存储至分布式搜索引擎elasticsearch工具中，并基于所述elasticsearch工具，对所述目标日志数据进行分析，并将分析后得到的日志分析结果发送至前端界面，以使前端界面显示所述日志分析结果。

19、本发明还提供一种日志监控装置，包括：

20、日志获取模块，用于获取待监控日志，并对所述待监控日志进行分割，得到多个日志片段数据；

21、注意力权重确定模块，用于基于注意力机制，确定各日志片段数据的注意力权重矩阵，并基于各注意力权重矩阵，确定所述各日志片段数据的注意力权重；

22、日志去重模块，用于基于所述各日志片段数据的注意力权重，确定所述各日志片段数据的相似度，并基于所述相似度，对所述各日志片段数据中的重复数据进行删除，得到目标日志数据；

23、日志监控模块，用于基于预设告警指标数据，确定告警阈值，并基于所述告警阈值，对所述目标日志数据进行监控。

24、本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述日志监控方法。

25、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述日志监控方法。

26、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述日志监控方法。

27、本发明提供的日志监控方法及装置，通过在对待监控日志进行监控之前，基于待监控日志中包含大量重复内容的特点，对待监控日志进行分割，得到多个日志片段数据。并基于注意力权重矩阵，确定各日志片段数据的相似度，从而对各日志片段数据中的重复数据进行删除，实现了对各日志片段数据精简。基于删除重复内容的日志进行监控，提升了日志监控效率。

技术特征：

1.一种日志监控方法，其特征在于，所述方法包括：

2.根据权利要求1所述的日志监控方法，其特征在于，所述对所述待监控日志进行分割，得到多个日志片段数据，包括：

3.根据权利要求2所述的日志监控方法，其特征在于，所述基于所述词频信息，确定所述待监控日志的关键字信息，包括：

4.根据权利要求1所述的日志监控方法，其特征在于，所述基于所述告警阈值，对所述目标日志数据进行监控，包括：

5.根据权利要求1所述的日志监控方法，其特征在于，所述获取待监控日志，包括：

6.根据权利要求1所述的日志监控方法，其特征在于，所述得到目标日志数据之后，还包括：

7.一种日志监控装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述日志监控方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述日志监控方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述日志监控方法。

技术总结
本发明提供一种日志监控方法及装置，其中方法包括：获取待监控日志，并对待监控日志进行分割，得到多个日志片段数据；基于注意力机制，确定各日志片段数据的注意力权重；基于各日志片段数据的注意力权重，确定各日志片段数据的相似度，对各日志片段数据中的重复数据进行删除，得到目标日志数据；基于预设告警指标数据，确定告警阈值，并基于所述告警阈值，对目标日志数据进行监控。本发明提供的日志监控方法及装置，通过在对待监控日志进行监控之前，基于注意力权重矩阵，确定各日志片段数据的相似度，从而对各日志片段数据中的重复数据进行删除，实现了对各日志片段数据精简。基于删除重复内容的日志进行监控，提升了日志监控效率。

技术研发人员：杨舒敏
受保护的技术使用者：中银金融科技有限公司
技术研发日：
技术公布日：2024/2/6