日志数据分析方法、装置、计算机设备及存储介质与流程

本技术涉及计算机，特别是涉及一种日志数据分析方法、日志数据分析装置、计算机设备及计算机可读存储介质。

背景技术：

1、日志记录着系统运行时在每个节点的状态信息,记录着系统中特定事件的活动信息，因此在很多关键节点，日志数据往往能够揭示功能服务方面的故障和系统性能方面的问题，是监控网络健康和故障根因定位的重要数据源之一，并且能够帮助技术人员对问题进行分析和处理。随着计算机系统复杂度的增加，产生的日志数量以及复杂度都在急剧增加，这给问题的分析和处理带来了很大的干扰。

2、目前，主要是通过人工或者简单的日志分析工具来选取和分析日志数据异常的原因，以对系统故障进行根因定位。在根因定位时，需要通过预设的检测规则和模式匹配方式，从海量的日志数据中筛选出异常日志数据并对其进行分析，在整个过程中需要耗费的人工和资源计算量十分的巨大，导致对日志数据进行异常分析的效率不高以及准确率较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高日志分析效率和准确性的日志数据分析方法、日志数据分析装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种日志数据分析方法。所述方法包括：

3、响应触发针对目标应用服务的根因定位指令，获取关于所述目标应用服务产生的错误日志数据；

4、对所述错误日志数据进行日志聚类，得到对应的多个日志聚类簇；

5、基于各所述日志聚类簇中对应的两条候选日志数据之间的差异，从各所述日志聚类簇中筛选出目标日志数据；

6、基于预设的大语言模型对所述目标日志数据进行根因定位分析，得到对应的根因定位分析结果；所述根因定位分析结果用于表征所述目标日志数据导致所述目标应用服务产生异常的根本因素。

7、在其中一个实施例中，所述对所述错误日志数据进行日志聚类，得到对应的多个日志聚类簇，包括：

8、对所述错误日志数据进行过滤处理，以过滤所述错误日志数据中的噪声数据，得到过滤后的错误日志数据；

9、对所述过滤后的错误日志数据进行分词处理，得到对应的分词序列；

10、基于所述分词序列中各分词词汇的词频向量，对各所述过滤后的错误日志数据进行日志聚类，得到对应的多个日志聚类簇。

11、在其中一个实施例中，所述基于所述分词序列中各分词词汇的词频向量，对各所述过滤后的错误日志数据进行日志聚类，得到对应的多个日志聚类簇，包括：

12、基于所述分词序列中各分词词汇的词频向量，将各所述过滤后的错误日志数据所对应的分词序列转换为预设形式的权重矩阵；所述权重矩阵用于表征所述分词序列中各分词词汇的词频和逆文档频率；

13、对所述权重矩阵进行降维处理，以形成针对各所述过滤后的错误日志数据的日志特征向量；

14、对各所述过滤后的错误日志数据的日志特征向量进行相似聚类，得到对应的多个日志聚类簇。

15、在其中一个实施例中，所述基于各所述日志聚类簇中对应的两条候选日志数据之间的差异，从各所述日志聚类簇中筛选出目标日志数据，包括：

16、基于各所述日志聚类簇中对应的两个候选特征向量之间的差异，确定对应的各所述日志聚类簇是否满足预设的聚类条件；

17、在所述日志聚类簇满足的聚类条件的情况下，将所述日志聚类簇中任一日志特征向量所对应的日志数据作为目标日志数据；

18、在所述日志聚类簇不满足的聚类条件的情况下，将两个所述候选特征向量所对应的两个日志数据均作为目标日志数据。

19、在其中一个实施例中，所述基于各所述日志聚类簇中对应的两个候选特征向量之间的差异，确定对应的各所述日志聚类簇是否满足预设的聚类条件，包括：

20、从各所述日志聚类簇中分别提取出对应向量长度最大的第一候选特征向量和向量长度最小的第二候选特征向量；

21、对所述第一候选特征向量和所述第二候选特征向量进行相似计算，确定所述第一候选特征向量和所述第二候选特征向量之间的相似程度；

22、基于所述相似程度和预设的参考程度之间的差异，确定对应的各所述日志聚类簇是否满足预设的聚类条件。

23、在其中一个实施例中，所述响应触发针对目标应用服务的根因定位指令，包括：

24、获取用户向客服坐席发送的对话语句；所述对话语句用于指示触发针对所述目标应用服务的根因定位服务，且在所述对话语句中携带有时间信息和关于所述目标应用服务的参数信息；

25、基于所述时间信息和所述参数信息，生成并触发针对所述目标应用服务的根因定位指令。

26、在其中一个实施例中，所述响应触发针对目标应用服务的根因定位指令，包括：

27、响应于监控到所述目标应用服务的性能指标异常，获取当前的时间信息和所述目标应用服务的参数信息；

28、基于所述时间信息和所述参数信息，生成并触发针对所述目标应用服务的根因定位指令。

29、在其中一个实施例中，所述获取关于所述目标应用服务产生的错误日志数据，包括：

30、基于所述时间信息和所述参数信息，确定关于所述目标应用服务的初始日志数据；

31、基于预设的目标字符，对各所述初始日志数据进行模糊匹配，以从各所述初始日志数据筛选出错误日志数据；所述目标字符为针对日志数据所预设的错误提示字符。

32、在其中一个实施例中，所述基于所述时间信息和所述参数信息，确定关于所述目标应用服务的初始日志数据，包括：

33、基于所述参数信息，确定针对所述目标应用服务的日志库别名；

34、基于所述时间信息和所述日志库别名，确定所述目标应用服务在执行异常事件时所对应的日志编号；

35、基于所述日志编号，从对应于所述日志库别名的日志库中提取出所述目标应用服务产生的原始日志数据；

36、基于所述原始日志数据的字段名，对所述原始日志数据进行数据清洗，得到针对所述目标应用服务的初始日志数据。

37、第二方面，本技术还提供了一种日志数据分析装置。所述装置包括：

38、指令触发单元，被配置为执行响应触发针对目标应用服务的根因定位指令，获取关于所述目标应用服务产生的错误日志数据；

39、日志聚类单元，被配置为执行对所述错误日志数据进行日志聚类，得到对应的多个日志聚类簇；

40、日志筛选单元，被配置为执行基于各所述日志聚类簇中对应的两条候选日志数据之间的差异，从各所述日志聚类簇中筛选出目标日志数据；

41、根因定位单元，被配置为执行基于预设的大语言模型对所述目标日志数据进行根因定位分析，得到对应的根因定位分析结果；所述根因定位分析结果用于表征所述目标日志数据导致所述目标应用服务产生异常的根本因素。

42、第三方面，本技术还提供了一种计算机设备，包括：

43、处理器；

44、用于存储所述处理器的可执行指令的存储器；

45、其中，所述处理器被配置为执行所述可执行指令，以实现如上所述的日志数据分析方法。

46、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质中包括程序数据，当所述程序数据被执行时，实现如上所述的日志数据分析方法。

47、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品中包括程序指令，当所述程序指令被执行时，实现如上所述的日志数据分析方法。

48、上述的日志数据分析方法、日志数据分析装置、计算机设备、计算机可读存储介质和计算机程序产品，首先响应触发针对目标应用服务的根因定位指令，获取关于目标应用服务产生的错误日志数据；然后，再对错误日志数据进行日志聚类，得到对应的多个日志聚类簇；然后，再基于各日志聚类簇中对应的两条候选日志数据之间的差异，从各日志聚类簇中筛选出目标日志数据；最后，再基于预设的大语言模型对目标日志数据进行根因定位分析，得到对应的根因定位分析结果；其中，该根因定位分析结果用于表征目标日志数据导致目标应用服务产生异常的根本因素。这样，一方面，通过区别于现有技术的方式，本方案通过在触发针对目标应用服务的根因定位指令时，首先获取关于目标应用服务产生的错误日志数据，然后再依次对错误日志数据进行聚类和筛选，以得出用于根因定位分析的目标日志数据，从而优化了根因定位的流程，有效提高了对服务异常进行根因定位的效率，降低了人力和物力的消耗；另一方面，本方案通过在日志聚类簇中，通过对应的两条候选日志数据之间的差异，以筛选出目标日志数据，然后再通过大语言模型对目标日志数据进行根因定位分析，以得出导致目标应用服务产生异常的根本因素，从而优化了对日志数据进行根因定位的方式，有效提高了根因定位的合理性和准确性，有利于后续能够及时的进行应用排查和修复。

49、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。