一种可观测全链路日志追踪方法及系统与流程

本发明属于数据处理，尤其涉及一种可观测全链路日志追踪方法及系统。

背景技术：

1、随着授信系统等软件系统的模块数量以及组成架构的逐渐复杂化，一旦软件系统的运行日志存在异常时，若不能根据运行日志的数据异常情况进行全链路的观测，则会导致运行日志的异常处理效率会受到一定程度的影响。

2、为了实现对运行日志的数据的全链路观测，在发明专利cn201911242804.1《一种系统全链路监控方法及装置》中通过对各链路的起点数据量和终点数据量进行分析，并当处理情况数据不满足所述处理基准条件，则生成告警信息，实现了对不同的链路的动态分析，但是却存在以下技术问题：

3、现有技术方案中缺乏根据日志告警数据首先进行不同的链路模块的差异性分析，具体的，日志告警数据往往是由于链路模块的数据处理异常导致的，因此若不同的日志告警数据均关联有相同的链路模块，其存在异常的可能性就大大增强，因此若不考虑上述因素，则有可能导致异常分析的效率有所降低。

4、现有技术方案中缺乏根据当前的日志告警数据进行历史相似情况的分析，具体的，不同的链路模块存在异常时，会导致日志告警数据的异常类型和数据处理时间存在一定的相似性，因此若不能首先根据当前的日志数据的异常情况进行相似性分析，则同样会导致异常分析的处理效率会有所降低。

5、为解决上述技术问题，本发明提供了一种可观测全链路日志追踪方法及系统。

技术实现思路

1、为实现本发明目的，本发明采用如下技术方案：

2、根据本发明的一个方面，提供了一种可观测全链路日志追踪方法。

3、一种可观测全链路日志追踪方法，其特征在于，具体包括：

4、s1基于运行日志的运行结果进行所述运行日志的不同类型的告警数据的确定，并基于不同类型的告警数据进行异常程度评估值的确定，当异常程度评估值不在预设范围或者运行时间大于分析周期时，进入下一步骤；

5、s2通过所述不同类型的告警数据与所述运行日志的历史运行结果进行相似性分析得到历史相似异常结果，并判断所述历史相似异常结果的次数是否大于预设次数，若是，则通过所述历史相似分析结果进行分析链路模块的确定，并进入步骤s4，若否，则进入下一步骤；

6、s3根据所述运行日志的不同类型的告警数据进行不同类型的告警数据与不同的链路模块的关联情况的确定，并基于所述不同的链路模块的关联情况进行不同的链路模块的关联度以及分析链路模块的确定；

7、s4基于所述分析链路模块的运行数据进行不同的分析链路模块的异常情况的确定，并当所述分析链路模块不存在异常情况时，通过所述运行日志的不同类型的告警数据的数据传输情况进行所述告警数据的全链路分析框图的确定，并基于所述全链路分析框图对所述告警数据进行分析处理。

8、本发明的有益效果在于：

9、1、通过基于不同类型的告警数据进行异常程度评估值的确定，实现了从运行日志的告警数据的严重程度对运行日志的运行可靠性的准确评估，保证了运行日志所对应的软件系统的运行可靠性。

10、2、通过所述不同类型的告警数据与所述运行日志的历史运行结果进行相似性分析得到历史相似异常结果，实现了对历史运行结果与当前的告警数据的相似性的评估，从而为针对性的进行分析链路模块的筛选奠定了基础。

11、3、通过根据所述运行日志的不同类型的告警数据进行不同类型的告警数据与不同的链路模块的关联情况的确定，从而考虑到不同的链路模块与告警数据的关联程度的差异，实现了对链路模块的关联程度的准确评估，进一步保证了分析链路模块的确定的可靠性，也进一步实现了告警数据的分析的效率和可靠性。

12、进一步的技术方案在于，所述告警数据根据所述运行日志的告警信息进行确定，具体的根据所述运行日志的告警信息的数据输出结果进行确定。

13、进一步的技术方案在于，所述分析周期根据软件系统的运行日志的数据量以及使用用户的数量进行确定，其中所述软件系统的运行日志的数据量越大，所述软件系统的使用用户的数量越多，则所述分析周期越短。

14、进一步的技术方案在于，当所述链路模块的关联度在预设关联度区间内时，则确定所述链路模块为分析链路模块。

15、进一步的技术方案在于，基于所述分析链路模块的运行数据进行不同的分析链路模块的异常情况的确定，具体包括：

16、根据所述分析链路模块的运行数据确定是否存在运行数据异常的时刻，若是，则确定所述分析链路模块存在异常情况，并根据所述分析链路模块的异常情况确定所述分析链路模块的运行数据异常的时刻的异常运行数据与所述不同类型的告警数据的关联情况。

17、第二方面，本发明提供了一种可观测全链路日志追踪系统，采用上述的一种可观测全链路日志追踪方法，其特征在于，具体包括：

18、运行情况评估模块，相似度评估模块，关联度评估模块，异常分析模块；

19、所述运行情况评估模块负责基于运行日志的运行结果进行所述运行日志的不同类型的告警数据的确定，并基于不同类型的告警数据进行异常程度评估值的确定，当异常程度评估值不在预设范围或者运行时间大于分析周期时，进入下一步骤；

20、所述相似度评估模块负责通过所述不同类型的告警数据与所述运行日志的历史运行结果进行相似性分析得到历史相似异常结果，并判断所述历史相似异常结果的次数是否大于预设次数；

21、所述关联度评估模块负责根据所述运行日志的不同类型的告警数据进行不同类型的告警数据与不同的链路模块的关联情况的确定，并基于所述不同的链路模块的关联情况进行不同的链路模块的关联度以及分析链路模块的确定；

22、所述异常分析模块负责基于所述分析链路模块的运行数据进行不同的分析链路模块的异常情况的确定，并当所述分析链路模块不存在异常情况时，通过所述运行日志的不同类型的告警数据的数据传输情况进行所述告警数据的全链路分析框图的确定，并基于所述全链路分析框图对所述告警数据进行分析处理。

23、其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

24、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种可观测全链路日志追踪方法，其特征在于，具体包括：

2.如权利要求1所述的可观测全链路日志追踪方法，其特征在于，所述告警数据根据所述运行日志的告警信息进行确定，具体的根据所述运行日志的告警信息的数据输出结果进行确定。

3.如权利要求1所述的可观测全链路日志追踪方法，其特征在于，所述异常程度评估值的确定的方法为：

4.如权利要求1所述的可观测全链路日志追踪方法，其特征在于，当告警类型的告警次数不在预设告警次数范围内时，则确定所述告警类型为频繁告警类型。

5.如权利要求1所述的可观测全链路日志追踪方法，其特征在于，所述分析周期根据软件系统的运行日志的数据量以及使用用户的数量进行确定，其中所述软件系统的运行日志的数据量越大，所述软件系统的使用用户的数量越多，则所述分析周期越短。

6.如权利要求1所述的可观测全链路日志追踪方法，其特征在于，所述历史相似异常结果的确定的具体步骤为：

7.如权利要求6所述的可观测全链路日志追踪方法，其特征在于，所述告警数据处理时间根据所述告警数据的输出结果与所述告警数据所对应的输入数据的时间差进行确定。

8.如权利要求1所述的可观测全链路日志追踪方法，其特征在于，所述链路模块的关联度的确定的具体步骤为：

9.如权利要求1所述的可观测全链路日志追踪方法，其特征在于，当所述链路模块的关联度在预设关联度区间内时，则确定所述链路模块为分析链路模块。

10.如权利要求1所述的可观测全链路日志追踪方法，其特征在于，基于所述分析链路模块的运行数据进行不同的分析链路模块的异常情况的确定，具体包括：

11.一种可观测全链路日志追踪系统，采用权利要求1-10任一项所述的一种可观测全链路日志追踪方法，其特征在于，具体包括：

技术总结
本发明提供一种可观测全链路日志追踪方法及系统，属于数据处理技术领域，具体包括：根据运行日志的不同类型的告警数据进行不同类型的告警数据与不同的链路模块的关联情况的确定，并基于不同的链路模块的关联情况进行不同的链路模块的关联度以及分析链路模块的确定；基于分析链路模块的运行数据进行不同的分析链路模块的异常情况的确定，并当分析链路模块不存在异常情况时，通过运行日志的不同类型的告警数据的数据传输情况进行所述告警数据的全链路分析框图的确定，并基于全链路分析框图对所述告警数据进行分析处理，从而进一步提升了日志的告警数据的处理的准确性。

技术研发人员：林飞,陈敏,朱思雷,陶嘉驹
受保护的技术使用者：杭银消费金融股份有限公司
技术研发日：
技术公布日：2024/1/16