一种日志异常告警方法及装置与流程

本申请涉及数据处理，具体而言，涉及一种日志异常告警方法及装置。

背景技术：

1、云计算作为新的基础设施模式已经越来越普及，各企事业单位、机构通过云服务的模式能够极大的降低自身信息技术基础设施的建设成本。为满足不同区域用户的低时延等需求，云服务商通常建设有多个数据中心，为用户提供就近分配计算、存储等服务。云平台作为关键信息基础设施，运行着用户的业务应用服务，云平台的平稳运行和及时的故障预警对用户和云服务运营商来说非常重要。云数据中心包括众多网络、服务器、存储等硬件设备以及云管理平台等众多软件服务，在运行过程中不可避免的会出现各种故障，日志成为诊断云平台故障的重要支撑。在云平台中部署高效的日志监控系统，可以让运维人员掌握云平台的运行状况，能够及时发现故障并进行排查，对保障云平台的可靠运行至关重要。

2、然而，目前的日志告警服务通常只针对单一数据中心，当为多个数据中心提供日志告警服务时，由于日志数据量较大，若依靠运维人员分析查验日志数据来进行日志告警处理，导致处理效率及准确率低的问题。

技术实现思路

1、有鉴于此，本申请的目的在于提供一种日志异常告警方法及装置，以解决现有技术中，日志告警的处理效率低及准确率低的问题。

2、第一方面，本申请实施例提供了一种日志异常告警方法，包括：

3、从不同云平台获取待检测日志数据，待检测日志数据包括服务类型、服务器标识及云平台标识；

4、确定告警规则数据库中是否存在与服务类型、服务器标识及云平台标识均相匹配的告警规则，告警规则包括告警关键字；

5、若存在匹配的告警规则，确定待检测日志数据中是否存在与告警关键字相匹配的数据项；

6、若存在匹配的数据项，根据告警状态数据库中与告警规则对应的日志告警记录进行日志异常告警；

7、若不存在匹配的数据项，利用日志异常检测模型对待检测日志数据进行日志异常检测，在检测发现日志异常时进行日志异常告警。

8、可选地，根据告警状态数据库中与告警规则对应的日志告警记录进行日志异常告警，包括：在告警状态数据库中查询是否存在与告警规则相匹配的日志告警记录；若存在匹配的日志告警记录，则将日志告警记录中的告警次数加一，并记录最新的告警时间，根据日志告警记录中的告警等级进行告警处理；若不存在匹配的日志告警记录，则在告警状态数据库中生成新的日志告警记录，并生成与日志告警记录对应的日志告警信息，将日志告警信息发送给运维人员。

9、可选地，在确定告警规则数据库中是否存在与服务类型、服务器标识及云平台标识均相匹配的告警规则之后，还包括：若不存在相匹配的告警规则，利用日志异常检测模型对待检测日志数据进行日志异常检测，在检测发现日志异常时进行日志异常告警。

10、可选地，根据日志告警记录中的告警等级进行告警处理，包括：确定告警等级是否为紧急；若是紧急，则获取告警次数，将预设时间范围内的告警次数与设定次数阈值进行比较，根据比较结果进行告警处理；若不是紧急，确定日志告警记录中的上一次告警与本次告警之间的间隔时间，根据间隔时间进行告警处理。

11、可选地，根据比较结果进行告警处理，包括：若预设时间范围内的告警次数大于或者等于设定次数阈值，确定为阻碍型故障，发送阻碍型故障告警；若预设时间范围内的告警次数小于设定次数阈值，确定为短暂型故障。

12、可选地，方法还包括：若确定日志异常为短暂型故障，在告警状态数据库中将存在日志异常的目标服务的服务运行状态改为潜在停止；按照第一间隔时长循环检测目标服务的服务运行状态；若目标服务的服务运行状态为停止运行，或者服务运行状态为正常运行但是在预设时间范围内按照第二间隔时长循环检测目标服务的服务运行状态为停止运行，确定目标服务存在宕机故障。

13、可选地，日志异常检测模型包括词嵌入层、卷积层、最大池化层、拼接层、双向循环神经网络层、注意力层、分类层，卷积层包括多个卷积核。

14、可选地，从不同云平台获取待检测日志数据，包括：针对每个云平台，采集该云平台中不同服务对应的平台日志数据，为平台日志数据添加日志标签，日志标签包括服务类型及服务器标识；将添加日志标签后的平台日志数据放入该云平台的消息队列中；从不同云平台的消息队列中提取平台日志数据，对平台日志数据进行标签转换处理，获得携带云平台标识的待检测日志数据。

15、可选地，对平台日志数据进行标签转换处理，获得携带云平台标识的待检测日志数据，包括：为平台日志数据添加云平台标识，获得待检测日志数据。

16、第二方面，本申请实施例还提供了一种日志异常告警装置，所述装置包括：

17、数据获取模块，用于从不同云平台获取待检测日志数据，待检测日志数据包括服务类型、服务器标识及云平台标识；

18、规则匹配模块，用于确定告警规则数据库中是否存在与服务类型、服务器标识及云平台标识均相匹配的告警规则，告警规则包括告警关键字；

19、关键字匹配模块，用于若存在匹配的告警规则，确定待检测日志数据中是否存在与告警关键字相匹配的数据项；

20、规则告警模块，用于若存在匹配的数据项，根据告警状态数据库中与告警规则对应的日志告警记录进行日志异常告警；

21、模型告警模块，用于若不存在匹配的数据项，利用日志异常检测模型对待检测日志数据进行日志异常检测，在检测发现日志异常时进行日志异常告警。

22、本申请实施例带来了以下有益效果：

23、本申请实施例提供的一种日志异常告警方法及装置，能够从不同云平台获取平台日志数据，对不同云平台的日志数据进行统一处理，转换为待检测日志数据，并利用告警规则及日志异常检测模型，从多个维度对日志异常进行检测及日志异常告警，与现有技术中的日志异常告警方法相比，解决了日志告警的处理效率低及准确率低的问题。

24、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种日志异常告警方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据告警状态数据库中与所述告警规则对应的日志告警记录进行日志异常告警，包括：

3.根据权利要求1所述的方法，其特征在于，在所述确定告警规则数据库中是否存在与所述服务类型、所述服务器标识及所述云平台标识均相匹配的告警规则之后，还包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述日志告警记录中的告警等级进行告警处理，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据比较结果进行告警处理，包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述日志异常检测模型包括词嵌入层、卷积层、最大池化层、拼接层、双向循环神经网络层、注意力层、分类层，所述卷积层包括多个卷积核。

8.根据权利要求1所述的方法，其特征在于，所述从不同云平台获取待检测日志数据，包括：

9.根据权利要求8所述的方法，其特征在于，所述对所述平台日志数据进行标签转换处理，获得携带云平台标识的待检测日志数据，包括：

10.一种日志异常告警装置，其特征在于，包括：

技术总结
本申请提供了一种日志异常告警方法及装置，涉及数据处理技术领域，该方法包括：从不同云平台获取待检测日志数据；确定告警规则数据库中是否存在与服务类型、服务器标识及云平台标识均相匹配的告警规则，告警规则包括告警关键字；若存在匹配的告警规则，确定待检测日志数据中是否存在与告警关键字相匹配的数据项；若存在匹配的数据项，根据告警状态数据库中与告警规则对应的日志告警记录进行日志异常告警；若不存在匹配的数据项，利用日志异常检测模型对待检测日志数据进行日志异常检测，在检测发现日志异常时进行日志异常告警。通过采用上述日志异常告警方法及装置，解决了现有技术中，日志告警的处理效率低及准确率低的问题。

技术研发人员：申志伟,时文丰,朱肖曼
受保护的技术使用者：中国电子信息产业集团有限公司第六研究所
技术研发日：
技术公布日：2024/1/15