一种日志告警监控方法及其系统、计算机可读存储介质与流程

本发明告警监控技术领域，特别涉及一种日志告警监控方法及其系统、计算机可读存储介质。

背景技术：

随着科学技术的飞速进步，人工智能得到了长足的发展，其中自学习，就是一种不需要人工干预的方法，采用计算机自主学习的方法，自动找出结果并实现问题的解决的方法。日志，是it系统在运行中输出的记录，主要用于记录程序的问题信息，方便用户查看和排除错误，在成熟的软件产品中，往往日志是有一定规则，会准确的记录，日志时间、问题等级、问题代码、问题描述和导致结果等；但是it系统那么多，不可能每个日志都像大型软件那样，那么完善和规范，鉴于日志记录的条目数如此庞大和监控机房的系统众多，如果采用人工查看日志的方式，很不现实，为此就这需要一种，机器自学习的方法，能实现自我学习，通过日志记录和告警问题进行关联，从而实现监控或者预计的目的，辅助现有的监控系统，而且让it监控更加智能化。

技术实现要素：

本发明旨在提出一种日志告警监控方法及其系统、计算机可读存储介质，通过将日志关键字和告警问题进行关联，通过监控日志中出现的关键字来实现日志告警监控。

第一方面，本发明实施例提出一种日志告警监控方法，包括：

实时监控各主机系统的日志，并判断各主机系统的日志中是否出现预设关键字；

根据上述判断的结果确定是否查询日志关键字告警表；若上述判断的结果为是，则确定出现预设关键字的日志所对应的主机系统名称，并根据该预设关键字和该主机系统名称查询所述日志关键字告警表；

根据上述查询的结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则进行告警，否则，不告警。

其中，所述日志关键字告警表包括多个预设关键字，且每一预设关键字与一个或多个主机系统名称关联。

其中，所述预设关键字为单个字、多个字组成的词组或多个词组组成的语句。

其中，所述日志关键字告警表生成过程如下：

获取各主机系统的所有告警纪录；

对所述告警纪录进行处理，将告警类型一致的告警纪录进行归类；

对每一类型的多个告警纪录，获取与该多个告警纪录对应的多个主机系统的所有日志，并从中截取多个告警纪录中最晚告警时间向前回溯设定时间的时间段内的所有日志；

对所述最晚告警时间向前回溯设定时间的时间段内的所有日志进行对比分析，筛选出多个主机系统的日志共同出现的关键字；

对于筛选出的任一关键字，统计出现该关键字的日志所对应的主机系统数量x1，以及统计出现该关键字的日志并引起告警的主机系统数量x2；

计算主机系统数量x2和主机系统数量x1的比值；

根据所述比值判断关键字与对应的告警类型是否有直接关联，若所述比值大于预设阈值，则判断关键字与对应的告警有直接关联，并将该关键字、告警类型、以及出现该关键字的日志并引起告警的主机系统的名称进行关联后保存在所述日志关键字告警表中。

其中，所述根据上述查询的结果确定是否进行告警包括：

根据所述日志关键字告警表中与关键字关联的告警类型生成对应类型的告警信号，并根据该对应类型的告警信号以对应的告警方式进行告警。

其中，所述日志关键字告警表中的关键字、告警类型以及主机系统名称的关联方式包括强关联和弱关联；

所述方法包括：

当根据上述查询的结果确定进行告警后，经过设定时间，若系统发生与关键字对应类型的告警，则该关键字、告警类型以及主机系统名称的关联所对应的关联值加1；

当任一关键字、告警类型以及主机系统名称的关联所对应的关联值大于等于强关联阈值，则设置其关联为强关联；

每隔设定时间，将所述日志关键字告警表中的弱关联删除。

第二方面，本发明实施例提出一种用于实现所述日志告警监控方法的系统，包括：

监控单元，用于实时监控各主机系统的日志，并判断各主机系统的日志中是否出现预设关键字；

第一处理单元，用于根据上述判断的结果确定是否查询日志关键字告警表；若上述判断的结果为是，则确定出现预设关键字的日志所对应的主机系统名称，并根据该预设关键字和该主机系统名称查询所述日志关键字告警表；

第二处理单元，用于根据上述查询的结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则进行告警，否则，不告警。

其中，所述第一处理单元包括：

第一确定单元，用于根据所述监控单元的判断结果确定是否查询日志关键字告警表，若该判断结果为是，则确定出现预设关键字的日志所对应的主机系统名称；

查询单元，用于根据该预设关键字和该主机系统名称查询所述日志关键字告警表查询日志关键字告警表。

其中，所述第二处理单元包括：

第二确定单元，用于根据所述查询单元的查询结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则生成告警信号，否则，不生成告警信号；

告警单元，根据所述告警信号进行告警。

第三方面，本发明实施例提出一种计算机可读存储介质，包括：计算机可执行指令，当所述计算机可执行指令被运行时用以执行所述日志告警监控方法。

本发明实施例提出一种日志告警监控方法及其系统、计算机可读存储介质，根据所有主机的告警纪录以及对应的日志及其关键字生成日志关键字告警表，具体地，在应用过程中，实时监控各主机系统的日志，并判断各主机系统的日志中是否出现预设关键字；预设关键字为存在于日志关键字告警表中的关键字；若出现预设关键字，则确定出现预设关键字的日志所对应的主机系统名称，并根据该预设关键字和该主机系统名称查询所述日志关键字告警表；最后根据查询结果进行告警，其中，若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则进行告警，否则，不告警。进一步地，在日常的监控过程中，还进行自学习，修正日志关键字告警表，使得表中的关键字与告警以及主机系统的关联更加可靠。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而得以体现。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例一所述一种日志告警监控方法流程示意图。

图2为本发明实施例二所述一种日志告警监控系统结构示意图。

附图标记：

监控单元-1,第一处理单元-2，第一确定单元-21，查询单元-22，第二处理单元-3，第二确定单元-31，告警单元-32。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构，而省略了与本发明关系不大的其他细节。

实施例一

本发明实施例一提出一种日志告警监控方法，通过将日志关键字和告警问题进行关联，通过监控日志中出现的关键字来实现日志告警监控，该方法可以应用于本发明实施例二的一种日志告警监控系统，该系统包括：监控单元、第一处理单元和第二处理单元，所述第一处理单元包括第一确定单元和查询单元，所述第二处理单元包括第二确定单元和告警单元。

下面结合实施例二所述系统对实施例一所述方法进行举例描述。需说明的是，实施例二所述系统只是实现实施例一所述方法的一种载体，实施例一所述方法的实现并不限于实施例二所述系统一种形式。

图1为实施例一方法的流程示意图，参阅图1，实施例一方法包括如下步骤s101-s103：

s101、实时监控各主机系统的日志，并判断各主机系统的日志中是否出现预设关键字。

具体而言，本实施例提出了日志关键字告警表，其中，所述日志关键字告警表包括多个预设关键字，且每一预设关键字与一个或多个主机系统名称关联。

其中，所述预设关键字为单个字、多个字组成的词组或多个词组组成的语句。

s102、根据上述判断的结果确定是否查询日志关键字告警表；若上述判断的结果为是，则确定出现预设关键字的日志所对应的主机系统名称，并根据该预设关键字和该主机系统名称查询所述日志关键字告警表。

具体而言，当监控到一日志中出现预设关键字时，则根据该日志找到对应的主机系统名称，每一主机系统都配置有唯一的名称，然后进一步根据该主机系统名称和出现的预设关键字查询日志关键字告警表，确定该主机系统名称和出现的预设关键字在日志关键字告警表中是否是关联的。

s103、根据上述查询的结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则进行告警，否则，不告警。

因此，基于本实施例提出的日志关键字告警表，针对性地对主机系统的日志进行监控。实时监控着这些日志会不会再次出现这些关键字。一旦出现关键字，当这些关键字所关联的主机系统完全符合日志关键字告警表的关联记录，发出告警，提醒工作人员，主机系统有可能会出现这类型的告警了，可以提前干预。

其中，所述日志关键字告警表的生成过程如下：

步骤s201、获取各主机系统的所有告警纪录；

步骤s202、对所述告警纪录进行处理，将告警类型一致的告警纪录进行归类；

步骤s203、对每一类型的多个告警纪录，获取与该多个告警纪录对应的多个主机系统的所有日志，并从中截取多个告警纪录中最晚告警时间向前回溯设定时间的时间段内的所有日志；

步骤s204、对所述最晚告警时间向前回溯设定时间的时间段内的所有日志进行对比分析，筛选出多个主机系统的日志共同出现的关键字；优选地，对日志全文进行分析，排除经常出现的关键字，关键句对分析结果产生干扰。需说明的是，有些经常出现的日志记录，仅仅只是经常出现，并不对告警构成关键影响。

步骤s205、对于筛选出的任一关键字，统计出现该关键字的日志所对应的主机系统数量x1，以及统计出现该关键字的日志并引起告警的主机系统数量x2；

步骤s206、计算主机系统数量x2和主机系统数量x1的比值；

步骤s207、根据所述比值判断关键字与对应的告警类型是否有直接关联，若所述比值大于预设阈值，则判断关键字与对应的告警有直接关联，并将该关键字、告警类型、以及出现该关键字的日志并引起告警的主机系统的名称进行关联后保存在所述日志关键字告警表中。

其中，在生成一张日志关键字告警表之后，每隔一定时间，均使用上述步骤s201-s207的方法步骤对日志关键字告警表进行更新。

其中，所述日志关键字告警表中的关键字、告警类型以及主机系统名称的关联方式包括强关联和弱关联；

为了进一步减少出现误告警的情况，本实施例所述方法包括：

步骤s301、当根据上述查询的结果确定进行告警后，经过设定时间，若系统发生与关键字对应类型的告警，则该关键字、告警类型以及主机系统名称的关联所对应的关联值加1；

步骤s302、当任一关键字、告警类型以及主机系统名称的关联所对应的关联值大于等于强关联阈值，则设置其关联为强关联；

步骤s303、每隔设定时间，将所述日志关键字告警表中的弱关联删除。

具体而言，以上步骤s301-s303为一种自学习过程，每隔设定时间，能够对日志关键字告警表进行修正，避免产生干扰，减少出现误告警的情况。

其中，所述根据上述查询的结果确定是否进行告警包括：

根据所述日志关键字告警表中与关键字关联的告警类型生成对应类型的告警信号，并根据该对应类型的告警信号以对应的告警方式进行告警。

其中，告警方式可以是语音方式、短信提醒方式等，短信提醒方式指的是根据第二告警信号生成短信并发送到监控人员的手机，为实现此功能，告警单元可以包括一移动通信模块，用以与监控人员的手机进行通信。

通过以上实施例的描述可知，本发明实施例具有以下优点：

1)可以对不同系统，不规则的日志进行监控，克服了不规则日志因为不可读性，无法监控的问题。

2)具有自学习功能，不管后期日志如何增加，新上线不同的不规则日志，都可以通过已经发生的告警，监控起来，具有完全机器自学习的能力，完全不需要人工干预。

3)可以支持海量不同主机实时日志监控，流程清晰不复杂，系统实现容易，具有低成本高效用的优点。

实施例二

本发明实施例二提出一种日志告警监控系统，其可以用于实现本发明实施例一所述方法，图2为实施例二所述系统的结构示意图，参阅图2，实施例二所述系统包括：

监控单元，用于实时监控各主机系统的日志，并判断各主机系统的日志中是否出现预设关键字；

第一处理单元，用于根据上述判断的结果确定是否查询日志关键字告警表；若上述判断的结果为是，则确定出现预设关键字的日志所对应的主机系统名称，并根据该预设关键字和该主机系统名称查询所述日志关键字告警表；

第二处理单元，用于根据上述查询的结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则进行告警，否则，不告警。

其中，所述第一处理单元包括：

第一确定单元，用于根据所述监控单元的判断结果确定是否查询日志关键字告警表，若该判断结果为是，则确定出现预设关键字的日志所对应的主机系统名称；

查询单元，用于根据该预设关键字和该主机系统名称查询所述日志关键字告警表查询日志关键字告警表。

其中，所述第二处理单元包括：

第二确定单元，用于根据所述查询单元的查询结果确定是否进行告警；若所述出现预设关键字的日志所对应的主机系统名称与所述预设关键字在所述日志关键字告警表中为关联关系，则生成告警信号，否则，不生成告警信号；

告警单元，根据所述告警信号进行告警。

需说明的是，本实施例二所述系统与实施例一所述方法对应，因此，本实施例二所述系统未详述的部分可以参阅实施例一所述方法部分得到，此处不再赘述。

实施例三

本发明实施例三提出一种计算机可读存储介质，包括：计算机可执行指令，当所述计算机可执行指令被运行时用以执行实施例一所述日志告警监控方法。

需说明的是，基于本文内容，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)实现本发明各个实施例所述的方法/系统。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。