一种日志的监控方法及装置与流程

文档序号:18029284发布日期:2019-06-28 22:28阅读:593来源:国知局
一种日志的监控方法及装置与流程

本发明涉及数据处理技术领域,尤其涉及一种日志的监控方法及装置。



背景技术:

随着网络技术的不断发展,网络在生活中的应用也越来越广泛。通常情况下,网络运行过程中会产生大量的日志数据,而通过对日志的监控可以检测到异常数据,并根据异常数据查找推测可能存在的故障,因此确保日志数据的准确性和有效性至关重要。

然而,现有技术中通常是通过多种途径获取日志数据,由于用于采集日志的数据采集端较多,采集端的版本也很多,并且将采集到的这些数据直接汇总在数据处理端进行处理使用,因此无法保证使用的日志数据的准确性。



技术实现要素:

鉴于上述问题,本发明提供一种日志的监控方法及装置,主要目的在于通过在原始日志数据中对待监控关键词进行监控,以提高日志数据的准确性。

为解决上述技术问题,第一方面,本发明提供了一种日志的监控方法,该方法包括:

获取原始日志数据;

确定待监控关键词;

统计所述待监控关键词在所述原始日志数据中对应的频率值;

根据所述频率值判断所述待监控关键词是否存在异常;

若是,则输出告警信息。

可选的,所述方法还包括:

获取多条历史日志数据;

从所述历史日志数据中提取多个关键词,并统计每个所述关键词在各条所述历史日志数据中分别对应的频率值;

当所述关键词在所述各条所述历史日志数据中对应的频率值均不低于第一预设频率阈值且不超过第二预设频率阈值时,提取所述关键词,得到有效关键词。

可选的,所述方法还包括:

计算所述各个有效关键词的平均频率值;

根据所述各个有效关键词在各条所述历史日志数据中的频率值,提取与所述平均频率值相差最大的最大波动频率值;

利用所述最大波动频率值与所述平均频率值之间的差值除以所述平均频率值,得到与所述各个有效关键词对应的波动范围;

根据所述平均频率值和所述波动范围,计算与所述各个有效关键词分别对应的频率值范围。

可选的,所述根据所述频率值判断所述待监控关键词是否存在异常包括:

提取与所述待监控关键词对应的所述有效关键词;

检测所述待监控关键词的频率值是否在所述有效关键词的频率值范围内;

若是,则判断所述待监控关键词不存在异常;

否则,判断所述待监控关键存在异常。

可选的,所述方法还包括:

按照预置时间间隔对所述有效关键词进行更新。

第二方面,本发明还提供了一种日志的监控装置,该装置包括:

获取单元,用于获取原始日志数据;

确定单元,用于确定待监控关键词;

统计单元,用于统计所述待监控关键词在所述原始日志数据中对应的频率值;

判断单元,用于根据所述频率值判断所述待监控关键词是否存在异常;

输出单元,用于若是,则输出告警信息。

可选的,所述装置还包括:提取单元,

所述获取单元,还用于获取多条历史日志数据;

所述提取单元,还用于从所述历史日志数据中提取多个关键词;

所述统计单元,还用于统计每个所述关键词在各条所述历史日志数据中分别对应的频率值;

所述提取单元,还用于当所述关键词在所述各条所述历史日志数据中对应的频率值均不低于第一预设频率阈值且不超过第二预设频率阈值时,提取所述关键词,得到有效关键词。

可选的,所述装置还包括:计算单元,

所述计算单元,用于计算所述各个有效关键词的平均频率值;

所述提取单元,还用于根据所述各个有效关键词在各条所述历史日志数据中的频率值,提取与所述平均频率值相差最大的最大波动频率值;

所述计算单元,还用于利用所述最大波动频率值与所述平均频率值之间的差值除以所述平均频率值,得到与所述各个有效关键词对应的波动范围;

所述计算单元,还用于根据所述平均频率值和所述波动范围,计算与所述各个有效关键词分别对应的频率值范围。

可选的,所述判断单元包括:

提取模块,用于提取与所述待监控关键词对应的所述有效关键词;

检测模块,用于检测所述待监控关键词的频率值是否在所述有效关键词的频率值范围内;

第一判断模块,用于若所述待监控关键词的频率值在所述有效关键词的频率值范围内,则判断所述待监控关键词不存在异常;

第二判断模块,用于若所述待监控关键词的频率值不在所述有效关键词的频率值范围内,则判断所述待监控关键词存在异常。

可选的,所述装置还包括:

更新单元,用于按照预置时间间隔对所述有效关键词进行更新。

为了实现上述目的,根据本发明的第三方面,提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述所述的日志的监控方法。

为了实现上述目的,根据本发明的第四方面,提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述所述的日志的监控方法。

借由上述技术方案,本发明提供的日志的监控方法及装置,对于现有技术中使用的日志数据为通过多种途径获取的,由于数据采集端数量和版本都比较复杂且未对日志数据进行监控,从而使得数据的准确性无法得到保障,本发明通过获取原始日志数据,并根据不同的需求确定待监控关键词之后,统计需要监控的各个关键词在原始日志数据中对应的频率值,并根据得到的统计结果判断待监控关键词是否存在异常,并在关键词频率值存在异常的情况下输出报警信息,因此相比于现有技术,本发明能够在原始日志数据中对关键词频率进行统计并根据统计结果判断关键词是否存在异常,以确保之后使用的日志数据中不存在异常数据,从而提高了日志数据的准确性;此外,根据本发明的方法对日志数据进行监控,通过对用于衡量关键词是否异常的有效关键词及时进行更新,可以确保数据的时效性,从而可以更进一步的提高日志数据的准确性。

上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:

图1示出了本发明实施例提供的一种日志的监控方法流程图;

图2示出了本发明实施例提供的另一种日志的监控方法流程图;

图3示出了本发明实施例提供的一种日志的监控装置的组成框图;

图4示出了本发明实施例提供的另一种日志的监控装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。

为了提高日志数据的准确性,本发明实施例提供了一种日志的监控方法,如图1所示,该方法包括:

101、获取原始日志数据。

其中,所述原始日志数据为未经过任何处理措施的日志数据。具体地,可以通过服务器获取、后台接入、爬虫抓取等实施方式,本发明实施例对此不做具体限定。

需要说明的是,对于本发明实施例的执行主体可以为配置在服务器中用于对日志进行监控的装置,当装置检测到有日志数据输入时,说明此刻需要对日志数据中的关键词进行监控,触发获取指令,进而实现对原始日志数据中关键词的监控。

102、确定待监控关键词。

其中,所述待监控关键词可以为单独的一个词,也可以为多个词语的组合,例如待监控关键词可以为“北京卫视”,也可以为“湖南卫视、快乐大本营”,对此本发明实施例不做具体限定。

具体地,所述步骤102可以为根据不同的用户需求将用户需要进行监控的词语确定为待监控关键词,也可以为根据不用使用场合确定的一些具有代表性的关键词,本发明实施例对此不做具体限定。

103、统计所述待监控关键词在所述原始日志数据中对应的频率值。

其中,所述频率值可以为3、59、100等任意数值。具体地,本步骤可以通过统计函数进行统计,也可以通过爬虫进行抓取并计算各个关键词对应的频率值,本发明实施例不做具体限定。

进一步的,为了便于数据处理和使用,对于本发明实施例,在本步骤之后还可以包括将统计得到的各个关键词分别对应的频率值和关键词对应的保存在相应的数据表中,但不限于此。例如在原始日志数据中,统计得到待监控关键词1、待监控关键词2和待监控关键词3分别对应的频率值为22、18和74,则可以将统计结果保存在如表1所示的数据表中:

表1

通过将统计得到的频率值和关键词相应的保存在数据表中,可以使得在需要使用关键词频率值时可以直接在数据表中进行查找使用,避免在大量无序的数据中进行查找造成的浪费时间的问题,从而提高了数据处理的效率,进一步提高了日志监控的效率。

104、根据所述频率值判断所述待监控关键词是否存在异常。

其中,所述待监控关键词存在异常可以为关键词频率值突增或者突减等。具体地,本步骤可以利用比较函数将待监控关键词的频率值和预先设定的频率值进行比较,但不限于此。

105、若所述待监控关键词存在异常,则输出告警信息。

其中,所述告警信息可以为文字告警信息、图片告警信息、语音告警信息等,本发明实施例对此不做具体限定。

本发明实施例提供的日志的监控方法,对于现有技术中使用的日志数据为通过多种途径获取的,由于数据采集端数量和版本都比较复杂且未对日志数据进行监控,从而使得数据的准确性无法得到保障,本发明通过获取原始日志数据,并根据不同的需求确定待监控关键词之后,统计需要监控的各个关键词在原始日志数据中对应的频率值,并根据得到的统计结果判断待监控关键词是否存在异常,并在关键词频率值存在异常的情况下输出报警信息,因此相比于现有技术,本发明能够在原始日志数据中对关键词频率进行统计并根据统计结果判断关键词是否存在异常,以确保之后使用的日志数据中不存在异常数据,从而提高了日志数据的准确性;此外,根据本发明的方法对日志数据进行监控,通过对用于衡量关键词是否异常的有效关键词及时进行更新,可以确保数据的时效性,从而可以更进一步的提高日志数据的准确性。

进一步的,作为对图1所示实施例的细化及扩展,本发明实施例还提供了另一种日志的监控方法,如图2所示。

201、获取多条历史日志数据。

其中,所述多条历史日志数据可以为预置历史时间段内的历史日志数据,而每条历史日志数据可以为以预置时间周期进行划分,每个时间周期内的日志数据为一条数据,但不限于此。例如,获取过去1个月内的历史日志数据,并按照时间周期“天”进行划分,将每天的日志数据作为一条历史日志数据。

202、从所述历史日志数据中提取多个关键词,并统计每个所述关键词在各条所述历史日志数据中分别对应的频率值。

其中,所述关键词可以为根据不同的应用场景选择的具有代表性的关键词,也可以为按照预置算法进行随机提取关键词,例如对于播放日志可以提取关键词新闻、娱乐、黑龙江卫视等,并且如上述步骤102中所述,提取的关键词可以为一个词语,也可以为多个词组的组合,本发明实施例对此不做具体限定。

此外,本步骤中所述的各个关键词在各条日志数据中的频率值可以为0、14、288等任意自然数值,当某个关键词在某条目志数据中的频率值为0时,表明在该条日志数据中不存在该关键词。而具体地,可以通过查询函数在各条日志数据中进行查询并统计各个关键词的频率值,也可以通过爬虫在日志数据中抓取的方式,本发明实施例对此不做具体限定。

203、当所述关键词在所述各条所述历史日志数据中对应的频率值均不低于第一预设频率阈值且不超过第二预设频率阈值时,提取所述关键词。

进一步地,得到有效关键词。其中,所述第一预设频率阈值和第二预设频率阈值可以根据不同关键词的实际情况进行设定,本发明实施例不做具体限定。本步骤中通过提取各条日志数据中均存在的、且在每条日志数据中的频率值相差在一定范围内的关键词,实现对关键词的筛选,并将筛选出的这一类关键词确定为有效关键词。

例如,获取到过去一周时间内的7条历史播放日志数据,在这7条历史自然数日志数据中提取关键词综艺、新闻和娱乐并统计这三个关键词分别对应的频率值,得到如下表2所示的结果:

表2

其中,关键词“综艺”在第2条播放历史日志数据中没有出现,并且关键词“新闻”在这7条日志数据中出现的频率相差较大,所以对这三个关键词筛选的结果为,将关键词“娱乐”确定为有效关键词。

进一步的,在所述步骤203之后所述方法还包括:计算所述各个有效关键词的平均频率值;根据所述各个有效关键词在各条所述历史日志数据中的频率值,提取与所述平均频率值相差最大的最大波动频率值;利用所述最大波动频率值与所述平均频率值之间的差值除以所述平均频率值,得到与所述各个有效关键词对应的波动范围;根据所述平均频率值和所述波动范围,计算与所述各个有效关键词分别对应的频率值范围。

如上述有效关键词“娱乐”,根据该关键词在7条历史日志数据中的频率计算其平均频率值为(56+50+50+54+50+55+56)/7=53,提取与该平均频率值相差最大的最大波动频率值为50或56,所以根据最大波动频率值和平均频率值计算得到波动范围(56-53)53=5.7%,所以有效关键词“娱乐”对应的频率值范围53±53*5.7%=50~56。需要说明的是,在实际应用场景中,可以根据实际情况对计算得到的波动范围进行适当调整,以便于提高日志数据的准确率或者容错能力。

对于本发明实施例,通过统计历史时间段内的多条日志数据中各个关键词的频率值,并在筛选得到有效关键词后,计算各个关键词的平均频率值和波动范围,进而计算得到各个有效关键词的频率值范围,以便于在判断待监控关键词是否异常时可以直接进行比较判断,提高了待监控关键词判断的效率,进而提高了日志监控的效率。

204、获取原始日志数据。

其中,本步骤中所述的原始日志数据概念解释以及具体实施方式参考所述步骤101中相应描述,在此不再赘述。

205、确定待监控关键词。

其中,所述待监控关键词的概念解释可以参考所述步骤102中相应描述,在此不再赘述。

需要说明的是,对于本发明实施例,上述获取原始日志数据的步骤和本步骤中确定待监控关键词的先后顺序可以互换,也可以同时执行。

206、统计所述待监控关键词在所述原始日志数据中对应的频率值。

具体地,本步骤相应的概念解释和实施方式均与所述步骤103中相同,在此不再赘述。

207、提取与所述待监控关键词对应的所述有效关键词。

其中,所述与待监控关键词对应的有效关键词可以为与待监控关键词完全相同的关键词,也可以为包含有待监控关键词的关键词组合等。具体的,可以根据关键词标识进行提取,也可以根据查询函数进行查询提取等。对于本发明实施例,在对各个有效关键词对应的频率值范围计算完成后,可以将各个有效关键词和有效关键词对应的频率值范围保存在数据表中,从而在本步骤需要提取与待监控关键词对饮的有效关键词时,可以直接在数据表中进行查找提取和使用,例如,根据关键词对应的字符串,利用正则表达式在保存有全部有效关键词和有效关键词的频率范围的数据表中进行查找提取,得到与待监控关键词对应的有效关键词。通过直接在保存有有效关键词的数据表中直接查询使用数据,避免了在大量无序的数据中进行查找提取造成的浪费时间的问题,从而提高了数据处理的效率,进而提高了日志监控的效率。

208、检测所述待监控关键词的频率值是否在所述有效关键词的频率值范围内。

对于本发明实施例,由于有效关键词的频率范围是根据大量历史日志数据统计得到的,从而通过将待监控关键词的频率值与有效关键词的频率范围进行比对,可以准确的衡量待监控关键词的出现频率是否属于正常情况,从而可以实现对原始日志数据进行监控。

209a、若是,则判断所述待监控关键词不存在异常。

对于本发明实施例,当存在多个待监控关键词时,若判断一个待监控关键词不存在异常,此时则触发对下一个待监控关键词的监测,直至所有的待监控关键词全部判断完毕。

与所述步骤209a并列的步骤209b、否则,判断所述待监控关键存在异常。

如上述步骤所述,当待监控关键词的频率值不在统计得到的有效关键词的频率范围内时,表明该情况不符合通常情况下的频率值规律,从而将该待监控关键词确定为异常关键词。

对于本发明实施例,通过统计原始日志数据中待监控关键的频率值,并将该频率值与预先筛选得到的有效关键词的频率范围进行比对,从而待监控关键词的频率值是否在该频率范围内判断关键词是否存在异常,可以准确的对原始数据进行监控,以便于在发现关键词异常时及时发现,确保后续使用的日志数据的准确性。

在所述步骤209b之后执行步骤210b、若是,则输出告警信息。

其中,所述告警信息的概念解释可以参考所述步骤105中的相应描述,在此不再赘述。

为了进一步提高日志监控的准确性,所述方法还可以包括:按照预置时间间隔对所述有效关键词进行更新。其中,所述预置时间间隔可以为一个星期、一个月或者6个月等,本发明实施例对此不做具体限定。对于本发明实施例,通过对用于衡量关键词是否异常的有效关键词及时进行更新,可以确保数据的时效性,从而可以更进一步的提高日志数据的准确性。

进一步的,根据步骤201-210b所述的方法,本发明实施例还可以提供一结合具体的应用场景下监控日志的实施方式,所述实施过程分为五个执行步骤,具体的,如下所述:

第一步、设定每天的日志数据为一条日志数据,从数据库中获取过去一个月时间内的30条历史日志数据,提取到的关键词为关键词1、关键词2……关键词10等十个关键词,统计在30条日志数据中这10个关键词分别对应的频率值。

第二步、通过筛选条件每条日志数据中均存在的、且在各条日志数据中对应的频率值相差不大的关键词,对10个关键词进行筛选,最终得到用于衡量待监控关键词是否异常的有效关键词为关键词2、关键词5和关键词9三个关键词。

第三步、依次根据这三个有效关键词在30条日志数据中的频率值计算这三个有效关键词的平均频率值,并提取各个有效关键词与平均频率值相差最大的频率值计算波动范围,再进一步根据平均频率值和波动范围确定各个有效关键词的频率范围。

第四步、获取原始日志数据,并统计确定的待监控关键词a在该原始日志数据中对应的频率值为12,利用查询函数在保存有有效关键词的数据表中查询并提取与待监控关键词a对应的有效关键词2。

第五步、根据数据表中记录的有效关键词2对应的频率范围,32~34,由于待监控关键词a的频率值12不在该频率范围内,所以判断关键词a存在异常,输出包含有“关键词a数据异常”的文字告警信息。

但需要说明的是,上述应用场景所述的具体实施方式仅仅是示例性的,并非本发明实施例的唯一具体实施方式,在此仅为符合本发明所述的方法的优化实施方式之一。

进一步的,作为对上述图1所示方法的实现,本发明实施例还提供了一种日志的监控装置,用于对上述图1所示的方法进行实现。该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图3所示,该装置包括:获取单元31、确定单元32、统计单元33、判断单元34、输出单元35,其中

获取单元31,可以用于获取原始日志数据。

确定单元32,可以用于确定待监控关键词。

统计单元33,可以用于统计所述确定单元32确定的待监控关键词在所述获取单元31获取到的原始日志数据中对应的频率值;

判断单元34,可以用于根据所述统计单元33统计得到的频率值判断所述待监控关键词是否存在异常;

输出单元35,可以用于若所述判断单元34判断所述待监控关键词存在异常,则输出告警信息。

进一步的,作为对上述图2所示方法的实现,本发明实施例还提供了另一种日志的监控装置,用于对上述图2所示的方法进行实现。该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图4所示,该装置包括:获取单元41、确定单元42、统计单元43、判断单元44、输出单元45,其中

获取单元41,可以用于获取原始日志数据。

确定单元42,可以用于确定待监控关键词。

统计单元43,可以用于统计所述确定单元42确定的待监控关键词在所述获取单元41获取到的原始日志数据中对应的频率值;

判断单元44,可以用于根据所述统计单元43统计得到的频率值判断所述待监控关键词是否存在异常;

输出单元45,可以用于若所述判断单元44判断所述待监控关键词存在异常,则输出告警信息。

进一步的,所述装置还包括:提取单元46。

所述获取单元41,还可以用于获取多条历史日志数据。

所述提取单元46,可以用于从所述历史日志数据中提取多个关键词。

所述统计单元43,还可以用于统计每个所述关键词在各条所述历史日志数据中分别对应的频率值。

进一步的,所述装置还包括:计算单元47。

所述提取单元46,还可以用于当所述关键词在所述各条所述历史日志数据中对应的频率值均不低于第一预设频率阈值且不超过第二预设频率阈值时,提取所述关键词。

所述计算单元47,可以用于计算所述各个有效关键词的平均频率值。

所述提取单元46,还可以用于根据所述各个有效关键词在各条所述历史日志数据中的频率值,提取与所述平均频率值相差最大的最大波动频率值。

所述计算单元47,还可以用于利用所述最大波动频率值与所述平均频率值之间的差值除以所述平均频率值,得到与所述各个有效关键词对应的波动范围。

计算单元47,还可以用于根据所述平均频率值和所述波动范围,计算与所述各个有效关键词分别对应的频率值范围。

进一步的,所述装置还包括:检测单元48、判断单元49

所述提取单元46,还可以用于提取与所述待监控关键词对应的所述有效关键词。

所述检测单元48,还可以用于检测所述待监控关键词的频率值是否在所述有效关键词的频率值范围内。

所述判断单元49,可以用于若所述待监控关键词的频率值在所述有效关键词的频率值范围内,则判断所述待监控关键词不存在异常。

所述判断单元49,还可以用于否则,判断所述待监控关键存在异常。

本发明实施例提供的另一种日志的监控装置。所述装置包括:获取单元、确定单元、统计单元、判断单元及输出单元。对于现有技术中使用的日志数据为通过多种途径获取的,由于数据采集端数量和版本都比较复杂且未对日志数据进行监控,从而使得数据的准确性无法得到保障,本发明通过获取原始日志数据,并根据不同的需求确定待监控关键词之后,统计需要监控的各个关键词在原始日志数据中对应的频率值,并根据得到的统计结果判断待监控关键词是否存在异常,并在关键词频率值存在异常的情况下输出报警信息,因此相比于现有技术,本发明能够在原始日志数据中对关键词频率进行统计并根据统计结果判断关键词是否存在异常,以确保之后使用的日志数据中不存在异常数据,从而提高了日志数据的准确性;此外,根据本发明的方法对日志数据进行监控,通过对用于衡量关键词是否异常的有效关键词及时进行更新,可以确保数据的时效性,从而可以更进一步的提高日志数据的准确性。

所述文本处理装置包括处理器和存储器,上述获取单元41、确定单元42、统计单元43、判断单元44、输出单元45等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提高日志数据监控的准确性。

存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flashram),存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述日志的监控方法。

本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述日志的监控方法。

本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:获取原始日志数据;确定待监控关键词;统计所述待监控关键词在所述原始日志数据中对应的频率值;根据所述频率值判断所述待监控关键词是否存在异常;若是,则输出告警信息。

进一步的,所述方法还包括:

获取多条历史日志数据;

从所述历史日志数据中提取多个关键词,并统计每个所述关键词在各条所述历史日志数据中分别对应的频率值;

当所述关键词在所述各条所述历史日志数据中对应的频率值均不低于第一预设频率阈值且不超过第二预设频率阈值时,提取所述关键词,得到有效关键词。

进一步的,所述方法还包括:

计算所述各个有效关键词的平均频率值;

根据所述各个有效关键词在各条所述历史日志数据中的频率值,提取与所述平均频率值相差最大的最大波动频率值;

利用所述最大波动频率值与所述平均频率值之间的差值除以所述平均频率值,得到与所述各个有效关键词对应的波动范围;

根据所述平均频率值和所述波动范围,计算与所述各个有效关键词分别对应的频率值范围。

进一步的,所述根据所述频率值判断所述待监控关键词是否存在异常包括:

提取与所述待监控关键词对应的所述有效关键词;

检测所述待监控关键词的频率值是否在所述有效关键词的频率值范围内;

若是,则判断所述待监控关键词不存在异常;

否则,判断所述待监控关键存在异常。

进一步的,所述方法还包括:

按照预置时间间隔对所述有效关键词进行更新。

本发明实施例中的设备可以是服务器、pc、pad、手机等。

本发明实施例还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:获取原始日志数据;确定待监控关键词;统计所述待监控关键词在所述原始日志数据中对应的频率值;根据所述频率值判断所述待监控关键词是否存在异常;若是,则输出告警信息。

进一步的,所述方法还包括:

获取多条历史日志数据;

从所述历史日志数据中提取多个关键词,并统计每个所述关键词在各条所述历史日志数据中分别对应的频率值;

当所述关键词在所述各条所述历史日志数据中对应的频率值均不低于第一预设频率阈值且不超过第二预设频率阈值时,提取所述关键词,得到有效关键词。

进一步的,所述方法还包括:

计算所述各个有效关键词的平均频率值;

根据所述各个有效关键词在各条所述历史日志数据中的频率值,提取与所述平均频率值相差最大的最大波动频率值;

利用所述最大波动频率值与所述平均频率值之间的差值除以所述平均频率值,得到与所述各个有效关键词对应的波动范围;

根据所述平均频率值和所述波动范围,计算与所述各个有效关键词分别对应的频率值范围。

进一步的,所述根据所述频率值判断所述待监控关键词是否存在异常包括:

提取与所述待监控关键词对应的所述有效关键词;

检测所述待监控关键词的频率值是否在所述有效关键词的频率值范围内;

若是,则判断所述待监控关键词不存在异常;

否则,判断所述待监控关键存在异常。

进一步的,所述方法还包括:

按照预置时间间隔对所述有效关键词进行更新。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器

(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1