一种基于web日志的网站可用性告警方法及其系统与流程

本发明是关于网站可用性监测领域，特别涉及一种基于web日志的网站可用性告警方法及其系统。

背景技术：

政府的电子政务网络是一个大规模异构的复杂业务专用网络，不仅支持了各部门的各类应用系统，而且承载了多种国家公共基础信息数据库，为社会各行业提供公共基础数据的支持。电子政务网作为政府机关的基础信息设施，直接关系到社会安全和稳定。

网站可用性是电子政务网站访问的重要指标之一，表示在一段时间内，网站处于“正常状态”的机率。随着我国电子政务的建设发展，政府网站用户量的增加，政府网站可用性这一常见问题将逐渐成为政府网站日常管理工作重点之一。

在现有技术中，由于对网站可用性监测告警的不够重视，目前的可用性监测技术较为简单。目前的技术，主要通过可用性监测线路侦测方式对网站进行监测。比如专利“一种网站可用性监控系统及方法(cn201710893911.5)”、专利“基于多线路监测的网站可用性告警方法、装置及电子设备(cn201710932123.2)”、专利“一种监测网站可用性的方法(cn201710763416.2)”等，大多是在描述如何通过线路监测。但是在在监测线路由于网络波动等原因的不稳定场景下，导致其错误率、误报率、漏报率都非常高；同时，这个告警的误报问题不解决，导致网站维护人员对告警信息的不重视，短信疲劳。

目前，还没有很好的技术方案来满足人们对目前网站可用性告警的需求。

技术实现要素：

本发明的主要目的在于克服现有技术中的不足，提供一种相对稳定、准确度高的网站可用性监测告警技术方案。为解决上述技术问题，本发明的解决方案是：

提供一种基于web日志的网站可用性告警方法，具体包括下述步骤：

(1)建立可用性管理平台，设置告警字段及阈值；

(2)(通过syslog方式)实时采集web服务器的访问日志，并在本地利用分析模块对访问日志进行解析，将解析得到的字段与可用性告警管理平台的告警字段进行匹配，并利用告警阈值判定该地区该网站是否存在异常；

分析模块将分析结果上传给可用性管理平台；

所述分析模块在客户本地搭建，用于进行访问日志解析；

(3)可用性管理平台针对分析模块上传的分析结果(即判定的异常)产生新告警，并通过告警服务器进行告警；

(4)根据分析模块上传的分析结果，可用性管理平台提供数据统计报表。

在本发明中，所述步骤(1)中，告警字段包括域名、访问区域、http状态码和访问url；

其中，所述访问区域的告警阈值是指在该访问区域中无法访问的占比阈值(如当浙江区域无法访问占比多少进行告警)；所述http状态码的告警阈值是指5xx类状态码的占比阈值；所述访问url的告警阈值是指网站首页无法访问的占比阈值(如当首页无法访问占比多少进行告警)。

在本发明中，所述步骤(1)中，可用性管理平台还设置有告警时间段、告警联系人和告警方式。

在本发明中，所述步骤(2)中，分析模块进行网站异常判定的方法，具体如下：

分析模块对访问日志进行解析，解析得到的字段包括：访问时间、网站域名、源ip地址、http状态码和访问区域；

分析模块调用可用性告警管理平台，并根据预设告警字段进行分析：当解析得到的字段匹配告警字段，并超出对应的告警阈值时，则判定该地区该网站存在异常。

在本发明中，所述步骤(3)中，告警方式具体为：

根据可用性管理平台预设好的告警时间段、告警联系人和告警方式，针对分析模块上传的分析结果产生新告警，并通过告警服务器进行告警；

所述告警服务器是指用于根据可用性管理平台预设好的告警联系人、告警时间段及告警方式，对告警联系人在告警时间段内，按告警方式进行告警的服务器。

在本发明中，所述步骤(3)中，告警服务器针对新告警，先匹配告警时间段：

当不符合告警时间时，则将该告警存储在可用性管理平台的网站报告中，当符合告警时间后，再进行告警；

当符合告警时间时，则将该告警按预设的告警方式，发送给告警联系人；

所述告警方式包括短信、邮件。

在本发明中，根据分析模块上传的分析结果，可用性管理平台提供数据统计报表：

可用性管理平台通过分析字段提供数据统计报表，数据统计报表中包括告警统计、访问源异常地区排行统计、业务耗时趋势图和异常状态码走势曲线；且能在可用性管理平台将数据统计报表中的图表，导出为需要的格式。

提供一种存储设备，其中存储有多条指令，所述指令适用于由处理器加载并执行：上述一种基于web日志的网站可用性告警方法。

提供一种基于web日志的网站可用性告警系统，包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适用于由处理器加载并执行：上述一种基于web日志的网站可用性告警方法。

本发明的核心技术思路是：通过syslog方式实时收集网站本身的访问日志，在客户本地进行日志解析，深入分析，并将分析后的数据进行汇总后，由管理系统预设的告警阈值判定网站可用性的异常情况，并可以根据不同的告警对象选择不同的告警策略。

与现有技术相比，本发明的有益效果是：

本发明通过收集网站的访问日志进行告警，有效地解决了原先线路不稳定造成的误报、漏报问题，同时克服了云端到客户服务器之间的稳定性问题。本发明的告警时间能够自定义，防止打扰休息。

附图说明

图1为本发明的工作流程图。

具体实施方式

首先需要说明的是，本发明是计算机技术在网站可用性监测技术领域的一种应用。在本发明的实现过程中，会涉及到多个软件功能模块的应用。申请人认为，如在仔细阅读申请文件、准确理解本发明的实现原理和发明目的以后，在结合现有公知技术的情况下，本领域技术人员完全可以运用其掌握的软件编程技能实现本发明。凡本发明申请文件提及的均属此范畴，申请人不再一一列举。

下面结合附图与具体实施方式对本发明作进一步详细描述：

如图1所示的一种基于web日志的网站可用性告警方法，对比传统的网站可用性监测告警技术，主要目的在于克服线路稳定性的问题以及云端到客户服务器之间的稳定性。

该种基于web日志的网站可用性告警方法具体包括下述步骤：

(1)建立可用性管理平台，设置告警字段及阈值，并设置告警时间段、告警联系人和告警方式。

所述告警字段及阈值包括：域名、访问区域和访问区域对应的阈值、http状态码和5xx状态码比例、访问url和url对应的阈值。

(2)通过syslog方式实时采集web服务器的访问日志，并实时发送到在客户本地搭建的分析模块，对访问日志进行解析，得到下述字段：访问时间、网站域名、源ip地址、http状态码和访问区域。

然后分析模块调用可用性告警管理平台，并根据预设告警字段进行多维度分析：当解析得到的字段匹配告警字段，并超出对应的告警阈值时，则判定该地区该网站存在异常。比如设定分析某个域名在5分钟内的所有访问日志，通过计算网站的http状态码：404、408、500、502、503、504、505，结合可用性管理平台设置的告警阈值：选取北京区域、访问量中5xx占比大于20％，即可判定该地区该网站存在异常。

分析模块将分析结果上传给可用性管理平台。

(3)根据可用性管理平台预设好的告警时间段、告警联系人和告警方式，针对分析模块上传的分析结果(即判定的异常)产生新告警，并通过告警服务器进行告警。

告警服务器针对新告警，会先匹配告警时间段(告警时间段选择，0点至24点)：

当不符合告警时间时，则将该告警存储在可用性管理平台的网站报告中，当符合告警时间后，再进行告警；

当符合告警时间时，则将该告警按预设的告警方式，发送给告警联系人；告警方式包括短信、邮件等形式。

(4)根据分析模块上传的分析结果，可用性管理平台通过分析字段，提供数据统计报表。数据统计报表中包括告警统计、访问源异常地区排行统计、业务耗时趋势图和异常状态码走势曲线。在可用性管理平台将数据统计报表中的图表，能够按用户需要导出为需要的格式。

最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。