一种网站访问异常监控方法、装置和介质与流程

文档序号:15296735发布日期:2018-08-31 19:27阅读:196来源:国知局

本发明涉及计算机技术领域,尤其涉及一种网站访问异常监控方法、装置和介质。



背景技术:

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

网站(website)是指在因特网上根据一定的规则,使用html(hypertextmarkuplanguage,超文本标记语言)等工具制作的用于展示特定内容相关网页的集合。简单地说,网站是一种沟通工具,人们可以通过网站来发布自己想要公开的资讯,或者利用网站来提供相关的网络服务。人们可以通过网页浏览器来访问网站,获取自己需要的资讯或者使用网站提供的服务。

如果网站由于某种原因无法访问或者访问延迟,将会对网站运营一方造成巨大的损失。所以迫切需要一种灵活可配置的全站监控系统,来实时监控网站各页面的稳定性,当网站出现异常时,能第一时间进行预警。

但是现有的网站监控系统,大多只能监控首页的访问异常情况,而对于二、三级页面或者更深层级页面无法监控其稳定性,这就导致当网站某些深层级页面出现访问异常情况时,系统无法识别。



技术实现要素:

本发明实施例提供一种网站访问异常监控方法、装置和介质,用以实现对网站各级页面的全面监控,提高网站访问异常监控的有效性。

第一方面,提供一种网站访问异常监控方法,包括:

根据预先设置的网站首页地址和网页监控深度,分别向每一级网站页面发送探测访问请求;

分别接收每一级网站页面返回的响应消息;

根据所述响应消息判断是否存在网站访问异常;

如果判断出存在网站访问异常,则提示告警信息。

可选地,所述响应消息中包括有页面状态码;以及

根据所述响应消息判断是否存在网站访问异常,具体包括:

根据所述页面状态码判断是否存在网站访问异常。

可选地,根据所述页面状态码判断是否存在网站访问异常之后,还包括:

针对每一级网站页面,根据该级网站页面返回的页面状态码确定该级网站页面对应的错误类型;

对不同页面对应的错误类型进行归类。

可选地,在向每一级网站页面发送探测访问请求的同时,还包括:

针对每一级网站页面启动计时器;以及

针对每一级网站页面,在接收到该级网站页面返回的响应消息的同时停止计时;以及

所述方法,还包括:

如果根据所述响应消息判断出不存在网站访问异常,则针对每一级网站页面,判断该级网站页面对应的计时器的计时时长是否超过预设阈值;

如果判断出任一级网站页面对应的计时器的计时时长超过预设阈值,则确定存在网站访问异常。

可选地,如果判断出存在网站访问异常,则所述方法还包括:

根据预先设置的电子邮件地址,向相应的电子邮件地址发送告警邮件;和/或

根据预先设置的通信号码,向相应的通信号码发送告警短信。

第二方面,提供一种网站访问异常监控装置,包括:

第一发送单元,用于根据预先设置的网站首页地址和网页监控深度,分别向每一级网站页面发送探测访问请求;

接收单元,用于分别接收每一级网站页面返回的响应消息;

判断单元,用于根据所述响应消息判断是否存在网站访问异常;

告警单元,用于如果所述告警单元判断出存在网站访问异常,则提示告警信息。

可选地,所述响应消息中包括有页面状态码;

所述判断单元,具体用于根据所述页面状态码判断是否存在网站访问异常。

可选地,网站访问异常监控装置,还包括:

确定单元,用于针对每一级网站页面,根据该级网站页面返回的页面状态码确定该级网站页面对应的错误类型;

归类单元,用于对不同页面对应的错误类型进行归类。

可选地,网站访问异常监控装置,还包括计时器单元,其中:

所述计时器单元,用于在所述发送单元一级网站页面发送探测访问请求的同时,针对每一级网站页面启动计时器;以及针对每一级网站页面,在接收到该级网站页面返回的响应消息的同时停止计时;

所述判断单元,还用于如果根据所述响应消息判断出不存在网站访问异常,则针对每一级网站页面,判断该级网站页面对应的计时器的计时时长是否超过预设阈值;以及如果判断出任一级网站页面对应的计时器的计时时长超过预设阈值,则确定存在网站访问异常。

可选地,网站访问异常监控装置,还包括:

第二发送单元,用于如果所述判断单元判断出存在网站访问异常,则根据预先设置的电子邮件地址,向相应的电子邮件地址发送告警邮件;和/或根据预先设置的通信号码,向相应的通信号码发送告警短信。

第三方面,提供一种计算装置,包括至少一个处理单元、以及至少一个存储单元,其中,所述存储单元存储有计算机程序,当所述程序被所述处理单元执行时,使得所述处理单元执行上述任一方法所述的步骤。

第四方面,提供一种计算机可读介质,其存储有可由计算装置执行的计算机程序,当所述程序在计算装置上运行时,使得所述计算装置执行上述任一方法所述的步骤。

本发明实施例提供的网站访问异常监控方法、装置和介质,根据预先设置网站首页地址和网页监控深度分别向每一级页面发送探测访问请求,根据每一级页面返回的响应消息判断是否存在网站访问异常,在增加了网站访问异常监控的覆盖范围的同时,兼顾了网站访问异常监控效率,提高了网站访问异常监控的有效性。

本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1为根据本发明实施例的网站访异常监控方法的实施流程示意图;

图2为根据本发明实施例的网站访异常监控装置的结构示意图;

图3为根据本发明实施例的计算装置的结构示意图。

具体实施方式

为了实现对网站各级页面的全面监控,提高网站访问异常监控的有效性,本发明实施例提供了一种网站访问异常监控方法、装置和介质。

以下结合说明书附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明,并且在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。

如图1所示,其为本发明实施例提供的网站访问异常监控方法的实施流程示意图,可以包括以下步骤:

s11、根据预先设置的网站首页地址和网页监控深度,分别向每一级网站页面发送探测访问请求。

为了实现对各级网站页面的访问异常监控,本发明实施例中,可以部署分布式爬虫系统,对监控网站进行分布式采集。具体实施时,为了实现为网站各级页面的监控。用户需要首选定义网站相关信息,包括监控网站的首页地址,网页监控深度,通过设置网页监控深度,可以防止网页监控深度过浅无法达到有效监控的目的,网页监控过深则可能导致监控效率较低以及服务器压力过大等,因此,用户可以根据实际需要设置网页监控深度,本发明实施例对此不进行限定。

根据用户设置的网站首页地址和网页监控深度,分别向每一级网站页面发送探测访问请求,然后等待相应的网站页面返回的响应消息。

s12、分别接收每一级网站页面返回的响应消息。

s13、根据所述响应消息判断是否存在网站访问异常,如果是,执行步骤s14,否则,执行步骤s11。

具体实施时,如果判断出网站访问异常,则执行步骤s14,否则,继续监控。例如,可以按照设置的周期,向每一级网站页面分别发送探测访问请求。

s14、提示告警信息。

其中,在网站页面返回的响应消息中包含有页面状态码,不同的页面状态码对应于不同的页面状态,例如,页面状态码404表示原始网页的url(统一资源定位符)失效,比如网页url生成规则改变、网页文件更名或移动位置、导入链接拼写错误等,导致原来的url地址无法访问;当web服务器接到类似请求时,会返回一个404状态码,告诉浏览器要请求的资源并不存在。页面状态码500码表示网站服务器内部错误,页面状态码200表示成功等等,根据页面状态码可以便可以判断出是否存在网站访问异常。

进一步地,本发明实施例中,针对每一级网站页面,根据该级网站页面返回的页面状态码确定该级网站页面对应的错误类型;对不同页面对应的错误类型进行归类,这样,用户可以针对不同的类型的错误分别进行相应的处理。

页面响应时间也是衡量网站访问是否异常的一个重要监控指标,而现有技术中并没有针对这个指标进行监控。有鉴于此,本发明实施例中,在向每一级网站页面发送探测访问请求的同时,还包括:针对每一级网站页面启动计时器;以及针对每一级网站页面,在接收到该级网站页面返回的响应消息的同时停止计时。如果根据所述响应消息判断出不存在网站访问异常,则针对每一级网站页面,判断该级网站页面对应的计时器的计时时长是否超过预设阈值;如果判断出任一级网站页面对应的计时器的计时时长超过预设阈值,则确定存在网站访问异常。由此,本发明实施例实现了对响应时间较长的页面的监控处理。

特别地,具体实施时,在判断出存在网站访问异常时,还可以根据预先设置的电子邮件地址,向相应的电子邮件地址发送告警邮件;和/或根据预先设置的通信号码,向相应的通信号码发送告警短信,以提示用户及时处理。例如,对于非重要页面的访问异常,可以通过邮件通知用户,而对于重要页面的访问异常,则可以通过短信通知用户。

本发明实施例中采用宽度优先策略进行抓取,当达到设定的深度时不再继续深入抓取,同时,还可以部署去重数据库,对抓取过的网站页面进行去重处理,防止对网站页面的重复抓取。

本发明实施例提供的网站访问异常监控方法,根据预先设置网站首页地址和网页监控深度分别向每一级页面发送探测访问请求,根据每一级页面返回的响应消息判断是否存在网站访问异常,在增加了网站访问异常监控的覆盖范围的同时,兼顾了网站访问异常监控效率,提高了网站访问异常监控的有效性。同时,本发明实施例还提提供了一种访问延迟的监控处理方法,以使用户对于访问延迟问题及时处理。

基于同一发明构思,本发明实施例中还提供了一种网站访问异常监控装置,由于上述装置解决问题的原理与网站访问异常监控方法相似,因此上述装置的实施可以参见方法的实施,重复之处不再赘述。

如图2所示,其为本发明实施例提供的网站访问异常监控装置的结构示意图,可以包括:

第一发送单元21,用于根据预先设置的网站首页地址和网页监控深度,分别向每一级网站页面发送探测访问请求;

接收单元22,用于分别接收每一级网站页面返回的响应消息;

判断单元23,用于根据所述响应消息判断是否存在网站访问异常;

告警单元24,用于如果所述告警单元判断出存在网站访问异常,则提示告警信息。

可选地,所述响应消息中包括有页面状态码;

所述判断单元,具体用于根据所述页面状态码判断是否存在网站访问异常。

可选地,网站访问异常监控装置,还包括:

确定单元,用于针对每一级网站页面,根据该级网站页面返回的页面状态码确定该级网站页面对应的错误类型;

归类单元,用于对不同页面对应的错误类型进行归类。

可选地,网站访问异常监控装置,还包括计时器单元,其中:

所述计时器单元,用于在所述发送单元一级网站页面发送探测访问请求的同时,针对每一级网站页面启动计时器;以及针对每一级网站页面,在接收到该级网站页面返回的响应消息的同时停止计时;

所述判断单元,还用于如果根据所述响应消息判断出不存在网站访问异常,则针对每一级网站页面,判断该级网站页面对应的计时器的计时时长是否超过预设阈值;以及如果判断出任一级网站页面对应的计时器的计时时长超过预设阈值,则确定存在网站访问异常。

可选地,网站访问异常监控装置,还包括:

第二发送单元,用于如果所述判断单元判断出存在网站访问异常,则根据预先设置的电子邮件地址,向相应的电子邮件地址发送告警邮件;和/或根据预先设置的通信号码,向相应的通信号码发送告警短信。

为了描述的方便,以上各部分按照功能划分为各模块(或单元)分别描述。当然,在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

在介绍了本发明示例性实施方式的网站访问异常监控方法和装置之后,接下来,介绍根据本发明的另一示例性实施方式的计算装置。

所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中,根据本发明的计算装置可以包括至少一个处理单元、以及至少一个存储单元。其中,所述存储单元存储有程序代码,当所述程序代码被所述处理单元执行时,使得所述处理单元执行本说明书上述描述的根据本发明各种示例性实施方式的网站访问异常监控方法中的步骤。例如,所述处理单元可以执行如图1中所示的步骤s11、根据预先设置的网站首页地址和网页监控深度,分别向每一级网站页面发送探测访问请求,和步骤s12、分别接收每一级网站页面返回的响应消息,以及步骤s13、根据所述响应消息判断是否存在网站访问异常,如果是,执行步骤s14,否则,执行步骤s11;以及步骤s14、提示告警信息。

下面参照图3来描述根据本发明的这种实施方式的计算装置30。图3显示的计算装置30仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。

如图3所示,计算装置30以通用计算设备的形式表现。计算装置30的组件可以包括但不限于:上述至少一个处理单元31、上述至少一个存储单元32、连接不同系统组件(包括存储单元32和处理单元31)的总线33。

总线33表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储单元32可以包括易失性存储器形式的可读介质,例如随机存取存储器(ram)321和/或高速缓存存储器322,还可以进一步包括只读存储器(rom)323。

存储单元32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325,这样的程序模块324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算装置30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与计算装置30交互的设备通信,和/或与使得该计算装置30能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口35进行。并且,计算装置30还可以通过网络适配器36与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图所示,网络适配器36通过总线33与用于计算装置30的其它模块通信。应当理解,尽管图中未示出,可以结合计算装置30使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

在一些可能的实施方式中,本发明提供的网站访问异常监控方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在计算机设备上运行时,所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的网站访问异常监控方法中的步骤,例如,所述计算机设备可以执行如图1中所示的步骤s11、根据预先设置的网站首页地址和网页监控深度,分别向每一级网站页面发送探测访问请求,和步骤s12、分别接收每一级网站页面返回的响应消息,以及步骤s13、根据所述响应消息判断是否存在网站访问异常,如果是,执行步骤s14,否则,执行步骤s11;以及步骤s14、提示告警信息。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本发明实施例提供的用于网站访问异常监控的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码,并可以在计算设备上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、rf等等,或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1