网站存活检测方法、装置和系统的制作方法_2

文档序号:9931151阅读:来源:国知局
>[0037]图2是根据本发明一个实施例的网站存活检测的装置200的示意图,该网站存活检测的装置一般性地可以包括:数据获取模块210、数据处理模块220、分析模块230。在一些可选实施例中,还可以根据其应用环境和其具备的功能灵活增加其他部件。
[0038]数据获取模块210配置为获取多个任务节点120上传的网站访问结果数据。这些网站访问结果数据通过每个任务节点120为向检测目标网站110发送访问请求,并根据目标网站110对访问请求的响应生成网站访问结果数据。任务节点120发送访问请求可以模拟用户的正常访问行为进行,例如可以按照固定的检测周期定时对目标网站110进行访问,也可以根据启动检测命令对目标网站110进行访问,也就是任务节点120以多种灵活的方式生成网站访问结果数据。
[0039]数据获取模块210的一种可选流程为分别接收由多个任务节点120上传的网站访问结果数据;将网站访问结果数据作为元素保存至预置的关联式数据容器内,每个元素以对应的任务节点的标识号作为索引。例如将多个任务节点上传的网站访问结果数据进行一定的预处理,例如拆包、重新组包等,然后将预处理后的数据放入数据容器(map)中,该数据容器的索引(key)可以为各任务节点的标识(id)。例如对于网站www.s0.com,当第一个任务节点的数据发送过来时,在map中,以该任务节点id为key,创建一个容器,该容器用来收集所有的任务节点的数据,后续接收的数据均保存在map中。Map是一种关联容器,按照{键,值}的方式组成集合,组织成一棵二叉树,其中键不允许重复。Map的数据结构模型是二叉树,其中的数据会按照键值排序、可以通过键值查找数据、而且map提供了下标访问。
[0040]数据处理模块220配置为对网站访问结果数据进行数据融合处理,得到网站存活判断值。数据处理模块220的数据融合技术处理可以对多个任务节点120上传的网站访问结果数据进行、综合、过滤、判断等一系列逻辑运算处理。例如数据处理模块220可根据网站访问结果数据确定上传信息以及访问结果为异常的任务节点数量;在上传信息满足预设的判断条件时,将访问结果为异常的任务节点数量作为网站存活判断值。以上上传信息可以包括:预设的任务节点的数量、每个任务节点上传数据的时间等,相应的预设的判断条件包括:多个任务节点的数量大于预设的节点数量、距离获取到第一个任务节点的网站访问结果数据的时间超过预设时间值等。
[0041]数据处理模块220可以在多个任务节点的数量大于预设的节点数量时,将访问结果为异常的任务节点数量作为网站存活判断值,另外在距离获取到第一个任务节点的网站访问结果数据的时间超过预设时间值后,也可将访问结果为异常的任务节点数量作为网站存活判断值。
[0042]在另一种可选实施例中,数据处理模块220还可以根据网站访问结果数据确定访问结果为异常的任务节点;按照预先对任务节点设定的权重值进行加权和计算,并将得到的加权值作为网站存活判断值。其中权重值可以根据对应任务节点所在区域对检测目标网站110的访问数确定,便于计算出网站存活判断值符合实际访问该网站的情况。
[0043]分析模块230可以配置为比较网站存活判断值与预设的存活判断阈值并根据比较的结果确定检测目标网站的存活检测结果,例如当网站存活判断值大于预设的存活判断阈值时,确定当前目标网站访问异常,需要向该网站进行报警。
[0044]图3是根据本发明另一个实施例的网站存活检测的装置200的示意图,在该实施例中,网站存活检测的装置200增加设置了数据滤除模块240和/或报警模块250。
[0045]为了便于在确定出检测目标网站出现访问异常后,及时通知目标网站进行处理,报警模块240还可以在分析模块230根据网站存活判断值大于存活判断阈值确定出网站的存活异常之后,输出网站访问异常的报警信息。例如,向该目标网站绑定的通信号码发送信息或者向绑定的邮箱发送邮件等方式进行报警。该报警模块240可以独立设置,从而只需要负责报警工作,数据的融合操作交给以上的部件。从而与数据分析的部件相互独立,减轻其计算负荷,提高报警效率。
[0046]为了避免某一任务节点出现故障,例如对外网络不通时访问目标网站失败,数据滤除模块240还可以滤除失效任务节点上传的网站访问结果数据,其中失效任务节点为在预设时间段内访问网站的异常率超过预设值的任务节点。例如某个周期内无法访问监测点的网站数超过一定数量,则可以在下个周期主动判断该任务节点已经失效,这样能够一定程度上可以避免该任务节点自身问题而导致的误报,减少误报出现。
[0047]本发明实施例还提供了一种网站存活检测的方法,该网站存活检测的方法可以由以上实施例介绍的任意一种网站存活检测的装置200来执行,以提高网站存活检测结果的可靠性。图4是根据本发明一个实施例的网站存活检测的方法的示意图,如图所示,该网站存活检测的方法包括以下步骤:
[0048]步骤S402,获取多个任务节点上传的网站访问结果数据;
[0049]步骤S404,对网站访问结果数据进行数据融合处理,得到网站存活判断值;
[0050]步骤S406,比较网站存活判断值与预设的存活判断阈值;
[0051]步骤S408,根据比较的结果确定检测目标网站的存活检测结果。
[0052]以上网站访问结果数据由每个任务节点向检测目标网站发送访问请求,并根据目标网站对访问请求的响应生成。步骤S402的一种可选地数据获取方式为:分别接收由多个任务节点上传的网站访问结果数据;将网站访问结果数据作为元素保存至预置的关联式数据容器内,每个元素以对应的任务节点的标识号作为索引。该关联式数据容器可以便于后续数据的查询和处理,提高了效率。
[0053]步骤S404可以根据网站访问结果数据确定上传信息以及访问结果为异常的任务节点数量;在上传信息满足预设的判断条件时,将访问结果为异常的任务节点数量作为网站存活判断值。
[0054]以上上传信息可以包括多个任务节点的数量,对应预设的判断条件包括:多个任务节点的数量大于预设的节点数量。例如全部的任务节点数量为10个,每次当有8个任务节点返回网站访问结果数据后,就可以将访问结果为异常的任务节点数量作为网站存活判断值。
[0055]上传信息还可以包括每个任务节点上传数据的时间,对应预设的判断条件包括:距离获取到第一个任务节点的网站访问结果数据的时间超过预设时间值。例如,在任务节点每间隔一个预设周期,向检测目标网站发起一次访问请求并生成相应的网站访问结果数据,如果在第一个任务节点上传网站访问数据的时间已经超过一个周期的时间,那么就可以直接将访问结果为异常的任务节点数量作为网站存活判断值。
[0056]在另一些可选实施例中,步骤S404还可以根据网站访问结果数据确定访问结果为异常的任务节点;按照预先对任务节点设定的权重值进行加权和计算,并将得到的加权值作为网站存活判断值。其中权重值可以根据对应任务节点所在区域对检测目标网站的访问数确定,便于计算出网站存活判断值符合实际访问该网站的情况。
[0057]在进行加权计算得出网站存活判断值的情况下,仍然可以是在任务节点的数量以及任务节点上传数据的时间满足各自的判断条件时,开始进行网站存活判断值的计算。
[0058]为了自身异常的任务节点的检测结果的干扰,在步骤S404之前还可以滤除失效任务节点上传的网站访问结果数据,其中失效任务节点为在预设时间段内访问网站的异常率超过预设值的任务节点。例如某个周期内无法访问监测点的网站数超过一定数量,则可以在下个周期主动判断该任务节点已经失效,这样能够一定程度上可以避免该任务节点自身问题而导致的误报,减少误报出现。
[0059]步骤S408可以在网站存活判断值大于预设的存活判断阈值的情况下确定网站的存活异常。为了便于及时对访问异常进行处理,在确定出网站的存活异常之后还可以输出网站访问异常的报警信息。例如,向该目标网站绑定的通信号码发送信息或者向绑定的邮箱发送邮件等方式进行报警。
[0060]以下以对360搜索网站的存活检测的流程进行介绍,图5是根据本发明一个实施例的网站存活检测的方法的可选流程图。在执行该网站存活检测的方法之前,任务节点首先模拟用户访问检测目标网站并将访问结果生成网站访问结果数据上传给中间件以及网站存活检测的装置,并执行以下步骤:
[0061 ] 步骤S502,接收给任务节点上传的数据,在接收后可将数据进行解包,重新
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1