一种网站质量多层钻取系统和方法与流程

文档序号:14914471发布日期:2018-07-11 00:20阅读:来源:国知局

技术特征:

1.一种网站质量多层钻取方法,其特征在于,包括以下步骤:

S1、定期获取目标网站的所有元素,建立并更新网站的智能模板库;

S2、采集待分析网络链路中全量用户数据,生成网站中各元素的记录,并根据智能模板库将元素关联到对应的网站;

S3、制定关键质量指标和关键绩效指标,建立网站端到端的质量评估模型,并根据采集到的海量元素,从SP、Host、Url和服务器IP多层级对网站质量进行客观评价。

2.根据权利要求1所述的网站质量多层钻取方法,其特征在于,所述步骤S1具体包括:

S11、扫描网站及其首页HOST记录,逐一登录访问网站首页并加载所有网站首页的页面元素;

S12、采用多线程技术,通过监控线程获取主进程逐一加载的所有页面元素;

S13、建立网站SP、首页HOST值与这些页面元素URL之间的关联关系;

S14、定期获取最新网站资源URL信息,更新至智能模板库中。

3.根据权利要求2所述的网站质量多层钻取方法,其特征在于,所述步骤S13具体包括:关联关系先保存的作为智能模板库,通过合并更新方式,插入没有的关联关系,更新已有的关联关系,删除过期的关联关系记录,合并更新同时记录最后更新时间信息。

4.根据权利要求2所述的网站质量多层钻取方法,其特征在于,所述步骤S14具体包括:分析流控网站访问话单时,若发现话单记录Referer为空,则将话单记录Referer与智能模板库进行对比,匹配成功时补全该话单记录的Referer为网站首页的HOST值,更正部分资源元素的统计归属。

5.根据权利要求2所述的网站质量多层钻取方法,其特征在于,所述步骤S2具体包括:

S21、采用DPI设备,通过串接或镜像方式接入链路中,采集链路中全量用户数据,生成标准的业务记录,即为网站中各个元素的记录;

S22、结合智能模板库记录的Referer,将上述元素通过Referer技术进行网站和元素关联。

6.根据权利要求5所述的网站质量多层钻取方法,其特征在于,所述步骤S22具体包括:

S221、利用五元组和用户访问时间,将每个用户的每次访问网站的会话记录分类提取出来,并通过Referer技术匹配网站,将某个用户本地访问的全部会话记录进行关联,得到用户本次访问的具体网站,并初步分析该网站中包含的元素;

S222、对于没有Referer字段的会话记录,通过该会话记录中的url查找智能模板库中保存的该记录,并且通过智能模板库中记录的Referer能够找到该url的上级url最终确定其所属网站;

S223、当一个url对应多个Referer,分析流控话单时,基于用户标识+时间段框定多条话单记录,该多条话单记录视为同一会话Session,该组话单记录中发起访问最早的即为首GET,在匹配智能模板库时同时比较首GET与智能模板库中的网站SP首页HOST值,若一致则认为匹配成功。

7.根据权利要求1所述的网站质量多层钻取方法,其特征在于,所述步骤S3中,所述质量模型用于将各关键质量指标指标按照一定的权重进行加权,得到一个网站的总体评分,还用于通过多层钻取技术,实现从SP、Host、Url和服务器IP等多层级的质量分析,为最终的故障定位和质量提升提供故障排除和资源引入提供指导意见。

8.一种网站质量多层钻取系统,其特征在于,包括数据采集层、数据挖掘层和业务层;

所述数据采集层用于模拟浏览器访问网站,通过网络抓包方式获取所有Response响应,将获取到的一个网站所有会话记录入库,形成该网站的智能模板库;

所述数据挖掘层用于采用DPI设备,通过串接或镜像方式接入网站链路中,采集链路中全量用户数据,生成网站中各个元素的记录,并结合网站的智能模板库和Referer技术将得到的元素关联到对应的网站;并通过制定关键质量指标,建立网站端到端的质量评估模型,对网站质量进行多层次分析;

所述业务层用于进行系统管理,并进行任务定义、模型定义、用户识别,将评估结果以报表形式展现。

9.根据权利要求8所述的网站质量多层钻取系统,其特征在于,所述数据采集层包括话单采集模块、Nat日志采集模块和网站资源采集模块;

所述网站资源采集模块用于模拟浏览器去访问网站的网站首页,逐一登录访问网站首页并加载所有网站首页的页面元素,并建立网站的智能模板库;

所述话单采集模块用于采用多线程技术,启动其它线程实时监控主进程的页面元素加载动作,获取主进程加载的所有页面元素的HTTP Request请求的URL链接地址;

所述Nat日志采集模块用于定期获取最新网站资源URL信息,更新至本地配置中。

10.根据权利要求9所述的网站质量多层钻取方法,其特征在于,所述数据挖掘层包括数据提取模块、数据统计模块、数据分析模块和质量评估模块;

所述数据提取模块用于采集用户流量,通过DPI设备的DPI和DFI技术将采集到用户流量进行解析,生成逐条的会话记录;

所述数据统计模块用于利用五元组和用户访问时间,将每个用户的每次访问网站的会话记录分类提取出来;

所述数据分析模块用于把通过Referer关联到的元素与通过智能模板库匹配的元素结合,实现网站元素的完整和准确关联;

所述质量评估模块用于建立网站端到端的质量评估模型,并根据采集到的海量元素,从SP、Host、Url和服务器IP多层级对网站质量进行客观评价。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1