一种实现拨测的方法及系统的制作方法
【技术领域】
[0001]本发明涉及数据业务领域中的拨测技术，尤其涉及一种实现拨测的方法及系统。
【背景技术】
[0002]探测服务器利用网络爬虫技术，通过深度遍历的方法，采集网站中的统一资源定位符(URL, Uniform Resource Locator)资源(网页、图片、视频)，并根据采集的结果得出网站的域名结构、目录层次、资源目录等数据。
[0003]传统的拨测系统需要通过模拟用户实际的网页访问过程，对所述网页作出质量评价，以此来衡量用户访问网络时的体验；这样，使得运营商能够监控到用户访问网络时的体验，因此，在模拟用户实际的网页访问过程时，需要预设一组用户经常访问的网页。
[0004]图1为现有拨测系统的组成结构示意图，如图1所示，拨测服务器下发拨测任务，由多个拨测探针对拨测任务进行拨测，并将拨测到的数据上报给数据存储服务器；具体的，拨测系统对网页中的所有元素进行下载，统计出该网页的综合指标及网页中各元素的指标，或者，拨测系统也可以根据下载的数据，统计出该网页中的各个域名以及各文件类型的质量数据，将统计的结果上报给数据存储服务器。
[0005]现有的拨测系统有如下缺点:
[0006]I)拨测样本需要人工配置，具体的，通过人工配置的方式能够获得特定的网页，但却无法获得特定的域名；在实际中，当需要对一个域名进行拨测时，往往不容易实现；
[0007]2)拨测样本无法科学地反映域名的访问质量，具体的，域名中的资源往往有动态和静态两种，其中，静态资源为可以缓存的资源，访问速度通常很快；而动态资源则无法缓存，访问速度较慢。在实际应用中，只拨测静态资源或动态资源得到的访问质量是不全面和不准确的，而人工配置拨测样本又很难选择出同时包括动态资源和静态资源的网页。
【发明内容】
[0008]有鉴于此，本发明实施例期望提供一种实现拨测的方法及系统，能够自动化地生成拨测样本，并能够得到反应不同维度的访问质量。
[0009]为达到上述目的，本发明的技术方案是这样实现的:
[0010]本发明实施例提供一种实现拨测的方法，所述方法包括:
[0011 ] 获取筛选策略及URL资源；根据所述筛选策略对所述URL资源进行筛选，获取拨测样本；对所述拨测样本进行拨测。
[0012]较佳的，所述方法还包括:获取URL资源的属性；
[0013]所述获取筛选策略，包括:根据所述URL资源的属性获取筛选策略。
[0014]较佳的，所述URL资源的属性包括以下一项或多项:URL资源的大小、URL资源的归属地、URL资源的类型、URL资源的状态。
[0015]较佳的，所述筛选策略包括以下一项或多项:根据所述URL资源的大小范围进行筛选、根据所述URL资源的归属地进行筛选、根据所述URL资源的类型进行筛选、根据所述URL资源的状态进行筛选。
[0016]较佳的，所述获取URL资源，包括:根据所述URL资源的属性对URL资源进行采集，生成URL资源数据库；
[0017]所述根据所述筛选策略对所述URL资源进行筛选，获取拨测样本，包括:根据所述筛选策略对所述URL资源数据库中的URL资源进行筛选，获取拨测样本。
[0018]较佳的，所述对所述拨测样本进行拨测，包括:通过对所述拨测样本进行拨测，获取所述拨测样本的拨测结果；根据所述URL资源的属性对所述拨测结果进行统计，获取所述URL资源的访问质量。
[0019]本发明实施例还提供一种实现拨测的系统，所述系统包括:探测服务器和拨测服务器；其中，
[0020]所述探测服务器，用于获取筛选策略及URL资源；以及根据所述筛选策略对所述URL资源进行筛选，获取拨测样本；
[0021 ] 所述拨测服务器，用于对所述拨测样本进行拨测。
[0022]较佳的，所述探测服务器，还用于获取URL资源的属性；以及根据所述URL资源的属性获取筛选策略。
[0023]较佳的，所述探测服务器，具体用于根据所述URL资源的属性对URL资源进行采集，生成URL资源数据库；根据所述筛选策略对所述URL资源数据库中的URL资源进行筛选，获取拨测样本。
[0024]较佳的，所述拨测服务器，具体用于通过对所述拨测样本进行拨测，获取所述拨测样本的拨测结果；根据所述URL资源的属性对所述拨测结果进行统计，获取所述URL资源的访问质量。
[0025]本发明实施例提供了一种实现拨测的方法及系统，探测服务器获取筛选策略及URL资源；根据所述筛选策略对所述URL资源进行筛选，获取拨测样本；拨测服务器对所述拨测样本进行拨测；如此，能够基于探测服务器自动化地得到拨测样本，而不需要人工干预，且通过拨测服务器对拨测样本进行拨测，能够得到反应不同维度的访问质量，为更科学全面地进行访问质量分析提供了保证。
【附图说明】
[0026]图1为现有拨测系统的组成结构示意图；
[0027]图2为本发明实现拨测的方法实施例的实现流程示意图；
[0028]图3为本发明实现拨测的系统实施例的组成结构示意图；
[0029]图4为本发明实现拨测的探测服务器与拨测服务器交互的示意图。
【具体实施方式】
[0030]本发明实施例中，探测服务器获取筛选策略及URL资源；根据所述筛选策略对所述URL资源进行筛选，获取拨测样本；拨测服务器对所述拨测样本进行拨测。
[0031]下面结合附图及具体实施例对本发明做进一步详细说明。
[0032]本发明实施例提供一种实现拨测的方法，如图2所示，图2为本发明实现拨测的方法实施例的实现流程示意图，所述方法包括以下步骤:
[0033]步骤201:获取筛选策略及URL资源；
[0034]本步骤中，探测服务器获取筛选策略及URL资源；进一步地，在获取筛选策略及URL资源之前，所述探测服务器首先获取URL资源的属性。
[0035]可选地，所述拨测服务器通过与互联网进行报文交互，获取互联网中的URL资源的属性。
[0036]其中，所述拨测服务器可以通过HTTP报文与互联网进行交互，并通过网络服务器下发的Content-Length、服务器IP地址、Content-Type、Cache_Control等字段获取互联网中的URL资源的属性。
[0037]这里，所述URL资源的属性包括以下一项或多项:URL资源的大小、URL资源的归属地、URL资源的类型、URL资源的状态；所述URL资源的状态为:动态或静态。
[0038]进一步地，所述探测服务器根据所述URL资源的属性获取筛选策略；其中，所述筛选策略包括以下一项或多项:根据所述URL资源的大小范围进行筛选、根据所述URL资源的归属地进行筛选、根据所述URL资源的类型进行筛选、根据所述URL资源的状态进行筛选。
[0039]所述探测服务器根据所述URL资源的属性对所述URL资源进行采集，将所述采集的URL资源生成URL资源数据库，以此获取URL资源。
[0040]步骤202:根据所述筛选策略对所述URL资源进行筛选，获取拨测样本；
[0041]本步骤中，所述探测服务器根据所述筛选策略对所述URL资源数据库中的URL资源进行筛选，获取拨测样本。
[0042]这里，由于所述URL资源数据库是由所述探测服务器根据所述URL资源的属性，对URL资源进行采集生成的，因此，所述URL资源数据库与所述URL资源的属性相对应，因此，所述URL资源数据库包括以下一项或多项:URL资源的大小、URL资源的归属地、URL资源的类型、URL资源的状态。
[0043]可选的，当筛选策略为根据所述URL资源的大小范围进行筛选时，所述探测服务器可以根据用户设置的URL资源的大小范围，对URL资源数据库中的URL资源进行筛选，得到满足该大小范围的URL资源，并将所述满足该大小范围的URL资源作为与该筛选策略对应的拨测样本；
[0044]当筛选策略为根据所述URL资源的归属地进行筛选时，所述探测服务器可以根据用户设置的URL资源的归属地，对URL资源数据库中的URL资源进行筛选，得到满足该归属地的URL资源，并将所述满足该归属地的URL资源作为与该筛选策略对应的拨测样本；
[0045]当筛选策略为根据所述URL资源的类型进行筛选时，所述探测服务器可以根据用户设置的URL资源的类型，对URL资源数据库中的URL资源进行筛选，得到满足该类型的URL资源，并将所述满足该类型的URL资源作为与该筛选策略对应的拨测样本；其中，所述URL资源的类型可以包括但不限于:http://、ftp://、mailto://、以及file://。
[0046]当筛选策略为根据所述URL资源的状态进行筛选时，所述探测服务器可以根据用户设置的URL资源的状态，对URL资源数据库中的URL资源进行筛选，得到满足该状态的URL资源，并将所述满足该状态的URL资源作为与该筛选策略对应的拨测样本。
[0047]步骤203:对所述拨测样本进行拨测；
[0048]本步骤中，在获取拨测样本之后，拨测服务器对所述拨测样本进行拨测，获取所述拨测样本的拨测结果；根据所述URL资源的属性对所述拨测结果进行统计，获取所述URL资源的访问质量。
[0049]可选的，当筛选策略为根据所述URL资源的大小范围进行筛选时，拨测服务器对与该筛选策略对应的拨测样本进行拨测，得到反应URL资源大小维度的拨测结果；根据所述URL资源的大小范围，对所述拨测结果进行统计，获取反应URL资源大小维度的访问质量;
[0050]当筛选策略为根据所述URL资源的归属地进行筛选时，拨测服务器对与该筛选策略对应的拨测样本进行拨测，得到反应URL资源归属地维度的拨测结果；根据所述URL资源的归属地，对所述拨测结果进行统计，获取反