实现网络爬虫抓取网页的方法和装置与流程

本申请涉及计算机应用领域，特别是涉及实现网络爬虫抓取网页的方法和装置。

背景技术：

网络爬虫，又被称为网页蜘蛛或网络机器人，是一种按照既定规则自动抓取万维网网页的信息的程序或脚本。对于网络爬虫来说，其核心目标就是快速、准确地抓取源网页中的各类信息。在实际运行过程中，由于网络爬虫每一次抓取行为都是模拟用户的真实访问请求，因而网络爬虫的抓取行为会对源网页所在的服务器产生访问压力。如果抓取频率过高，就有可能导致相应的服务器的响应时间过长，甚至于内部出现错误，最终使抓取成功率降低。

因此，在现有技术中，当批量抓取网页时，为了避免对服务器造成过大的访问压力，在每一次抓取完毕后，会为网络爬虫设置一个休眠时间，而在该段休眠时间内，网络爬虫不抓取网页。这样，通过休眠时间，可以控制网络爬虫的抓取频率。

在实现本申请的过程中，本申请的发明人发现现有技术中至少存在如下问题：无论抓取哪个网站的网页，为网络爬虫设置的休眠时间都是一个通用、固定的数值，但是，不同的网站，甚至相同网站中的不同产品，其对外提供的访问能力都是不同的。如果采用一个通用、固定的休眠时间，对于不同的网站，或者相同网站的不同产品来说，就会产生抓取频率过高或过低的问题。如果抓取频率过高，会使影响网络爬虫的抓取成功率；而如果抓取频率过低，也会影响网络爬虫的抓取效率。

技术实现要素：

为了解决上述技术问题，本申请实施例提供了实现网络爬虫抓取网页的方法和装置，以解决现有技术中由于休眠时间被设置为一个通用、固定的数 值而导致网络爬虫在抓取不同网站中的网页或者抓取相同网站中的不同产品的网页时抓取成功率和抓取效率无法同时得到有效保障的问题。

本申请实施例公开了如下技术方案：

一种实现网络爬虫抓取网页的方法，预先将属于不同网站的网页划分到不同的网页簇中，和/或将属于相同网站中的不同产品的网页划分到不同的网页簇中；所述方法包括：

对于任意一个网页簇，统计当所述网页簇的抓取成功率满足预设的置信水平时，所述网页簇在抓取时的休眠时间的最小置信区间；

在所述最小置信区间的范围内配置所述网页簇在抓取时的休眠时间；

将配置的休眠时间通知给网络爬虫，以便网络爬虫按照配置的休眠时间抓取所述网页簇中的网页。

优选的，所述方法还包括：

将各个网页簇在抓取时的最小置信区间保存在数据库中。

优选的，所述对于任意一个网页簇，统计当所述网页簇的抓取成功率满足预设的置信水平时，所述网页簇在抓取时的休眠时间的最小置信区间，包括：

对于任意一个网页簇，从所述网页簇中选取预设数量的样本网页；

统计当所述样本网页的抓取成功率满足预设的置信水平时，所述样本网页在抓取时的休眠时间的最小置信区间；

根据所述样本网页在抓取时的休眠时间的最小置信区间，采用矩估计法估计所述网页簇在抓取时的休眠时间的最小置信区间。

优选的，所述统计当所述样本网页的抓取成功率满足预设的置信水平时，所述样本网页在抓取时的休眠时间的最小置信区间，包括：

从预设的休眠时间开始，采用二分法测试可使网页的抓取成功率满足预设的置信水平的最小休眠时间，直到当网页的抓取成功率第一次从达不到预设的置信水平转变为达到预设的置信水平时停止测试，并将停止测试时可使网页的抓取成功率满足预设的置信水平的最小休眠时间作为所述样本网页在抓取时的休眠时间的均值；

根据所述样本网页在抓取时的休眠时间的均值和预设的样本误差计算所 述样本网页在抓取时的休眠时间的最小置信区间。

优选的，所述统计当所述样本网页的抓取成功率满足预设的置信水平时，所述样本网页在抓取时的休眠时间的最小置信区间，包括：

从预设的休眠时间开始，采用二分法测试可使网页的抓取成功率满足预设的置信水平的最小休眠时间，直到满足预设的停止条件时停止测试，并将停止测试时可使网页的抓取成功率满足预设的置信水平的最小休眠时间作为所述样本网页在抓取时的休眠时间的均值；

根据所述样本网页在抓取时的休眠时间的均值和预设的样本误差计算所述样本网页在抓取时的休眠时间的最小置信区间。

优选的，所述预设的停止条件包括当前的休眠时间的有效位数达到预设位数、测试时间达到预设时间和测试次数达到预设次数中的至少一个；并且，当包括至少两个条件时，所述至少两个条件中的任意一个条件先满足即停止测试。

一种实现网络爬虫抓取网页的装置，预先将属于不同网站的网页划分到不同的网页簇中，和/或将属于相同网站中的不同产品的网页划分到不同的网页簇中；所述装置包括：

统计单元，用于对于任意一个网页簇，统计当所述网页簇的抓取成功率满足预设的置信水平时，所述网页簇在抓取时的休眠时间的最小置信区间；

配置单元，用于在所述最小置信区间的范围内配置所述网页簇在抓取时的休眠时间；

通知单元，用于将配置的休眠时间通知给网络爬虫，以便网络爬虫按照配置的休眠时间抓取所述网页簇中的网页。

优选的，所述装置还包括：

保存单元，用于将各个网页簇在抓取时的休眠时间的最小置信区间保存在数据库中。

优选的，所述统计单元包括：

样本选取子单元，用于针对各个网页簇，从所述网页簇中选取预设数量的样本网页；

样本统计子单元，用于统计当所述样本网页的抓取成功率满足预设的置 信水平时，所述样本网页在抓取时的休眠时间的最小置信区间；

估计子单元，用于根据所述样本网页在抓取时的休眠时间的最小置信区间，采用矩估计法估计所述网页簇在抓取时的休眠时间的最小置信区间。

优选的，所述样本统计子单元包括：

第一测试子单元，用于从预设的休眠时间开始，采用二分法测试可使网页的抓取成功率满足预设的置信水平的最小休眠时间，直到当网页的抓取成功率第一次从达不到预设的置信水平转变为达到预设的置信水平时停止测试，并将停止测试时可使网页的抓取成功率满足预设的置信水平的最小休眠时间作为所述样本网页在抓取时的休眠时间的均值；

计算子单元，用于根据所述样本网页在抓取时的休眠时间的均值和预设的样本误差计算所述样本网页在抓取时的休眠时间的最小置信区间。

优选的，所述样本统计子单元包括：

第二测试子单元，用于从预设的休眠时间开始，采用二分法测试可使网页的抓取成功率满足预设的置信水平的最小休眠时间，直到满足预设的停止条件时停止测试，并将停止测试时可使网页的抓取成功率满足预设的置信水平的最小休眠时间作为所述样本网页在抓取时的休眠时间的均值；

计算子单元，用于根据所述样本网页在抓取时的休眠时间的均值和预设的样本误差计算所述样本网页在抓取时的休眠时间的最小置信区间。

优选的，所述预设的停止条件包括当前的休眠时间的有效位数达到预设位数、测试时间达到预设时间和测试次数达到预设次数中的至少一个；并且，当包括至少两个条件时，所述至少两个条件中的任意一个条件先满足即停止测试。

由上述实施例可以看出，与现有技术相比，本申请的优点在于：

先将属于不同网站的网页划分到不同的网页簇中，和/或将属于相同网站中的不同产品的网页划分到不同的网页簇，然后以网页簇为单位，依次统计当各个网页簇的抓取成功率满足预设的置信水平时，各个网页簇在抓取时的休眠时间的最小置信区间，并在最小置信区间的范围内配置各个网页簇在抓取时的休眠时间。不仅为不同网站的网页或者相同网站中的不同产品的网页配置不同的休眠时间，同时，只要在各自的最小置信区间的范围内配置各个 网页簇在抓取时的休眠时间，当网络爬虫以该配置的休眠时间批量抓取该网页簇时，就可以既保证抓取成功率满足用户要求的置信水平，又保证抓取效率最高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示意性地示出了本申请的实施方式可以在其中实施的示例性应用场景；

图2示意性地示出了根据本申请实施例的一种实现网络爬虫抓取网页的方法的流程图；

图3示意性地示出了根据本申请实施例的一种估计网页簇在抓取时的休眠时间的最小置信区间的方法的流程图；

图4示意性地示出了根据本申请实施例的一种采用二分法实现抓取测试的方法流程图；

图5示意性地示出了根据本申请实施例的另一种采用二分法实现抓取测试的方法流程图；

图6示意性地示出了根据本申请实施例的一种实现网络爬虫抓取网页的装置的结构框图；

图7示意性地示出了根据本申请实施例的另一种实现网络爬虫抓取网页的装置的结构框图；

图8示意性地示出了根据本申请实施例的一种统计单元的结构框图；

图9示意性地示出了根据本申请实施例的一种样本统计子单元的结构框图；

图10示意性地示出了根据本申请实施例的另一种样本统计子单元的结构框图。

具体实施方式

首先参考图1，图1示意性地示出了本申请的实施方式可以在其中实施的示例性应用场景。其中，用户10向配置文件生成服务器20发送需要批量抓取的网页的URL簇11和各种预设的参数12(如，置信水平)，配置文件生成服务器20根据URL簇11和各种预设的参数12生成配置文件13，并将配置文件13发送给抓取控制服务器30，抓取控制服务器30从配置文件13中解析出URL簇11和各种预设的参数12，并根据各种预设的参数12确定URL簇11在抓取时的休眠时间的最小估置信间31，并将URL簇11在抓取时的休眠时间的最小置信区间31保存在存储服务器40中。当产生对URL簇11的抓取任务时，抓取控制服务器30从存储服务器40中读取URL簇11在抓取时的休眠时间的最小置信区间31，在最小置信区间31的范围内随机选取一个数值用来配置URL簇11在抓取时的休眠时间32，将配置的休眠时间通知给网页抓取服务器集群50(即，网络爬虫)，并由网页抓取服务器集群50按照配置的休眠时间32批量抓取URL簇11，并在抓取过程中生成爬虫日志。监控服务器60对爬虫日志进行监控，包括对批量抓取过程中各类异常进行统计，以校验在存储服务器40中保存的URL簇11在抓取时的休眠时间的最小置信区间31的准确性。另外，还会监测URL簇11所属网站的服务器的可用性和响应时间，以确认该网站服务器是否正常。本领域技术人员可以理解，图1所示的示意图仅是本申请的实施方式可以在其中得以实现的一个示例。本申请实施方式的应用范围不受到该框架任何方面的限制。例如，配置文件生成服务器20和抓取控制服务器30可以合并为同一个服务器。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例进行详细描述。

方法实施例

请参阅图2，图2示意性地示出了根据本申请实施例的一种实现网络爬虫抓取网页的方法的流程图，例如，该方法可以由抓取控制服务30执行，该方法可以包括以下步骤：

步骤201：对于任意一个网页簇，统计当所述网页簇的抓取成功率满足预设的置信水平时，所述网页簇在抓取时的休眠时间的最小置信区间；其中，预先将属于不同网站的网页划分到不同的网页簇中，和/或将属于相同网站中的不同产品的网页划分到不同的网页簇中。

步骤202：在所述最小置信区间的范围内配置所述网页簇在抓取时的休眠时间。

步骤203：将配置的休眠时间通知给网络爬虫，以便网络爬虫按照配置的休眠时间抓取所述网页簇中的网页。

由于不同的网站，甚至相同网站中的不同产品，其对外提供的访问能力都是不同的，因此，在本申请中，根据网页所属网站的不同，将属于不同网站的网页划分到不同的网页簇中，以使得不同网页簇中的网页属于不同网站，同一个网页簇中的网页属于相同网站。或者，对于属于相同网站的网页，根据网页所属产品的不同，将属于相同网站中的不同产品的网页划分到不同的网页簇中，以使得不同网页簇中的网页属于相同网站中的不同产品，同一个网页簇中的网页属于相同网站中的相同产品。

这样，在划分出各个网页簇后，就可以基于各个网页簇，依次统计当各个网页簇的抓取成功率满足预设的置信水平时，各个网页簇在抓取时的休眠时间的最小置信区间。对于任意一个网页簇，只要在其最小置信区间的范围内配置该网页簇在抓取时的休眠时间，当网络爬虫以该配置的休眠时间批量抓取该网页簇时，就可以在保证抓取成功率满足用户要求的置信水平的同时，还可以保证抓取效率最高。

其中，在统计学中，“置信区间”展示的是某一个总体参数值以一定概率落在样本统计值的周围的程度，“一定概率”即为置信水平。

例如，假设在某一个网页簇中包含有300个网页(当然，实际情况的网页数量级会更大)，预设的置信水平为0.9，当休眠时间在其最小置信区间的范围内随机选取时，300个网页中有300×0.9＝270个以上的网页可以被成功抓取。

需要说明的是，在本申请的技术方案中，置信水平的具体数值可以由用户根据各自对抓取成功率的需求进行自由设定。例如，用户先根据自己的需 求设置好置信水平，然后再发送给配置文件生成服务器20，用于生成配置文件。

在本申请的一个优选实施方式中，先采用样本统计的方法统计出网页簇中的样本网页在抓取时的休眠时间的最小置信区间，并且，为了减小样本统计值与总体参数值之间的误差，再利用矩估计法估计网页簇在抓取时的休眠时间的最小置信区间。如图3所示，上述步骤201具体可以包括：

步骤2011：对于任意一个网页簇，从所述网页簇中选取预设数量的样本网页。

步骤2012：统计当所述样本网页的抓取成功率满足预设的置信水平时，所述样本网页在抓取时的休眠时间的最小置信区间。

步骤2013：根据所述样本网页在抓取时的休眠时间的最小置信区间，采用矩估计法估计所述网页簇在抓取时的休眠时间的最小置信区间。

其中，样本网页的数量可以由用户预先设定，例如，用户先设置好样本网页的数量，然后再发送给配置文件生成服务器20，用于生成配置文件。如果用户没有设定，也可以采用系统默认值。

“矩估计法”就是利用样本矩来估计总体中的相应参数的方法。例如，最简单的矩估计法就是用样本的一阶原点矩估计总体的期望值，用样本的二阶中心矩估计总体的方差。

需要说明的是，在本申请中，除了图3所示的实现方式，还可以先统计出当样本网页的抓取成功率满足预设的置信水平时，样本网页在抓取时的休眠时间的最小均值，再根据样本网页在抓取时的休眠时间的最小均值，采用矩估计法估计网页簇在抓取时的休眠时间的最小均值，最后根据网页簇在抓取时的休眠时间的最小均值和预设的样本误差计算网页簇在抓取时的休眠时间的最小置信区间。

例如，网页簇在抓取时的休眠时间的最小均值是E，预设的样本误差为X﹪，网页簇在抓取时的休眠时间的最小置信区间即为[E×(1-X﹪)，E×(1+X﹪)]。

其中，需要说明的是，样本误差是由用户预先设定的，例如，用户先设置好样本误差，然后再发送给配置文件生成服务器20，用于生成配置文件。 如果用户没有预先设定，也可以采用系统默认值。

一般情况下，100个样本的样本误差为±10﹪，500个样本的样本误差为±5﹪,1000个样本的样本误差为±2﹪。

在本申请的另一个优选实施方式中，提供了一种统计样本网页在抓取时的休眠时间的最小置信区间的方法。其中包括：先从预设的休眠时间开始，采用二分法测试可使网页的抓取成功率满足预设的置信水平的最小休眠时间，直到当网页的抓取成功率第一次从达不到预设的置信水平转变为达到预设的置信水平时停止测试，并将停止测试时可使网页的抓取成功率满足预设的置信水平的最小休眠时间作为所述样本网页在抓取时的休眠时间的均值；再根据所述样本网页在抓取时的休眠时间的均值和预设的样本误差计算所述样本网页在抓取时的休眠时间的最小置信区间。

例如，如图4所示，具体的实现测试流程如下：

步骤401：将用户预设的休眠时间作为当前的休眠时间；

步骤402：按照当前的休眠时间对样本网页进行批量抓取测试；

步骤403：判断样本网页的抓取成功率是否满足预设的置信水平，如果是，进入步骤404，否则，进入步骤405；

步骤404：计算上一次抓取时的休眠时间的二分之一，并作为当前的休眠时间，返回步骤402；

步骤405：计算上一次抓取时的休眠时间的二分之三，并作为当前的休眠时间；

步骤406：按照当前的休眠时间对样本网页进行批量抓取测试；

步骤407：判断样本网页的抓取成功率是否满足预设的置信水平，如果否，返回步骤405，如果是，进入步骤408；

步骤408：停止抓取测试，将最后一次抓取测试时的休眠时间作为网页样本在抓取时的休眠时间的均值；

步骤409：根据样本网页在抓取时的休眠时间的均值和预设的样本误差计算样本网页在抓取时的休眠时间的最小置信区间。

另外，在本申请的另一个优选实施方式中，还提供了另一种提供了一种统计样本网页在抓取时的休眠时间的最小置信区间的方法。其中包括：从预设的休眠时间开始，采用二分法测试可使网页的抓取成功率满足预设的置信水平的最小休眠时间，直到满足预设的停止条件时停止测试，并将停止测试时可使网页的抓取成功率满足预设的置信水平的最小休眠时间作为所述样本网页在抓取时的休眠时间的均值；根据所述样本网页在抓取时的休眠时间的均值和预设的样本误差计算所述样本网页在抓取时的休眠时间的最小置信区间。

所述预设的停止条件包括：当前的休眠时间的有效位数达到预设位数、测试时间达到预设时间和测试次数达到预设次数中的至少一个；并且，当包括至少两个条件时，所述至少两个条件中的任意一个条件先满足即停止测试。

例如，以预设的停止条件为当前的休眠时间的有效位数达到预设位数为例，如图5所示，具体的实现测试流程如下：

步骤501：将用户预设的休眠时间作为当前的休眠时间；

步骤502：按照当前的休眠时间对样本网页进行批量抓取测试；

步骤503：判断样本网页的抓取成功率是否满足预设的置信水平，如果是，进入步骤504，否则，进入步骤506；

步骤504：判断当前的休眠时间的有效位数是否达到预设位数，如果是，进入步骤507，否则，进入步骤505：

步骤505：计算上一次抓取时的休眠时间的二分之一，并作为当前的休眠时间，返回步骤502；

步骤506：计算上一次抓取时的休眠时间的二分之三，并作为当前的休眠时间，返回步骤502；

步骤507：停止抓取测试，将最后一次抓取测试时的休眠时间作为网页样本在抓取时的休眠时间的均值；

步骤508：根据样本网页在抓取时的休眠时间的均值和预设的样本误差计算样本网页在抓取时的休眠时间的最小置信区间。

需要说明的是，当预设的停止条件为测试时间达到预设时间或测试次数达到预设次数时，在上述步骤504中可以判断测试时间是否达到预设时间， 或者，判断测试次数是否达到预设次数。当然，当预设的停止条件包括三个条件中的至少两个条件时，在上述步骤504中也可以同时对所有的停止条件进行判断，其中，只要任意一个条件满足即可进入步骤507，如果都不满足，进入步骤505。

在本申请的另一个优选实施方式中，还可以将各个网页簇在抓取时的最小置信区间保存在数据库中，如，存储服务器40中。以便于以后当产生对某一个网页簇的抓取任务时，抓取控制服务器30可以从数据库中读取相应的网页簇在抓取时的最小置信区间，并从中随机选取网页簇在抓取时的休眠时间。另外，也便于监测服务器60对存储服务器40中保存的各个网页簇在抓取时的休眠时间的最小置信区间的准确性进行检验。

由上述实施例可以看出，与现有技术相比，本申请的优点在于：

先将属于不同网站的网页划分到不同的网页簇中，和/或将属于相同网站中的不同产品的网页划分到不同的网页簇，然后以网页簇为单位，依次统计当各个网页簇的抓取成功率满足预设的置信水平时，各个网页簇在抓取时的休眠时间的最小置信区间，并在最小置信区间的范围内配置各个网页簇在抓取时的休眠时间。不仅为不同网站的网页或者相同网站中的不同产品的网页配置不同的休眠时间，同时，只要在各自的最小置信区间的范围内配置各个网页簇在抓取时的休眠时间，当网络爬虫以该配置的休眠时间批量抓取该网页簇时，就可以既保证抓取成功率满足用户要求的置信水平，又保证抓取效率最高。

装置实施例

与上述一种实现网络爬虫抓取网页的方法相对应，本申请实施例还提供了一种实现网络爬虫抓取网页的装置。请参阅图6，图6示意性地示出了根据本申请实施例的一种实现网络爬虫抓取网页的装置的结构框图，该装置包括：统计单元601、配置单元602和通知单元603。下面结合该装置的工作原理进一步介绍其内部结构以及连接关系。

统计单元601，用于对于任意一个网页簇，统计当所述网页簇的抓取成功率满足预设的置信水平时，所述网页簇在抓取时的休眠时间的最小置信区间； 其中，预先将属于不同网站的网页划分到不同的网页簇中，和/或将属于相同网站中的不同产品的网页划分到不同的网页簇中。

配置单元602，用于在所述最小置信区间的范围内配置所述网页簇在抓取时的休眠时间。

通知单元603，用于将配置的休眠时间通知给网络爬虫，以便网络爬虫按照配置的休眠时间抓取所述网页簇中的网页。

在本申请的一个优选实施方式中，如图7所示，该装置还包括：

保存单元604，用于将各个网页簇在抓取时的休眠时间的最小置信区间保存在数据库中。

在本申请的另一个优选实施方式中，如图8所示，统计单元601包括：

样本选取子单元6011，用于针对各个网页簇，从所述网页簇中选取预设数量的样本网页；

样本统计子单元6012，用于统计当所述样本网页的抓取成功率满足预设的置信水平时，所述样本网页在抓取时的休眠时间的最小置信区间；

估计子单元6013，用于根据所述样本网页在抓取时的休眠时间的最小置信区间，采用矩估计法估计所述网页簇在抓取时的休眠时间的最小置信区间。

在本申请的另一个优选实施方式中，如图9所示，样本统计子单元6011包括：

第一测试子单元6011-A1，用于从预设的休眠时间开始，采用二分法测试可使网页的抓取成功率满足预设的置信水平的最小休眠时间，直到当网页的抓取成功率第一次从达不到预设的置信水平转变为达到预设的置信水平时停止测试，并将停止测试时可使网页的抓取成功率满足预设的置信水平的最小休眠时间作为所述样本网页在抓取时的休眠时间的均值；

计算子单元6011-B，用于根据所述样本网页在抓取时的休眠时间的均值和预设的样本误差计算所述样本网页在抓取时的休眠时间的最小置信区间。

或者，作为替换方案，如图10所示，样本统计子单元6011包括：

第二测试子单元6011-A2，用于从预设的休眠时间开始，采用二分法测试可使网页的抓取成功率满足预设的置信水平的最小休眠时间，直到满足预设的停止条件时停止测试，并将停止测试时可使网页的抓取成功率满足预设的 置信水平的最小休眠时间作为所述样本网页在抓取时的休眠时间的均值；

计算子单元6011-B，用于根据所述样本网页在抓取时的休眠时间的均值和预设的样本误差计算所述样本网页在抓取时的休眠时间的最小置信区间。

在本申请的另一个优选实施方式中，所述预设的停止条件包括当前的休眠时间的有效位数达到预设位数、测试时间达到预设时间和测试次数达到预设次数中的至少一个；并且，当包括至少两个条件时，所述至少两个条件中的任意一个条件先满足即停止测试。

由上述实施例可以看出，与现有技术相比，本申请的优点在于：

先将属于不同网站的网页划分到不同的网页簇中，和/或将属于相同网站中的不同产品的网页划分到不同的网页簇，然后以网页簇为单位，依次统计当各个网页簇的抓取成功率满足预设的置信水平时，各个网页簇在抓取时的休眠时间的最小置信区间，并在最小置信区间的范围内配置各个网页簇在抓取时的休眠时间。不仅为不同网站的网页或者相同网站中的不同产品的网页配置不同的休眠时间，同时，只要在各自的最小置信区间的范围内配置各个网页簇在抓取时的休眠时间，当网络爬虫以该配置的休眠时间批量抓取该网页簇时，就可以既保证抓取成功率满足用户要求的置信水平，又保证抓取效率最高。

所述领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述到的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以是物理上分开的，作为 单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，可以采用软件功能单元的形式实现。

需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上对本申请所提供的实现网络爬虫抓取网页的方法和装置进行了详细介绍，本文中应用了具体实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。