网页数据爬取方法、装置、系统、计算机设备及存储介质与流程

本发明涉及数据爬取技术领域，尤其涉及一种网页数据爬取方法、装置、系统、计算机设备及存储介质。

背景技术：

目前，爬虫系统都是针对指定的内容进行定向爬取，而经常遇到网站改版了，或者数据抓取的位置发生错误时，导致需要重新进行抓取，造成网页内容后期加工成本比较高。

技术实现要素：

本发明实施例提供了一种网页数据爬取方法、装置、系统、计算机设备及存储介质，旨在解决现有技术中爬虫系统都是针对指定的内容进行定向爬取，当遇到网站改版了，或者数据抓取的位置发生错误时，需重新爬取且无法溯源的问题。

第一方面，本发明实施例提供了一种网页数据爬取方法，应用于第一服务器，其包括：

接收第二服务器分发的网址；所述网址为所述第二服务器接收用户端上传的目标网站网址集合的子集；

通过部署的代码框架爬取所述网址对应的网页内容信息；

将所述网页内容信息通过所述代码框架进行解析，得到网页解析内容；

将所述网页解析内容发送至第二服务器中与所述第一服务器对应的存储区域进行存储；

将所述网页解析内容中的源码通过所述代码框架进行解析，得到对应的源码解析信息；以及

将所述源码解析信息发送至第二服务器中与所述第一服务器对应的存储区域进行存储。

第二方面，本发明实施例又提供了一种网页数据爬取方法，应用于第二服务器，其包括：

接收由用户端发送的待爬取的目标网站网址集合；

将所述目标网站网址集合中每一网址分发至对应的第一服务器；

接收所述第一服务器发送的网页解析内容；所述网页解析内容由所述第一服务器爬取并解析所述网址对应的网页内容信息得到；

接收所述第一服务器发送的源码解析信息；所述源码解析信息由所述第一服务器解析所述网页解析内容的源码对应得到；以及

接收检索条件，根据所述检索条件在所述网页解析内容及所述源码解析信息中获取对应的检索结果。

第三方面，本发明实施例又提供了一种网页数据爬取装置，该装置包括用于执行上述第一方面所述网页数据爬取方法对应的单元，或者包括用于执行上述第二方面所述网页数据爬取方法对应的单元。

第四方面，本发明实施例又提供了一种网页数据爬取系统，包括第一服务器和第二服务器，所述第一服务器用于执行上述第一方面所述网页数据爬取方法，所述第二服务器用于执行上述第一方面所述网页数据爬取方法。

第五方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的网页数据爬取方法，或者实现上述第二方面所述的网页数据爬取方法。

第六方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的网页数据爬取方法，或者执行上述第二方面所述的网页数据爬取方法。

本发明实施例提供了一种网页数据爬取方法、装置、系统、计算机设备及存储介质。该方法包括接收第二服务器分发的网址；通过部署的代码框架爬取所述网址对应的网页内容信息；将所述网页内容信息通过所述代码框架进行解析，得到网页解析内容；将所述网页解析内容发送至第二服务器中与所述第一服务器对应的存储区域进行存储；将所述网页解析内容中的源码通过所述代码框架进行解析，得到对应的源码解析信息；以及将所述源码解析信息发送至第二服务器中与所述第一服务器对应的存储区域进行存储。该方法实现了将已爬取的网页内容均进行保存以便于数据溯源，而且还能对网页内容进行二次解析。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的网页数据爬取系统的应用场景示意图；

图2为本发明实施例提供的网页数据爬取方法的流程示意图；

图3为本发明实施例提供的网页数据爬取方法的另一流程示意图；

图4为本发明实施例提供的网页数据爬取装置的示意性框图；

图5为本发明实施例提供的网页数据爬取装置的另一示意性框图；

图6为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1和图2，图1是本发明实施例提供的网页数据爬取方法的应用场景示意图，图2是本发明实施例提供的网页数据爬取方法的流程示意图，该网页数据爬取方法应用于第一服务器中，该方法通过安装于第一服务器中的应用软件进行执行。

如图2所示，该方法包括步骤s111～s116。

s111、接收第二服务器分发的网址；所述网址为所述第二服务器接收用户端上传的目标网站网址集合的子集。

在本实施例中，是在第一服务器的角度描述技术方案，所述第一服务器可以为单个负载端，也可以为多个负载端。负载端即是用来接收第二服务器分发的网址，并根据网址爬取网页内容进行两次解析后，将两次解析的内容均发送至第一服务器进行存储，以便于网页内容溯源。

当第二服务器接收了用户端上传的目标网站网址集合后，可以选择其中一个网址发送至一个第一服务器，也可以选择多个网址发送至一个第一服务器。由第一服务器启动网页爬取任务。

在一实施例中，步骤s111之前还包括：

初始部署应用容器引擎；

在所述应用容器引擎中封装用于爬取网页内容和解析网页内容的代码框架；

设置所述应用容器引擎在第二服务器中对应的存储区域。

在本实施例中，应用容器引擎即docker容器(开发者可以打包应用以及依赖包到一个可移植的容器中，docker容器可以视为一个微型系统)。在docker容器中可以封装用于爬取网页内容和解析网页内容的代码框架，通过代码框架来实现网页内容的爬取和两次解析。而且为了区分每一docker容器在第二服务器中对应的存储区域，需在第二服务器中设置与docker容器个数相同的存储区域，并将每一存储区域根据docker容器的标识符进行命名。这样，即可实现将每一docker容器中解析得到的数据存储至第二服务器中对应的存储区域。

s112、通过部署的代码框架爬取所述网址对应的网页内容信息。

在本实施例中，当第一服务器中的应用容器引擎接收到第二服务器分发的网址，表示该应用容器引擎需启动其中封装的代码框架以爬取所述网址对应的网页内容信息。

在一实施例中，步骤s112之前还包括：

根据所述网址，与所述网址对应的目标访问端建立连接。

在本实施例中，当第一服务器中的应用容器引擎接收到第二服务器分发的网址，表示第二服务器需根据所述网址，与所述网址对应的目标访问端建立连接。当与所述网址对应的目标访问端连接成功时，即可从所述网址对应的目标访问端爬取网页内容。更具体的，即第一服务器中所部署docker容器对应写入了网址(可理解为目标网站url地址)，表示第一服务器已获知请求连接的目标访问端的url地址。当第一服务器中所部署docker容器与目标访问端建立连接后，即可从目标访问端爬取网页内容。

s113、将所述网页内容信息通过所述代码框架进行解析，得到网页解析内容。

在本实施例中，解析得到的网页解析内容中至少包括网页的源码、目标网站url地址、网页爬取时间、及网页的文件目录等信息。

即当第一服务器中的docker容器以浏览模拟器的方法，在加载完标访问端目标网站url地址与目标访问端建立连接后，并完成源码的获取后将源码以文件的形式保存到第二服务器中与docker容器对应的存储区域中，和同时将源码的索引信息保存在第二服务器的mysql数据库(mysql是一种开放源代码的关系型数据库管理系统)中；同时保存在第二服务器的mysql数据库中的网页信息还包括了目标网站url地址、网页爬取时间、及网页的文件目录。上述过程实现了对网页内容信息的第一次解析，能将每一爬取的网页内容信息经过解析后再发送至第二服务器中进行存储。

s114、将所述网页解析内容发送至第二服务器中与所述第一服务器对应的存储区域进行存储。

在本实施例中，在第二服务器中与所述第一服务器中docer容器对应的存储区域存储所述网页解析内容，是为了便于后续在第二服务器中查询已爬取过的网页内容，从而实现溯源。

s115、将所述网页解析内容中的源码通过所述代码框架进行解析，得到对应的源码解析信息。

在一实施例中，步骤s115包括：

获取所述代码框架中预先构建的用于对源码进行识别的正则表达式规则集群；

通过所述正则表达式规则集群，获取所述源码中与所述正则表达式规则集群中每一正则表达式规则一一对应的分段源码；

通过与各分段源码所对应的正则表达式规则相应的解析分段源码，得到与各分段源码对应的分段源码解析信息；

将各分段源码解析信息进行组合，以得到源码解析信息。

在本实施例中，即先在所述代码框架中建立源码的解析代码{code1,code2,...,codem}与待解析源码的正则表达式规则的关联关系，也即构建正则表达式规则集群{rule1,rule2,...,rulem}。若源码的具体内容符合正则表达式规则，则返回1，否则返回0；通过对源码进行正则表达式规则集群{rule1,rule2,...,rulem}的识别，得到分段源码、及与各分段源码对应的解析分段源码codei，并以解析分段源码codei对各分段源码进行解析，得到与各分段源码对应的分段源码解析信息，将各分段源码解析信息进行组合(此时将各分段源码解析信息进行组合即是将各分段源码解析信息串接起来，相互之间通过分隔符间隔隔开)，以得到源码解析信息。通过所述正则表达式规则集群及解析分段源码，实现了对网页解析内容中的源码的二次解析，能更深层次的挖掘网页内容的各种属性(如css文件和js文件，其中css表示层叠样式表，js文件是网页前台脚本文件)。

s116、将所述源码解析信息发送至第二服务器中与所述第一服务器对应的存储区域进行存储。

在本实施例中，在第二服务器中与所述第一服务器中docer容器对应的存储区域存储所述源码解析信息，是为了便于后续在第二服务器中查询已爬取过的网页内容的源码解析信息，从而实现溯源。

本发明实施例还提供另一种网页数据爬取方法，请参阅图1和图3，图3是本发明实施例提供的网页数据爬取方法的另一流程示意图，该网页数据爬取方法应用于第二服务器中，该方法通过安装于第二服务器中的应用软件进行执行。

如图3所示，该方法包括步骤s121～s125。

s121、接收由用户端发送的待爬取的目标网站网址集合。

在本实施例中，是在第二服务器的角度描述技术方案，所述第二服务器可以为视为主服务器，用于向第一服务器分发待爬取的网址，及划分多个存储空间来存储第一服务器发送的网页解析内容和源码解析信息。

在一实施例中，步骤s121中包括：

通过远程数据服务数据库接收由用户端发送的待爬取的目标网站网址集合。

其中，远程数据服务数据库即redis数据库(redis的全称是remotedictionaryserver，表示远程数据服务，redis是一个key-value存储系统，它支持丰富的数据类型)，通过redis数据库接收由用户端发送的待爬取的目标网站网址集合并分发该目标网站网址集合的子集至第一服务器。

s122、将所述目标网站网址集合中每一网址分发至对应的第一服务器。

在本实施例中，第二服务器在分发所述目标网站网址集合中每一网址时，可以是将一个网址分发至同一第一服务器，也可以是将多个网址分发至同一第一服务器。

s123、接收所述第一服务器发送的网页解析内容；所述网页解析内容由所述第一服务器爬取并解析所述网址对应的网页内容信息得到。

在本实施例中，在第一服务器中完成对所爬取网页内容信息的解析，而得到包括网页的源码、目标网站url地址、网页爬取时间、及网页的文件目录等信息的网页解析内容时，是将所述第一服务器发送的网页解析内容存储在第二服务器的mysql数据库中与第一服务器对应的数据表中，也即将第二服务器的mysql数据库中与第一服务器对应的数据表视为与第一服务器对应的存储区域。在第二服务器存储所述网页解析内容，便于后续溯源检索。

s124、接收所述第一服务器发送的源码解析信息；所述源码解析信息由所述第一服务器解析所述网页解析内容的源码对应得到。

在本实施例中，在第一服务器中完成对所述网页解析内容的源码的解析，而得到源码解析信息时，是将所述第一服务器发送的源码解析信息存储在第二服务器的mysql数据库中与第一服务器对应的数据表中，也即将第二服务器的mysql数据库中与第一服务器对应的数据表视为与第一服务器对应的存储区域。在第二服务器存储所述源码解析信息，便于后续溯源检索。针对同一网址所爬取网页内容信息的第一次解析内容(网页解析内容)及第二次解析内容(源码解析信息)均存储在同一张mysql数据库的数据表中，以实现同一网址由第一服务器所爬取并解析后得到的信息均存储在同一区域。

s125、接收检索条件，根据所述检索条件在所述网页解析内容及所述源码解析信息中获取对应的检索结果。

在本实施例中，无论目标网站网址集合(可理解为多个待爬取的目标网站url地址)中某一个或多个目标网站url地址的网站改版，由于第二服务器的存储区域中已保存了目标网站url地址的历史数据，故当启动docker容器对已改版的目标网站url地址进行爬取导致失败时，以该目标网站url地址触发对第二服务器的检索指令，并以该目标网站url地址为检索条件在多个存储区域进行检索。在存储区域中获取了与该目标网站url地址对应的源码后，可以针对该源码进行二次解析，快速找回原始的网页文件，提供了可追溯的渠道。

该方法实现了将已爬取的网页内容均进行保存以便于数据溯源，而且还能对网页内容进行二次解析。

本发明实施例还提供一种网页数据爬取装置，该网页数据爬取装置用于执行前述网页数据爬取方法的任一实施例。本发明实施例还提供一种网页数据爬取系统，该网页数据爬取系统包括第一服务器和第二服务器。具体地，请参阅图4，图4是本发明实施例提供的网页数据爬取装置的示意性框图。该网页数据爬取装置100可以配置于第一服务器中。

如图4所示，网页数据爬取装置100包括网址接收单元111、网页内容爬取单元112、第一解析单元113、第一发送单元114、第二解析单元115、第二发送单元116。

网址接收单元111，用于接收第二服务器分发的网址；所述网址为所述第二服务器接收用户端上传的目标网站网址集合的子集。

在本实施例中，是在第一服务器的角度描述技术方案，所述第一服务器可以为单个负载端，也可以为多个负载端。负载端即是用来接收第二服务器分发的网址，并根据网址爬取网页内容进行两次解析后，将两次解析的内容均发送至第一服务器进行存储，以便于网页内容溯源。

当第二服务器接收了用户端上传的目标网站网址集合后，可以选择其中一个网址发送至一个第一服务器，也可以选择多个网址发送至一个第一服务器。由第一服务器启动网页爬取任务。

在一实施例中，网页数据爬取装置100还包括：

容器部署单元，用于初始部署应用容器引擎；

代码框架部署单元，用于在所述应用容器引擎中封装用于爬取网页内容和解析网页内容的代码框架；

存储区域设置单元，用于设置所述应用容器引擎在第二服务器中对应的存储区域。

在本实施例中，应用容器引擎即docker容器(开发者可以打包应用以及依赖包到一个可移植的容器中，docker容器可以视为一个微型系统)。在docker容器中可以封装用于爬取网页内容和解析网页内容的代码框架，通过代码框架来实现网页内容的爬取和两次解析。而且为了区分每一docker容器在第二服务器中对应的存储区域，需在第二服务器中设置与docker容器个数相同的存储区域，并将每一存储区域根据docker容器的标识符进行命名。这样，即可实现将每一docker容器中解析得到的数据存储至第二服务器中对应的存储区域。

网页内容爬取单元112，用于通过部署的代码框架爬取所述网址对应的网页内容信息。

在本实施例中，当第一服务器中的应用容器引擎接收到第二服务器分发的网址，表示该应用容器引擎需启动其中封装的代码框架以爬取所述网址对应的网页内容信息。

在一实施例中，网页数据爬取装置100还包括：

连接建立单元，用于根据所述网址，与所述网址对应的目标访问端建立连接。

在本实施例中，当第一服务器中的应用容器引擎接收到第二服务器分发的网址，表示第二服务器需根据所述网址，与所述网址对应的目标访问端建立连接。当与所述网址对应的目标访问端连接成功时，即可从所述网址对应的目标访问端爬取网页内容。更具体的，即第一服务器中所部署docker容器对应写入了网址(可理解为目标网站url地址)，表示第一服务器已获知请求连接的目标访问端的url地址。当第一服务器中所部署docker容器与目标访问端建立连接后，即可从目标访问端爬取网页内容。

第一解析单元113，用于将所述网页内容信息通过所述代码框架进行解析，得到网页解析内容。

在本实施例中，解析得到的网页解析内容中至少包括网页的源码、目标网站url地址、网页爬取时间、及网页的文件目录等信息。

即当第一服务器中的docker容器以浏览模拟器的方法，在加载完标访问端目标网站url地址与目标访问端建立连接后，并完成源码的获取后将源码以文件的形式保存到第二服务器中与docker容器对应的存储区域中，和同时将源码的索引信息保存在第二服务器的mysql数据库(mysql是一种开放源代码的关系型数据库管理系统)中；同时保存在第二服务器的mysql数据库中的网页信息还包括了目标网站url地址、网页爬取时间、及网页的文件目录。上述过程实现了对网页内容信息的第一次解析，能将每一爬取的网页内容信息经过解析后再发送至第二服务器中进行存储。

第一发送单元114，用于将所述网页解析内容发送至第二服务器中与所述第一服务器对应的存储区域进行存储。

在本实施例中，在第二服务器中与所述第一服务器中docer容器对应的存储区域存储所述网页解析内容，是为了便于后续在第二服务器中查询已爬取过的网页内容，从而实现溯源。

第二解析单元115，用于将所述网页解析内容中的源码通过所述代码框架进行解析，得到对应的源码解析信息。

在一实施例中，第二解析单元115包括：

规则集群获取单元，用于获取所述代码框架中预先构建的用于对源码进行识别的正则表达式规则集群；

分段源码获取单元，用于通过所述正则表达式规则集群，获取所述源码中与所述正则表达式规则集群中每一正则表达式规则一一对应的分段源码；

分段源码解析单元，用于通过与各分段源码所对应的正则表达式规则相应的解析分段源码，得到与各分段源码对应的分段源码解析信息；

信息组合单元，用于将各分段源码解析信息进行组合，以得到源码解析信息。

在本实施例中，即先在所述代码框架中建立源码的解析代码{code1,code2,...,codem}与待解析源码的正则表达式规则的关联关系，也即构建正则表达式规则集群{rule1,rule2,...,rulem}。若源码的具体内容符合正则表达式规则，则返回1，否则返回0；通过对源码进行正则表达式规则集群{rule1,rule2,...,rulem}的识别，得到分段源码、及与各分段源码对应的解析分段源码codei，并以解析分段源码codei对各分段源码进行解析，得到与各分段源码对应的分段源码解析信息，将各分段源码解析信息进行组合(此时将各分段源码解析信息进行组合即是将各分段源码解析信息串接起来，相互之间通过分隔符间隔隔开)，以得到源码解析信息。通过所述正则表达式规则集群及解析分段源码，实现了对网页解析内容中的源码的二次解析，能更深层次的挖掘网页内容的各种属性(如css文件和js文件，其中css表示层叠样式表，js文件是网页前台脚本文件)。

第二发送单元116，用于将所述源码解析信息发送至第二服务器中与所述第一服务器对应的存储区域进行存储。

在本实施例中，在第二服务器中与所述第一服务器中docer容器对应的存储区域存储所述源码解析信息，是为了便于后续在第二服务器中查询已爬取过的网页内容的源码解析信息，从而实现溯源。

本发明实施例还提供一种网页数据爬取装置，该网页数据爬取装置用于执行前述网页数据爬取方法的任一实施例。具体地，请参阅图5，图5是本发明实施例提供的网页数据爬取装置的另一示意性框图。该网页数据爬取装置100可以配置于第二服务器中。

如图5所示，网页数据爬取装置100包括网址集合接收单元121、网址分发单元122、第一存储单元123、第二存储单元124、检索单元125。

网址集合接收单元121，用于接收由用户端发送的待爬取的目标网站网址集合。

在本实施例中，是在第二服务器的角度描述技术方案，所述第二服务器可以为视为主服务器，用于向第一服务器分发待爬取的网址，及划分多个存储空间来存储第一服务器发送的网页解析内容和源码解析信息。

在一实施例中，网址集合接收单元121具体用于：

通过远程数据服务数据库接收由用户端发送的待爬取的目标网站网址集合。

其中，远程数据服务数据库即redis数据库(redis的全称是remotedictionaryserver，表示远程数据服务，redis是一个key-value存储系统，它支持丰富的数据类型)，通过redis数据库接收由用户端发送的待爬取的目标网站网址集合并分发该目标网站网址集合的子集至第一服务器。

网址分发单元122，用于将所述目标网站网址集合中每一网址分发至对应的第一服务器。

在本实施例中，第二服务器在分发所述目标网站网址集合中每一网址时，可以是将一个网址分发至同一第一服务器，也可以是将多个网址分发至同一第一服务器。

第一存储单元123，用于接收所述第一服务器发送的网页解析内容；所述网页解析内容由所述第一服务器爬取并解析所述网址对应的网页内容信息得到。

在本实施例中，在第一服务器中完成对所爬取网页内容信息的解析，而得到包括网页的源码、目标网站url地址、网页爬取时间、及网页的文件目录等信息的网页解析内容时，是将所述第一服务器发送的网页解析内容存储在第二服务器的mysql数据库中与第一服务器对应的数据表中，也即将第二服务器的mysql数据库中与第一服务器对应的数据表视为与第一服务器对应的存储区域。在第二服务器存储所述网页解析内容，便于后续溯源检索。

第二存储单元124，用于接收所述第一服务器发送的源码解析信息；所述源码解析信息由所述第一服务器解析所述网页解析内容的源码对应得到。

在本实施例中，在第一服务器中完成对所述网页解析内容的源码的解析，而得到源码解析信息时，是将所述第一服务器发送的源码解析信息存储在第二服务器的mysql数据库中与第一服务器对应的数据表中，也即将第二服务器的mysql数据库中与第一服务器对应的数据表视为与第一服务器对应的存储区域。在第二服务器存储所述源码解析信息，便于后续溯源检索。针对同一网址所爬取网页内容信息的第一次解析内容(网页解析内容)及第二次解析内容(源码解析信息)均存储在同一张mysql数据库的数据表中，以实现同一网址由第一服务器所爬取并解析后得到的信息均存储在同一区域。

检索单元125，用于接收检索条件，根据所述检索条件在所述网页解析内容及所述源码解析信息中获取对应的检索结果。

在本实施例中，无论目标网站网址集合(可理解为多个待爬取的目标网站url地址)中某一个或多个目标网站url地址的网站改版，由于第二服务器的存储区域中已保存了目标网站url地址的历史数据，故当启动docker容器对已改版的目标网站url地址进行爬取导致失败时，以该目标网站url地址触发对第二服务器的检索指令，并以该目标网站url地址为检索条件在多个存储区域进行检索。在存储区域中获取了与该目标网站url地址对应的源码后，可以针对该源码进行二次解析，快速找回原始的网页文件，提供了可追溯的渠道。

该装置实现了将已爬取的网页内容均进行保存以便于数据溯源，而且还能对网页内容进行二次解析。

上述网页数据爬取装置可以实现为计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。

请参阅图6，图6是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器。其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行网页数据爬取方法。

该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行网页数据爬取方法。

该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：接收第二服务器分发的网址；所述网址为所述第二服务器接收用户端上传的目标网站网址集合的子集；通过部署的代码框架爬取所述网址对应的网页内容信息；将所述网页内容信息通过所述代码框架进行解析，得到网页解析内容；将所述网页解析内容发送至第二服务器中与所述第一服务器对应的存储区域进行存储；将所述网页解析内容中的源码通过所述代码框架进行解析，得到对应的源码解析信息；以及将所述源码解析信息发送至第二服务器中与所述第一服务器对应的存储区域进行存储。

在一实施例中，处理器502在执行所述接收第二服务器分发的网址的步骤之前，还执行如下操作：初始部署应用容器引擎；在所述应用容器引擎中封装用于爬取网页内容和解析网页内容的代码框架；设置所述应用容器引擎在第二服务器中对应的存储区域。

在一实施例中，处理器502在执行所述通过部署的代码框架爬取所述网址对应的网页内容信息的步骤之前，还执行如下操作：根据所述网址，与所述网址对应的目标访问端建立连接。

在一实施例中，处理器502在执行所述将所述网页解析内容中的源码通过所述代码框架进行解析，得到对应的源码解析信息的步骤时，执行如下操作：获取所述代码框架中预先构建的用于对源码进行识别的正则表达式规则集群；通过所述正则表达式规则集群，获取所述源码中与所述正则表达式规则集群中每一正则表达式规则一一对应的分段源码；通过与各分段源码所对应的正则表达式规则相应的解析分段源码，得到与各分段源码对应的分段源码解析信息；将各分段源码解析信息进行组合，以得到源码解析信息。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：接收由用户端发送的待爬取的目标网站网址集合；将所述目标网站网址集合中每一网址分发至对应的第一服务器；接收所述第一服务器发送的网页解析内容；所述网页解析内容由所述第一服务器爬取并解析所述网址对应的网页内容信息得到；接收所述第一服务器发送的源码解析信息；所述源码解析信息由所述第一服务器解析所述网页解析内容的源码对应得到；以及接收检索条件，根据所述检索条件在所述网页解析内容及所述源码解析信息中获取对应的检索结果。

在一实施例中，处理器502在执行所述接收由用户端发送的待爬取的目标网站网址集合的步骤时，执行如下操作：通过远程数据服务数据库接收由用户端发送的待爬取的目标网站网址集合。

本领域技术人员可以理解，图6中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图6所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器502可以是中央处理单元(centralprocessingunit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现以下步骤：接收第二服务器分发的网址；所述网址为所述第二服务器接收用户端上传的目标网站网址集合的子集；通过部署的代码框架爬取所述网址对应的网页内容信息；将所述网页内容信息通过所述代码框架进行解析，得到网页解析内容；将所述网页解析内容发送至第二服务器中与所述第一服务器对应的存储区域进行存储；将所述网页解析内容中的源码通过所述代码框架进行解析，得到对应的源码解析信息；以及将所述源码解析信息发送至第二服务器中与所述第一服务器对应的存储区域进行存储。

在一实施例中，所述接收第二服务器分发的网址之前，还包括：初始部署应用容器引擎；在所述应用容器引擎中封装用于爬取网页内容和解析网页内容的代码框架；设置所述应用容器引擎在第二服务器中对应的存储区域。

在一实施例中，所述通过部署的代码框架爬取所述网址对应的网页内容信息之前，还包括：根据所述网址，与所述网址对应的目标访问端建立连接。

在一实施例中，所述将所述网页解析内容中的源码通过所述代码框架进行解析，得到对应的源码解析信息，包括：获取所述代码框架中预先构建的用于对源码进行识别的正则表达式规则集群；通过所述正则表达式规则集群，获取所述源码中与所述正则表达式规则集群中每一正则表达式规则一一对应的分段源码；通过与各分段源码所对应的正则表达式规则相应的解析分段源码，得到与各分段源码对应的分段源码解析信息；将各分段源码解析信息进行组合，以得到源码解析信息。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现以下步骤：接收由用户端发送的待爬取的目标网站网址集合；将所述目标网站网址集合中每一网址分发至对应的第一服务器；接收所述第一服务器发送的网页解析内容；所述网页解析内容由所述第一服务器爬取并解析所述网址对应的网页内容信息得到；接收所述第一服务器发送的源码解析信息；所述源码解析信息由所述第一服务器解析所述网页解析内容的源码对应得到；以及接收检索条件，根据所述检索条件在所述网页解析内容及所述源码解析信息中获取对应的检索结果。

在一实施例中，所述接收由用户端发送的待爬取的目标网站网址集合，包括：通过远程数据服务数据库接收由用户端发送的待爬取的目标网站网址集合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。