一种页面的下载方法及客户端与流程

本发明涉及网页下载技术，尤其涉及一种页面的下载方法及客户端。

背景技术：

为了增强访问网络页面的速度，一般使用多线程并发的方式访问网络页面。通过线程访问页面时会生成会话标识(session id)，以及下载页面所需的cookie文件。这种页面访问方式对每个线程访问的页面顺序要求比较严格，在前一页面没有下载成功之前，线程不能继续后续的下载，否则可能会因cookie问题导致返回的页面不符合预期，也不易进行分布式部署。

此外，由于会话是在线程访问页面时生成，对一些入口页面要求较高(比如有验证码、或使用逻辑复杂的渲染方式生成cookie的页面)的访问，用现有的页面访问方式很难实现。

技术实现要素：

为解决上述技术问题，本发明实施例提供了一种页面的下载方法及客户端。

本发明实施例提供的页面的下载方法，包括：

获取页面的链接数据；

基于所述链接数据，在数据库中查询是否存在与所述链接数据相对应的cookie信息；

当查询到存在与所述链接数据相对应的cookie信息时，

识别所述cookie信息，若所述cookie信息为cookie文件，则利用所述cookie文件下载所述页面，若所述cookie信息为cookie的配置文件时，利用所述配置文件获取cookie文件，并利用获取的cookie文件下载所述页面。

本发明实施例中，所述当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，利用所述配置文件下载cookie文件，包括：

判断所述数据库中是否存在与所述配置文件相对应的cookie文件；

若不存在，利用所述配置文件下载cookie文件；

若存在，从所述数据库中获取与所述配置文件相对应的cookie文件。

本发明实施例中，所述方法还包括：

当利用所述配置文件下载cookie文件之后，所述方法还包括：

将下载的cookie文件存入所述数据库中，并在所述数据库中建立下载的cookie文件与所述cookie的配置文件之间的对应关系。

本发明实施例中，所述方法还包括：

当查询到不存在与所述链接数据相对应的cookie信息时，直接基于所述链接数据下载所述页面。

本发明实施例提供的客户端，包括：

获取单元，用于获取页面的链接数据；

查询单元，用于基于所述链接数据，在数据库中查询是否存在与所述链接数据相对应的cookie信息；

第一处理单元，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie文件时，利用所述cookie文件下载所述页面；

第二处理单元，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，利用所述配置文件下载cookie文件，并利用所述cookie文件下载所述页面。

本发明实施例中，所述第二处理单元包括：

判断子单元，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，判断所述数据库中是否存在与所述配置文件相对应的cookie文件；

下载子单元，用于当所述数据库中不存在与所述配置文件相对应的cookie文件时，利用所述配置文件下载cookie文件。

本发明实施例中，所述下载子单元，还用于当所述数据库中存在与所述配置文件相对应的cookie文件时，直接利用所述cookie文件下载所述页面。

本发明实施例中，所述客户端还包括：

存储单元，用于利用所述配置文件下载cookie文件之后，将下载的cookie文件存入所述数据库中，并建立所述cookie的配置文件与所述cookie文件之间的映射关系。

本发明实施例中，所述装置还包括：

第三处理单元，用于当查询到不存在与所述链接数据相对应的cookie信息时，直接下载所述页面。

本发明实施例的技术方案中，获取页面的链接数据；基于所述链接数据，在数据库中查询是否存在与所述链接数据相对应的cookie信息；当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie文件时，利用所述cookie文件下载所述页面；当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，利用所述配置文件下载cookie文件，并利用所述cookie文件下载所述页面。采用本发明实施例的技术方案，将cookie文件与链接数据存储于数据库中，这里，可以使用如渲染加载、人工干预等方式，将不容易获取的cookie文件事先获取下来存在数据库中供下载页面使用。对于每一个要下载的页面，都有对应的cookie文件的获取途径，不需要严格依赖页面顺序进行下载，便于分布式部署客户端，同时也解决了复杂入口页面的会话生成问题。

附图说明

图1为本发明实施例的页面的下载方法的流程示意图一；

图2为本发明实施例的页面的下载方法的流程示意图二；

图3为本发明实施例的客户端的结构组成示意图一；

图4为本发明实施例的客户端的结构组成示意图二；

图5为本发明实施例的客户端的结构组成示意图三。

具体实施方式

为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。

图1为本发明实施例的页面的下载方法的流程示意图一，本示例中的页面的下载方法应用于客户端侧，如图1所示，所述页面的下载方法包括以下步骤：

步骤101：获取页面的链接数据。

本发明实施例中，客户端尤指网页客户端，用户可以在网页客户端上输入想要进入的网页的网址，这里，网址可以理解为本发明实施例的链接数据，例如统一资源定位符(URL，Uniform Resoure Locator)。

本发明实施例中，当访问某个网页时，需要首先获取页面的链接数据，然后，执行如下步骤。

步骤102：基于所述链接数据，在数据库中查询是否存在与所述链接数据相对应的cookie信息。

本发明实施例中，数据库可以但不限于存储在内存系统或磁盘空间中。在数据中存储的内容包括：页面地址列表，这里，页面地址列表包括多条页面地址数据，每一条页面地址数据可以包括如下内容的一条或多条：页面的链接数据、页面的cookie文件、cookie的配置文件。

在第一种情况下，页面地址数据包括：页面的链接数据；

在第二种情况下，页面地址数据包括：页面的链接数据、页面的cookie文件；

在第三种情况下，页面地址数据包括：页面的链接数据、cookie的配置文件。

在第四种情况下，页面地址数据包括：页面的链接数据、页面的cookie文件、cookie的配置文件。

基于以上几种情况，基于页面的链接数据，在数据库中查询是否存在与所述链接数据相对应的cookie信息。

如上述第一种情况下，在数据库中查询不存在与所述链接数据相对应的cookie信息。

如上述第二种情况下，在数据库中查询存在与所述链接数据相对应的cookie信息，且所述cookie信息为页面的cookie文件。

如上述第三种情况下，在数据库中查询存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件。这种情况，可以根据cookie的配置文件下载到页面的cookie文件。

如上述第四种情况下，在数据库中查询存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie文件以及cookie的配置文件。

步骤103：当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie文件时，利用所述cookie文件下载所述页面。

本发明实施例中，当客户端向站点请求下载页面时，需要在请求消息中携带cookie文件，这样，站点才可以根据cookie文件返回正常的页面给客户端。当然，某些特殊的页面也可以不需要cookie文件就可以进行下载。

本发明实施例中，当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie文件时，利用所述cookie文件下载所述页面。这里，由于cookie文件预先存储在数据库中，因此可以不考虑页面顺序直接获取到cookie文件，进而进行页面的下载。

步骤104：当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，利用所述配置文件下载cookie文件，并利用所述cookie文件下载所述页面。

本发明实施例中，当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，利用所述配置文件下载cookie文件，并利用所述cookie文件下载所述页面。这里，cookie的配置文件至少包括了cookie的下载地址，如URL，可以根据cookie的配置文件来下载到cookie文件，然后，再利用所述cookie文件下载所述页面。

采用本发明实施例的技术方案，能够降低线程对页面访问顺序的依赖，使网页下载系统便于分布式部署，解决了复杂入口页面的会话生成问题。

图2为本发明实施例的页面的下载方法的流程示意图二，本示例中的页面的下载方法应用于客户端侧，如图2所示，所述页面的下载方法包括以下步骤：

步骤201：获取页面的链接数据。

本发明实施例中，客户端尤指网页客户端，用户可以在网页客户端上输入想要进入的网页的网址，这里，网址可以理解为本发明实施例的链接数据，例如URL。

本发明实施例中，当访问某个网页时，需要首先获取页面的链接数据，然后，执行如下步骤。

步骤202：基于所述链接数据，在数据库中查询是否存在与所述链接数据相对应的cookie信息。

本发明实施例中，数据库可以但不限于存储在内存系统或磁盘空间中。在数据中存储的内容包括：页面地址列表，这里，页面地址列表包括多条页面地址数据，每一条页面地址数据可以包括如下内容的一条或多条：页面的链接数据、页面的cookie文件、cookie的配置文件。

在第一种情况下，页面地址数据包括：页面的链接数据；

在第二种情况下，页面地址数据包括：页面的链接数据、页面的cookie文件；

在第三种情况下，页面地址数据包括：页面的链接数据、cookie的配置文件。

在第四种情况下，页面地址数据包括：页面的链接数据、页面的cookie文件、cookie的配置文件。

基于以上几种情况，基于页面的链接数据，在数据库中查询是否存在与所述链接数据相对应的cookie信息。

如上述第一种情况下，在数据库中查询不存在与所述链接数据相对应的cookie信息。

如上述第二种情况下，在数据库中查询存在与所述链接数据相对应的cookie信息，且所述cookie信息为页面的cookie文件。

如上述第三种情况下，在数据库中查询存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件。这种情况，可以根据cookie的配置文件下载到页面的cookie文件。

如上述第四种情况下，在数据库中查询存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie文件以及cookie的配置文件。

步骤203：当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie文件时，利用所述cookie文件下载所述页面。

本发明实施例中，当客户端向站点请求下载页面时，需要在请求消息中携带cookie文件，这样，站点才可以根据cookie文件返回正常的页面给客户端。当然，某些特殊的页面也可以不需要cookie文件就可以进行下载。

本发明实施例中，当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie文件时，利用所述cookie文件下载所述页面。这里，由于cookie文件预先存储在数据库中，因此可以不考虑页面顺序直接获取到cookie文件，进而进行页面的下载。

步骤204：当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，判断所述数据库中是否存在与所述配置文件相对应的cookie文件；否时，执行步骤205，是时，执行步骤206。

步骤205：当所述数据库中不存在与所述配置文件相对应的cookie文件时，利用所述配置文件下载cookie文件，并利用所述cookie文件下载所述页面，流程结束。

本发明实施例中，利用所述配置文件下载cookie文件之后，将下载的cookie文件存入所述数据库中，并建立所述cookie的配置文件与所述cookie文件之间的映射关系。这样，当再次需要根据cookie的配置文件下载cookie文件时，可以不用重新进行下载，直接通过映射关系查找到与cookie的配置文件相对应的cookie文件，进一步提高页面访问速度。

步骤206：当所述数据库中存在与所述配置文件相对应的cookie文件时，直接利用所述cookie文件下载所述页面。

本发明实施例中，当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，判断所述数据库中是否存在与所述配置文件相对应的cookie文件；当所述数据库中不存在与所述配置文件相对应的cookie文件时，利用所述配置文件下载cookie文件，并利用所述cookie文件下载所述页面。当所述数据库中存在与所述配置文件相对应的cookie文件时，直接利用所述cookie文件下载所述页面。这里，cookie的配置文件至少包括了cookie的下载地址，如URL，可以根据cookie的配置文件来下载到cookie文件，然后，再并利用所述cookie文件下载所述页面。

步骤207：当查询到不存在与所述链接数据相对应的cookie信息时，直接下载所述页面。

采用本发明实施例的技术方案，能够降低线程对页面访问顺序的依赖，使网页下载系统便于分布式部署，解决了复杂入口页面的会话生成问题。

图3为本发明实施例的客户端的结构组成示意图一，如图3所示，所述客户端包括：

获取单元31，用于获取页面的链接数据；

查询单元32，用于基于所述链接数据，在数据库中查询是否存在与所述链接数据相对应的cookie信息；

第一处理单元33，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie文件时，利用所述cookie文件下载所述页面；

第二处理单元34，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，利用所述配置文件下载cookie文件，并利用所述cookie文件下载所述页面。

本领域技术人员应当理解，图3所示的客户端中的各单元的实现功能可参照前述页面的下载方法的相关描述而理解。图3所示的客户端中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

图4为本发明实施例的客户端的结构组成示意图二，如图4所示，所述客户端包括：

获取单元41，用于获取页面的链接数据；

查询单元42，用于基于所述链接数据，在数据库中查询是否存在与所述链接数据相对应的cookie信息；

第一处理单元43，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie文件时，利用所述cookie文件下载所述页面；

第二处理单元44，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，利用所述配置文件下载cookie文件，并利用所述cookie文件下载所述页面。

在一实现方式中，所述第二处理单元44包括：

判断子单元441，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，判断所述数据库中是否存在与所述配置文件相对应的cookie文件；

下载子单元442，用于当所述数据库中不存在与所述配置文件相对应的cookie文件时，利用所述配置文件下载cookie文件。

所述下载子单元442，还用于当所述数据库中存在与所述配置文件相对应的cookie文件时，直接利用所述cookie文件下载所述页面。

本领域技术人员应当理解，图4所示的客户端中的各单元的实现功能可参照前述页面的下载方法的相关描述而理解。图4所示的客户端中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

图5为本发明实施例的客户端的结构组成示意图三，如图5所示，所述客户端包括：

获取单元51，用于获取页面的链接数据；

查询单元52，用于基于所述链接数据，在数据库中查询是否存在与所述链接数据相对应的cookie信息；

第一处理单元53，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie文件时，利用所述cookie文件下载所述页面；

第二处理单元54，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，利用所述配置文件下载cookie文件，并利用所述cookie文件下载所述页面。

在一实现方式中，所述第二处理单元54包括：

判断子单元541，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，判断所述数据库中是否存在与所述配置文件相对应的cookie文件；

下载子单元542，用于当所述数据库中不存在与所述配置文件相对应的cookie文件时，利用所述配置文件下载cookie文件。

所述下载子单元542，还用于当所述数据库中存在与所述配置文件相对应的cookie文件时，直接利用所述cookie文件下载所述页面。

本发明实施例中，所述客户端还包括：

存储单元55，用于利用所述配置文件下载cookie文件之后，将下载的cookie文件存入所述数据库中，并建立所述cookie的配置文件与所述cookie文件之间的映射关系。

本发明实施例中，所述装置还包括：

第三处理单元56，用于当查询到不存在与所述链接数据相对应的cookie信息时，直接下载所述页面。

本领域技术人员应当理解，图5所示的客户端中的各单元的实现功能可参照前述页面的下载方法的相关描述而理解。图5所示的客户端中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。