基于中转模式的网页访问方法及系统、抓取路径服务器的制造方法
【专利摘要】本发明公开了一种基于中转模式的网页访问方法及系统、抓取路径服务器，属于计算机【技术领域】。所述方法包括：接收客户端发送的网页访问请求，网页访问请求中携带要访问的目标网站的标识；从至少一个抓取服务器中获取访问目标网站的标识对应的目标网站网速最快的目标抓取服务器；向客户端返回目标抓取服务器的标识，以供客户端通过目标抓取服务器的标识对应的目标抓取服务器访问目标网站。本发明实施例的技术方案，通过获取并向客户端提供访问目标网站网速最快的目标抓取服务器，为客户端提供了访问目标网站的最佳路径即网速最快的路径，本发明实施例的技术方案能够有效地提高客户端访问目标网站的访问网速，提高客户端的访问效率，提高用户的体验。
【专利说明】基于中转模式的网页访问方法及系统、抓取路径服务器
【技术领域】
[0001]本发明涉及计算机【技术领域】，特别涉及一种基于中转模式的网页访问方法及系统、抓取路径服务器。
【背景技术】
[0002]随着移动互联网的飞速发展以及手机普及率的快速增长，使用手机的浏览器客户端进行搜索、网上冲浪的用户越来越多，需求也越来越大。
[0003]目前的手机的浏览器客户端访问网页的方式主要有两种:直连模式和中转模式。所谓直连模式就是手机的浏览器客户端采用超文本传送协议(hypertexttransport protocol;http)通过移动网络直接与要访问的目标网站建立传输控制协议(transmission control protocol ;tcp)连接进行数据的交互。而中转模式则是手机的浏览器客户端采用http协议或者其他协议与中转服务器建立tcp连接，而后中转服务器采用代理的方式将手机的浏览器客户端发送的http请求发送到目标网站服务器，并在收到目标网站服务器返回的响应后再转发给手机的浏览器客户端。中转模式相对于直连模式可以借助多种方式减少网络流量的消耗，同时可以更快地响应用户的请求，给用户更好的体验。且现有市场占大半份额的低端手机内存小、中央处理器(Central Processing Unit ;CPU)能力弱，手机浏览器客户端也无法执行JavaScript (简称js)和渲染页面，因此采用中转模式访问网页是最佳的方案。
[0004]在实现本发明的过程中，发明人发现现有技术至少存在以下问题:现有的网络机制下，一个网站中可能部署有多个网络环境，而现有技术的中转模式下，中转服务器仅采用代理的方式将手机的浏览器客户端发送的http请求发送到目标网站服务器，而中转服务器和目标网站服务器有可能属于不同的网络环境，导致访问网速较慢，访问效率较低。
【发明内容】
[0005]为了解决上述技术问题，本发明实施例提供了一种基于中转模式的网页访问方法及系统、抓取路径服务器。所述技术方案如下:
[0006]一方面，提供了一种基于中转模式的网页访问方法，所述方法包括:
[0007]接收客户端发送的网页访问请求，所述网页访问请求中携带要访问的目标网站的标识；
[0008]从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站网速最快的目标抓取服务器；
[0009]向所述客户端返回所述目标抓取服务器的标识，以供所述客户端通过所述目标抓取服务器的标识对应的所述目标抓取服务器访问所述目标网站。
[0010]可选地，如上所述的方法中，所述至少一个抓取服务器分别对应不同的网络服务提供商。
[0011]可选地，如上所述的方法中，从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站网速最快的目标抓取服务器之前，还包括:[0012]对于所述至少一个抓取服务器中的每一个抓取服务器，接收所述抓取服务器上报的上一次访问所述目标网站的网速；所述抓取服务器上一次访问所述目标网站的网速为所述抓取服务器根据所述抓取服务器在上一次访问所述目标网站的过程中，所述抓取服务器与所述目标网站的连接时间的倒数获取的；
[0013]存储所述抓取服务器上一次访问所述目标网站的网速。
[0014]可选地，如上所述的方法中，存储所述抓取服务器上一次访问所述目标网站的网速之后，从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站网速最快的目标抓取服务器之前，还包括:
[0015]对于所述至少一个抓取服务器中的每一个抓取服务器，根据存储的所有次访问所述目标网站的网速，计算所述抓取服务器访问所述目标网站的有效网速；
[0016]从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站网速最快的目标抓取服务器，包括:
[0017]从所述至少一个抓取服务器中获取访问所述目标网站的有效网速最快的抓取服务器作为所述目标抓去服务器。
[0018]可选地，如上所述的方法中，对于所述至少一个抓取服务器中的每一个抓取服务器，根据存储的所有次访问所述目标网站的网速，计算所述抓取服务器访问所述目标网站的有效网速，包括:对于所述至少一个抓取服务器中的每一个抓取服务器，根据存储的所有次访问所述目标网站的网速，采用如下公式计算所述抓取服务器访问所述目标网站的有效网速:
【权利要求】
1.一种基于中转模式的网页访问方法，其特征在于，所述方法包括: 接收客户端发送的网页访问请求，所述网页访问请求中携带要访问的目标网站的标识； 从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站网速最快的目标抓取服务器； 向所述客户端返回所述目标抓取服务器的标识，以供所述客户端通过所述目标抓取服务器的标识对应的所述目标抓取服务器访问所述目标网站。
2.根据权利要求1所 述的方法，其特征在于，所述至少一个抓取服务器分别对应不同的网络服务提供商。
3.根据权利要求1所述的方法，其特征在于，从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站网速最快的目标抓取服务器之前，所述方法还包括: 对于所述至少一个抓取服务器中的每一个抓取服务器，接收所述抓取服务器上报的上一次访问所述目标网站的网速；所述抓取服务器上一次访问所述目标网站的网速为所述抓取服务器根据所述抓取服务器在上一次访问所述目标网站的过程中，所述抓取服务器与所述目标网站的连接时间的倒数获取的； 存储所述抓取服务器上一次访问所述目标网站的网速。
4.根据权利要求3所述的方法，其特征在于，存储所述抓取服务器上一次访问所述目标网站的网速之后，从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站网速最快的目标抓取服务器之前，所述方法还包括: 对于所述至少一个抓取服务器中的每一个抓取服务器，根据存储的所有次访问所述目标网站的网速，计算所述抓取服务器访问所述目标网站的有效网速； 从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站网速最快的目标抓取服务器，包括: 从所述至少一个抓取服务器中获取访问所述目标网站的有效网速最快的抓取服务器作为所述目标抓去服务器。
5.根据权利要求4所述的方法，其特征在于，对于所述至少一个抓取服务器中的每一个抓取服务器，根据存储的所有次访问所述目标网站的网速，计算所述抓取服务器访问所述目标网站的有效网速，包括:对于所述至少一个抓取服务器中的每一个抓取服务器，根据存储的所有次访问所述目标网站的网速，采用如下公式计算所述抓取服务器访问所述目标网站的有效网速:
S = ^jSjI η
i=} 其中S所述抓取服务器访问所述目标网站的有效网速；n表示所述抓取服务器上报的访问所述目标网站的网速的上报次数％表示所述抓取服务器每次上报访问所述目标网站的网速。
6.根据权利要求4所述的方法，其特征在于，对于所述至少一个抓取服务器中的每一个抓取服务器，根据存储的所有次访问所述目标网站的网速，计算所述抓取服务器访问所述目标网站的有效网速，包括:对于所述至少一个抓取服务器中的每一个抓取服务器，根据存储的所有次访问所述目标网站的网速和一常量参数，采用如下公式计算所述抓取服务器访问所述目标网站的有效网速:a \丨 //., 其中S所述抓取服务器访问所述目标网站的有效网速；n表示所述抓取服务器上报的访问所述目标网站的网速的上报次数；Si表示所述抓取服务器每次上报的访问所述目标网站的网速J表示所述抓取服务器所有次访问所述目标网站的平均网速；a为所述常量参数。
7.根据权利要求1-6任一所述的方法，其特征在于，从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站网速最快的目标抓取服务器之前，所述方法还包括: 定期检测所述至少一个抓取服务器访问所述目标网站的网速。
8.一种抓取路径服务器，其特征在于，包括: 接收模块，用于接收客户端发送的网页访问请求，所述网页访问请求中携带要访问的目标网站的标识； 获取模块，用于从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站网速最快的目标抓取服务器； 发送模块，用于向所述客户端返回所述目标抓取服务器的标识，以供所述客户端通过所述目标抓取服务器的标识对应的所述目标抓取服务器访问所述目标网站。
9.根据权利要求8所述的抓取路径服务器，其特征在于，所述至少一个抓取服务器分别对应不同的网络服务提供商。
10.根据权利要求8所述的`抓取路径服务器，其特征在于，还包括存储模块； 所述接收模块，还用于在所述获取模块从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站网速最快的目标抓取服务器之前，对于所述至少一个抓取服务器中的每一个抓取服务器，接收所述抓取服务器上报的上一次访问所述目标网站的网速；所述抓取服务器上一次访问所述目标网站的网速为所述抓取服务器根据所述抓取服务器在上一次访问所述目标网站的过程中，所述抓取服务器与所述目标网站的连接时间的倒数获取的； 所述存储模块，用于存储所述接收模块接收的所述抓取服务器上一次访问所述目标网站的网速。
11.根据权利要求10所述的抓取路径服务器，其特征在于，还包括计算模块； 所述计算模块，用于在所述存储模块存储所述抓取服务器上一次访问所述目标网站的网速之后，所述获取模块从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站网速最快的所述目标抓取服务器之前，对于所述至少一个抓取服务器中的每一个抓取服务器，根据存储的所有次访问所述目标网站的网速，计算所述抓取服务器访问所述目标网站的有效网速； 所述获取模块，具体用于从所述至少一个抓取服务器中获取访问所述目标网站的有效网速最快的抓取服务器作为所述目标抓去服务器。
12.根据权利要求11所述的抓取路径服务器，其特征在于，所述计算模块，具体用于对于所述至少一个抓取服务器中的每一个抓取服务器，根据存储的所有次访问所述目标网站的网速，采用如下公式计算所述抓取服务器访问所述目标网站的有效网速:
13.根据权利要求11所述的抓取路径服务器，其特征在于，所述计算模块，具体用于对于所述至少一个抓取服务器中的每一个抓取服务器，根据存储的所有次访问所述目标网站的网速和一常量参数，采用如下公式计算所述抓取服务器访问所述目标网站的有效网速:
14.根据权利要求8-13任一所述的抓取路径服务器，其特征在于，还包括: 检测模块，用于在所述获取模块从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站网速最快的目标抓取服务器之前，定期检测所述至少一个抓取服务器访问所述目标网站的网速。
15.—种基于中转模式的网页访问系统,其特征在于，包括客户端、至少一个抓取服务器和如上权利要求8-14任一所述的抓取路径服务器。
【文档编号】G06F17/30GK103678311SQ201210319292
【公开日】2014年3月26日 申请日期:2012年8月31日 优先权日:2012年8月31日
【发明者】李 瑞, 徐羽, 陈德贤, 钭伟雨 申请人:腾讯科技（深圳）有限公司