加速网页访问的方法和装置制造方法
【专利摘要】本发明公开了一种加速网页访问的方法和装置，属于网络领域。所述方法包括：获取用户发起的URL地址；判断所述URL地址是否保存在预设的缓存数据库，所述缓存数据库中保存有多个URL地址与缓存数据的对应关系；当判断出所述URL地址保存在预设的缓存数据库时，获取所述URL地址对应的缓存数据，并处理所述缓存数据，渲染网页。本发明通过在浏览器端增加缓存数据库的实现逻辑，无论web服务器或代理服务器是否遵守http缓存协议，均可以起到加速访问的效果。
【专利说明】加速网页访问的方法和装置
【技术领域】
[0001]本发明涉及网络领域，特别涉及一种加速网页访问的方法和装置。
【背景技术】
[0002]随着网络的发展，越来越多的人们依赖互联网获取信息，一般通过万维网(Web)服务的客户端浏览程序，向万维网(Web)服务器发送各种请求，并对从服务器发来的超文本信息和各种多媒体数据格式进行解释、显示和播放。
[0003]现有技术一通过http缓存技术实现加速网页访问，在浏览器和web服务器之间遵守http缓存协议，当浏览器访问相关URL(Uniform/Universal Resource Locator,统一资源定位符)时，如果本地缓存的数据没有过期，则浏览器就直接从本地获取数据完成网页访问，而不会向服务器发送http请求；如果本地缓存的数据已经过期，浏览器会将本地缓存的信息包含在http请求中发送给web服务器，web服务器判断数据没有改变时，则向浏览器返回一个指令，以使浏览器仍然从本地获取数据完成网页访问，web浏览器判断出数据改变时，则向浏览器返回相应的数据。
[0004]现有技术二通过⑶N (Content Delivery Network,内容分发网络)技术实现加速网页访问，在访问网页时，尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，因而访问网页的内容传输的更快、更稳定，因而用户可以就近访问到所需内容，避免了网络拥挤的同时提高了访问网站的响应速度。
[0005]在实现本发明的过程中，发明人发现现有技术至少存在以下问题:
[0006]现有技术一在复杂的网络环境下加速效果不理想，如当浏览器和web服务器之间通过代理服务器通信时会出现http缓存协议失效的情况；现有技术二在无法避开影响数据传输的瓶颈和环节的场景时，无法实现加速网页的访问。
【发明内容】
[0007]为了提高加速网页访问的效果，本发明实施例提供了一种加速网页访问的方法和装置。所述技术方案如下:
[0008]一方面，本发明实施例提供了一种加速网页访问的方法，所述方法包括:
[0009]获取用户发起的统一资源定位符URL地址；
[0010]判断所述URL地址是否保存在预设的缓存数据库，所述缓存数据库中保存有多个URL地址与缓存数据的对应关系；
[0011]当判断出所述URL地址保存在预设的缓存数据库时，则在所述缓存数据库中获取所述URL地址对应的缓存数据，并处理所述缓存数据，渲染网页。
[0012]进一步地，所述获取用户发起的统一资源定位符URL地址之前，所述方法，还包括:
[0013]根据预设的数据采集程序对多个网页进行采集，以获取N个URL地址，所述N为大于I的整数；[0014]获取所述N个URL地址对应的缓存数据，并将所述N个URL地址和对应的缓存数据保存在缓存数据库。
[0015]其中，所述数据采集程序中包括M个采集因子，所述M为大于I的整数；所述根据预设的数据采集程序对多个网页进行采集，以获取N个URL地址，具体包括:
[0016]判断每个网页的URL地址是否满足任一采集因子；
[0017]当所述网页的URL地址满足任一采集因子时，则获取所述URL地址。
[0018]其中，所述采集因子至少包括URL地址的更新次数、URL地址的更新时间和URL地址的验证码。
[0019]其中，所述在所述缓存数据库中获取所述URL地址对应的缓存数据，具体包括:
[0020]判断当前的浏览器内核是IE内核还是webkit内核；
[0021]当前的浏览器是IE内核时，则调用异步可插入协议，在所述缓存数据库中获取所述URL地址对应的缓存数据；
[0022]当前的浏览器是webkit内核时，则调用前置资源加载通知的接口，在所述缓存数据库中获取所述URL地址对应的缓存数据。
[0023]另一方面，本发明实施例提供了一种加速网页访问的装置，所述装置包括:
[0024]获取模块，用于获取用户发起的统一资源定位符URL地址；
[0025]判断模块，用于判断所述获取模块获取的所述URL地址是否保存在预设的缓存数据库，所述缓存数据库中保存有多个URL地址与缓存数据的对应关系；
[0026]处理模块，用于当所述判断模块的判断结果为是时，则在所述缓存数据库中获取所述URL地址对应的缓存数据，并处理所述缓存数据，渲染网页。
[0027]进一步地，所述装置还包括采集模块和缓存数据库；
[0028]所述采集模块，用于根据预设的数据采集程序对多个网页进行采集，以获取N个URL地址，所述N为大于I的整数，并获取所述N个URL地址对应的缓存数据；
[0029]所述缓存数据库，用于保存所述采集模块采集的所述N个URL地址和对应的缓存数据。
[0030]其中，所述采集模块具体包括判断单元和采集单元；
[0031]所述判断单元，用于根据预设的数据采集程序包括的M个采集因子，判断每个网页的URL地址是否满足任一采集因子，所述M为大于I的整数；
[0032]所述采集单元，用于当所述判断单元的判断结果为所述网页的URL地址满足任一采集因子时，获取所述URL地址。
[0033]其中，所述采集因子至少包括URL地址的更新次数、URL地址的更新时间和URL地址的验证码。
[0034]其中，所述处理模块包括获取单元和处理单元；
[0035]所述获取单元，用于当所述判断模块的判断结果为是时，判断当前的浏览器内核是IE内核还是webkit内核；当前的浏览器是IE内核时，则调用异步可插入协议，在所述缓存数据库中获取所述URL地址对应的缓存数据；当前的浏览器是webkit内核时，则调用前置资源加载通知的接口，在所述缓存数据库中获取所述URL地址对应的缓存数据。
[0036]所述处理单元，用于处理所述缓存数据，渲染网页。
[0037]本发明实施例提供的技术方案带来的有益效果是:通过在浏览器端增加缓存数据库的实现逻辑，无论web服务器或代理服务器是否遵守http缓存协议，均可以起到加速访问的效果。
【专利附图】
【附图说明】
[0038]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1是本发明实施例1提供的加速网页访问的方法流程图；
[0040]图2是本发明实施例2提供的加速网页访问的方法流程图；
[0041]图3是本发明实施例3提供的加速网页访问的装置的结构示意图；
[0042]图4是本发明实施例3提供的加速网页访问的装置的另一结构示意图。
【具体实施方式】
[0043]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0044]实施例1
[0045]参见图1，本发明实施例提供了一种加速网页访问的方法，所述方法包括:
[0046]101:获取用户发起的URL地址；
[0047]102:判断所述URL地址是否保存在预设的缓存数据库，所述缓存数据库中保存有多个URL地址与缓存数据的对应关系；
[0048]103:当判断出所述URL地址保存在预设的缓存数据库时，则在所述缓存数据库中获取所述URL地址对应的缓存数据，并处理所述缓存数据，渲染网页。
[0049]本发明实施例提供的方法，通过在浏览器端增加缓存数据库的实现逻辑，无论web服务器或代理服务器是否遵守http缓存协议，均可以起到加速访问的效果。
[0050]实施例2
[0051]参见图2，本发明实施例提供了一种加速网页访问的方法，所述方法包括:
[0052]201:对多个网页进行采集获取URL地址，并获取URL地址对应的缓存数据，将URL地址和对应的缓存数据保存在缓存数据库。
[0053]对于该步骤，本发明实施例在浏览器端预设有缓存数据库，该缓存数据库中保存了一些URL地址和对应的缓存数据，根据该缓存数据即可实现网页访问。其中，缓存数据库中的保存哪些URL地址主要通过运营人员对大量的URL地址的分析，和在浏览器内置数据米集程序获得。
[0054]运营人员对大量的网页进行分析得到应该保存的URL地址，具体包括:运营人员对一些访问量很大的网站进行分析，得到这些网站中的背景图片等URL地址。实际应用中，运营人员分析URL地址的方式有很多，例如，可以分析某一 URL地址在一段时间内是否有更新，当分析出某一 URL地址在一段时间内没有更新时，则保存该URL地址；或，分析某一 URL地址是否为静态网页或静态资源，当分析出某一 URL地址为静态网页或静态资源的URL地址时，则保存该URL地址；或，分析连续访问某一 URL地址时，该URL地址的验证码是否不变，若连续访问某一 URL地址，服务器返回同一返回码时，则保存该URL地址。
[0055]根据浏览器内置的数据采集程序对多个网页进行采集获得应该保存的URL地址，具体包括:预设M个采集因子，将该采集因子设置在数据采集程序，并将该数据采集程序内置到浏览器中，由浏览器根据预设的采集因子对每次访问URL地址时的数据进行采集，例如，访问时间，页面大小和http返回码等数据，并将采集到的数据上报给服务器，由服务器进行统一分析后得到需要缓存的URL地址。
[0056]具体地，本发明实施例中预设的采集因子包括:URL地址在一定时间T内不会更新，T为经验值，实际应用中，可以以T=24小时进行采集URL地址；或，URL地址为静态网页或静态资源，例如，URL地址为html, image (jpeg, png), css, js等；或,某一 URL地址连续访问时，服务器返回同一返回码，表明服务器推荐缓存该URL地址对应的数据，实际应用中，该返回码可以为HTTP 304 Not Modified。
[0057]另外，根据预设的数据采集程序对多个网页进行采集时，具体为判断每个网页的URL地址是否满足任一采集因子，当网页的URL地址满足任一采集因子时，则获取URL地址，当网页的URL地址不满足任一采集因子时，则不对该URL地址做任何处理，也就是说该URL地址不必要保存在缓存数据库中。对网页进行采集的过程是不会去区分动态网页还是静态网页，因而本发明对于动态网页也能实现加速访问。
[0058]获得URL地址后，获取访问该URL地址时产生的数据，并将该URL地址和数据缓存到缓存数据库中，也就是说该缓存数据库中缓存的URL地址是经过运营人员分析或根据采集因子采集得到的应该保存的URL地址，此处应该保存的URL地址是指每次访问该URL地址不需要与服务器进行交互通信即可完成网页访问。而其他URL地址，如每次访问时产生的数据有变化的URL地址，每 次访问该URL地址是需要与服务器进行通信交互的，这些URL地址是不会保存在缓存数据库中，属于本实施例中所述的不应该保存的URL地址。本实施例中设置采集因子对多个网 页进行采集即是为了判断某URL地址是否应该保存在缓存数据库中。实际应用中，保存在缓存数据库的URL地址不止一个，本实施例设为根据预设的数据采集程序对多个网页进行采集，得到N个应该保存的URL地址，在缓存数据库中保存该N个URL地址和对应的缓存数据。
[0059]其中，缓存数据库中保存的数据内容如下表I所示，缓存数据库中缓存有每个URL地址及每个URL地址对应的缓存数据，另外，缓存数据库中还缓存有每个URL地址对应的缓存数据的md5值、URL地址的累计更新次数和上次更新URL地址的时间。其中，md5值是为了保证文件的正确性，防止别人盗用程序、加木马或者篡改版权，而设计的验证码。
[0060]表I缓存数据库中保存的数据内容
[0061]
【权利要求】
1.一种加速网页访问的方法，其特征在于，所述方法包括: 获取用户发起的统一资源定位符URL地址； 判断所述URL地址是否保存在预设的缓存数据库，所述缓存数据库中保存有多个URL地址与缓存数据的对应关系； 当判断出所述URL地址保存在预设的缓存数据库时，则在所述缓存数据库中获取所述URL地址对应的缓存数据，并处理所述缓存数据，渲染网页。
2.如权利要求1所述的方法，其特征在于，所述获取用户发起的统一资源定位符URL地址之前，所述方法，还包括: 根据预设的数据采集程序对多个网页进行采集，以获取N个URL地址，所述N为大于I的整数； 获取所述N个URL地址对应的缓存数据，并将所述N个URL地址和对应的缓存数据保存在缓存数据库。
3.如权利要求2所述的方法，其特征在于，所述数据采集程序中包括M个采集因子，所述M为大于I的整数；所述根据预设的数据采集程序对多个网页进行采集，以获取N个URL地址，具体包括: 判断每个网页的URL地址是否满足任一采集因子； 当所述网页的URL地址满足任一采集因子时，则获取所述URL地址。
4.如权利要求3所述的方法，其特征在于，所述采集因子至少包括URL地址的更新次数、URL地址的更新时间和URL地址的`验证码。
5.如权利要求1所述的方法，其特征在于，所述在所述缓存数据库中获取所述URL地址对应的缓存数据，具体包括: 判断当前的浏览器内核是IE内核还是webkit内核； 当前的浏览器是IE内核时，则调用异步可插入协议，在所述缓存数据库中获取所述URL地址对应的缓存数据； 当前的浏览器是webkit内核时，则调用前置资源加载通知的接口，在所述缓存数据库中获取所述URL地址对应的缓存数据。
6.一种加速网页访问的装置，其特征在于，所述装置包括: 获取模块，用于获取用户发起的统一资源定位符URL地址； 判断模块，用于判断所述获取模块获取的所述URL地址是否保存在预设的缓存数据库，所述缓存数据库中保存有多个URL地址与缓存数据的对应关系； 处理模块，用于当所述判断模块的判断结果为是时，则在所述缓存数据库中获取所述URL地址对应的缓存数据，并处理所述缓存数据，渲染网页。
7.如权利要求6所述的装置，其特征在于，所述装置还包括采集模块和缓存数据库； 所述采集模块，用于根据预设的数据采集程序对多个网页进行采集，以获取N个URL地址，所述N为大于I的整数，并获取所述N个URL地址对应的缓存数据； 所述缓存数据库，用于保存所述采集模块采集的所述N个URL地址和对应的缓存数据。
8.如权利要求7所述的装置，其特征在于，所述采集模块具体包括判断单元和采集单元; 所述判断单元，用于根据预设的数据采集程序包括的M个采集因子，判断每个网页的URL地址是否满足任一采集因子，所述M为大于I的整数； 所述采集单元，用于当所述判断单元的判断结果为所述网页的URL地址满足任一采集因子时，获取所述URL地址。
9.如权利要求8所述的装置，其特征在于，所述采集因子至少包括URL地址的更新次数、URL地址的更新时间和URL地址的验证码。
10.如权利要求6所述的装置，其特征在于，所述处理模块包括获取单元和处理单元； 所述获取单元，用于当所述判断模块的判断结果为是时，判断当前的浏览器内核是IE内核还是webkit内核；当前的浏览器是IE内核时，则调用异步可插入协议，在所述缓存数据库中获取所述URL地址对应的缓存数据；当前的浏览器是webkit内核时，则调用前置资源加载通知的接口，在所述缓存数据库中获取所述URL地址对应的缓存数据。 所述处理单元，用于处 理所述缓存数据，渲染网页。
【文档编号】G06F17/30GK103455478SQ201210158401
【公开日】2013年12月18日 申请日期:2012年5月21日 优先权日:2012年5月21日
【发明者】关亮亮, 刘峰, 王瑞阳, 钟杨, 杨经宇 申请人:腾讯科技（深圳）有限公司