专利名称：：一种互联网中资源获取方法和装置的制作方法
技术领域：
：本发明涉及互联网
技术领域：
，特别涉及一种互联网中资源获取方法和装置。
背景技术：
：当用户通过代理服务器访问第三方资源时，由代理服务器从第三方获取资源，并将资源传输至用户。为了获得更高的速度，代理服务器通常会对获取到的资源先进行一些处理，如压缩等，由于处理后的资源的容量减少了，将处理后的资源发送给用户时能够减少资源传输的时间，提高响应速度。然而，现有的资源获取方式至少存在如下缺陷:对一些资源的处理操作比较繁琐、耗时较长，例如，对于某些类型的图片要有效压缩需要先进行降色等处理，非常耗费代理服务器的CPU资源，代理服务器对这些资源实时处理后再发送至用户，不但会造成大量CPU资源的消耗，还会严重影响系统的响应速度。
发明内容鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的互联网中资源获取方法和装置。依据本发明的一个方面，本发明实施例提供了一种互联网中资源获取方法，包括:当接收到请求端的资源获取请求时，根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源；当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，将获取到的目标资源返回至请求端；对获取到的目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源。其中，在对从资源提供方获取到的目标资源进行相应处理之前，上述方法还包括:将目标资源的索引信息存储在数据库中；上述对从资源提供方获取到的目标资源进行相应处理包括:根据数据库存储的索引信息获取目标资源，对该目标资源进行相应处理。其中，在根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源之前，上述方法还包括:根据资源获取请求判断请求的目标资源的类型；当目标资源的类型为预定类型时，根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，将获取到的目标资源返回至请求端，对获取到的目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源；当目标资源的类型不是预定类型时，根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，对该目标资源进行相应处理，将处理后的目标资源存储在代理服务器的缓存中，将处理后的目标资源返回至请求端。其中，上述目标资源为图片时，上述预定类型包括图形交换格式GIF和/或便携网络图形PNG;上述对获取到的目标资源进行相应处理包括以下至少之一:对获取到的目标GIF图片和/或目标PNG图片进行降色处理，并对降色处理后的目标GIF图片和/或目标PNG图片进行压缩。其中，上述资源获取请求中包括请求的目标资源的统一资源定位符URL，代理服务器的缓存中存储资源和资源的URL，上述根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源包括:将资源获取请求中的URL与代理服务器缓存中资源的URL相匹配，当匹配成功时，确认缓存中存在请求的目标资源，当匹配失败时，确认缓存中不存在请求的目标资源。其中，上述索引信息为目标资源的URL，上述根据数据库存储的索引信息获取目标资源包括:从数据库中提取出需要处理的URL;将提取出的URL与代理服务器缓存中资源的URL相匹配，当匹配成功时，将匹配出的资源作为获取到的目标资源，当匹配失败时，利用提取出的URL从资源提供方获取目标资源。根据本发明的另一方面，本发明实施例提供了一种互联网中资源获取装置，包括:通信模块、线上控制模块和线下控制模块。该通信模块，适于接收请求端的资源获取请求，以及，将目标资源返回至请求端；该线上控制模块，适于根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源；当缓存中存在请求的目标资源时，控制通信模块将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，控制通信模块将获取到的目标资源返回至请求端；该线下控制模块，适于对获取到的目标资源进行相应处理，用处理结果替换缓存中对应的目标资源。其中，上述装置还包括数据库，该数据库，适于存储资源的索引信息；则线上控制模块，还适于将目标资源的索引信息存储在数据库中；线下控制模块，适于根据数据库存储的索引信息获取目标资源，对该目标资源进行相应处理。其中，线上控制模块，还适于根据资源获取请求判断请求的目标资源的类型；当目标资源的类型为预定类型时，该线上控制模块根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，控制通信模块将获取到的目标资源返回至请求端，该线上控制模块对获取到的目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源；当目标资源的类型不是预定类型时，该线上控制模块根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，对该目标资源进行相应处理，将处理后的目标资源存储在代理服务器的缓存中，并控制通信模块将处理后的目标资源返回至请求端。其中，上述目标资源为图片时，上述预定类型包括图形交换格式GIF和/或便携网络图形PNG;线下控制模块，适于对获取到的目标GIF图片和/或目标PNG图片进行降色处理，并对降色处理后的目标GIF图片和/或目标PNG图片进行压缩。其中，资源获取请求中包括请求的目标资源的统一资源定位符URL，代理服务器的缓存中存储资源和资源的URL，线上控制模块，还适于将资源获取请求中的URL与代理服务器缓存中资源的URL相匹配，当匹配成功时，确认缓存中存在请求的目标资源，当匹配失败时，确认缓存中不存在请求的目标资源。其中，上述索引信息为目标资源的URL，线下控制模块还适于从数据库中提取出需要处理的URL，将提取出的URL与代理服务器缓存中资源的URL相匹配，当匹配成功时，将匹配出的资源作为获取到的目标资源，当匹配失败时，利用提取出的URL从资源提供方获取目标资源。由上所述，本发明实施例在互联网中获取资源时采用一种线上操作结合线下操作的处理机制，通过将资源存储在代理服务器缓存中的技术手段，一方面在线上操作中当查询到缓存中存在目标资源时，直接将查找出的目标资源返回至用户，当缓存中不存在目标资源时，将获取到的原始资源直接返回至用户，从而能够及时将请求的资源发送至用户，提高系统的实时响应速度；另一方面，在线下操作中对资源进行相应处理，并将处理后的资源存储在缓存中，从而减轻了代理服务器CPU资源的消耗，且由于处理后的资源的容量小于原始资源的容量，则将从缓存中查询出的资源返回至用户时，降低了对传输带宽的要求，缩短了资源传输的时间，加快了系统响应速度。上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:图1示出了根据本发明一个实施例的一种互联网中资源获取方法流程图；图2示出了根据本发明又一个实施例的互联网中资源获取方法流程图；图3示出了根据本发明又一个实施例的互联网中资源获取方法中的线上操作部分的流程图；图4示出了根据本发明又一个实施例的互联网中资源获取方法中的线下操作部分的流程图；图5示出了根据本发明又一个实施例的一种互联网中资源获取装置的结构示意图。具体实施例方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本发明实施例主要解决代理服务器(如正向代理服务器)实时压缩一些资源时(PU消耗过高、系统响应过慢的问题，所采用的策略主要分为线上操作和线下操作两部分，线上操作主要指接收到资源获取请求时需要根据该资源获取请求实时执行的操作，线下操作主要指无需根据资源获取请求实时执行的操作，如在资源获取请求处理完毕之后执行的操作。线上操作部分不实时对获取到的原始资源进行压缩等处理，直接返回原始资源并记录，线下操作部分异步处理原始资源并将处理结果缓存，则当再次请求访问该资源时，可以使用缓存中已经处理完毕的资源，从而使对资源的处理不会影响代理服务器的性能，提高系统的响应速度。本发明一个实施例提供了一种互联网中资源获取方法，参见图1，该方法适于步骤S100，具体包括:步骤SlOO:接收到请求端的资源获取请求。上述资源获取请求可以包括请求端(如用户)请求访问的资源(即目标资源)的URL(UniformResoureLocator,统一资源定位符)。步骤S102:根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，若是，执行步骤S104，若否，执行步骤S106。步骤S104:当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，结束操作。对接收到本次资源获取请求之前缓存中存在的资源，绝大多数都是已经通过线下操作进行过相应处理(如压缩)的资源，则本步骤中查询到的目标资源的容量通常都小于原始资源的容量，则将查询·到的目标资源返回至请求端时，需要占用的网络带宽资源较少，能够获得较高的资源传输速度，提高系统响应速度。步骤S106:当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，将获取到的目标资源返回至请求端。本步骤中代理服务器可以根据资源获取请求中的URL定位资源提供方并从定位到的资源提供方中提取出目标资源，代理服务器在步骤S106中不对从资源提供方获取到的目标资源进行相应处理(如压缩)，直接将该目标资源(原始资源)存储在缓存中，并将该目标资源(原始资源)返回至请求端，这种处理方式，由于避免了由代理服务器对目标资源处理而带来的延时以及代理服务器CPU资源的消耗，能够减轻代理服务器CPU的数据处理压力，并及时将请求资源返回至请求端。步骤S108:对从资源提供方获取到的目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源。本步骤中执行线下操作，对从资源提供方获取到的原始资源，进行压缩等处理，并用压缩后的资源替换代理服务器中存储的原始资源。在图1所示实施例的基础上,在执行步骤S108之前,本实施例还包括:将目标资源的索引信息存储在数据库中，则上述步骤S108包括:根据数据库存储的索引信息获取目标资源，对该目标资源进行相应处理。即在线上操作时，将获取到的原始资源先存储在数据库中，然后在线下操作中对数据库中索引信息记录的资源进行处理。其中，代理服务器的缓存中存储有资源的实体数据内容和资源的URL，示例性的，以资源为图片资源的情况为例说明如下:该缓存中可以存储有图片资源(目标图片)的实体数据内容和图片资源的URL,如http://img.thirdparty.com/demo,png。上述步骤S102中还包括:将资源获取请求中的URL与代理服务器缓存中资源的URL相匹配,如将http://img.thirdparty.com/demo,png与缓存中存储的URL进行匹配，当匹配成功时，如缓存中具有与http://img.thirdparty.com/demo,png相同的URL时,确认缓存中存在请求的目标资源，当匹配失败时，如缓存中不存在与http://img.thirdparty.com/demo,png相同的URL时,确认缓存中不存在请求的目标资源。其中，上述索引信息为目标资源的URL，如对目标图片，该目标图片的索引信息为该目标图片的URL,如http://img.thirdparty.com/demo,png。上述根据数据库存储的索引信息获取目标资源包括:从数据库中提取出需要处理的URL(如http://img.thirdparty.com/demo,png);将提取出的URL(如http://img.thirdparty.com/demo,png)与代理服务器缓存中资源的URL相匹配，当匹配成功时,如数据库中具有与http://img.thirdparty.com/demo,png相同的URL时，将匹配出的资源作为获取到的目标资源，当匹配失败时，如数据库中不具有与http://img.thirdparty.com/demo,png相同的URL时，利用提取出的URL从资源提供方获取目标资源。由上所述，本发明实施例在互联网中获取资源时采用一种线上操作结合线下操作的处理机制，通过将资源存储在代理服务器缓存中的技术手段，一方面在线上操作中当查询到缓存中存在目标资源时，直接将查找出的目标资源返回至用户，当缓存中不存在目标资源时，将获取到的原始资源直接返回至用户，从而能够及时将请求的资源发送至用户，提高系统的实时响应速度；另一方面，在线下操作中对资源进行相应处理，并将处理后的资源存储在缓存中，从而减轻了代理服务器CPU资源的消耗，且由于处理后的资源的容量小于原始资源的容量，则将从缓存中查询出的`资源返回至用户时，降低了对传输带宽的要求，缩短了资源传输的时间，加快了系统响应速度。参见图2，示出了本发明又一个实施例的互联网中资源获取方法流程图，该流程还包括下述操作:根据资源获取请求判断请求的目标资源的类型；当目标资源的类型为预定类型时，按照后续步骤S104、S106、S108的操作进行处理，即根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，将获取到的目标资源返回至请求端，对从资源提供方获取到的目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源；当目标资源的类型不是预定类型时，根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，对该目标资源进行相应处理，将处理后的目标资源存储在代理服务器的缓存中，将处理后的目标资源返回至请求端。该流程具体如下:S202:根据资源获取请求判断请求的目标资源的类型，当目标资源的类型为预定类型时，进入步骤S204，当目标资源的类型不为预定类型时，进入步骤S206。资源获取请求中包含的相关信息(如目标资源的URL)可以指示目标资源的类型，从该相关信息中即可获知目标资源的类型，如目标资源(目标图片)的URL为http://img.thirdparty.com/demo,png时,根据该URL即可获知目标资源为PNG类型的图片资源。本实施例将目标资源的类型区分为预定类型和非预定类型两种，对不同类型的资源按照不同的方式进行处理，主要划分标准在于:对预定类型资源的处理耗费的代理服务器的CPU资源较大，如果实时处理不但会造成大量CPU的消耗，而且导致系统响应速度过慢，因此对于这种预定类型的资源采用线下处理；对非预定类型资源的处理操作通常比较简单且耗时较短，因此对此类非预定类型资源采取直接实时处理更加有效率。目标资源可以包括文本、图片、视频等多种形式的网络资源，根据处理目标资源的复杂程度将每种形式的目标资源划分为预定类型和非预定类型，处理复杂程度较高的通常占用CPU的资源较大则被划分至预定类型，处理复杂程度较低的通常占用CPU的资源较小则被划分至非预定类型。本实施例主要以目标资源为目标图片的场景为例进行说明，该预定类型包括GIF图片、PNG图片等，非预定类型包括JPEG图片。这是因为相比于一般的JPEG图片的压缩操作，PNG、GIF等格式图片的压缩需要进行先降色等处理，导致耗费的服务器(PU资源较大，如果实时处理不但会造成大量CPU的消耗，还会严重影响系统的响应速度。应该清楚，本发明并不限于上述图片类的资源。S204:当目标资源的类型为预定类型时，触发如下后续相应操作的执行:根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，结束操作。当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，将获取到的目标资源返回·至请求端，对从资源提供方获取到的目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源，结束操作。即在本步骤中会触发上述步骤S102、S104、S106、S108的操作。其中，上述目标资源为图片时，判断的预定类型包括图形交换格式(GraphicsInterchangeFormat,GIF)和/或便携网络图形(PortableNetworkGraphics,PNG);则步骤S108中对获取到的目标资源进行相应处理包括以下至少之一:对获取到的目标GIF图片和/或目标PNG图片进行降色处理，并对降色处理后的目标GIF图片和/或目标PNG图片进行压缩。S206:当目标资源的类型不是预定类型时，根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，若是，进入步骤S208，若否，进入步骤S210。S208:当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，结束操作。S210:当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，对该目标资源进行相应处理，将处理后的目标资源存储在代理服务器的缓存中，将处理后的目标资源返回至请求端，结束操作。本发明又一个实施例结合正向代理服务器对图片资源进行处理的场景对本方案提供的互联网中资源获取方法进行说明，本实施例主要对线上操作部分进行说明，线下操作部分的具体内容可以参见本发明其他实施例的相关描述。参见图3，该方法适于步骤S300，具体包括如下处理:步骤S300:接收资源获取请求；正向代理服务器接收资源获取请求，请求获取的目标资源可以包括文本、图片、视频等多种形式的网络资源，示例性的，该资源获取请求指示获取GIF或PNG图片资源，例如，该资源获取请求中包括请求获取的图片资源(目标图片)的11此“111^口:/7；[11^.thirdparty.com/demo,png，，。本实施例将目标资源的类型区分为预定类型和非预定类型两种，正向代理服务器能够根据接收到的资源获取请求获知目标资源的类型，如根据http://img.thirdparty.com/demo,png获知目标图片的类型为PNG图片。步骤S302:查询缓存。正向代理服务器的缓存中会存储已经获取到的图片和图片的URL，将资源获取请求的URL与缓存中的URL进行匹配，执行查询操作，如将http://img.thirdparty.com/demo,png与缓存中的URL进行比对，执行查询操作。本实施例中结合图3，主要以目标图片为预定类型的图片时的处理方法进行了说明，当目标图片为预定类型时，执行步骤S304至S314的操作。该预定类型包括GIF图片、PNG图片等。这是因为相比于一般的JPEG图片的压缩操作，PNG、GIF等格式图片的压缩需要进行先降色等处理，导致耗费的服务器CPU资源较大，如果实时处理不但会造成大量CPU的消耗，还会严重影响系统的响应速度。正向代理服务器可以通过目标资源的URL获知该目标资源的类型。当目标图片不是预定类型的图片时，如目标图片为JPEG图片，本实施例先查询缓存中是否存储有该图片，若有，将查询到的图片直接返回至用户，若没有，由于对这种类型的图片的处理操作通常比较简单且耗时较短，从第三方获取该目标图片，直接实时地进行相应处理后，再发送至用户。步骤S304:判断请求获取的图片资源是否命中缓存。根据步骤S302中的查询结果，当缓存中查询(匹配)出URL与目标图片的URL相同的图片时，判断匹配成功，即目标图片命中缓存，进入步骤S314;当缓存中没有查询(匹配)出URL与目标图片的URL相同的图片时，判断匹配失败，即目标图片没有命中缓存，进入步骤S306。步骤S306:获取原始图片资源。本步骤中正向代理服务器根据目标资源的URL从资源提供方(如第三方服务器)获取目标资源，这时获取的目标图片资源是还没有经过处理的原始图片资源。步骤S308:把原始图片及其URL存入缓存中。将步骤S306中获取到的原始图片资源及其URL存入正向代理服务器的缓存中。步骤S310:记录图片资源的URL到数据库。将原始图片资源的索引信息(如URL)记录到数据库。步骤S312:把原始图片资源直接返回至用户，结束本次资源获取流程。线上操作部分不对正向代理服务器从第三方获取到的目标资源进行实时处理，将原始数据直接返回至用户，以减轻正向代理服务器的数据处理压力，并保证系统响应的及时性。步骤S314:将缓存中提取出的资源返回给用户，结束本次操作。对于目标图片命中缓存的场景，将查询出的目标图片直接返回给用户。本发明又一个实施例仍结合正向代理服务器对图片资源进行处理的场景对本方案提供的互联网中资源获取方法进行说明，本实施例主要对线下操作部分进行说明，线上操作部分的具体内容可以参见本发明其他实施例的相关描述。参见图4，该方法适于步骤S400,具体包括如下操作:步骤S400:从数据库中提取一条索引。上述索引可以采用资源的URL实现。本实施例中对数据库中的索引逐条进行处理，可以根据正向代理服务器和CPU资源情况多进程进行，每一个后台进程会从数据库提取(PoP)出一条索引数据，获取某个资源的URL。步骤S402:查询正向代理服务器的缓存。根据从数据库得到的索引，先查询相应资源是否存在于缓存中。查询时，将提取出的URL与代理服务器缓存中资源的URL相匹配，当匹配成功时，将匹配出的资源作为获取到的目标资源，当匹配失败时，利用提取出的URL从资源提供方获取目标资源。步骤S404:判断是否命中缓存，若是，执行步骤S406，若否，执行步骤S412。当正向代理服务器缓存中匹配出与数据库中提取出的URL相同的URL时，匹配成功，确定命中缓存，进入步骤S406;当正向代理服务器缓存中没有匹配出与数据库中提取出的URL相同的URL时，匹配失败，确定没有命中缓存，进入步骤S412。步骤S406:提取缓存中的资源。将缓存中匹配成功的URL对应的图片资源，提取出来作为当前处理时使用的图片资源，进入步骤S408，对该资源进行处理。步骤S408:对图片资源进行降色等处理。对PNG、GIF类型的图片资源进行降色处理后，压缩该图片资源。步骤S410:把处理后的资源放入缓存。当缓存中存储有处理后资源对应的原始图片资源时，将处理后的资源替换缓存中的原始图片资源，当缓存中不存在处理后资源对应的原始图片资源时，将处理后的资源直接存储至缓存中。步骤S412:从第三方获取原始图片资源。对某些场景可能会出现数据库中索引对应的资源没有存储在代理服务器缓存中的现象，例如，代理服务器在存储数据时发生错误，图片没有成功存入缓存中，或者超过缓存时限或容限，图片已被删除。在此情况下则根据从数据库中提取出的URL从第三方获取相应图片资源后，进入步骤S408。下面通过一个具体的应用场景，对本方案的操作流程和有益效果进行说明。当用户A向正向代理服务器发送资源获取请求，请求访问URL为“http://img.thirdparty.com/demo,png”的资源(即PNG类型的图片资源)时,正向代理服务器的缓存中并没有此资源，正向代理服务器会直接从第三方获取原始资源返回给用户A，同时把原始资源写入正向代理的缓存，并把该资源的URL存到数据库中。本方案能够及时将请求的资源传递至用户A。当用户B在用户A之后也向正向代理服务器发送资源获取请求，请求访问资源^http://img.thirdparty.com/demo,png”，由于正向代理服务器的缓存中已经有此资源，因此正向代理服务器从缓存中取出此资源，并返回给用户B；线下的后台程序在处理用户B的资源获取请求的同时或者之后，在数据库中提取出资源“http://img.thirdparty.com/demo,png”的URL,从正向代理服务器的缓存中获取到原始资源，并进行降色及压缩等处理，并把处理后的资源写入正向代理服务器的缓存，覆盖缓存中之前存储的原始资源，线下程序的操作减轻了对正向代理服务器CPU资源的消耗，加快了系统响应速度。则当用户C在用户B之后向正向代理服务器发送资源获取请求，请求访问资源’http://img.thirdparty.com/demo,png’,由于正向代理服务器的缓存中已经有此资源，并且是经过降色及压缩处理后的资源，正向代理服务器从缓存中取出此资源，并返回给用户C;传输至用户C的资源由于进行了降色及压缩处理，容量会大幅减小，会减少用户流量，提高响应速度。本发明又一个实施例还提供了一种互联网中资源获取装置500，参见图5，包括:通信模块510、线上控制模块512和线下控制模块514。该通信模块510，适于接收请求端的资源获取请求，以及，将目标资源返回至请求端；该线上控制模块512，适于根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源；当缓存中存在请求的目标资源时，控制通信模块510将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，控制通信模块510将获取到的目标资源返回至请求端；该线下控制模块514，适于对获取到的目标资源进行相应处理，用处理结果替换缓存中对应的目标资源。其中，上述装置还可以包括数据库516，该数据库516适于存储资源的索引信息；则线上控制模块512还适于将目标资源的索引信息存储在数据库516中；线下控制模块514适于根据数据库516存储的索引信息获取目标资源，对该目标资源进行相应处理。可以理解，该数据库516也可以位于线上控制模块512、线下控制模块514、代理服务器的任意一个之中。其中，线上控制模块512还适于根据资源获取请求判断请求的目标资源的类型；当目标资源的类型为预定类型时，线上控制模块512根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，控制通信模块510将获取到的目标资源返回至请求端，线上控制模块512对获取到的目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源；当目标资源的类型不是预定类型时，线上控制模块512根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，对该目标资源进行相应处理，将处理后的目标资源存储在代理服务器的缓存中，并控制通信模块510将处理后的目标资源返回至请求端。其中，上述目标资源为图片时，上述预定类型包括图形交换格式GIF和/或便携网络图形PNG;线下控制模块514，适于对获取到的目标GIF图片和/或目标PNG图片进行降色处理，并对降色处理后的目标GIF图片和/或目标PNG图片进行压缩。其中，资源获取请求中包括请求的目标资源的URL，代理服务器的缓存中存储资源和资源的URL，线上控制模块512还适于将资源获取请求中的URL与代理服务器缓存中资源的URL相匹配，当匹配成功时，确认缓存中存在请求的目标资源，当匹配失败时，确认缓存中不存在请求的目标资源。其中，上述索引信息为目标资源的URL，线下控制模块514还适于从数据库516中提取出需要处理的URL，将提取出的URL与代理服务器缓存中资源的URL相匹配，当匹配成功时，将匹配出的资源作为获取到的目标资源，当匹配失败时，利用提取出的URL从资源提供方获取目标资源。上述装置500可以设置在代理服务器中实现，或是根据需要也可以设置在与代理服务器独立的服务器中实现。本发明装置实施例中各模块的具体工作方式可以参见本发明的方法实施例，在此不再赘述。由上所述，本发明实施例在互联网中获取资源时采用一种线上操作结合线下操作的处理机制，通过将资源存储在代理服务器缓存中的技术手段，一方面在线上操作中当查询到缓存中存在目标资源时，直接将查找出的目标资源返回至用户，当缓存中不存在目标资源时，将获取到的原始资源直接返回至用户，从而能够及时将请求的资源发送至用户，提高系统的实时响应速度；另一方面，在线下操作中对资源进行相应处理，并将处理后的资源存储在缓存中，从而减轻了代理服务器CPU资源的消耗，且由于处理后的资源的容量小于原始资源的容量，则将从缓存中查询出的资源返回至用户时，降低了对传输带宽的要求，缩短了资源传输的时间，加快了系统响应速度。在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的互联网中资源获取装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。本发明申请公开了Al、一种互联网中资源获取方法，包括:当接收到请求端的资源获取请求时，根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源；当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，将获取到的目标资源返回至请求端；对获取到的所述目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源。A2、根据Al所述的方法，其中，在所述对从资源提供方获取到的所述目标资源进行相应处理之前，所述方法还包括:将所述目标资源的索引信息存储在数据库中；所述对从资源提供方获取到的所述目标资源进行相应处理包括:根据数据库存储的索引信息获取目标资源，对该目标资源进行相应处理。A3、根据Al所述的方法，其中，在根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源之前，所述方法还包括:根据所述资源获取请求判断请求的目标资源的类型；当目标资源的类型为预定类型时，根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，将获取到的目标资源返回至请求端，对获取到的所述目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源；当目标资源的类型不是预定类型时，根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，对该目标资源进行相应处理，将处理后的目标资源存储在代理服务器的缓存中，将处理后的目标资源返回至请求端。A4、根据A2所述的方法，其中，所述目标资源为图片时，所述预定类型包括图形交换格式GIF和/或便携网络图形PNG;所述对获取到的目标资源进行相应处理包括以下至少之一:对获取到的目标GIF图片和/或目标PNG图片进行降色处理，并对降色处理后的目标GIF图片和/或目标PNG图片进行压缩。A5、根据Al所述的方法，其中，所述资源获取请求中包括请求的目标资源的统一资源定位符URL，所述代理服务器的缓存中存储资源和资源的URL，所述根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源包括:将资源获取请求中的URL与代理服务器缓存中资源的URL相匹配，当匹配成功时，确认缓存中存在请求的目标资源，当匹配失败时，确认缓存中不存在请求的目标资源。A6、根据A2所述的方法，其中，所述索引信息为目标资源的URL，所述根据数据库存储的索引信息获取目标资源包括:从数据库中提取出需要处理的URL;将提取出的URL与代理服务器缓存中资源的URL相匹配，当匹配成功时，将匹配出的资源作为获取到的目标资源，当匹配失败时，利用提取出的URL从资源提供方获取目标资源。本发明申请还公开了B7、一种互联网中资源获取装置，包括:通信模块、线上控制模块和线下控制模块，所述通信模块，适于接收请求端的资源获取请求，以及，将目标资源返回至请求端；所述线上控制模块，适于根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源；当缓存中存在请求的目标资源时，控制所述通信模块将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，控制所述通信模块将获取到的目标资源返回至请求端；所述线下控制模块，适于对获取到的目标资源进行相应处理，用处理结果替换缓存中对应的目标资源。B8、根据B7所述的装置，其中，所述装置还包括数据库，所述数据库适于存储资源的索引信息；所述线上控制模块，还适于将所述目标资源的索引信息存储在数据库中；所述线下控制模块，适于根据数据库存储的索引信息获取目标资源，对该目标资源进行相应处理。B9、根据B7所述的装置，其中，所述线上控制模块，还适于根据所述资源获取请求判断请求的目标资源的类型；当目标资源的类型为预定类型时，所述线上控制模块根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，控制所述通信模块将获取到的目标资源返回至请求端，所述线下控制模块对获取到的所述目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源；当目标资源的类型不是预定类型时，所述线上控制模块根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，对该目标资源进行相应处理，将处理后的目标资源存储在代理服务器的缓存中，并控制所述通信模块将处理后的目标资源返回至请求端。B10、根据B8所述的装置，其中，所述目标资源为图片时，所述预定类型包括图形交换格式GIF和/或便携网络图形PNG;所述线下控制模块，适于对获取到的目标GIF图片和/或目标PNG图片进行降色处理，并对降色处理后的目标GIF图片和/或目标PNG图片进行压缩。BH、根据B7所述的装置，其中，所述资源获取请求中包括请求的目标资源的统一资源定位符URL，所述代理服务器的缓存中存储资源和资源的URL，所述线上控制模块，还适于将资源获取请求中的URL与代理服务器缓存中资源的URL相匹配，当匹配成功时，确认缓存中存在请求的目标资源，当匹配失败时，确认缓存中不存在请求的目标资源。B12、根据B8所述的装置，其中，所述索引信息为目标资源的URL，所述线下控制模块，还适于从数据库中提取出需要处理的URL，将提取出的URL与代理服务器缓存中资源的URL相匹配，当匹配成功时，将匹配出的资源作为获取到的目标资源，当匹配失败时，利用提取出的URL从资源提供方获取目标资源。权利要求1.一种互联网中资源获取方法，包括:当接收到请求端的资源获取请求时，根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源；当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，将获取到的目标资源返回至请求端；对获取到的所述目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源。2.根据权利要求1所述的方法，其中，在所述对从资源提供方获取到的所述目标资源进行相应处理之前，所述方法还包括:将所述目标资源的索引信息存储在数据库中；所述对从资源提供方获取到的所述目标资源进行相应处理包括:根据数据库存储的索引信息获取目标资源，对该目标资源进行相应处理。3.根据权利要求1所述的方法，其中，在根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源之前，所述方法还包括:根据所述资源获取请求判断请求的目标资源的类型；当目标资源的类型为预定类型时，根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，将·获取到的目标资源返回至请求端，对获取到的所述目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源；当目标资源的类型不是预定类型时，根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，对该目标资源进行相应处理，将处理后的目标资源存储在代理服务器的缓存中，将处理后的目标资源返回至请求端。4.根据权利要求2所述的方法，其中，所述目标资源为图片时，所述预定类型包括图形交换格式GIF和/或便携网络图形PNG；所述对获取到的目标资源进行相应处理包括以下至少之一:对获取到的目标GIF图片和/或目标PNG图片进行降色处理，并对降色处理后的目标GIF图片和/或目标PNG图片进行压缩。5.根据权利要求1所述的方法，其中，所述资源获取请求中包括请求的目标资源的统一资源定位符URL，所述代理服务器的缓存中存储资源和资源的URL，所述根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源包括:将资源获取请求中的URL与代理服务器缓存中资源的URL相匹配，当匹配成功时，确认缓存中存在请求的目标资源，当匹配失败时，确认缓存中不存在请求的目标资源。6.根据权利要求2所述的方法，其中，所述索引信息为目标资源的URL，所述根据数据库存储的索引信息获取目标资源包括:从数据库中提取出需要处理的URL；将提取出的URL与代理服务器缓存中资源的URL相匹配，当匹配成功时，将匹配出的资源作为获取到的目标资源，当匹配失败时，利用提取出的URL从资源提供方获取目标资源。7.—种互联网中资源获取装置，包括:通信模块、线上控制模块和线下控制模块，所述通信模块，适于接收请求端的资源获取请求，以及，将目标资源返回至请求端；所述线上控制模块，适于根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源；当缓存中存在请求的目标资源时，控制所述通信模块将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，控制所述通信模块将获取到的目标资源返回至请求端；所述线下控制模块，适于对获取到的目标资源进行相应处理，用处理结果替换缓存中对应的目标资源。8.根据权利要求7所述的装置，其中，所述装置还包括数据库，所述数据库适于存储资源的索引信息；所述线上控制模块，还适于将所述目标资源的索引信息存储在数据库中；所述线下控制模块，适于根据数据库存储的索引信息获取目标资源，对该目标资源进行相应处理。9.根据权利要求7所述的装置，其中，所述线上控制模块，还适于根据所述资源获取请求判断请求的目标资源的类型；当目标资源的类型为预定类型时，所述线上控制模块根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，控制所述通信模块将获取到的目标资源返回至请求端，所述线下控制模块对获取到的所述目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源；当目标资源的类型不是预定类型时，所述线上控制模块根据所述资源获取请求查询代理服务器的缓存中是否存在请求的目标资源，当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，对该目标资源进行相应处理，将处理后的目标资源存储在代理服务器的缓存中，并控制所述通信模块将处理后的目标资源返回至请求端。10.根据权利要求8所述的装置，其中，所述目标资源为图片时，所述预定类型包括图形交换格式GIF和/或便携网络图形PNG；所述线下控制模块，适于对获取到的目标GIF图片和/或目标PNG图片进行降色处理，并对降色处理后的目标GIF图片和/或目标PNG图片进行压缩。全文摘要本发明公开了一种互联网中资源获取方法和装置。本发明实施例提供的一种互联网中资源获取方法包括当接收到请求端的资源获取请求时，根据资源获取请求查询代理服务器的缓存中是否存在请求的目标资源；当缓存中存在请求的目标资源时，将查询到的目标资源返回至请求端，当缓存中不存在请求的目标资源时，从资源提供方获取目标资源，将该目标资源存储在代理服务器的缓存中，将获取到的目标资源返回至请求端；对从资源提供方获取到的目标资源进行相应处理，并用处理结果替换缓存中对应的目标资源。文档编号H04L29/08GK103248684SQ20131015443公开日2013年8月14日申请日期2013年4月28日优先权日2013年4月28日发明者邱磊申请人:北京奇虎科技有限公司,奇智软件(北京)有限公司