本发明涉及数据处理技术领域，尤其涉及采用代理ip爬取网站数据的方法、存储介质和服务器。
背景技术：
在互联网环境中，数据是非常重要的一种资产，爬虫系统则是有效获取数据的重要途径之一。
目前，很多网站采取了反爬虫技术，使用同一个ip去爬取网站数据，往往很容易被网站识别拉到黑名单中，从而不能继续爬取网站数据。此时，若想继续获取该网站的数据，采用代理ip访问网站进行数据爬取是有效的途径之一。
然而，反复采用相同的代理ip爬取网站数据，同样会导致该网站将该代理ip拉入黑名单中，对网站数据的爬取极其不利。
技术实现要素：
本发明实施例提供了一种采用代理ip爬取网站数据的方法、存储介质和服务器，能够保证爬取网站数据的代理ip来源的可靠性，避免反复采用相同的代理ip爬取数据导致代理ip被封的情况。
第一方面，提供了一种采用代理ip爬取网站数据的方法，包括：
确定待爬取数据的目标网站；
根据所述目标网站的属性信息确定适用于所述目标网站的ip分类，各个预设的ip分类预设有各自适用的网站的属性信息；
从ip地址池中筛选出属于确定的所述ip分类的各个代理ip，所述ip地址池包括多个预先收集、归类、且互不相同的代理ip；
从筛选出的所述各个代理ip中选取一个代理ip；
采用选取出的代理ip访问所述目标网站，并执行本次数据爬取任务。
第二方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：
确定待爬取数据的目标网站；
根据所述目标网站的属性信息确定适用于所述目标网站的ip分类，各个预设的ip分类预设有各自适用的网站的属性信息；
从ip地址池中筛选出属于确定的所述ip分类的各个代理ip，所述ip地址池包括多个预先收集、归类、且互不相同的代理ip；
从筛选出的所述各个代理ip中选取一个代理ip；
采用选取出的代理ip访问所述目标网站，并执行本次数据爬取任务。
第三方面，提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
确定待爬取数据的目标网站；
根据所述目标网站的属性信息确定适用于所述目标网站的ip分类，各个预设的ip分类预设有各自适用的网站的属性信息；
从ip地址池中筛选出属于确定的所述ip分类的各个代理ip，所述ip地址池包括多个预先收集、归类、且互不相同的代理ip；
从筛选出的所述各个代理ip中选取一个代理ip；
采用选取出的代理ip访问所述目标网站，并执行本次数据爬取任务。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，首先，确定待爬取数据的目标网站；然后，根据所述目标网站的属性信息确定适用于所述目标网站的ip分类，各个预设的ip分类预设有各自适用的网站的属性信息；接着，从ip地址池中筛选出属于确定的所述ip分类的各个代理ip，所述ip地址池包括多个预先收集、归类、且互不相同的代理ip；再之，从筛选出的所述各个代理ip中选取一个代理ip；最后，采用选取出的代理ip访问所述目标网站，并执行本次数据爬取任务。在本发明实施例中，由于ip地址池中包括多个互不相同的代理ip，执行当前数据爬取任务时，从中筛选出合适的各个代理ip后，再选取一个代理ip进行访问和爬取数据，因此，不仅保证了爬取网站数据的代理ip来源的可靠性，而且避免了反复采用相同的代理ip爬取数据导致代理ip被封的情况，有利于爬取网站数据的顺利进行。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种采用代理ip爬取网站数据的方法一个实施例流程图；
图2为本发明实施例中一种采用代理ip爬取网站数据的方法在一个应用场景下预先收集归类代理ip的流程示意图；
图3为本发明实施例中一种采用代理ip爬取网站数据的方法步骤104在一个应用场景下的流程示意图；
图4为本发明实施例中一种采用代理ip爬取网站数据的装置一个实施例结构图；
图5为本发明一实施例提供的服务器的示意图。
具体实施方式
本发明实施例提供了一种采用代理ip爬取网站数据的方法、存储介质和服务器，用于解决爬取网站数据时代理ip容易被封的问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中一种采用代理ip爬取网站数据的方法一个实施例包括：
101、确定待爬取数据的目标网站；
本实施例的执行主体可以是终端设备或者服务器，优选地，本实施例中的执行主体为一服务器。
可以理解的是，服务器在爬取数据之前，首先需要确定本次数据爬取任务所针对的网站，即上述的目标网站。
优选地，在执行下述步骤102之前，服务器可以先采用本地ip尝试访问该目标网站，如果失败(比如本地ip已被拉黑名单)，再采用代理ip进行访问，这样不仅更加方便，而且有利于保护代理ip的有效性。具体包括：首先，采用本地ip访问所述目标网站；若采用本地ip访问所述目标网站成功，则执行本次数据爬取任务；若采用本地ip访问所述目标网站失败，则执行下述步骤102。
102、根据所述目标网站的属性信息确定适用于所述目标网站的ip分类，各个预设的ip分类预设有各自适用的网站的属性信息；
可以理解的是，不同的目标网站一般具有不同的属性信息，比如，某个网站的服务器地址在广东省深圳市，另一个网站的服务器地址在江苏省南京市。可知，对这两个网站进行访问时，若采用的代理ip的所在地在深圳市，则该代理ip访问前一个网站的响应速度往往远快于后一个网站的响应速度。
因此，服务器可以预先对各个代理ip进行分类，具体分类方法在下述内容描述。分类后，服务器上预设有各个ip分类，这些ip分类预先设置有各自使用的网站的属性信息，以便于在确定ip分类时，可以根据网站的属性信息快速筛选出使用的ip分类。举例说明，可以某个ip分类(记为分类a)预设的属性信息为“深圳市”，即表示该分类a适用于服务器地址位于深圳市的目标网站，因此，当该目标网站的属性信息中记载其服务器地址为“广东省深圳市”时，服务器即可确定该分类a为适用于该目标网站的ip分类。
103、从ip地址池中筛选出属于确定的所述ip分类的各个代理ip；
需要说明的是，服务器上设有ip地址池，该ip地址池包括多个预先收集、归类、且互不相同的代理ip，当需要筛选代理ip时，从ip地址池中筛选出属于上述步骤102确定的ip分类的各个代理ip。
进一步地，如图2所示，所述ip地址池中的各个代理ip可以通过以下步骤预先收集、归类：
201、从提供代理ip的网站上爬取各个代理ip；
202、采用爬取到的所述各个代理ip分别访问指定网站；
203、记录访问指定网站时爬取到的所述各个代理ip的各属性项的属性值，所述属性项包括响应速度、过滤能力或隐匿属性；
204、根据记录的属性值对爬取到的所述各个代理ip归类至预设的各个ip分类中。
对于上述步骤201，在目前市面上有许多提供代理ip的网站，尤其是提供免费代理ip的网站，这些网站的代理ip一般都可以正常使用，因此，服务器可以从这些网站上爬取到各个代理ip，完成代理ip的收集工作。具体地，可以采用scrapy框架+xpath爬取各个网站提供的免费代理ip。
对于上述步骤202和203，在收集到这些代理ip之后，可以先测试这些代理ip的各个属性项，比如ip所在地、响应速度、过滤能力或隐匿属性等，以便于后续对这些代理ip进行分类。需要注意的是，有些提供代理ip的网站上，在提供代理ip的同时，也会一并提供这些代理ip的属性项的值，因此服务器直接从网站上获取代理ip的这些属性值即可。
当需要测试代理ip的属性值时，可以要求测试的代理ip分别访问指定网站，在访问过程中进行属性项的测试。优选地，由于在实际使用过程中，待爬取数据的目标网站往往是固定的几个，因此，测试时的该指定网站可以是固定的几个目标网站中的一个。
对于上述步骤204，在记录下各个代理ip的属性项的属性值后，可以根据记录的属性值对各个代理ip进行归类。其中，归类的标准可以根据实际情况需要而定，此处不做具体限定。
为便于理解，通过以下两种分类方式举例说明如下：
第一种分类方式：在把所有代理ip均对各个目标网站(选取目标网站作为指定网站)分别进行访问测试，获取各个代理ip对各个目标网站的响应速度，然后针对一个目标网站，根据响应速度分别对各个代理ip进行分类，比如，速度在8-10之间的代理ip定义为优质ip，速度4-7之间的代理ip地址定义为普通ip，速度3以下的代理ip定义为劣质ip。可以知道的是，针对不同的目标网站会对应有不同的分类，这是因为，本方案是采用这些代理ip爬取这些目标网站数据的，而目标网站的数量有限，且往往一段时间固定不变，因此针对各个目标网站的响应速度进行分类，更有利于在实际使用过程中有针对性的选取代理ip。
第二种分类方式：在爬取代理ip的同时，获取这些代理ip的隐匿属性。隐匿属性包括高匿和透明，高匿代理ip是指不容易被目标网站反向得知真实地址的代理ip、透明代理ip是指容易被目标网站反向得知真实地址的代理ip。代理ip的隐匿属性可以由代理ip的来源网站提供。在分类时，同样可以将ip地址池中的代理ip分为高匿ip和透明ip两种。
优选地，ip地址池中的各个代理ip各属性项的属性值可以以结构化的形式存储的数据库中的一张表里，包括ip所在地、响应速度、过滤能力等等，都作为表中的一个字段。对响应速度、过滤能力等较模糊的字段进行量化，比如对响应速度来说，响应速度范围定义为0-10,10代表响应速度最快，以此来判断每个代理ip的响应速度(可向指定网站以代理ip发送请求，根据请求响应时间来判断响应速度)。具体地，也可以将ip地址池中的各个代理ip以mysql数据库的格式进行存储，以便于后续进行ip地址的查询和管理。
进一步地，还可以定时检测ip地址池中的代理ip的有效性，利用代理ip请求指定网站，若该指定网站反馈响应消息，则确定该代理ip为有效的代理ip，反之，则确定该代理ip为失效的代理ip。根据确定的结果，将ip地址池中的失效代理ip及时清理掉，以保持ip地址池的可用性。
另外，对于ip地址池，服务器还可以不断扩大ip地址池的容量，即增加ip地址池中的代理ip数量，这样可以使得ip地址池的实用性更高。
104、从筛选出的所述各个代理ip中选取一个代理ip；
可以理解的是，可以认为筛选出的所述各个代理ip均是适用于当前的目标网站的，因此，从中选取的一个代理ip，同样适用于当前目标网站。
进一步地，如图3所示，步骤104可以包括：
301、按照预设规则对筛选出的所述各个代理ip进行排序，组成代理ip列表；
302、选取所述代理ip列表中排行第一的代理ip；
对于上述步骤301，可以采用以下两种方式(方式a和方式b)中的任一种对筛选出的所述各个代理ip进行排序：
方式a：按照确定的所述ip分类预先指定的代理ip的属性项对筛选出的所述各个代理ip进行排序，组成代理ip列表，所述属性项包括响应速度、过滤能力或隐匿属性。可以理解的是，服务器可以预先设定各个ip分类指定的代理ip的属性项，一般来说，指定的属性项代表该ip分类所最关心、最重视的一项属性。例如，某个“深圳市”的ip分类预先指定的属性项为“响应速度”，因此，根据筛选出的各个代理ip的各自的响应速度从快到慢对这些代理ip进行排序，排序后组成该代理ip列表。方式a的好处是，可以使得响应速度最快的代理ip优先被选取，然后采用该响应速度最快的代理ip访问目标网站并爬取数据，提高爬取数据的效率。
方式b：对筛选出的所述各个代理ip进行随机排序，组成代理ip列表。方式b的好处在于，列表中的各个代理ip的顺序是随机的，不存在固定规律，在采用代理ip访问目标网站时，更不容易被目标网站察觉而拉入黑名单。
对于上述步骤302，在组成代理ip列表之后，选取该代理ip列表中排行第一的代理ip。
105、采用选取出的代理ip访问所述目标网站，并执行本次数据爬取任务。
在选取出代理ip之后，即可采用选取出的代理ip访问所述目标网站，并执行本次数据爬取任务。
进一步地，为了进一步提高代理ip的安全性，减少目标网站察觉代理ip、拉入黑名单的可能性，本实施例还可以采用切换代理ip的方式来实现。具体地，采用下述方式一和方式二中的任一种方式处理：
方式一：在执行本次数据爬取任务时，每间隔预设时长从筛选出的所述各个代理ip中选取一个未被选取过的代理ip作为替换代理ip，然后采用所述替换代理ip重新访问所述目标网站，并继续执行本次数据爬取任务。比如，每十分钟重新选取另一个本次数据爬取任务中未被选取过的代理ip，切换重新选取的代理ip来访问目标网站，可以减少目标网站监测到服务器的爬取动作的可能性。
方式二：在执行本次数据爬取任务时，在每爬取预设数据量后从筛选出的所述各个代理ip中选取一个未被选取过的代理ip作为替换代理ip，然后采用所述替换代理ip重新访问所述目标网站，并继续执行本次数据爬取任务。比如，针对一个目标网站爬取数据时，可以每爬取1g的数据后，重新选取另一个本次数据爬取任务中未被选取过的代理ip，切换重新选取的代理ip来访问目标网站，也可以减少目标网站监测到服务器的爬取动作的可能性。
需要注意的是，在实际应用中，上述方式一和方式二可以单独采用，也可以结合在一起采用，本实施例不作限定。
另外，对于上述方式一和/或方式二，若本实施例在之前将筛选出的所述各个代理ip组成了代理ip列表，则在方式一和/或方式二的步骤中，所述从筛选出的所述各个代理ip中选取一个未被选取过的代理ip作为替换代理ip具体为：从所述代理ip列表中选取下一个代理ip作为替换代理ip。
本实施例中，首先，确定待爬取数据的目标网站；然后，根据所述目标网站的属性信息确定适用于所述目标网站的ip分类，各个预设的ip分类预设有各自适用的网站的属性信息；接着，从ip地址池中筛选出属于确定的所述ip分类的各个代理ip，所述ip地址池包括多个预先收集、归类、且互不相同的代理ip；再之，从筛选出的所述各个代理ip中选取一个代理ip；最后，采用选取出的代理ip访问所述目标网站，并执行本次数据爬取任务。在本实施例中，由于ip地址池中包括多个互不相同的代理ip，执行当前数据爬取任务时，从中筛选出合适的各个代理ip后，再选取一个代理ip进行访问和爬取数据，因此，不仅保证了爬取网站数据的代理ip来源的可靠性，而且避免了反复采用相同的代理ip爬取数据导致代理ip被封的情况，有利于爬取网站数据的顺利进行。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
上面主要描述了一种采用代理ip爬取网站数据的方法，下面将对一种采用代理ip爬取网站数据的装置进行详细描述。
图4示出了本发明实施例中一种采用代理ip爬取网站数据的装置一个实施例结构图。
本实施例中，一种采用代理ip爬取网站数据的装置包括：
目标网站确定模块401，用于确定待爬取数据的目标网站；
分类确定模块402，用于根据所述目标网站的属性信息确定适用于所述目标网站的ip分类，各个预设的ip分类预设有各自适用的网站的属性信息；
代理ip筛选模块403，用于从ip地址池中筛选出属于确定的所述ip分类的各个代理ip，所述ip地址池包括多个预先收集、归类、且互不相同的代理ip；
代理ip选取模块404，用于从筛选出的所述各个代理ip中选取一个代理ip；
访问模块405，用于采用选取出的代理ip访问所述目标网站，并执行本次数据爬取任务。
进一步地，所述ip地址池中的各个代理ip可以通过以下模块预先收集、归类：
ip爬取模块，用于从提供代理ip的网站上爬取各个代理ip；
代理访问模块，用于采用爬取到的所述各个代理ip分别访问指定网站；
属性值记录模块，用于记录访问指定网站时爬取到的所述各个代理ip的各属性项的属性值，所述属性项包括响应速度、过滤能力或隐匿属性；
ip归类模块，用于根据记录的属性值对爬取到的所述各个代理ip归类至预设的各个ip分类中。
进一步地，所述采用代理ip爬取网站数据的装置还可以包括：
第一ip切换模块，用于在执行本次数据爬取任务时，每间隔预设时长从筛选出的所述各个代理ip中选取一个未被选取过的代理ip作为替换代理ip，然后采用所述替换代理ip重新访问所述目标网站，并继续执行本次数据爬取任务；
或
第二ip切换模块，用于在执行本次数据爬取任务时，在每爬取预设数据量后从筛选出的所述各个代理ip中选取一个未被选取过的代理ip作为替换代理ip，然后采用所述替换代理ip重新访问所述目标网站，并继续执行本次数据爬取任务。
进一步地，所述代理ip选取模块可以包括：
ip列表组成单元，用于按照预设规则对筛选出的所述各个代理ip进行排序，组成代理ip列表；
第一ip选取单元，用于选取所述代理ip列表中排行第一的代理ip；
所述第一ip切换模块包括：第一替换ip选取单元，用于每间隔预设时长从所述代理ip列表中选取下一个代理ip作为替换代理ip；
所述第二ip切换模块包括：第二替换ip选取单元，用于在每爬取预设数据量后从所述代理ip列表中选取下一个代理ip作为替换代理ip。
进一步地，所述ip列表组成单元可以包括：
属性项排序子单元，用于按照确定的所述ip分类预先指定的代理ip的属性项对筛选出的所述各个代理ip进行排序，组成代理ip列表，所述属性项包括响应速度、过滤能力或隐匿属性；
或
随机排序子单元，用于对筛选出的所述各个代理ip进行随机排序，组成代理ip列表。
进一步地，所述采用代理ip爬取网站数据的装置还可以包括：
本地ip访问模块，用于采用本地ip访问所述目标网站；
任务执行模块，用于若所述本地ip访问模块访问成功，则执行本次数据爬取任务；
触发模块，用于若所述本地ip访问模块访问失败，则触发所述分类确定模块。
图5是本发明一实施例提供的服务器的示意图。如图5所示，该实施例的服务器5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机可读指令52，例如执行上述采用代理ip爬取网站数据的方法的程序。所述处理器50执行所述计算机可读指令52时实现上述各个采用代理ip爬取网站数据的方法实施例中的步骤，例如图1所示的步骤101至105。或者，所述处理器50执行所述计算机可读指令52时实现上述各装置实施例中各模块/单元的功能，例如图4所示模块401至405的功能。
示例性的，所述计算机可读指令52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令的指令段，该指令段用于描述所述计算机可读指令52在所述服务器5中的执行过程。
所述服务器5可以是本地服务器、云端服务器等计算设备。所述服务器可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是服务器5的示例，并不构成对服务器5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器还可以包括输入输出设备、网络接入设备、总线等。
所述处理器50可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述服务器5的内部存储单元，例如服务器5的硬盘或内存。所述存储器51也可以是所述服务器5的外部存储设备，例如所述服务器5上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器51还可以既包括所述服务器5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机可读指令以及所述服务器所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。