技术总结
一种突破IP限制的爬虫实现方法，包括：(1)爬虫调度服务器下发一个抓取任务，抓取任务包含任务ID、HTTP请求的URL以及全部参数、最长等待时间；(2)客户端接收到抓取任务后，立即发起HTTP请求来抓取相应的页面；(3)页面抓取完成，检查有没有超过最长等待时间，若没有超过最长等待时间，则执行步骤(4)，否则执行步骤(1)；(4)将抓取到的数据发送到爬虫调度服务器，同时标注任务ID，抓取到的数据为HTTP响应返回的字符串。还提供了一种突破IP限制的爬虫实现系统。
技术研发人员：周灏;董超
受保护的技术使用者：北京量科邦信息技术有限公司
文档号码：201610729927
技术研发日：2016.08.25
技术公布日：2017.01.11