一种众包网络爬虫抓取数据的检测方法及系统与流程

文档序号:12598524阅读:来源:国知局

技术特征:

1.一种众包网络爬虫抓取数据的检测方法,其特征在于:将服务器作为爬虫客户端抓取结果的检验中心,爬虫客户端把抓取的页面内容上传到检验中心,检验中心将多个爬虫客户端上传的内容进行对比,如果结果相同则给各个爬虫客户端加信用分;如果结果不相同,则再下发一次任务,重新检验这几个爬虫客户端,以辨别优劣,而后进行相应的信用分加减;信用分表示爬虫客户端的可靠程度,优先选择信用分高的爬虫客户端来完成抓取任务。

2.根据权利要求1所述的众包网络爬虫抓取数据的检测方法,其特征在于:该方法包括以下步骤:

(1)检验中心维护一个爬虫列表,爬虫列表中的每一项包含爬虫ID和爬虫的信用分;

(2)检验中心将一个抓取任务派发给不同IP地址的多个爬虫,同时打开一个时间窗口,等待爬虫上传数据;

(3)在时间窗口内接收爬虫上传的数据,并在时间窗口关闭时进行评价。

3.根据权利要求2所述的众包网络爬虫抓取数据的检测方法,其特征在于:若时间窗口关闭时爬虫未能上报数据,则信用分-5;在时间窗口关闭前上报数据的爬虫:若上报的内容都一致,则完成此次任务的爬虫信用分+1;若上报的内容发生不一致,则将此次抓取任务按失败处理,并把执行这次任务的爬虫列入待观察列表;服务器重新下发一次任务,同时检验中心自己也去网站上抓取,以自己的结果比照爬虫再次提交上来的结果;下一次时间窗口关闭时,抓取的结果和检验中心一致,则信用分+1,不一致则判定为误报,信用分-50。

4.一种众包网络爬虫抓取数据的检测系统,其特征在于:该系统包括:

服务器,其配置来作为爬虫客户端抓取结果的检验中心;

爬虫客户端,其配置来把抓取的页面内容上传到检验中心;

其中,检验中心将多个爬虫客户端上传的内容进行对比,如果结果相同则给各个爬虫客户端加信用分;如果结果不相同,则再下发一次任务,重新检验这几个爬虫客户端,以辨别优劣,而后进行相应的信用分加减;信用分表示爬虫客户端的可靠程度,优先选择信用分高的爬虫客户端来完成抓取任务。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1