一种下载网页系统的制作方法
【专利摘要】本发明提供了一种下载网页系统，其特征在于，执行系统包括调度服务模块、2个以上的网络爬虫以及2个以上分布在不同地理位置具有不同IP地址的连网客户端，包括：所述网络爬虫向调度服务模块发送下载网页请求，所述下载网页请求参数包括所述网页的URL地址。
【专利说明】—种下载网页系统
[0001]本发明属于网络信息领域，涉及一种下载网页系统。
【背景技术】
[0002]在当前的爬虫系统均是包括了两个以上的网络爬虫，其中最大的问题就是解决多爬虫不同IP的问题。
【发明内容】
[0003]本发明的目的是提出了一种结构简单、易推广的下载网页系统。
[0004]本发明的目的可通过下列技术方案来实现:一种下载网页系统，其特征在于，执行系统包括调度服务模块、2个以上的网络爬虫以及2个以上分布在不同地理位置具有不同IP地址的连网客户端，包括:所述网络爬虫向调度服务模块发送下载网页请求，所述下载网页请求参数包括所述网页的URL地址；所述任务调度服务模块接收并将上述下载网页请求保存至第一消息队列；所述连网客户端从所述任务调度服务模块的第一消息队列获取一个下载网页请求，根据所述URL地址下载相应的网页数据，保存至所述任务调度服务模块的第二消息队列；所述任务调度服务模块将所述第二消息队列中的网页数据返回至请求下载网页的相应网络爬虫。
[0005]在上述一种下载网页系统，所述第一消息队列获取一个下载网页请求，包括:判断第一消息队列是否为空。
【专利附图】
【附图说明】
:
[0006]图1:本发明的结构示意图。
【具体实施方式】
[0007]以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
[0008]如图1所示:图1中，执行系统包括调度服务模块、2个以上的网络爬虫以及2个以上分布在不同地理位置具有不同IP地址的连网客户端，包括:所述网络爬虫向调度服务模块发送下载网页请求，所述下载网页请求参数包括所述网页的URL地址；所述任务调度服务模块接收并将上述下载网页请求保存至第一消息队列；所述连网客户端从所述任务调度服务模块的第一消息队列获取一个下载网页请求，根据所述URL地址下载相应的网页数据，保存至所述任务调度服务模块的第二消息队列；所述任务调度服务模块将所述第二消息队列中的网页数据返回至请求下载网页的相应网络爬虫。
[0009]第一消息队列获取一个下载网页请求，包括:判断第一消息队列是否为空。
[0010]本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属【技术领域】的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
【权利要求】
1.一种下载网页系统，其特征在于，执行系统包括调度服务模块、2个以上的网络爬虫以及2个以上分布在不同地理位置具有不同IP地址的连网客户端，包括:所述网络爬虫向调度服务模块发送下载网页请求，所述下载网页请求参数包括所述网页的URL地址；所述任务调度服务模块接收并将上述下载网页请求保存至第一消息队列；所述连网客户端从所述任务调度服务模块的第一消息队列获取一个下载网页请求，根据所述URL地址下载相应的网页数据，保存至所述任务调度服务模块的第二消息队列；所述任务调度服务模块将所述第二消息队列中的网页数据返回至请求下载网页的相应网络爬虫。
2.根据权利要求1所述的一种下载网页系统，其特征在于:所述第一消息队列获取一个下载网页请求，包括:判断第一消息队列是否为空。
【文档编号】G06F17/30GK104360881SQ201410641447
【公开日】2015年2月18日 申请日期:2014年11月13日 优先权日:2014年11月13日
【发明者】侯宇鹏 申请人:宁波市鄞州安业贸易有限公司