一种爬虫系统的制作方法
【专利摘要】本发明提供了一种爬虫系统，其特征在于：首先预设请求模块、认证模块、下载模块，其中请求模块实现页面发送采集请求；认证模块实现登录认证；下载模块实现页面进行采集；通过浏览器的网络监听工具监听网络数据包，查看用户登录过程发送的POST包；认证模块实现对登陆认证中POST包内容再现，发送到网页；认证模块实现对网站服务器result的记录；请求模块把网络监听的数据包中返回的相关记录值和请求做集成处理；请求模块发送页面的采集请求；下载模块实现页面的采集。
【专利说明】一种爬虫系统
[0001]本发明属于网络网站领域，涉及一种爬虫系统。
【背景技术】
[0002]在当前的网站中越来越多的网站进行了注册用户浏览和非注册用户留言的区分，这使得爬虫系统的要求也在改变，爬虫系统不单单需要浏览功能，还需要增加识别注册等功能。
【发明内容】
[0003]本发明的目的是提出了一种结构简单、易推广的爬虫系统。
[0004]本发明的目的可通过下列技术方案来实现:一种爬虫系统，其特征在于:首先预设请求模块、认证模块、下载模块，其中请求模块实现页面发送采集请求；认证模块实现登录认证；下载模块实现页面进行采集；通过浏览器的网络监听工具监听网络数据包，查看用户登录过程发送的POST包；认证模块实现对登陆认证中POST包内容再现，发送到网页；认证模块实现对网站服务器result的记录；请求模块把网络监听的数据包中返回的相关记录值和请求做集成处理；请求模块发送页面的采集请求；下载模块实现页面的采集。
[0005]在上述一种爬虫系统，所述认证模块包括自动注册和识别验证码。
【专利附图】
【附图说明】
:
[0006]图1:本发明的结构示意图。
【具体实施方式】
[0007]以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
[0008]如图1所示:图1中，首先预设请求模块、认证模块、下载模块，其中请求模块实现页面发送采集请求；第一，认证模块实现登录认证；第二，下载模块实现页面进行采集;第三，通过浏览器的网络监听工具监听网络数据包，查看用户登录过程发送的POST包；第四，认证模块实现对登陆认证中POST包内容再现，发送到网页；第五，认证模块实现对网站服务器result的记录；第六，请求模块把网络监听的数据包中返回的相关记录值和请求做集成处理；第七，请求模块发送页面的采集请求；第八，下载模块实现页面的采集。
[0009]认证模块包括自动注册和识别验证码。
[0010]本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属【技术领域】的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
【权利要求】
1.一种爬虫系统，其特征在于:首先预设请求模块、认证模块、下载模块，其中请求模块实现页面发送采集请求；认证模块实现登录认证；下载模块实现页面进行采集；通过浏览器的网络监听工具监听网络数据包，查看用户登录过程发送的POST包；认证模块实现对登陆认证中POST包内容再现，发送到网页；认证模块实现对网站服务器result的记录；请求模块把网络监听的数据包中返回的相关记录值和请求做集成处理；请求模块发送页面的采集请求；下载模块实现页面的采集。
2.根据权利要求1所述的一种爬虫系统，其特征在于:所述认证模块包括自动注册和识别验证码。
【文档编号】G06F17/30GK104391884SQ201410620759
【公开日】2015年3月4日 申请日期:2014年11月6日 优先权日:2014年11月6日
【发明者】侯宇鹏 申请人:宁波市鄞州安业贸易有限公司