代理服务器及互联网数据的采集方法与流程

文档序号:14571945发布日期:2018-06-01 22:47阅读:来源:国知局
代理服务器及互联网数据的采集方法与流程

技术特征:

1.一种互联网数据的采集方法,其特征在于,包括:

接收客户端发送的向目标服务器的待采集站点采集数据的采集请求;

解析所述采集请求并得到待采集站点的URL地址;

模拟浏览器登录所述URL地址并执行Javascript脚本渲染以得到所述待采集站点的数据流;

将所述数据流作为回复数据包发送给所述客户端。

2.根据权利要求1所述的方法,其特征在于,所述浏览器配置为采用能够执行Javascript脚本渲染并得到站点内容的浏览器。

3.一种代理服务器,其特征在于,包括:

数据接收模块,其用于接收客户端发送的向目标服务器的待采集站点采集数据的采集请求;

解析模块,其用于解析所述采集请求并得到待采集站点的URL地址;

模拟模块,其用于模拟浏览器登录所述URL地址并执行Javascript脚本渲染以得到所述待采集站点的数据流;

数据发送模块,其用于将所述数据流作为回复数据包发送给所述客户端。

4.根据权利要求3所述的代理服务器,其特征在于,所述浏览器配置为采用能够执行Javascript脚本渲染并得到站点内容的浏览器。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1