技术编号:11432236
提示:您尚未登录,请点 登 陆 后下载,如果您还没有账户请点 注 册 ,登陆完成后,请刷新本页查看技术详细信息。本发明涉及数据处理技术领域,尤其涉及一种数据爬取方法及装置。背景技术爬虫是人们为了形象描述计算机程序在网络不断通过定制的入口网址去提取网页的链接,并根据这些链接再度抓取更深的其它未知的链接,以此下去,将这样的程序抓取形为形容成类似爬虫似的动作,称之为爬虫,爬虫通过下载指定网站的所有链接来获取开发者想要获取的信息。爬虫在爬取网页时,首先需要具备一个指定的网址种子表,该表中记录着每一个需要爬取的网站入口地址,以及一些爬取行为的配置信息,如爬取深度,模拟请求的元信息等。然后将网址种子表定时注入到爬虫系...
注意:该技术已申请专利,请尊重研发人员的辛勤研发付出,在未取得专利权人授权前,仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考以及查看自身技术是否侵权,增加技术思路,做技术知识储备,不适合论文引用。
请注意,此类技术没有源代码,用于学习研究技术思路。