技术编号：14257614
提示：您尚未登录，请点 登 陆 后下载，如果您还没有账户请点 注 册 ，登陆完成后，请刷新本页查看技术详细信息。本发明涉及互联网大数据领域，更具体的涉及一种大规模网络爬虫程序的访问方法及装置。背景技术大规模网络爬虫程序具有任务量大，任务类型多，数据源本身限制多等特点。网络爬虫程序是一个沿着链接漫游万维网文档集合的程序，一般驻留在服务器上，通过给定的一些URL(英文为：Uniform Resource Locator，简称，统一资源定位符)，利用HTTP(英文为：HyperText Transfer Protocol，简称，超文本传输协议)等标准协议读取相应文档，然后以文档中包括的所有未访问过的URL作为新...
注意：该技术已申请专利，请尊重研发人员的辛勤研发付出，在未取得专利权人授权前，仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考以及查看自身技术是否侵权，增加技术思路，做技术知识储备，不适合论文引用。
请注意，此类技术没有源代码，用于学习研究技术思路。