技术特征：
技术总结
本发明公开了一种大规模网络爬虫程序的访问方法及装置，涉及互联网大数据领域，包括：通过分发调度层调度爬虫插件从网络端获取代理地址，将所述代理地址存储至数据表内；所述数据表包括数据类型和列名，且所述数据类型，所述列名分别与获取所述代理地址的网络端对应；通过所述数据表内包括的所述代理地址依此访问设定的网页，若成功访问则确定所述代理地址为第一代理地址，并在所述数据表内进行标记；按照设定的时间将所述第一代理地址加载到缓存队列中；所述爬虫插件通过轮循所述第一代理地址，访问数据源。
技术研发人员：国兴旺
受保护的技术使用者：广州启生信息技术有限公司
技术研发日：2017.11.28
技术公布日：2018.04.24