技术总结
本发明公开了一种基于Avro RPC传输的分布式云端并发采集方法，包括客户端和服务端两个模块，其中：在服务端设置有URL存放容器、规则配置容器、计数容器，规则配置容器存放客户端发送的采集规则，规定不同网站的采集策略；计数容器则根据采集策略，按照计数递减的方式推送采集网页实现并发采集功能；最后由URL存放容器存放客户端发送的URL并按照域名进行分组存放；客户端定期检验服务端状态，查看URL存放容器剩余容量，批量发送待采集网页，批量回收已采集网页，批量发送网页采集规则。该基于Avro RPC传输的分布式云端并发采集方法与现有技术相比，在提升了传输效率的同时，提升了采集的并发效率，实用性强，适用范围广泛，易于推广。
技术研发人员：王洪添;杨胜华
受保护的技术使用者：山东浪潮云服务信息科技有限公司
文档号码：201610888705
技术研发日：2016.10.12
技术公布日：2017.03.15