一种数据获取方法、装置、电子设备及存储介质与流程

技术特征：

技术总结
本申请实施例提供了一种数据获取方法、装置、电子设备及存储介质，该方法包括：集群中的每个处理模块都可以从分布式队列中获取爬取请求，处理模块根据获取到的爬取请求爬取数据后，如果数据中仍包括链接，则可以继续将该链接封装成新的爬取请求，将该新的爬取请求投递至分布式队列中，这样，各处理模块可以并行爬取数据，提高了爬取效率。

技术研发人员：胡凌云;丁国航
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：2019.03.29
技术公布日：2019.06.25