一种分布式海量数据聚合采集方法与流程

文档序号:14519253阅读:来源:国知局

技术特征:

技术总结
本发明提供一种分布式海量数据聚合采集方法,采用SolrCloud分布式全文检索系统作为Flume Sink子组件的目标存储,由于SolrCloud集群的节点和Collection等配置信息使用的Zookeeper集群保存的特性,通过利用对相应znode节点注册Watcher的方法实现了近实时读取Collection的Schema信息,减少了一些冗余的配置项,实现了不需要重启Flume Agent即可获取最新的Schema配置信息;减少了发送到SolrCloud集群的数据量,提升了数据写入的效率。

技术研发人员:苑晓龙
受保护的技术使用者:郑州云海信息技术有限公司
技术研发日:2017.12.18
技术公布日:2018.05.25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1