一种基于Flume与Alluxio的数据收集方法与流程

文档序号:11199325阅读:来源:国知局

技术特征:

技术总结
本发明采用Alluxio作为Flume收集数据下沉的目标存储文件系统,设计实现了数据下沉组件flume‑alluxio‑sink。flume‑alluxio‑sink组件通过利用Alluxio的异步写入和层次存储特性降低了硬件的投入成本,并且提高了数据下沉的效率,提升了Flume数据收集的性能。通过配置的分配策略将数据尽量平均地分配到集群中的每个节点上,避免了一定程度的数据倾斜问题。

技术研发人员:苑晓龙;王绍成
受保护的技术使用者:郑州云海信息技术有限公司
技术研发日:2017.05.27
技术公布日:2017.09.29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1