技术特征:
技术总结
本发明采用Alluxio作为Flume收集数据下沉的目标存储文件系统,设计实现了数据下沉组件flume‑alluxio‑sink。flume‑alluxio‑sink组件通过利用Alluxio的异步写入和层次存储特性降低了硬件的投入成本,并且提高了数据下沉的效率,提升了Flume数据收集的性能。通过配置的分配策略将数据尽量平均地分配到集群中的每个节点上,避免了一定程度的数据倾斜问题。
技术研发人员:苑晓龙;王绍成
受保护的技术使用者:郑州云海信息技术有限公司
技术研发日:2017.05.27
技术公布日:2017.09.29