一种基于canal和kafka实现实时数仓的系统的制作方法

文档序号:16855707发布日期:2019-02-12 23:16阅读:来源:国知局

技术特征:

技术总结
一种基于canal和kafka实现实时数仓的系统,包括Canal‑Server、Canal‑Client、Consumer‑plugin‑man和admin‑ods,Canal‑Server和Canal‑Client相连接,Canal‑Client通过kafka与Consumer‑plugin‑man相连接,admin‑ods也与Consumer‑plugin‑man相连接,所述Consumer‑plugin‑man与Hbase相连接;所述Hbase连接有ElasticSearch,ElasticSearch连接有Databus‑query,Databus‑query连接有atabus‑api。本发明的有益效果是将数据源、数据处理、数据写入解耦并统一管理,灵活配置,大大简化研发成本,易维护,支持不同生产环境下部署同一或不同数据仓库中的数据接入,实现一次研发,多处并灵活使用。

技术研发人员:卫翀
受保护的技术使用者:北京马上慧科技术有限公司
技术研发日:2018.08.03
技术公布日:2019.02.12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1