技术特征:
技术总结
一种基于canal和kafka实现实时数仓的系统,包括Canal‑Server、Canal‑Client、Consumer‑plugin‑man和admin‑ods,Canal‑Server和Canal‑Client相连接,Canal‑Client通过kafka与Consumer‑plugin‑man相连接,admin‑ods也与Consumer‑plugin‑man相连接,所述Consumer‑plugin‑man与Hbase相连接;所述Hbase连接有ElasticSearch,ElasticSearch连接有Databus‑query,Databus‑query连接有atabus‑api。本发明的有益效果是将数据源、数据处理、数据写入解耦并统一管理,灵活配置,大大简化研发成本,易维护,支持不同生产环境下部署同一或不同数据仓库中的数据接入,实现一次研发,多处并灵活使用。
技术研发人员:卫翀
受保护的技术使用者:北京马上慧科技术有限公司
技术研发日:2018.08.03
技术公布日:2019.02.12