一种基于磁盘队列实现Kafka集群同步的方法及系统与流程

文档序号:18898983发布日期:2019-10-18 21:40阅读:来源:国知局

技术特征:

技术总结
本发明公开了一种基于磁盘队列实现Kafka集群同步的方法及系统,该方法包括:步骤S1,从源端kafka集群中根据指定主题完整消费每一条消息,并把消息写入到源端本地磁盘队列中;步骤S2,利用其他线程从所述源端本地磁盘队列中逐条取出消息,并调用压缩算法将消息压缩后,将数据发送到网络中;步骤S3,所述网络另一侧备端接收数据,将消息解压还原后写入备端本地磁盘队列中;步骤S4,从所述备端本地磁盘队列读取消息写入备端kafka集群中。

技术研发人员:杨彬;季国庆;王城;胡军擎;陈勇铨
受保护的技术使用者:上海英方软件股份有限公司
技术研发日:2019.07.12
技术公布日:2019.10.18
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1