一种数据处理方法及数据处理装置与流程

文档序号:17318637发布日期:2019-04-05 21:25阅读:来源:国知局

技术特征:

技术总结
本发明实施例公开了一种数据处理方法及其相关装置,用于在数据处理装置与Kafka集群断开的情况下,避免数据的重复获取及丢失。本发明实施例方法包括:数据处理装置获取目标消费主题;判断获取的目标消费主题是否存在于预置的数据状态记录表中,其中,数据状态记录表中记录有已消费的消费主题以及对应的消费记录;若存在,则在数据状态记录表中查找与目标消费主题对应的消费记录,从消息队列中获取与目标消费主题对应的消费数据,并在数据状态记录表中更新目标消费主题所对应的消费记录;若不存在,则从消息队列中依次获取与目标消费主题对应的消费数据,并将目标消费主题的消费信息记录入数据状态记录表中。

技术研发人员:陈玉萍
受保护的技术使用者:北京国双科技有限公司
技术研发日:2017.09.28
技术公布日:2019.04.05
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1