技术特征:
技术总结
本发明实施例公开了一种数据处理方法及其相关装置,用于在数据处理装置与Kafka集群断开的情况下,避免数据的重复获取及丢失。本发明实施例方法包括:数据处理装置获取目标消费主题;判断获取的目标消费主题是否存在于预置的数据状态记录表中,其中,数据状态记录表中记录有已消费的消费主题以及对应的消费记录;若存在,则在数据状态记录表中查找与目标消费主题对应的消费记录,从消息队列中获取与目标消费主题对应的消费数据,并在数据状态记录表中更新目标消费主题所对应的消费记录;若不存在,则从消息队列中依次获取与目标消费主题对应的消费数据,并将目标消费主题的消费信息记录入数据状态记录表中。
技术研发人员:陈玉萍
受保护的技术使用者:北京国双科技有限公司
技术研发日:2017.09.28
技术公布日:2019.04.05