一种在流式计算中消息ID的生成方法与流程

文档序号:11133756阅读:来源:国知局

技术特征:

1.一种在流式计算中消息ID的生成方法,其特征在于:该方法通过

kafka集群进行消息的发布与订阅;

使用kafka集群中的一个topic来标识一个消息的来源,以便唯一标识消息的来源;

使用每个topic的分区的编号partitionid;

使用每个分区中的消息的偏移量offset来标识每条消息;

topic、paritionid以及offset这三个变量组成的三元组,唯一确定每条消息,并且实现无限次地重复生成。

2.根据权利要求1所述的在流式计算中消息ID的生成方法,其特征在于:该方法部署到storm集群中,由storm中的topology来负责组织消息ID的生成并落地到Hadoop分布式文件系统hdfs。

3.根据权利要求1所述的在流式计算中消息ID的生成方法,其特征在于:该方法应用到Map Reduce程序中,提交到hadoop集群执行,由Map Reduce来生成消息ID并落地到hdfs。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1