一种流式计算系统的消息处理方法和装置与流程

文档序号:12748017阅读:来源:国知局

技术特征:

1.一种流式计算系统的消息处理方法,其特征在于,该方法包括:

S1、接收消息;

S2、判断第一存储单元中是否已经存储有所述消息,如果是,不对该消息进行处理;否则,执行S3;

S3、判断第二存储单元中是否已经存在所述消息对应的业务处理结果,如果是,执行S6,否则执行S4;

S4、对所述消息进行业务处理;

S5、将所述消息及其业务处理结果写入第二存储单元;

S6、将所述消息写入第一存储单元。

2.根据权利要求1所述的方法,其特征在于,所述第一存储单元中的内容被映射至布隆过滤器BloomFilter;

在所述S2之前还包括:判断所述消息是否命中BloomFilter,如果否,执行所述S3;如果是,则执行所述S2。

3.根据权利要求1所述的方法,其特征在于,在执行所述S4时,如果所述第二存储单元中已经存在与所述消息具有相同计算标识的消息列表,则利用与所述消息具有相同计算标识的消息列表对应的业务处理结果,对所述消息进行业务处理;

在所述S5中,将所述消息加入所述消息列表,并利用S4的业务处理结果更新所述第二存储单元中所述消息列表对应的业务处理结果;

在执行所述S6时,将包含所述消息的所述消息列表写入第一存储单元。

4.根据权利要求1、2或3所述的方法,其特征在于,在所述S4和所述S5之间还包括:将所述消息及其对应的业务处理结果放入写入队列;

对所述写入队列中的内容执行所述S5和所述S6。

5.根据权利要求4所述的方法,其特征在于,对所述写入队列中的内容执行所述S5和所述S6包括:

S51、从所述写入队列中取出一个缓存节点,所述一个缓存节点中包含消息及其对应的业务处理结果;

S52、将所述缓存节点中的内容写入所述第二存储单元;

S53、将所述缓存节点中的消息放入去重存储写入队列;

S54、从去重存储写入队列中取出消息并写入第一存储单元。

6.根据权利要求5所述的方法,其特征在于,在所述S2之后且所述S3之前还包括:

判断所述写入队列和所述去重存储写入队列中是否已经存在所述消息,如果是,则不对所述消息进行业务处理,否则继续执行所述S3。

7.根据权利要求5所述的方法,其特征在于,在所述S51和所述S52之间还包括:

判断所述去重存储写入队列中是否已经存在与所述缓存节点所包含消息具有相同计算标识的消息,如果是,则将所述缓存节点放回所述写入队列,等待重新执行所述S51;否则,继续执行所述S52。

8.一种流式计算系统的消息处理装置,其特征在于,该装置包括:

接收单元,用于接收消息;

第一判断单元,用于判断第一存储单元中是否已经存储有所述消息,如果判断结果为是,不再对所述消息进行处理;

第二判断单元,用于在所述第一判断单元的判断结果为否时,判断所述第二存储单元中是否已经存在所述消息对应的业务处理结果;

处理单元,用于在所述第二判断单元的判断结果为是时,不对所述消息进行业务处理;在所述第二判断单元的判断结果为否时,对所述消息进行业务处理;

第一写入单元,用于将所述消息的业务处理结果写入第二存储单元;

第二写入单元,用于在所述第一写入单元完成写入后,或者在所述第二判断单元的判断结果为否时,将所述消息写入第一存储单元。

9.根据权利要求8所述的装置,其特征在于,所述第一存储单元中的内容 被映射至BloomFilter;

该装置还包括:第三判断单元,用于在所述接收单元接收到所述消息后,判断所述消息是否命中BloomFilter,如果否,触发所述第二判断单元执行判断的操作;如果是,触发所述第一判断单元执行判断的操作。

10.根据权利要求8所述的装置,其特征在于,所述处理单元,具体用于如果所述第二存储单元中已经存在与所述消息具有相同计算标识的消息列表,则利用与所述消息具有相同计算标识的消息列表对应的业务处理结果,对所述消息进行业务处理;

所述第一写入单元,具体用于将所述消息加入所述消息列表,并利用所述处理单元本次的业务处理结果更新所述第二存储单元中所述消息列表对应的业务处理结果;

所述第二写入单元,具体用于将包含所述消息的所述消息列表写入第一存储单元。

11.根据权利要求8、9或10所述的装置,其特征在于,所述处理单元,还用于将所述消息及其对应的业务处理结果放入写入队列;

所述第一写入单元和所述第二写入单元利用所述写入队列中的内容执行写入的操作。

12.根据权利要求11所述的装置,其特征在于,所述第一写入单元,具体用于从所述写入队列中取出一个缓存节点,所述一个缓存节点中包含消息及其对应的业务处理结果,将所述缓存节点中的内容写入所述第二存储单元,将所述缓存节点中的消息放入去重存储写入队列;

所述第二写入单元,具体用于从去重存储写入队列中取出消息并写入第一存储单元。

13.根据权利要求11所述的装置,其特征在于,该装置还包括:

第四判断单元,用于在所述第一判断单元的判断结果为否时,判断所述写入队列和所述去重写入队列中是否已经存在所述消息,如果是,则不对所述消息进行处理;否则,触发所述第二判断单元执行判断的操作。

14.根据权利要求11所述的装置,其特征在于,所述第一写入单元在将所述缓存节点中的内容写入所述第二存储单元之前,还用于判断所述去重存储写入队列中是否已经存在与所述缓存节点所包含消息具有相同计算标识的消息,如果是,则将所述缓存节点放回所述写入队列,等待重新取出;否则,继续执行将所述缓存节点中的内容写入所述第二存储单元的操作。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1