一种消息处理装置和方法与流程

文档序号:12600481阅读:来源:国知局

技术特征:

1.一种消息处理装置,其特征在于:包括读取模块、备份模块、上报模块和处理模块;其中,

读取模块,用于读取消费者从服务器订阅的消息;复制读取的消息并存储至备份模块,并通知上报模块;

备份模块,用于存储读取模块读取的消息;

上报模块,用于接收到来自读取模块的通知,上报偏移量信息并通知处理模块;

处理模块,其中设置有多个子线程;用于接收到来自上报模块的通知,读取备份模块中未处理的消息,将未处理的消息分派到各个子线程中;通过各个子线程处理完分派的消息,将已处理的消息从备份模块中删除或在备份模块中为已处理的消息设置已处理标识。

2.根据权利要求1所述的消息处理装置,其特征在于:还包括检测模块,

检测模块,用于检测到消费者重启时,检查所述备份模块中是否有未处理的消息;如果有未处理的消息,将未处理的消息提交给所述处理模块进行处理。

3.根据权利要求1或2所述的消息处理装置,其特征在于:所述备份模块通过日志文件或数据库存储读取模块读取的消息。

4.根据权利要求1或2所述的消息处理装置,其特征在于:所述备份模块预先设置其存储容量最大值。

5.根据权利要求1或2所述的消息处理装置,其特征在于:所述读取模块预先设置每次读取的消息数量和每条消息的最大字节数。

6.一种消息处理方法,其特征在于:包括如下步骤:

读取消费者从服务器订阅的消息;复制并存储读取的消息;

上报偏移量信息;

将存储的消息中未处理的消息分配给预先设置的多个子线程进行处理,并删除或标识出已处理的消息。

7.根据权利要求6所述的消息处理方法,其特征在于:如果消费者重启,检测所述存储的消息中是否有未处理的信息,如果有,对未处理的消息进行处理。

8.根据权利要求6或7所述的消息处理方法,其特征在于:预先设置每次读取的消息数量和每条消息的最大字节数。

9.根据权利要求6或7所述的消息处理方法,其特征在于:通过日志文件或数据库存储所述读取的消息。

10.根据权利要求6或7所述的消息处理方法,其特征在于:预先设置所述存储的消息的存储容量最大值。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1