一种基于Storm的流数据正则匹配方法与流程

文档序号:17890620发布日期:2019-06-13 15:36阅读:来源:国知局

技术特征:

技术总结
本发明提供了一种基于Storm的流数据正则匹配方法,属于计算机技术领域。本方法包括:搭建实时处理集群,使用Kafka集群作为数据缓存模块,将原始数据进行序列化后打包到一个Message中,加载到Kafka消息队列;订阅Kafka中某个Topic的数据,获取的Message数据按序填入Storm的单元Tuple中,直接将Tuple发送给计算算子Bolt;Bolt对Tuple拆包,对得到的Message数据解包并进行反序列化,将反序列化后的有效数据分块进行模式匹配。本发明保证了数据在Storm集群中传输的批量处理,提高了数据在Storm实时计算集群中的传输效率,并提高了正则匹配的效率。

技术研发人员:王振宇;孟宪文;李斌斌
受保护的技术使用者:北京赛思信安技术股份有限公司
技术研发日:2019.01.18
技术公布日:2019.06.11
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1