一种基于流计算实现快速提取号码热度的方法与流程

本发明涉及大数据技术领域，是基于流式计算创建的一套快速提取号码热度的处理流程，特别是一种基于流计算实现快速提取号码热度的方法。

背景技术：

随着号码百事通业务的逐渐壮大，用户的行为日志和信令数据的处理也随着变得棘手，如何快速的提取里面的号码热度成为一个技术难点。

技术实现要素：

本发明的目的在于提供一种基于流计算实现快速提取号码热度的方法，基于构建一套标准的流式处理模型，通过流式计算实时提取、更新号码的热度，实现海量号码的数据挖掘。

为实现上述目的，本发明的具体技术方案是：

一种基于流计算实现快速提取号码热度的方法，其特征在于：它包括如下步骤：

步骤一：基于分布式日志收集系统Flume，用于将海量日志或数据实时的收集，达到实时高效可靠得处理各种数据源；

步骤二：基于分布式消息队列Kafka集群用于将数据源的数据通过消息队列送达到实时处理平台上，能够实现高吞吐和线性扩展；

步骤三：基于分布式流式计算集群用于消费消息队列的数据，在内存里进行迭代运算，实现秒级出运算结果；

步骤四：基于key-value库Redis集群,用于将结果存于内存，实现毫秒级数据查询服务。

所述的基于流计算实现快速提取号码热度的方法，其特征在于：用于实施所述方法的系统包括数据收集系统、数据传输系统、大数据平台、数据展现系统。

本发明的优点在于：

通过建立一套标准流式计算模型，实时处理海量数据，实现快速提取号码热度，给业务和市场人员快速直接的反应，为决策做更好的支撑；并不断实时更新壮大号码库。

附图说明

图1为本发明系统示意图。

图2为提取号码热度的详细流程图。

具体实施方式

以下结合附图来进一步介绍本发明方法。

如图1所示，它是用来实施本发明方法的系统，该系统包括数据收集系统、数据传输系统、大数据平台、数据展现系统。

该系统包括数据采集模块1、数据清洗模块2、热度标签模块3、热度展示模块4和号码热度库5。

如图2所示：本发明公开了一种基于流计算实现快速提取号码热度的方法，它包括如下步骤：

步骤一：基于分布式日志收集系统Flume，用于将海量日志或数据实时的收集，达到实时高效可靠得处理各种数据源；

步骤二：基于分布式消息队列Kafka集群用于将数据源的数据通过消息队列送达到实时处理平台上，能够实现高吞吐和线性扩展；

步骤三：基于分布式流式计算集群用于消费消息队列的数据，在内存里进行迭代运算，实现秒级出运算结果；

步骤四：基于key-value库Redis集群，用于将结果存于内存，实现毫秒级数据查询服务。