一种数据通信业务质量监控的方法及大数据系统与流程

本发明涉及移动融合技术领域，特别涉及一种数据通信业务质量监控的方法及大数据系统。

背景技术

随着社交网络化的逐步扩大和深入，运营商也着力推出基于移动终端的社交平台，随着用户量的增加，业务规模的不断扩大，rcs(richcommunicationsuite，富通信套件)组网中网元的数量越来越多，众多相互关系的网元给人工维护增加难度，无法及时对潜在的风险进行预警，或者对已出现的故障进行快速定位。一旦出现故障或者故障得不到快速定位解决，将会严重的影响用户的观感和使用。

技术实现要素：

根据本发明实施例提供的方案解决的技术问题是无法及时对潜在的风险进行预警，或者对已出现的故障进行快速定位。

根据本发明实施例提供的一种数据通信业务质量监控的方法，包括：

大数据系统通过对各个网元的话单日志服务器发送的日志数据进行日志处理，得到各网元的日志处理结果和日志统计结果；

大数据系统根据所得到的各网元日志处理结果和日志统计结果对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险；

若判断所述网元日志关键性指标数据存在风险，则大数据系统向运维人员发出数据通信业务质量的预警提示。

优选地，部署在每个网元的话单日志服务器中kafkaproducers模块收集所在网元的日志数据，并将其进行编码后发送到所述大数据系统的brokers模块。

优选地，所述brokers模块收到来自各个网元编码后的日志数据后，保存所述各网元编码后的日志数据，并启动所述大数据系统的sparkstreaming任务调用kafkaconsumer模块。

优选地，所述kafkaconsumer模块被调用后，提取所述brokers模块保存的各网元编码后的日志数据，并对所述日志数据解码后进行日志处理，得到各网元的日志处理结果和日志统计结果。

优选地，所述kafkaconsumer模块将所得到的各网元的日志处理结果和日志统计结果发送到所述大数据系统的elasticsearch模块，同时将各网元的日志统计结果发送到所述大数据系统的hdfs(hadoopdistributedfilesystem，分布式文件系统)模块，以便需要进行各网元的离线日志统计时，读取并统计所述hdfs模块中各网元的日志统计结果，得到各网元的离线日志统计结果，并将其发送到所述elasticsearch模块。

优选地，所述大数据系统的websphere应用服务器was模块通过读取所述elasticsearch模块中各网元的日志处理结果和日志统计结果，对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险，并在判断所述网元日志关键性指标数据存在风险时向运维人员发出数据通信业务质量的预警提示。

优选地，所述大数据系统的was(websphereapplicationserver，websphere应用服务器)模块通过读取所述elasticsearch模块中各网元的离线日志统计结果，对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险，并在判断所述网元日志关键性指标数据存在风险时向运维人员发出数据通信业务质量的预警提示。

根据本发明实施例提供的一种数据通信业务质量监控的大数据系统，包括：

kafkaconsumer模块，用于通过对各个网元的话单日志服务器发送的日志数据进行日志处理，得到各网元的日志处理结果和日志统计结果；

was模块，用于根据所得到的各网元日志处理结果和日志统计结果对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险，以及当判断所述网元日志关键性指标数据存在风险，则向运维人员发出数据通信业务质量的预警提示。

优选地，还包括：brokers模块，用于接收部署在每个网元的话单日志服务器中kafkaproducers模块收集所在网元的日志数据。

优选地，所述brokers模块具体用于收到来自各个网元编码后的日志数据后，保存所述各网元编码后的日志数据，并启动sparkstreaming任务调用kafkaconsumer模块。

根据本发明实施例提供的方案，基于大数据平台能够监测全网网元之间的数据交互情况，提供接口供运维查询各个阶段的数据详情日志和统计报表，直观的在界面上展示，对存在风险的地方及时向运维人员发出预警提示，运维人员收到预警后可以及时的人为预处理，从而避免设备异常对业务造成影响。对出现的故障，则提供故障发生时刻整个上下游的日志清单和业务质量分析，为快速定位提供依据。

附图说明

图1是本发明实施例提供的一种数据通信业务质量监控的方法流程图；

图2是本发明实施例提供的rcs业务集群的系统示意图；

图3是本发明实施例提供的rcs大数据系统的示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是本发明实施例提供的一种数据通信业务质量监控的方法流程图，如图1所示，包括：

步骤s101：大数据系统通过对各个网元的话单日志服务器发送的日志数据进行日志处理，得到各网元的日志处理结果和日志统计结果；

步骤s102：大数据系统根据所得到的各网元日志处理结果和日志统计结果对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险；

步骤s103：若判断所述网元日志关键性指标数据存在风险，则大数据系统向运维人员发出数据通信业务质量的预警提示。

其中，部署在每个网元的话单日志服务器中kafkaproducers模块收集所在网元的日志数据，并将其进行编码后发送到所述大数据系统的brokers模块。

其中，所述brokers模块收到来自各个网元编码后的日志数据后，保存所述各网元编码后的日志数据，并启动所述大数据系统的sparkstreaming任务调用kafkaconsumer模块。

其中，所述kafkaconsumer模块被调用后，提取所述brokers模块保存的各网元编码后的日志数据，并对所述日志数据解码后进行日志处理，得到各网元的日志处理结果和日志统计结果。

其中，所述kafkaconsumer模块将所得到的各网元的日志处理结果和日志统计结果发送到所述大数据系统的elasticsearch模块，同时将各网元的日志统计结果发送到所述大数据系统的分布式文件系统hdfs模块，以便需要进行各网元的离线日志统计时，读取并统计所述hdfs模块中各网元的日志统计结果，得到各网元的离线日志统计结果，并将其发送到所述elasticsearch模块。

其中，所述大数据系统的websphere应用服务器was模块通过读取所述elasticsearch模块中各网元的日志处理结果和日志统计结果，对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险，并在判断所述网元日志关键性指标数据存在风险时向运维人员发出数据通信业务质量的预警提示。

其中，所述大数据系统的websphere应用服务器was模块通过读取所述elasticsearch模块中各网元的离线日志统计结果，对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险，并在判断所述网元日志关键性指标数据存在风险时向运维人员发出数据通信业务质量的预警提示。

本发明实施例还提供了一种数据通信业务质量监控的大数据系统，包括：kafkaconsumer模块，用于通过对各个网元的话单日志服务器发送的日志数据进行日志处理，得到各网元的日志处理结果和日志统计结果；was模块，用于根据所得到的各网元日志处理结果和日志统计结果对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险，以及当判断所述网元日志关键性指标数据存在风险，则向运维人员发出数据通信业务质量的预警提示。

其中所述的大数据系统还包括：brokers模块，用于接收部署在每个网元的话单日志服务器中kafkaproducers模块收集所在网元的日志数据。其中，所述brokers模块具体用于收到来自各个网元编码后的日志数据后，保存所述各网元编码后的日志数据，并启动sparkstreaming任务调用kafkaconsumer模块。

图2是本发明实施例提供的rcs业务集群的系统示意图，如图2所示，包括：在各个网元日志服务器上部署日志采集的kafkaproducers和包含三个bg(bigdate，大数据)的大数据集群(包括支持集群工作的各种服务组件)。

其中，部署在各个网元上的kafkaproducers采集各个网元上的用户行为和数据交互情况的日志，并将该日志实时发送到大数据的kafka集群的brokers上。也就是说，在每个网元的话单日志服务器设备上部署kafkaproducers，将网元打印的话单日志发送到大数据kafka集群的brokers上，作为大数据系统分析的基础数据。

具体地说，kafkaproducers采集以下日志文件：

1、新消息日志---rcsimassiplog、rcsimasmsrplog、rcsimgcerrorlog、rcsgcassiplog、rcsimasregisterlog

2、nab(networkaddressbook，网络地址本)日志---rcsnablog

3、dm(devicemanager，设备管理器)日志---rcsdmlog

4、boss(business&operationsupportsystem，业务操作支撑系统)代理日志—rcsbossagenthistorylog、rcsbossagenttracelog

5、messagestore日志---rcsmsgstoreinterfacelog

6、公众账号日志---rcsrcspaisiplog、rcsrcspaimsrplog、rcsrcspaihttplog

7、能力网关日志---rcsrcsgwsiplog、rcsrcsgwmsrplog、rcsrcsgwhttplog

8、http媒体服务日志---rcshttpftlog、rcshttpftperflog

9、聚合代理日志---rcshttpaplog

其中，部署基于hadoop的大数据集群环境，安装相关服务，如zookeeper、hdfs、kafka、spark等服务，为后续多维度监控和统计提供基础服务。在大数据环境部署kafka集群接收来自各个网元上的kafkaproducers发来的数据后，启动大数据平台sparkstreaming任务调用kafkaconsumer提取kafka集群brokers中的数据进行处理，生成elasticsearch索引供大数据门户展示，以便对关键性的日志和指标进行监控，判断当前哪些网元存在问题或风险，并将问题和风险及时向运维人员告警。

图3是本发明实施例提供的rcs大数据系统的示意图，如图3所示，kafkaproducers实时的将网元上的日志发送到大数据，大数据kafka集群的brokers收到日志数据后，然后启动sparkstreaming任务调用kafkaconsumer处理日志数据。将日志处理结果和统计结果实时写入elasticsearch中。同时将部分实时统计结果写入到hdfs中，后面进行离线的天、月统计时读取hdfs上的数据，再将统计结果写入到elasticsearch中。在入库完成后，was对关键性的指标进行实时的监控和判断，当发现关键性指标出现异动时，及时向运维人员发出预警提示(以邮件或短信的方式)，以便故障在未出现或者出现之初就得到人为的干预排除。

在运维页面通过接口调用查询并展示elasticsearch中的数据。当出现问题时，运维人员可以通过运维门户页面查询日志流程中的业务质量分析数据，更快的定位到是哪个网元的上的哪些操作出现了问题。

本设计提供日志详单和统计结果，根据查询条件列出符合条件的日志详单、业务质量和统计、业务质量分析结果。可以查询信息包括：

日志详单：单聊日志、群聊日志、群管理日志、注册日志、dm日志、boss代理日志、messagestore日志、公众账号日志、能力网关日志、nab日志、http媒体服务日志、http聚合代理日志。

业务质量和统计：消息上/下行业务质量、下行消息状态统计、重试消息统计、群聊消息核对统计、用户和终端业务质量、dm业务质量、boss代理业务质量、boss代理用户统计、受理失败用户统计、用户开通状态统计、在线用户数统计、活跃用户统计、业务量top用户统计、messagestore接口业务质量、下载/重定向/slb(serverloadbalancing，服务器负载均衡)负载调度业务质量、http运行状态统计、能力网关业务质量、http聚合状态业务质量。

业务质量分析：dm业务质量分析、boss代理业务质量分析、能力网关业务质量分析、新消息业务质量分析、公众账号业务质量分析、messagestore接口业务质量分析、http媒体服务业务质量分析、http聚合状态业务质量分析。

本发明实施例是构建在hadoop和elasticsearch之上，hadoop能够实现高效计算，是在通用计算设备组成的大型集群上执行分布式应用的基础框架。系统充分利用集群的高速运算和存储威力，能可靠地存储和处理海量pb(petabyte)级数据。hadoop本身运行于大规模集群上的分布式文件系统hdfs以及mapreduce分布式并行编程框架之上。hdfs是构建在pc硬件之上的分布式文件系统，非常适合需要访问海量数据的应用。它和现有的分布式系统最大的区别是：高容错性和低成本。因此，建立在hadoop之上的可视化运营运维系统，能够实现强大的对外服务能力，可以适应大规模组网情况下的海量数据处理能力。在rcs运维中可以得到很好的应用。elasticsearch是一个基于lucene构建的开源，分布式，restful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过http使用json进行数据索引。

根据本发明实施例提供的方案，既能实时的判断当前整个网络的数据通信过程中某些具体网元的业务质量，又能以往业务质量变化的趋势，为将来可能出现的业务质量变化提供预警支持。同时还是在出现故障后，快速的给出发生故障的具体业务和网元，使得定位问题和解决问题变得更加迅捷、便利。

尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。