一种基于流式计算的分布式故障管理告警处理系统的制作方法

文档序号:13249968阅读:492来源:国知局
技术领域本发明涉及计算机故障警告技术领域,具体地说是一种基于流式计算的分布式故障管理告警处理系统。

背景技术:
移动通信网络故障管理系统经历了从专业网管向集中故障管理的演进,所管理的网络规模也从2G扩展到现在的3/4G、WLAN等,所管理网络规模已经翻倍再翻倍。截止2015年12月底,某省集中化故障管理系统的日均处理告警量已经达到230万,相对于上年同期增长了27.8%,需经过8到12步系统内部操作,每条传输类告警需在集中化故障管理系统中经历14步处理才最终派单到告警处理人员手中,还要满足及时性要求。相应的,集中化故障管理系统也从小型机架构发展成分布式系统架构,一方面降低硬件成本,另一方面还可应对不断增加的业务量。面对如此数据量的增加现有的系统和处理模式时常发生告警处理缓慢、延时甚至积压的问题。这对故障管理这类实时性、可靠性要求极高的故障管理系统来说,是很大的问题。在大数据分析和云计算快速发展的今天,通信网络管理系统需要新的技术来进行实现。集中化故障管理系统具有瞬间处理大量网络告警数据、处理步骤复杂、跨系统消费数据、实时性要求高的特点,符合大数据流计算的应用场景。

技术实现要素:
本发明的技术任务是提供一种基于流式计算的分布式故障管理告警处理系统。本发明的技术任务是按以下方式实现的,该故障管理告警处理系统包含一个告警流式计算框架、多个针对告警数据处理的业务节点、分布式管理模块;告警流式计算框架驱动数据流转,并维护一个业务节点组成的逻辑拓扑;多个业务节点包含所有故障管理告警处理的所有业务,不同的业务节点之间根据数据不同存在不同的告警消息通道。所述的告警数据是按照批量的方式注入到系统中,并将告警数据进行分类,按照分类在不同的业务节点进行流转。所述的业务节点之间按照不同的消息类型进行联通,下游业务节点接受上游业务节点的告警消息,上游业务节点和下游业务节点保持着对应的告警消息通道。所述的业务节点单独进行升级,而不影响其他业务节点和整个拓扑使用。故障管理告警处理流程如下:当活动告警注入系统,开始辨识消息类型,确认了为活动告警之后根据逻辑拓扑事先订阅的消息类型,从上游业务节点发送到订阅活动消息的下游业务节点进行处理,在下游业务节点处理过程中判断是否生成新的数据类型,如果生成新的数据类型则重新对消息类型进行辨识,并发送到活动告警消息订阅的下游业务节点进行处理;如果没有新的数据生成则该活动告警消息继续往下进行处理,发送到当前业务节点的下游业务节点,直到处理消息完成。本发明的一种基于流式计算的分布式故障管理告警处理系统和现有技术相比,降低了现有系统处理告警时各种业务的耦合,使得各种业务的处理更加细化,再结合单个业务节点的多任务机制,提高了告警的并发处理能力。利用这个架构告警处理峰值可以轻松从每秒千条上升到每秒万条级别,有效应对告警风暴的发生,可方便及时的定位出风暴故障点,缩短重大故障排障时长,提升重大网络故障的处理效率,为故障抢修争取了宝贵时间。附图说明图1为一种基于流式计算的分布式故障管理告警处理系统的拓扑示意图。图2为一种基于流式计算的分布式故障管理告警处理系统的业务节点多任务并发示意图。图3为一种基于流式计算的分布式故障管理告警处理系统的告警消息处理流程图。具体实施方式实施例1:该基于流式计算的分布式故障管理告警处理系统包含一个告警流式计算框架、多个针对告警数据处理的业务节点、分布式管理模块;告警流式计算框架驱动数据流转,并维护一个业务节点组成的逻辑拓扑;告警流式计算框架由处理告警的各个业务节点组成,每个业务节点功能是专一的;多个业务节点包含所有故障管理告警处理的所有业务,不同的业务节点之间根据数据不同存在不同的告警消息通道。每种告警消息按照预先设定的消息类型经过不同的路径进行处理从而组成告警处理的拓扑。所述的告警数据是按照批量的方式注入到系统中,并将告警数据进行分类,按照分类在不同的业务节点进行流转。告警在流式处理系统中的消息分类是:活动告警消息、清除告警消息、确认告警消息、自处理告警消息、工单消息、专业内关联消息;消息细分工单消息包括工单状态更新同步;专业内关联包括主次关联消息、衍生关联消息。所述的业务节点之间按照不同的消息类型进行联通,下游业务节点接受上游业务节点的告警消息,上游业务节点和下游业务节点保持着对应的告警消息通道;业务节点单独进行升级,而不影响其他业务节点和整个拓扑使用。故障管理告警处理流程如下:当活动告警注入系统,开始辨识消息类型,确认了为活动告警之后根据逻辑拓扑事先订阅的消息类型,从上游业务节点发送到订阅活动消息的下游业务节点进行处理,在下游业务节点处理过程中判断是否生成新的数据类型,如果生成新的数据类型则重新对消息类型进行辨识,并发送到活动告警消息订阅的下游业务节点进行处理;如果没有新的数据生成则该活动告警消息继续往下进行处理,发送到当前业务节点的下游业务节点,直到处理消息完成。流式计算的框架的运行模式,从数据注入数据流,一个数据流被定义为一个tuple,数据流流入不同处理业务节点进行业务处理然后继续流向下面的业务节点或者生成新的tuple流向下方业务节点。这样把告警的处理过程分成了很多个小的业务节点,提高了告警的处理速度。流式计算告警处理系统采用集群多任务机制用于多任务管理模块,每个业务节点是分布式多进程多线程多任务的方式,同一个业务节点会在不同的服务器上部署组成集群,提高了任务的并发能力。同时告警数据的注入是按照批量的方式也就是一个连续的tuple,进一步提高了告警的处理能力。通过上面具体实施方式,所述技术领域的技术人员可容易的实现本发明。但是应当理解,本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上,所述技术领域的技术人员可任意组合不同的技术特征,从而实现不同的技术方案。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1