基于区间图的告警分析方法与流程

文档序号:15982253发布日期:2018-11-17 00:28阅读:325来源:国知局

本发明涉及告警相关性分析技术领域,尤其涉及一种基于区间图的告警分析方法。

背景技术

在传统的告警相关性分析方法中,通常将整个告警数据看做一个时间序列,在告警关联分析中通常利用滑动时间窗口的方式设置一个告警窗口宽度,然后将所有落在该告警时间窗口内的告警认为都是同时发生的。然而告警窗口宽度和滑动步长并没有设定标准,选取的原则是考虑告警事件序列模式挖掘的效率以及挖掘的结果精确度。因此,一般对于一组新数据的分析,都要拿一组参数进行反复试验对比,最终从中选出一个相对合适的窗口宽度和步长。这种基于时间窗口的分析方法受限于告警的分布方式,仅适用于告警在整个时间序列上均匀分布的情况。然而,在实际情况下可能有些时间区域内告警密度非常大,而有些区域则完全没有告警,这就会造成许多无意义的窗口以及空窗口的产生。

现有技术中的对于告警关联模式的挖掘方法都是基于apriori算法、fp-growth等各类关联算法生成告警相关性规则库,为相关的告警预测、告警相关性分析功能提供规则支持。

上述现有技术中的对于告警关联模式的挖掘方法的缺点为:除了存在上述采用时间窗口的问题,这些方法集中于挖掘频繁发生的告警,无法发现发生频次低但可能重要的告警;此外,缺少对于相关告警做出进一步的呈现,对于挖掘到的关联规则也缺少更加直观的可视化方式。



技术实现要素:

本发明的实施例提供了一种基于区间图的告警分析方法,以克服现有技术的缺点。

为了实现上述目的,本发明采取了如下技术方案。

一种基于区间图的告警分析方法,包括:

将同一个地点的所有告警事件按告警发生时间顺序转换为告警事件序列,将告警事件序列中的每个告警事件看成一个节点,根据所述告警事件序列中告警事件的告警区间的重叠程度及发生时间顺序建立告警事件区间图;

对来自不同地点的各个告警事件区间图进行合并处理,合并同类型告警事件的所有节点为一个节点,对合并处理后的告警事件区间图中的节点之间的连边赋予边权值,得到告警区间图;

根据所述告警区间图中节点之间的连边的边权值,采用图特征分析方法得到各个告警事件之间关联性的差异性。

进一步地,所述的将同一个地点的所有告警事件按告警发生时间顺序转换为告警事件序列,包括:

将每个类型告警的一次发生称为一个告警事件,在一个地点,一个告警事件由告警名称、发生时间和清除时间唯一确定,告警事件从发生到清除的持续时间间隔称为告警区间,将一个告警事件的发生时间记作ts,清除时间记作te,告警事件在告警事件序列中的排序记作k,告警事件k的告警名称记作mk,将每个告警事件用一个四元组(k,mk,ts,te)来表示,具有相同告警名称的告警事件为同类型告警,相同类型的告警事件具有相同的告警等级;

将同一个地点的告警事件按告警发生时间的先后顺序转换为告警事件序列s,s={(1,m1,ts1,te1),(2,m2,ts2,te2),……(k,mk,tsk,tek)},先发生的告警事件的序号比后发生的告警事件的序号低。

进一步地,所述的将告警事件序列中的每个告警事件看成一个节点,根据所述告警事件序列中告警事件的告警区间的重叠程度及发生时间顺序建立告警事件区间图,包括:

将告警事件序列中的每个告警事件当成一个节点,按照告警事件的发生顺序依次编号,记该编号为k,同时记对应的告警名称为mk,采用kmk命名所述告警事件对应的节点;

选取所述告警事件序列中的两个告警事件(a,ma,tsa,tea)、(b,mb,tsb,teb),a<b,如果tea-tsa的时间段与teb-tsb的时间段存在时间重叠,则判断告警事件(a,ma,tsa,tea)与告警事件(b,mb,tsb,teb)的告警区间发生重叠,建立节点ama指向节点bmb的有向连边(ama,bmb);否则,不建立节点ama指向节点bmb的有向连边;

遍历所述告警事件序列中的任意两个告警事件,当判断一对告警事件的告警区间发生重叠,则建立所述一对告警事件中的低序号节点指向高序号节点的有向连边,根据告警事件之间的告警区间重叠程度为告警事件之间的连边赋予边权值,完成告警事件区间图的建立。

进一步地,所述的对来自不同地点的各个告警事件区间图进行合并处理,合并同类型告警事件的所有节点为一个节点,得到告警区间图,包括:

针对k个告警事件发生地点,分别得到每个告警事件发生地点的告警事件区间图,将k个告警事件区间图进行合并处理,将合并处理后的告警事件区间图中同类型告警事件的所有节点合并为一个节点,当合并前两种类型的告警事件之间存在至少一个连边的节点对,则在合并后的两种类型的告警事件的节点对之间建立连边,对合并处理后的告警事件区间图中的节点之间的连边赋予边权值,得到告警区间图。

进一步地,所述的对合并处理后的告警事件区间图中的节点之间的连边赋予边权值,包括:

告警区间图中一对节点之间的连边的边权值函数是由该一对节点对应的告警事件出现频次、告警事件节点之间连边频次以及对应的告警事件区间图中节点之间的连边的边权值综合确定;

假设告警区间图中一对节点之间的连边的边权值pb的计算公式如下:

∑g(a,b)(d)表示在告警事件区间图中由a类告警事件指向b类告警事件的全部有向边的边权值的累加,f(a,b)表示在告警事件区间图中a类告警事件指向b类告警事件的有向边数量,fa和fb分别表示a类告警事件和b类告警事件出现的频次。

进一步地,所述的对合并处理后的告警事件区间图中的节点之间的连边赋予边权值,还包括:

设定不同类型的告警事件具有不同的等级,定义基于告警事件等级的权值函数,通过所述权值函数计算出告警区间图中一对节点之间的连边对应的权值函数值,根据所述权值函数值为所述一对节点之间的连边赋予边权值。

进一步地,所述的根据所述告警区间图中节点之间的连边的边权值,采用图特征分析方法得到各个告警事件之间关联性的差异性,包括:

根据所述告警区间图中的节点之间的连边的边权值的大小判断该连边连接的两个类型的告警之间的关联性的强弱,连边的边权值越大,则判断该连边连接的两个类型的告警之间的关联性越强;

根据告警事件之间关联性的差异,基于节点之间的连边的边权值确定告警事件的二元关联关系,将所述二元关联关系分为3种类型:因果型、并发型和独立型关系,将边权值低于设定的阈值的一对告警,以及没有连边的一对告警,确定为独立型关联关系的一对告警;

定义对称系数r为r=min(pab,pba)/max(pab,pba),其中pab和pba分别代表告警区间图中有向边(ma,mb)和(mb,ma)的权值,当r与1之间的差值小于设定的数值,则确定告警类型a与告警类型b之间为并发型关联关系,当r与0之间的差值小于设定的数值,则确定告警类型a与告警类型b之间为因果型关联关系。

进一步地,所述的根据所述告警区间图中的节点之间的边权值,采用基于图特征分析方法得到各个告警事件之间关联性的差异性,还包括:

基于社区特征发现告警事件之间的多元关联关系,通过社区发现方法得到告警区间图的社区结构,判断属于同一个社区的所有告警事件之间的关联性强,不属于同一个社区的所有告警事件之间的关联性弱。

由上述本发明的实施例提供的技术方案可以看出,本发明实施例的方法针对告警时间重叠的现象,利用区间图的方式将复杂的重叠告警以更加直观的方式呈现,并根据告警区间图的边权值推断出各类告警之间的关联性强弱和二元及多元关联关系,同时结合节点权推断重大告警,探究告警发生的潜在规律,适用于告警在整个时间序列上均匀分布或者不均匀分布的多种情况。为减少告警数据的冗余度,提高告警有效性,定位故障根原因提供科学指导。

本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于区间图的告警分析方法的实现原理图;

图2为本发明实施例提供的一种告警a与告警b在时间区间上重叠示意图;

图3为本发明实施例提供的一种告警事件区间图的示意图;

图4为本发明实施例提供的一种告警区间图边权计算实例图;

图5为本发明实施例提供的一种告警之间的关联性类型示意图。

图6为本发明实施例提供的一种在告警区间图中进行社区发现的示意图。

具体实施方式

下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。

本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当本发明称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个实施例并不构成对本发明实施例的限定。

图作为是数据结构和算法学中最强大的框架之一,几乎可以用来表现所有类型的结构或系统,基于图的方法来分析告警关联性,不仅可以克服基于时间窗口方法的局限性,也便于直观地显示各种关联性。

本发明实施例提供的一种基于区间图的告警分析方法的实现原理图如图1所示,包括三个处理步骤:告警事件区间图生成并赋权、告警区间图生成并赋权和告警关联模式发现。

一、告警事件区间图生成的处理过程包括:

1、数据预处理

本发明以一个“0—1”方波代表一条告警(即一个告警事件),将一个告警的发生时间记作ts,告警清除时间记作te,那么每一条告警可以用一个四元组(k,mk,ts,te)来表示,其中告警事件在告警事件序列中的排序记作k,告警事件k的告警名称记作mk。

具有相同告警名称的告警事件为同类型告警,相同类型的告警事件具有相同的告警等级,同类型告警会多次发生,将每个类型告警的一次发生称为一个告警事件。在一个地点,一个告警事件由告警名称、发生时间和清除时间唯一确定,事件从发生到清除的持续时间间隔称为告警区间。通过预处理得到告警事件序列s:

s={(1,m1,ts1,te1),(2,m2,ts2,te2),……(k,mk,tsk,tek)}

在告警事件序列s中,先发生的告警事件的序号比后发生的告警事件的序号低。

2、告警重叠序列的提取

对于告警事件序列中的任意两个告警事件(a,ma,tsa,tea)、(b,mb,tsb,teb),如果tea-tsa的时间段与teb-tsb的时间段存在时间重叠,则判断告警事件(a,ma,tsa,tea)与告警事件(b,mb,tsb,teb)的告警区间发生重叠。如图2所示。

3、形成告警事件区间图

将每个告警事件看成告警事件区间图中的一个节点,按照告警事件的发生时间的先后顺序依次编号,记该编号为k,同时记对应的告警名称为mk,采用kmk命名节点。

将告警事件序列中的每个告警事件当成一个节点,按照告警事件的发生顺序依次编号,记该编号为k,同时记对应的告警名称为mk,采用kmk命名所述告警事件对应的节点。

选取所述告警事件序列中的两个告警事件(a,ma,tsa,tea)、(b,mb,tsb,teb),a<b,如果tea-tsa的时间段与teb-tsb的时间段存在时间重叠,则判断告警事件(a,ma,tsa,tea)与告警事件(b,mb,tsb,teb)的告警区间发生重叠,建立节点ama指向节点bmb的有向连边(ama,bmb);否则,不建立节点ama指向节点bmb的有向连边。

遍历所述告警事件序列中的任意两个告警事件,当判断一对告警事件的告警区间发生重叠,则建立所述一对告警事件中的低序号节点指向高序号节点的有向连边,根据告警事件之间的告警区间重叠程度为告警事件之间的连边赋予边权值,完成告警事件区间图的建立。

图3为本发明实施例提供的一种告警事件区间图的示意图,图中数字表示告警事件的发生序号,按告警事件发生时间的顺序依次分配。在图3中,还根据告警之间的告警区间重叠程度d定义重叠度函数g(d),并根据重叠度函数的取值为相应的告警事件之间的连边赋予边权值。

重叠度函数的取值是由相应的告警区间长度以及一对告警发生重叠现象的时长综合确定,重叠度函数g(d)的函数形式不唯一。在此可假设g(d)的计算方式如下所示:

对于两个告警事件(a,ma,tsa,tea)、(b,mb,tsb,teb),a<b,告警区间tea-tsa与告警区间teb-tsb发生重叠现象的时长为td,从tsa到max(tea,teb)的持续时间为ts,那么

二、告警区间图生成的处理过程包括:

针对k个告警事件发生地点,分别得到每个告警事件发生地点的告警事件区间图,将k个告警事件区间图进行合并处理。将合并处理后的告警事件区间图中同类型告警事件的所有节点合并为一个节点,当合并前两种类型的告警事件之间存在至少一个连边的节点对,则在合并后的两种类型的告警事件的节点对之间建立连边,对合并处理后的告警事件区间图中的节点之间的连边赋予边权值,得到告警区间图。

告警区间图中的一对节点之间的连边的边权值是由该一对节点对应的告警事件出现频次、告警事件节点之间连边频次以及对应的告警事件区间图中节点之间的连边的边权值综合确定,边权值函数的表达形式不唯一。

假设告警区间图中的一对节点之间的连边的边权值pab的计算公式如下:

∑g(a,b)(d)表示在告警事件区间图中由a类告警事件指向b类告警事件的全部有向边的边权值的累加,f(a,b)表示在告警事件区间图中a类告警事件指向b类告警事件的有向边数量,fa和fb分别表示a类告警事件和b类告警事件出现的频次。

图4a所示是在两个告警发生地分别生成的两个告警事件区间图,图4b所示是对两个告警事件区间图合并得到的告警区间图。在图4a中,∑g(a,b)(d)=0.2,∑g(a,c)(d)=0.6,∑g(b,c)(d)=0.1+0.23+0.72=1.05,∑g(c,a)(d)=0.45f(a,b)=1,f(a,c)=1,f(c,a)=1,f(b,c)=3,fa=2,fb=3,fc=4。

根据上述值计算边权值,得到告警区间图中的边权值的结果如图4b所示。

3、设定不同类型的告警事件具有不同的等级,定义基于告警事件等级的权值函数,

假设对于每一种告警用i代表其重要程度,i的值越大说明其等级越高,重要程度越高。对于a类告警和b类告警,进一步的可根据其重要程度ia和ib,对边权值pab做进一步计算:

通过所述权值函数计算出警区间图中一对节点之间的连边对应的权值函数值,根据所述权值函数值为所述一对节点之间的连边赋予边权值。

三、告警关联模式发现的处理过程包括:

1.根据告警区间图中的节点之间的连边的边权值的大小判断该连边连接的两个类型的告警之间的关联性的强弱,连边的边权值越大,则判断该连边连接的两个类型的告警之间的关联性越强。

2.基于阈值筛选与对称性判断关联性模式

图5为本发明实施例提供的一种告警之间的关联性类型示意图。依据各类告警之间关联性的差异,本发明将告警关系分为3种类型:因果型(α型)、并发型(β型)和独立型(γ型),如图5所示。其中,以有向边表示因果指向,以无向边表示并发关系,以虚线表示独立关系(或可以忽略的微弱关系)。

依据告警区间图中边权的大小,可以判断关联性强弱。引入阈值筛选,将边权值低于设定的阈值的一对告警,以及没有连边的一对告警,确定为独立型关联关系的一对告警。

对于显著边权指示的强关联性,进一步依据告警区间图中两个节点之间的边权大小,进行对称性的分析,进一步区分并发关系与因果关系。由于是有向边,pab和pba大小不同,这两个边权值的对称性大小能揭示告警之间是否具有因果性。

定义对称系数r,r=min(pab,pba)/max(pab,pba),显然r≤1。根据对称系数r判断告警之间的对称性。当r越接近1时,或r与1之间的差值小于设定的数值,两类告警a、b的对称性越强,意味着两类告警不具有显著的先后顺序性,即二者为并发关联关系的一对告警。当r越接近0时,或r与0之间的差值小于设定的数值,两类告警的顺序性越强,同时意味着告警之间越有可能存在因果关系,即二者为因果关联关系的一对告警。

例:假设pab=0.9,pba=0.1,说明告警a在告警b之前发生的几率较大,即存在由于a的发生进而导致b发生的可能性。即告警a与告警b为因果关系。

3.基于社区发现得到多元告警之间的关联模式。

如果一组告警之间存在相对紧密的关系,那么可以利用社区发现的方法探究告警的社区现象。基于告警节点之间的边权值,通过社区发现方法得到告警区间图的社区结构,即在这些告警中是否存在由若干“簇”或“组”构成的社区现象。同属于一个社区的告警更有可能具有相似的性质或相近的功能,而所属社区不同的告警一般具有较大的差异性。图6为本发明实施例提供的一种在告警区间图中进行社区发现的示意图,图6是在告警区间图中进行社区发现的示意图,图6中共发现了3组社区现象,在同一社区内的告警事件节点之间的关联性较强,不同社区内的告警事件节点之间的关联性较弱。

综上所述,本发明实施例的方法针对告警时间重叠的现象,利用区间图的方式将复杂的重叠告警以更加直观的方式呈现。同时,通过计算在大规模数据集下的各类告警的重叠频次、重叠程度、以及各类告警出现频次得到告警区间图的边权值,并根据告警区间图的边权值推断出各类告警之间的关联性强弱和二元及多元关系,根据节点权值发现频次低但可能重要的告警类型,探究告警发生的潜在规律,适用于告警在整个时间序列上均匀分布或者不均匀分布的多种情况,为减少告警数据的冗余度,提高告警有效性,定位故障根原因,简化告警数据的上报方式提供科学指导,进而提高企业运维人员的工作效率,并为后续科研工作及管理决策等提供支持。

现有的告警相关性分析方法通过利用滑动时间窗口的方式,将同一窗口内的告警认为是同时发生的,这种设置时间窗口的方式受限于告警的分布情况,当告警分布不均匀时,该方法难以利用。本发明的方法则是通过告警的时间重叠现象来挖掘告警关联关系,适用于告警分布均匀或不均匀的情况。

现有的告警相关性分析大多基于apriori算法、fp-growth算法等关联规则挖掘算法实现,此类算法及其改进算法只能挖掘频繁告警的关联规则,不能挖掘低频但可能重要的告警的关联规则。本发明所使用方法则能够挖掘低频且级别较高的告警,因此更具现实意义。

通过使用本发明所使用的方法不仅能得到各类告警的关联关系,同时能够根据对称性发现各类告警的产生模式,能够挖掘告警发生的先后顺序,进而为去除冗余告警、故障定位以及因果性判定提供科学指导。

现有的研究缺少对于各个告警事件以及各类告警之间的关系的可视化表达,本发明利用区间图的方式将复杂的告警关系进行直观展现,提供了一种更加清晰的告警关联规则可视化方式。

本发明将告警的关联关系转化为图论问题,进而可以在后续工作中利用图论的知识解决实际问题。

本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。

以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1