一种快速可溯源的多维异常事件根因分析算法

本发明涉及多维异常事件根因分析算法，尤其涉及一种快速可溯源的多维异常事件根因分析算法，属于数据分析。

背景技术：

1、随着数字化信息科技的高速发展，越来越多的应用领域采用了多样化的数据监控策略和数据分析手段来保障系统稳定和数据安全，如网络安全、系统监控、业务运维、物联网等。在关键指标发生异常时，管理人员需要及时快速地梳理异常背后所关联的复杂信息，并准确推断出可能导致异常的根本原因，从而实现有效地处置。随着服务和数据的规模与日俱增，促使异常的根因分析(root causeanalysis，简称rca)向智能化转变，成为数据分析与决策的重要一环，是提高稳定性与可靠性的一项不可或缺的手段。

2、根因分析对算法的执行速度、指标兼容性以及可解释性都有较高要求。首先，当异常事件数量增加或关联属性维度增高时，异常产生原因的范围会急剧扩大，快速的定位根因可有效降低损失。其次，不同场景中的监测指标多样，算法需要处理基本指标和派生指标。最后，在异常处置时，算法对根因给出判定理由可以有效加速对异常的处置过程。然而，目前针对多维异常事件的根因分析方法，并不能在这三者间取得很好的平衡，存在较大的优化空间；多维异常事件的根因分析问题，目的是从一个可评估偏差的多维事件集合中筛选出对异常影响最大的事件子集，并且在聚集约束下，这个事件子集的属性特征组合有简洁的表达形式，记为异常根因。

3、现有技术中大多采用hotspot算法进行异常事件根因分析，hotspot算法设计了一个基于涟漪效应的目标函数潜在得分，主要从两个方面对属性组合进行评估：一方面，对于待评估属性组合的更细粒度属性组合，其指标应该是异常的并且服从涟漪效应；另一方面，对于其他的属性组合，其指标应该是正常的，hotspot算法显式地考虑了多个根因同时作用的情况，搜索空间变成了属性组合数目的幂，为了加速搜索，hotspot算法采用了蒙特卡罗树搜索(monte carlo tree search，mcts)方法进行启发式搜索，来解决巨大搜索空间的问题，从而快速识别异常的根因。但异常根因分析是从复杂的异常相关数据中分析寻找异常产生的主要原因，在实际应用中面临着很多挑战，首先是性能，异常根因定位的搜索空间非常大，暴力搜索方法并不可取，需要合理的缩小搜索空间和优化的搜索策略，平衡定位的速度和准确性；其次是适应性，异常关注的指标是多种多样的，可分为基本指标和派生指标，对于这两类指标，量化事件影响的方法是不同的，一个算法是否支持派生指标决定了其兼容性；最后是可解释性，包括根因定位本身的可解释性以及对异常形成的描述是否清晰，对后续异常处置操作也很重要，这就要求算法具备合理的根因定位解释，综上所述，现有技术的缺点如下：

4、(1)从性能的角度来看：hotspot使用mcts优化搜索，加快了搜索速度，但是hotspot依靠整个搜索路径上的潜在分数来引导它找到真正的根因，对于低维度或包含许多事件的根因，潜在分数在搜索路径的开始阶段可能相当小，因此，分层修剪策略可能会错误地修剪出正确的搜索路径，导致准确率不足；

5、(2)从兼容性角度来看：事件指标包括基本指标和派生指标，hotspot算法仅能处理基本指标；

6、(3)从可解释性角度来看：hotspot算法对根因分析的结果缺乏有效的解释，不能清楚地解释异常的形成。

7、因此，需要一种可以对定位的结果给出合理解释、适用于处理派生指标、搜索路径准确率高且速度快的多维异常事件根因分析算法。

技术实现思路

1、在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

2、鉴于此，为解决现有技术中传统的异常根因分析算法准确率低且兼容性差的问题，本发明提供一种快速可溯源的多维异常事件根因分析算法。

3、技术方案如下：一种快速可溯源的多维异常事件根因分析算法，包括以下步骤：

4、s1.通过异常检测筛选出与异常相关的事件，对与异常相关的事件进行初始化并整合为异常相关事件集合；

5、s2.对异常相关事件集合进行聚合约束，以原子事件集合即异常相关事件集合为起点层，采用严格聚合约束得到下一层的所有事件节点，逐层重复聚合操作，直至下一层的事件节点为空，得到完整的事件聚合图；

6、s3.在完整的事件聚合图上搜索定位根因异常事件，得到最终的根因异常集合；

7、s31.在完整的事件聚合图上进行异常传播，计算出所有事件节点的异常解释力、基础异常投票率以及子节点异常投票率，判定投票结果，输出更新后的事件聚合图；

8、s32.在更新后的事件聚合图进行根因候选事件搜索，搜索根因候选节点，输出根因候选集合；

9、s33.对根因候选集合进行根因剪枝，输出根因剪枝后的最终根因异常集合。

10、进一步地，所述s2中，输入原子事件集合φ，创建空的事件聚合图g，对所有事件都具有相同维度的异常相关事件集合h进行聚合约束，异常相关事件集合h包括所有与异常相关的事件e；

11、异常相关事件集合h的聚合约束过程表示为：

12、

13、其中，ce为聚合约束后的事件，ei'为异常相关事件集合h的第i'个事件，ej'为异常相关事件集合h的第j'个事件，c为聚合约束；

14、对于聚合约束后的事件ce中维度取值为*且异常相关事件集合h中维度取值不为*的维度为i的事件，通过unique函数将聚合约束后的事件ce中维度i的值域集合定义为fi；

15、维度i的值域集合fi表示为：

16、

17、其中，fei表示维度为i的事件e的坐标，e∈h表示事件e属于异常相关事件集合h；

18、根据维度i的值域集合fi计算出原子事件集合φ的聚合约束空间cφ；

19、聚合约束空间cφ表示为：

20、

21、其中，d为维度，fi∪{*}表示维度i的值域集合fi的取值为*；

22、创建事件聚合起点集合s，将其初始化为原子事件集合φ，创建下一层事件集合l，将其初始化为空集

23、从聚合约束空间cφ中提取事件聚合起点集合s的严格聚合约束cs，重置下一层事件集合l，定义聚合约束c属于聚合约束空间cφ，根据聚合约束c在事件聚合起点集合s中查询源事件as，根据聚合约束c，根据异常相关事件集合h的聚合约束过程创建基于源事件as的复合事件a，将复合事件a和事件关系加入到事件聚合图g，事件关系表示为(a,as)∪g，将复合事件a加入到下一层事件集合l，如果||l||＝1，则终止聚合约束，否则使用下一层事件集合l作为新的聚合起点集合，当||l||＝1时，终止聚合约束，输出完整的事件聚合图g。

24、进一步地，所述s31中，输入步骤2得到的原子事件集合φ和完整的事件聚合图g，定义事件e属于原子事件集合φ，在事件聚合图g上查询事件e的目标事件集合ed，根据指标向量ae更新目标事件集合ed中所有事件的指标向量，计算出事件e的偏差δ(e)；

25、事件e的偏差δ(e)表示为：

26、δ(e)＝g(v(e))-g(p(e))

27、其中，g为计算异常评价指标的函数，v(e)为指标向量ae的观测值，p(e)为指标向量ae的预期值；

28、事件r的偏差δ(r)表示为：

29、δ(r)＝g(v(r))-g(p(r))

30、其中，v(r)为事件r的观测值，p(r)为事件r的预期值；

31、根据事件e的偏差δ(e)更新目标事件集合ed中所有事件的基础投票数据，事件e在事件聚合图g上，在事件聚合图g上查询事件e的父事件集合ep，根据事件e的偏差δ(e)更新父事件集合ep中所有事件的子节点投票数据；

32、计算事件e的偏差对根事件的影响时，忽略其它事件引起的指标向量变化，记在仅受到事件e的偏差影响下事件r的指标向量的观测值为根据指标向量在事件组合和复合事件中具备可加性，事件r的指标向量变化等于事件e的指标向量变化，得到事件r和事件e的指标向量变化关系公式；

33、事件r和事件e的指标向量变化关系公式表示为：

34、

35、事件r的指标向量的观测值表示为：

36、

37、由事件e的影响引起的事件r的度量偏差γ(e)表示为：

38、

39、在事件聚合图g上计算出所有事件节点的异常解释力，异常解释力包括基础解释力、次要解释力和惊奇度；

40、事件e的基础解释力epep表示为：

41、

42、事件e的次要解释力esep表示为：

43、

44、其中，为事件e的预期偏差，δ(e′)为事件e'的偏差，为事件e'的预期偏差；

45、事件e的惊奇度esp表示为：

46、

47、分别统计事件e的基础事件中异常投票事件数量占比和事件e的子节点事件中异常投票事件数量占比，得到事件e的基础异常投票率以及子节点异常投票率；

48、在投票中，如果事件e中节点的评价指标变化与异常事件评价指标变化一致，即子节点的异常投票率小于行为一致性阈值τavc，则投票选项为异常，否则，投票选项为正常；

49、最终，输出更新后的事件聚合图g。

50、进一步地，所述s32中，输入步骤s31得到的原子事件集φ和更新后的事件聚合图g，创建起点集合f，将其初始化为原子事件集合φ，创建终点集合d，创建默认包括所有原子事件集合φ的根因候选集rc，从起点集合f向终点集合d搜索根因候选节点，定义事件e属于起点集合f，在事件聚合图g中查询事件e的父事件集合ep，定义父事件p属于父事件集合ep，如果父事件p的基础解释力ppep小于设定的最低基础解释力τmpep，则继续进行搜索，如果pvb＞τvb且pvc＞τvc，即事件p的基础事件异常投票率pvb高于基础事件异常投票率阈值τvb且子事件异常投票率pvc高于子事件异常投票率阈值τvc，则将父事件p加入到终点集合d，如果||d||＝＝0，则停止搜索，并将起点集合f定义为根因候选集合rc，否则将终点集合d作为新的搜索起点集合，从终点集合d向起点集合f搜索根因候选节点，如果||f||＝＝0，则停止搜索并将终点集合d定义为根因候选集合rc，输出根因候选集合rc。

51、进一步地，所述s33中，按照基础解释力和惊奇度的降序对根因候选集合rc进行排序，在根因候选集合rc过滤掉基础解释力和惊奇度均排名top-k之外的根因候选事件，在根因候选集合rc中，筛选出所有子节点异常投票率vote_children大于子节点的行为一致性阈值τavc的根因候选事件加入到最终根因异常集合rc，如果存在最终根因异常集合rc的基础解释力rcpep大于异常解释力阈值τapep，则选择基础解释力最大的一个根因候选事件加入到最终根因异常集合rc，如果上述情况中存在被选中的事件，且rcpep＞τapep，则满足异常解释力且具备事件一致性和根因简洁性，停止根因搜索，否则，继续执行根因搜索，在剩余的根因候选集合中，按顺序挑选使得基础解释力和次要解释力增加的根因候选事件，当根因候选事件不能使基础解释力和次要解释力增加时，停止根因搜索，输出根因剪枝后的最终根因异常集合rc。

52、本发明的有益效果如下：本发明设计了一种快速可溯源的多维异常事件根因分析算法，根据事件的聚合约束以及关联关系建立了事件聚合图作为统一的事件描述框架，并提出不同场景下异常影响的量化方法，增加了对不同类型指标的兼容性，适用于基础指标和派生指标；针对多属性维度的异常事件，以根因分析定位的准确率和速度为优化目标，优化了根因事件的搜索空间和搜索策略，有效地提高了多维异常事件根因分析算法的准确率，并降低了算法的耗时；通过事件聚合图上的异常传播与溯源，为异常的根因分析结果给出了合理的解释，增强了算法的可解释性，为分析异常原因、缩小根因范围以及制定异常修复策略提供有效的决策依据，提升了系统的稳定性和数据的安全性，实现了对多维异常事件的快速可溯源根因分析。