一种异常处理方法、装置、电子设备及计算机可读介质与流程

文档序号:31348799发布日期:2022-08-31 12:16阅读:62来源:国知局
一种异常处理方法、装置、电子设备及计算机可读介质与流程

1.本技术涉及计算机技术领域,尤其涉及一种异常处理方法、装置、电子设备及计算机可读介质。


背景技术:

2.运维时序数据异常检测时,不能够很好地自适应海量监控指标,对于异常的时间点,较难识别出对应的异常类型,在时序指标数据中提取复杂模式方面的表现较差,无法保留重要的结构信息,比如异常相邻点间的异常信息,对运维时序数据异常类别的分类能力也较弱。
3.在实现本技术过程中,发明人发现现有技术中至少存在如下问题:
4.现有技术中从指标异常角度排查故障根因依赖于专家经验,运维专家收到监控指标异常告警后,通过各个运维监控平台,包括主机监控、数据库监控、中间件监控等等,排查流程繁琐。


技术实现要素:

5.有鉴于此,本技术实施例提供一种异常处理方法、装置、电子设备及计算机可读介质,能够解决现有的从指标异常角度排查故障根因依赖于专家经验,运维专家收到监控指标异常告警后,通过各个运维监控平台,包括主机监控、数据库监控、中间件监控等等,排查流程繁琐的问题。
6.为实现上述目的,根据本技术实施例的一个方面,提供了一种异常处理方法,包括:
7.响应于检测到异常事件,确定异常事件对应的异常时间段;
8.获取与异常事件关联的指标信息,进而基于指标信息和异常时间段,确定对应的异常指标;
9.根据异常时间段,获取对应的静态实体关系,进而基于异常事件、异常指标和静态实体关系,生成异常事件对应的知识图谱;
10.基于知识图谱定位异常实体,进而确定异常实体对应的总异常指标;
11.将总异常指标输入至异常检测模型,以得到对应的指标异常类型,输出指标异常类型和异常实体。
12.可选地,确定对应的异常指标,包括:
13.确定与指标信息对应的指标形状;
14.根据指标形状,确定异常时间段对应的异常指标。
15.可选地,确定异常时间段对应的异常指标,包括:
16.从指标形状中确定出异常事件对应的业务层指标形状和基础资源层指标形状;
17.计算业务层指标形状和基础资源层指标形状的相似度;
18.根据相似度,确定异常时间段对应的相关联的异常指标。
19.可选地,根据异常时间段,获取对应的静态实体关系,包括:
20.根据异常时间段获取对应的日志信息;
21.根据日志信息确定静态实体关系。
22.可选地,在输出指标异常类型和异常实体之后,方法还包括:
23.将异常事件、异常事件对应的异常实体、异常实体对应的总异常指标以及指标异常类型在知识图谱中以预设形式进行展示。
24.可选地,确定异常实体对应的总异常指标,包括:
25.基于知识图谱确定异常实体对应的一个或多个异常事件;
26.将一个或多个异常事件对应的异常指标进行汇总,以得到总异常指标。
27.可选地,在确定异常事件对应的异常时间段之前,方法还包括:
28.响应于检测到场景发生变动,基于变动后的场景切换至对应的异常阈值;
29.基于异常检测模型和基线模型得到对各指标的检测结果;
30.响应于检测结果超出异常阈值,触发异常事件。
31.另外,本技术还提供了一种异常处理装置,包括:
32.异常时间段确定单元,被配置成响应于检测到异常事件,确定异常事件对应的异常时间段;
33.异常指标确定单元,被配置成获取与异常事件关联的指标信息,进而基于指标信息和异常时间段,确定对应的异常指标;
34.知识图谱生成单元,被配置成根据异常时间段,获取对应的静态实体关系,进而基于异常事件、异常指标和静态实体关系,生成异常事件对应的知识图谱;
35.总异常指标确定单元,被配置成基于知识图谱定位异常实体,进而确定异常实体对应的总异常指标;
36.异常处理单元,被配置成将总异常指标输入至异常检测模型,以得到对应的指标异常类型,输出指标异常类型和异常实体。
37.可选地,异常指标确定单元进一步被配置成:
38.确定与指标信息对应的指标形状;
39.根据指标形状,确定异常时间段对应的异常指标。
40.可选地,异常指标确定单元进一步被配置成:
41.从指标形状中确定出异常事件对应的业务层指标形状和基础资源层指标形状;
42.计算业务层指标形状和基础资源层指标形状的相似度;
43.根据相似度,确定异常时间段对应的相关联的异常指标。
44.可选地,知识图谱生成单元进一步被配置成:
45.根据异常时间段获取对应的日志信息;
46.根据日志信息确定静态实体关系。
47.可选地,异常处理装置还包括展示单元,被配置成:
48.将异常事件、异常事件对应的异常实体、异常实体对应的总异常指标以及指标异常类型在知识图谱中以预设形式进行展示。
49.可选地,总异常指标确定单元进一步被配置成:
50.基于知识图谱确定异常实体对应的一个或多个异常事件;
51.将一个或多个异常事件对应的异常指标进行汇总,以得到总异常指标。
52.可选地,异常处理装置还包括异常事件触发单元,被配置成:
53.响应于检测到场景发生变动,基于变动后的场景切换至对应的异常阈值;
54.基于异常检测模型和基线模型得到对各指标的检测结果;
55.响应于检测结果超出异常阈值,触发异常事件。
56.另外,本技术还提供了一种异常处理电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上述的异常处理方法。
57.另外,本技术还提供了一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现如上述的异常处理方法。
58.上述发明中的一个实施例具有如下优点或有益效果:本技术通过响应于检测到异常事件,确定异常事件对应的异常时间段;获取与异常事件关联的指标信息,进而基于指标信息和异常时间段,确定对应的异常指标;根据异常时间段,获取对应的静态实体关系,进而基于异常事件、异常指标和静态实体关系,生成异常事件对应的知识图谱;基于知识图谱定位异常实体,进而确定异常实体对应的总异常指标;将总异常指标输入至异常检测模型,以得到对应的指标异常类型,输出指标异常类型和异常实体。在异常事件发生时,通过收集系统异常时的指标信息,构建异常事件的知识图谱。采用知识图谱来存储异常事件,采用图推理的方法进行异常实体定位,获取故障产生所影响的实体部分和涉及到的异常指标,从而进行对涉及到的异常指标的分类。提升对运维时序数据异常类别的分类能力,排查流程简洁,异常排查效率高。
59.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
60.附图用于更好地理解本技术,不构成对本技术的不当限定。其中:
61.图1是根据本技术一个实施例所提供的异常处理方法的主要流程的示意图;
62.图2是根据本技术一个实施例所提供的异常处理方法的主要流程的示意图;
63.图3是根据本技术一个实施例所提供的异常处理方法的事件图谱构建用于根因定位流程图;
64.图4是根据本技术一个实施例所提供的异常处理方法的故障节点关联性示意图;
65.图5是根据本技术一个实施例所提供的异常处理方法的多指标异常检测算法流程示意图;
66.图6是根据本技术实施例的异常处理装置的主要单元的示意图;
67.图7是本技术实施例可以应用于其中的示例性系统架构图;
68.图8是适于用来实现本技术实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
69.以下结合附图对本技术的示范性实施例做出说明,其中包括本技术实施例的各种
细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本技术的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。本技术技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
70.图1是根据本技术一个实施例所提供的异常处理方法的主要流程的示意图,如图1所示,异常处理方法包括:
71.步骤s101,响应于检测到异常事件,确定异常事件对应的异常时间段。
72.本实施例中,异常处理方法的执行主体(例如,可以是服务器)可以通过有线连接或无线连接的方式,不断检测是否存在异常事件。异常事件,例如可以是与异常指标关联的事件,当异常指标出现时,异常事件即被触发。
73.执行主体在检测到异常事件后,可以确定异常事件对应的异常时间段,例如上午10:10-10:30。
74.具体地,在确定异常事件对应的异常时间段之前,方法还包括:响应于检测到场景发生变动,基于变动后的场景切换至对应的异常阈值;基于异常检测模型和基线模型得到对各指标的检测结果;响应于检测结果超出异常阈值,触发异常事件。
75.异常检测模型为基于深度学习方法训练得到的模型。引入深度学习方法能够合理处理复杂的异常模式,从数据中学习隐含的规律,很好地保留异常相邻点间的异常信息。基线模型,可以包括基于聚类的cblof基线模型,基于角度度量的abod基模型,基于集成的iforest基线模型,以及基于深度学习的gru基线模型。以上四种基线模型可以实现分别从不同的角度对指标数据的特征进行了提取和学习,因此基线模型的输出结果不失偏颇,顾全大局。本技术实施例以f1-score计算方法为目标函数,基于l-bfgs最优化搜索方法自适应搜索最优加权投票数,解决海量运维时序指标自适应无阈值监控要求。集成机器学习基线模型和深度学习异常检测模型的方法,能够增强对运维时序数据异常类别的分类能力。基于异常检测模型和基线模型得到对各运维时序指标数据的检测结果;当执行主体确定该检测结果超出异常阈值,则触发异常事件。异常监测模型可以由正常数据占多数的历史数据进行训练得到。
76.本技术实施例采用自适应无阈值监控技术,可以根据场景变动自主调节异常阈值,结果更准确;也可以适配不同类型场景,鲁棒性更好。
77.步骤s102,获取与异常事件关联的指标信息,进而基于指标信息和异常时间段,确定对应的异常指标。
78.当异常事件产生时,关联查询所有与该事件有关联的日志、告警、变更、配置等指标信息。以该异常事件为起点,关联查询本次异常事件相关的全部指标信息。故障发生时,在指标层面上,业务层的指标的异常波动区间内(即异常时间段内)会伴随着基础资源层的监控指标的异常形态变化,通过指标形状相似度计算全部指标之间的故障节点的关联性,即基于互相关距离度量sbd来比较异常时间段内各指标异常波动相似性,一个异常事件的发生会伴随有多个指标波动,从而可以确定出异常时间段内伴随异常事件的发生而产生波动的异常指标。具体可以是将在异常时间段产生的与异常事件关联的指标信息相似的指标信息所对应的指标确定为异常指标。
79.步骤s103,根据异常时间段,获取对应的静态实体关系,进而基于异常事件、异常
指标和静态实体关系,生成异常事件对应的知识图谱。
80.具体地,根据异常时间段,获取对应的静态实体关系,包括:根据异常时间段获取对应的日志信息;根据日志信息确定静态实体关系。
81.执行主体可以根据异常时间段的信息,查询获取产生此异常的事件的实时日志信息,在该实时日志信息中记录了系统有关日常事件或者误操作警报的日期及时间戳信息,也可以记录有静态实体关系。静态实体关系具体可以指配置管理系统中描述的静态的实体关系。在配置管理系统中,静态库(或称为备份库、产品库):包含备用的各种基线的档案,存储着静态实体关系。静态库的配置项被置于完全的配置管理之下。示例的,静态实体关系可以是配置管理系统中的主机、数据库、指标、日志与异常事件之间的关系。将异常指标写入到图数据库中,结合配置管理系统描述的静态的实体关系,生成异常事件的知识图谱。生成的异常事件的知识图谱用于表征异常事件与主机、数据库、异常指标、日志之间的关联关系。
82.步骤s104,基于知识图谱定位异常实体,进而确定异常实体对应的总异常指标。
83.具体地,确定异常实体对应的总异常指标,包括:
84.基于知识图谱确定异常实体对应的一个或多个异常事件;将一个或多个异常事件对应的异常指标进行汇总,以得到总异常指标。
85.本技术实施例通过一个异常事件生成对应异常事件的知识图谱,根据生成的知识图谱定位异常事件对应的异常实体(例如主机),在知识图谱中,一个异常实体可以对应一个或多个异常事件,当知识图谱中确定出的一个异常实体对应一个或多个异常事件时,执行主体可以将一个或多个异常事件对应的异常指标汇总,以得到总异常指标。可以理解的是,总异常指标可以是一个异常实体所对应的所有异常指标的集合。
86.步骤s105,将总异常指标输入至异常检测模型,以得到对应的指标异常类型,输出指标异常类型和异常实体。
87.将整个异常事件所影响到的指标提取出来,作为对时序指标进行分类的异常检测模型的输入。
88.具体地,在输出指标异常类型和异常实体之后,异常处理方法还包括:将异常事件、异常事件对应的异常实体、异常实体对应的总异常指标以及指标异常类型在知识图谱中以预设形式进行展示。示例的,预设形式可以是图表示的形式。
89.在异常事件对应的知识图谱的基础上,应用图分析的推导模型,将动态变化的指标与静态的系统配置关系结合,对产生异常的实体(例如系统产生异常的子模块)进行定位与提取,得到该异常事件所影响的范围与指标在知识图谱中的图表示。从而使得用户可以清晰明确的得知异常指标的影响范围,并及时给予补救,降低损失。
90.本实施例通过响应于检测到异常事件,确定异常事件对应的异常时间段;获取与异常事件关联的指标信息,进而基于指标信息和异常时间段,确定对应的异常指标;根据异常时间段,获取对应的静态实体关系,进而基于异常事件、异常指标和静态实体关系,生成异常事件对应的知识图谱;基于知识图谱定位异常实体,进而确定异常实体对应的总异常指标;将总异常指标输入至异常检测模型,以得到对应的指标异常类型,输出指标异常类型和异常实体。在异常事件发生时,通过收集系统异常时的指标信息,构建异常事件的知识图谱。采用知识图谱来存储异常事件,采用图推理的方法进行异常实体定位,获取故障产生所
影响的实体部分和涉及到的异常指标,从而进行对涉及到的异常指标的分类。提升对运维时序数据异常类别的分类能力,排查流程简洁,异常排查效率高。
91.图2是根据本技术一个实施例所提供的异常处理方法的主要流程示意图,如图2所示,异常处理方法包括:
92.步骤s201,响应于检测到异常事件,确定异常事件对应的异常时间段。
93.异常事件的触发,可以是检测到某个指标的值超出预设阈值,则触发异常事件。某个指标的值超出预设阈值所持续的时间构成的时间段即可以为异常事件对应的异常事件段。本技术实施例对异常时间段不做具体限定。
94.步骤s202,获取与异常事件关联的指标信息。
95.步骤s203,确定与指标信息对应的指标形状。
96.以指标值为纵坐标,以指标为横坐标建立指标坐标系,指标信息对应的指标形状可以是指标信息对应的各指标值在该指标坐标系中形成的形状。本技术实施例对指标形状不做具体限定。
97.步骤s204,根据指标形状,确定异常时间段对应的异常指标。
98.如图4所示,执行主体在接收到系统的运维监控指标数据后,可以进行异常模式提取,在提取到异常模式后,在异常时间段内进行异常模式对应的指标信息与所有处于该异常时间段内的运维监控指标数据的相似度计算,从而进行异常匹配筛选出与异常模式对应的指标信息相似度高于阈值的运维监控指标数据。该筛选出的与异常模式对应的指标信息相似度高于阈值的运维监控指标数据可以是如图4所示的与异常模式对应的指标信息相位不同步、量纲不相同或增减不一致的数据。从而可以保证对异常指标数据进行识别时的好的鲁棒性、高的准确性和强的适配性。
99.具体地,确定异常时间段对应的异常指标,包括:
100.从指标形状中确定出异常事件对应的业务层指标形状和基础资源层指标形状;计算业务层指标形状和基础资源层指标形状的相似度;根据相似度,确定异常时间段对应的相关联的异常指标。
101.异常事件被触发时,证明存在故障节点,在指标层面上,业务层的指标的异常波动区间内往往会伴随着基础资源层的监控指标的异常形态变化。通过指标形状相似度计算全部指标之间的故障节点的关联性,即基于互相关距离度量sbd来比较异常时间段内各指标异常波动相似性,一个事件的发生会伴随有多个指标波动,存在波动关联性的指标即可生成在同一异常事件知识图谱中。
102.具体地,存在波动关联性的指标可以是在同一时间段增减相反的指标,也可以是在同一时间段量纲不相同但是指标值同时增加或者指标值同时减少的指标,也可以是在同一时间段内相位不同步的指标。则在异常时间段内的与异常事件对应的异常指标(即可以是异常事件触发时首先发生较大波动的指标,也可以是异常事件所绑定的指标,本技术实施例对异常事件对应的异常指标不做具体限定)存在波动关联性的指标即为异常时间段对应的相关联的异常指标。解决了指标波动相位不同步、量纲不相同、增减不一致的问题。
103.执行主体通过从指标形状中确定出异常事件对应的业务层指标形状和基础资源层指标形状;其中,基础资源层指标形状可以有多个,当基础资源层指标形状有多个时,执行主体可以计算业务层指标形状和各基础资源层指标形状的相似度,通过分别获取在异常
时间段内的业务层指标形状和各基础资源层指标形状对应的相位、量纲、指标增减信息,分别确定在异常时间段内的业务层指标形状和各基础资源层指标形状的相位相似度、量纲相似度和指标值增减相似度,该相似度可以包括相位相似度、量纲相似度和指标值增减相似度,本技术实施例对相似度的内容不做具体限定;根据相似度,确定异常时间段对应的相关联的异常指标。从而提升对异常事件所关联的异常指标的确定的准确度,为异常指标类别的准确确定奠定基础。
104.步骤s205,根据异常时间段,获取对应的静态实体关系,进而基于异常事件、异常指标和静态实体关系,生成异常事件对应的知识图谱。
105.步骤s206,基于知识图谱定位异常实体,进而确定异常实体对应的总异常指标。
106.步骤s207,将总异常指标输入至异常检测模型,以得到对应的指标异常类型,输出指标异常类型和异常实体。
107.在异常类型分类过程中,首先,结合运维时序指标特点,将运维时序指标归纳为以下多类异常类型,并基于指标异常类型编排多组异常检测模型组合,加快异常检测模型与指标的适配速度与准确性,7类运维时序数据异常类型如下:
108.1:毛刺型异常2:上下文异常3:断崖/陡坡异常4:爬坡异常5:振幅异常6:波频异常7:振幅+波频异常。
109.执行主体将总异常指标输入至异常检测模型,则会输出以上7种运维时序数据异常类型中的一个或多个,进而,执行主体可以输出得到的指标异常类型以及异常事件对应的异常实体。实现提升对运维时序数据异常类别的分类能力,排查流程简洁,异常排查效率高。
110.图3是根据本技术一个实施例所提供的异常处理方法的应用场景示意图。本技术实施例的异常处理方法,可以应用于运维时序数据异常检测场景。异常类型分类首先需要确定异常影响的范围和出现异常的指标。通过采用基于异常事件知识图谱的方法进行查询与推理。实施方案如下:在异常事件发生时,通过收集系统异常时的相关信息,构建异常事件的知识图谱,再应用推导模型对图谱进行信息提取,确定产生异常的模块,最后应用规则推理方法对根因进行分析和推导得到根因,从而得到待分类的异常指标。
111.示例的,如图3所示,第一步,图谱构建。
112.(1)当异常事件产生时,关联查询所有与该事件有关联的日志、告警、变更、配置等信息;
113.(2)以该事件为起点,关联查询本次异常事件相关的全部指标信息;故障发生时,在指标层面上,业务层的指标的异常波动区间内往往会伴随着基础资源层的监控指标的异常形态变化,通过指标形状相似度计算全部指标之间的故障节点的关联性,即基于互相关距离度量sbd来比较故障时间段内各指标异常波动相似性,一个事件的发生会伴随有多个指标波动,存在波动关联性的指标即可生成在同一事件图谱中,解决了指标波动相位不同步、量纲不相同、增减不一致的问题。
114.(3)根据该异常时间点的信息,查询获取产生此异常的事务的实时日志信息;
115.(4)结合配置管理系统描述的静态的实体关系,生成异常事件的知识图谱。
116.第二步,根因定位。
117.在异常事件知识图谱的基础上,应用图分析的推导模型,将动态变化的指标与静
态的系统配置关系结合,对产生异常的子模块进行定位与提取,得到该异常事件所影响的范围与指标在知识图谱中的图表示。
118.第三步,根因分析。
119.在第二步的基础上可以明确该事件的根因,结合异常产生的日志,引入图结构推理的方法,例如当多个异常事件(例如异常事件1、异常事件2、异常事件3)同时指向一节点(例如主机1)时,基于规则推理可以认为该节点(例如主机1)也存在异常。对定位得到的子模块进行进一步的推导与补充,得到最终的异常事件根因。将整个异常事件所影响到的指标提取出来,作为时序指标异常检测分类的输入。
120.本技术实施例在异常类型分类过程中,首先,结合运维时序指标特点,将运维时序指标归纳为以下多类异常类型,并基于指标异常类型编排多组异常检测模型组合,加快模型与指标的适配速度与准确性,7类运维时序数据异常类型如下:
121.1:毛刺型异常2:上下文异常3:断崖/陡坡异常4:爬坡异常5:振幅异常6:波频异常7:振幅+波频异常。
122.其次,运维监控指标分为秒级粒度和分钟级粒度,为了适配不同时间粒度运维监控指标,本技术实施例区分时序指标采集粒度大小区分为两套异常检测算法学件,标准化秒级粒度和分钟级粒度的算法入参,引入相对多数投票法,避免了由于人为地为各模型分配权重而带来的主观因素的影响,同时也避免了学习权重带来的计算量,节约了计算成本。引入深度学习方法能够合理处理复杂的异常模式,从数据中学习隐含的规律,很好地保留异常相邻点间的异常信息,集成机器学习和深度学习异常检测模型的方法,能够增强对运维时序数据异常类别的分类能力。应当指出的是,如果待组合的各个模型之间差异性比较显著,那么集成之后通常会有一个比较好的结果。基于海量运维监控指标建模经验,在选择加入模型的时候,可以尽可能从不同的角度选择算法。在科技智能运维落地实战过程中,应用基于聚类的cblof,基于角度度量的abod,基于集成的iforest,以及基于深度学习的gru四类基线模型,该四类基线模型分别从不同的角度对数据特征进行了提取和学习,因而其结果会不失偏颇,顾全大局。本技术实施例以f1-score计算方法为目标函数,基于l-bfgs最优化搜索方法自适应搜索最优加权投票数,解决海量运维时序指标自适应无阈值监控要求。
123.最后,本技术实施例技术将异常检测结果与基线检测结果关联,基线上下限计算方法引入以rmse和f1-score计算方法为两个目标函数,基于l-bfgs最优化搜索方法,自适应各指标基线与上限线预测,异常检测模型的实时性表现更好,基线模型兼顾指标历史表现的效果更好,两者检测结果互补,提升整体算法对指标异常类型识别的覆盖度与准确度。本技术实施例采用的自适应无阈值监控技术,会根据场景变动自主调节异常阈值,结果更准确;也可以适配不同类型场景,鲁棒性更好。
124.本技术实施例采用知识图谱来存储异常事件,采用图推理的方法进行根因定位,获取故障产生所影响的部分和涉及到的指标,结合配置系统的静态实体关系和时序指标生成动态知识图谱。基于多年无阈值监控经验,运维时序指标主要涵盖的异常类型毛刺型异常、上下文异常、断崖/陡坡异常、爬坡异常、振幅异常、波频异常、振幅+波频异常共7种类型,能够覆盖线上90%的运维时序数据异常类型。为了适配不同时间粒度运维监控指标,本技术实施例区分时序指标采集粒度大小区分为两套异常检测算法学件,标准化秒级粒度和
分钟级粒度的算法入参,引入如图5所示的多指标异常检测算法所应用的相对多数投票法,避免了由于人为地为各模型分配权重而带来的主观因素的影响,同时也避免了学习权重带来的计算量,节约了计算成本。基于不同角度选择算法,集成机器学习和深度学习异常检测模型的方法,能够增强对运维时序数据异常类别的分类能力。如图5所示,在智能运维落地实战过程中,选择了基于聚类的cblof,基于角度度量的abod,基于集成的iforest,以及基于深度学习的gru四类基线模型,该四类方法分别从不同的角度对数据特征进行了提取和学习,因而其结果会不失偏颇,顾全大局。本技术实施例以f1-score计算方法为目标函数,基于l-bfgs最优化搜索方法自适应搜索最优加权投票数,解决海量运维时序指标自适应无阈值监控要求。将异常检测结果与基线检测结果关联,基线上下限计算方法引入以rmse和f1-score计算方法为两个目标函数,基于l-bfgs最优化搜索方法,自适应各指标基线与上线限预测,根据场景变动自主调节异常阈值。异常检测模型的实时性表现更好,基线模型兼顾指标历史表现的效果更好,两者检测结果互补,提升整体算法对异常类型识别的覆盖度与准确度。
125.本技术实施例将运维知识图谱应用于故障定位,并构建异常事件的知识图谱,提升故障发现到根因定位的整体排障效率。首先通过收集系统异常时的相关信息,构建异常事件的知识图谱,再应用推导模型对图谱进行信息提取,确定产生异常的模块,最后应用规则推理方法对根因进行分析和推导得到根因,从而得到待分类的异常指标。结合海量运维数据特点,将运维时序指标归纳为:毛刺型异常、上下文异常、断崖/陡坡异常、爬坡异常、振幅异常、波频异常、振幅+波频异常共7种类型,按异常类型及指标敏感等级(高、中、低)编排对应的多层无监督异常检测模型组合,提升异常检测模型对运维时序指标异常类型的覆盖度。其次,本技术实施例区分时序指标采集粒度大小区分为两套异常检测算法学件,标准化秒级粒度和分钟级粒度的算法入参,引入相对多数投票法,避免了由于人为地为各模型分配权重而带来的主观因素的影响,同时也避免了学习权重带来的计算量,节约了计算成本。引入知识图谱来存储异常事件,方便了查询及展示。同时图结构的推理方法可以更完备的获取到实体间的关联关系。引入深度学习方法能够合理处理复杂的异常模式,从数据中学习隐含的规律,很好地保留异常相邻点间的异常信息,集成机器学习和深度学习异常检测模型的方法,能够增强对运维时序数据异常类别的分类能力,解决海量运维时序指标自适应无阈值监控要求。最后,本技术实施例将异常检测结果与基线检测结果关联,异常检测模型的实时性表现更好,基线模型兼顾指标历史表现的效果更好,两者检测结果互补,提升整体算法对异常类型识别的覆盖度与准确度。
126.图6是根据本技术实施例的异常处理装置的主要单元的示意图。如图6所示,异常处理装置600包括异常时间段确定单元601、异常指标确定单元602、知识图谱生成单元603、总异常指标确定单元604和异常处理单元605。
127.异常时间段确定单元601,被配置成响应于检测到异常事件,确定异常事件对应的异常时间段;
128.异常指标确定单元602,被配置成获取与异常事件关联的指标信息,进而基于指标信息和异常时间段,确定对应的异常指标;
129.知识图谱生成单元603,被配置成根据异常时间段,获取对应的静态实体关系,进而基于异常事件、异常指标和静态实体关系,生成异常事件对应的知识图谱;
130.总异常指标确定单元604,被配置成基于知识图谱定位异常实体,进而确定异常实体对应的总异常指标;
131.异常处理单元605,被配置成将总异常指标输入至异常检测模型,以得到对应的指标异常类型,输出指标异常类型和异常实体。
132.在一些实施例中,异常指标确定单元602进一步被配置成:确定与指标信息对应的指标形状;根据指标形状,确定异常时间段对应的异常指标。
133.在一些实施例中,异常指标确定单元602进一步被配置成:从指标形状中确定出异常事件对应的业务层指标形状和基础资源层指标形状;计算业务层指标形状和基础资源层指标形状的相似度;根据相似度,确定异常时间段对应的相关联的异常指标。
134.在一些实施例中,知识图谱生成单元603进一步被配置成:根据异常时间段获取对应的日志信息;根据日志信息确定静态实体关系。
135.在一些实施例中,异常处理装置还包括图6中未示出的展示单元,被配置成:将异常事件、异常事件对应的异常实体、异常实体对应的总异常指标以及指标异常类型在知识图谱中以预设形式进行展示。
136.在一些实施例中,总异常指标确定单元604进一步被配置成:基于知识图谱确定异常实体对应的一个或多个异常事件;将一个或多个异常事件对应的异常指标进行汇总,以得到总异常指标。
137.在一些实施例中,异常处理装置还包括图6中未示出的异常事件触发单元,被配置成:响应于检测到场景发生变动,基于变动后的场景切换至对应的异常阈值;基于异常检测模型和基线模型得到对各指标的检测结果;响应于检测结果超出异常阈值,触发异常事件。
138.需要说明的是,在本技术异常处理方法和异常处理装置在具体实施内容上具有相应关系,故重复内容不再说明。
139.图7示出了可以应用本技术实施例的异常处理方法或异常处理装置的示例性系统架构700。
140.如图7所示,系统架构700可以包括终端设备701、702、703,网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
141.用户可以使用终端设备701、702、703通过网络704与服务器705交互,以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
142.终端设备701、702、703可以是具有异常处理屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
143.服务器705可以是提供各种服务的服务器,例如对用户利用终端设备701、702、703所检测到的异常事件提供支持的后台管理服务器(仅为示例)。后台管理服务器可以响应于检测到异常事件,确定异常事件对应的异常时间段;获取与异常事件关联的指标信息,进而基于指标信息和异常时间段,确定对应的异常指标;根据异常时间段,获取对应的静态实体关系,进而基于异常事件、异常指标和静态实体关系,生成异常事件对应的知识图谱;基于知识图谱定位异常实体,进而确定异常实体对应的总异常指标;将总异常指标输入至异常检测模型,以得到对应的指标异常类型,输出指标异常类型和异常实体。在异常事件发生
时,通过收集系统异常时的指标信息,构建异常事件的知识图谱。采用知识图谱来存储异常事件,采用图推理的方法进行异常实体定位,获取故障产生所影响的实体部分和涉及到的异常指标,从而进行对涉及到的异常指标的分类。提升对运维时序数据异常类别的分类能力,排查流程简洁,异常排查效率高。
144.需要说明的是,本技术实施例所提供的异常处理方法一般由服务器705执行,相应地,异常处理装置一般设置于服务器705中。
145.应该理解,图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
146.下面参考图8,其示出了适于用来实现本技术实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例,不应对本技术实施例的功能和使用范围带来任何限制。
147.如图8所示,计算机系统800包括中央处理单元(cpu)801,其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram803中,还存储有计算机系统800操作所需的各种程序和数据。cpu801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
148.以下部件连接至i/o接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(crt)、液晶征信授权查询处理器(lcd)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
149.特别地,根据本技术公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本技术公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(cpu)801执行时,执行本技术的系统中限定的上述功能。
150.需要说明的是,本技术所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读
存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。
151.附图中的流程图和框图,图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
152.描述于本技术实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括异常时间段确定单元、异常指标确定单元、知识图谱生成单元、总异常指标确定单元和异常处理单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
153.作为另一方面,本技术还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备响应于检测到异常事件,确定异常事件对应的异常时间段;获取与异常事件关联的指标信息,进而基于指标信息和异常时间段,确定对应的异常指标;根据异常时间段,获取对应的静态实体关系,进而基于异常事件、异常指标和静态实体关系,生成异常事件对应的知识图谱;基于知识图谱定位异常实体,进而确定异常实体对应的总异常指标;将总异常指标输入至异常检测模型,以得到对应的指标异常类型,输出指标异常类型和异常实体。在异常事件发生时,通过收集系统异常时的指标信息,构建异常事件的知识图谱。采用知识图谱来存储异常事件,采用图推理的方法进行异常实体定位,获取故障产生所影响的实体部分和涉及到的异常指标,从而进行对涉及到的异常指标的分类。
154.根据本技术实施例的技术方案,在异常事件发生时,通过收集系统异常时的指标信息,构建异常事件的知识图谱。采用知识图谱来存储异常事件,采用图推理的方法进行异常实体定位,获取故障产生所影响的实体部分和涉及到的异常指标,从而进行对涉及到的异常指标的分类,可以提升对运维时序数据异常类别的分类能力,排查流程简洁,异常排查效率高。
155.上述具体实施方式,并不构成对本技术保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本技术的精神和原则之内所作的修改、等同替换和改进等,均应包含在本技术保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1