报警日志的根因分析方法及系统与流程

文档序号:25053282发布日期:2021-05-14 13:33阅读:231来源:国知局
报警日志的根因分析方法及系统与流程

1.本申请涉及数据处理技术领域,尤其涉及一种报警日志的根因分析方法及系统。


背景技术:

2.随着云计算,分布式服务的不断快速发展,服务之间的调用复杂性相比传统的单体架构有了指数级的上升。在交易发生失败时,运维、开发相关人员对问题的排查难度,相对传统的单体架构无疑也大大的增加。
3.特别是当生产上发生大量报警时,目前业务人员和运维人员无法根据这些报警信息快速定位问题的原因,需要把报警日志发送给开发人员协助分析问题原因,而开发人员在面对大量错综复杂的报警信息时,也难以快速定位问题原因,可能需要联合多个应用的开发人员一起讨论分析,才能最终定位问题根源,效率相对低下。


技术实现要素:

4.针对现有技术中的问题,本申请提出了一种报警日志的根因分析方法及系统,在保证报警日志根因分析的可靠性的基础上,能够提高报警日志根因分析的效率。
5.为了解决上述技术问题,本申请提供以下技术方案:
6.第一方面,本申请提供一种报警日志的根因分析方法,包括:
7.接收批量报警日志;
8.根据批量报警日志和预设的泛化层次树集合,得到所述批量报警日志的报警根因;
9.其中,所述预设的泛化层次树集合为根据预设的关联系数算法、批量历史报警日志和各历史报警日志各自对应的实际结果得到的。
10.进一步地,在所述根据批量报警日志和预设的泛化层次树集合,得到所述批量报警日志的报警根因之前,还包括:
11.获取批量历史报警日志和各历史报警日志各自对应的实际结果,所述实际结果包括:异常结果或正常结果;
12.根据批量历史报警日志,生成多个泛化层次树;
13.根据预设的关联系数算法、批量历史报警日志和实际结果,得到所述泛化层次树中的各个中间节点的关联系数;
14.将各泛化层次树以及其各个中间节点的关联系数,作为所述泛化层次树集合。
15.进一步地,所述根据批量报警日志和预设的泛化层次树集合,得到所述批量报警日志的报警根因,包括:
16.将所有报警日志载入所述预设的泛化层次树集合中,得到所有报警日志对应在各叶子节点的特征属性个数,所述预设的泛化层次树集合包含有多个泛化层次树及其各个中间节点的关联系数,每个泛化层次树包含有叶子节点和中间节点;
17.若存在特征属性个数大于等于数量阈值的叶子节点,则将该叶子节点作为其对应
的泛化层次树中的根因节点;
18.若存在各叶子节点对应的特征属性个数均小于数量阈值的泛化层次树,则根据该泛化层次树中各个中间节点的关联系数、各叶子节点对应的特征属性个数和所述数量阈值,得到该泛化层次树中的根因节点;
19.根据各个泛化层次树中的根因节点,得到所述批量报警日志的报警根因。
20.进一步地,所述根据该泛化层次树中各个中间节点的关联系数、各叶子节点对应的特征属性个数和所述数量阈值,得到该泛化层次树中的根因节点,包括:
21.将叶子节点的上一层节点中关联系数值最大的作为目标节点;
22.执行泛化过程,该泛化过程包括:将所述目标节点的下一层节点中与该目标节点关联的节点的特征属性个数之和,作为所述目标节点的特征属性个数;
23.若所述目标节点的特征属性个数小于数量阈值,则将该目标节点的上一层节点中关联系数值最大的作为目标节点,再次执行所述泛化过程,直至所述目标节点的特征属性个数大于等于数量阈值;
24.将所述目标节点作为其对应的泛化层次树中的根因节点。
25.第二方面,本申请提供一种报警日志的根因分析系统,包括:
26.接收模块,用于接收批量报警日志;
27.根因分析模块,用于根据批量报警日志和预设的泛化层次树集合,得到所述批量报警日志的报警根因;
28.其中,所述预设的泛化层次树集合为根据预设的关联系数算法、批量历史报警日志和各历史报警日志各自对应的实际结果得到的。
29.进一步地,所述的报警日志的根因分析系统,还包括:
30.获取模块,用于获取批量历史报警日志和各历史报警日志各自对应的实际结果,所述实际结果包括:异常结果或正常结果;
31.生成模块,用于根据批量历史报警日志,生成多个泛化层次树;
32.得到关联系数模块,用于根据预设的关联系数算法、批量历史报警日志和实际结果,得到所述泛化层次树中的各个中间节点的关联系数;
33.得到集合模块,用于将各泛化层次树以及其各个中间节点的关联系数,作为所述泛化层次树集合。
34.进一步地,所述根因分析模块,包括:
35.载入单元,用于将所有报警日志载入所述预设的泛化层次树集合中,得到所有报警日志对应在各叶子节点的特征属性个数,所述预设的泛化层次树集合包含有多个泛化层次树及其各个中间节点的关联系数,每个泛化层次树包含有叶子节点和中间节点;
36.第一判断单元,用于若存在特征属性个数大于等于数量阈值的叶子节点,则将该叶子节点作为其对应的泛化层次树中的根因节点;
37.第二判断单元,用于若存在各叶子节点对应的特征属性个数均小于数量阈值的泛化层次树,则根据该泛化层次树中各个中间节点的关联系数、各叶子节点对应的特征属性个数和所述数量阈值,得到该泛化层次树中的根因节点;
38.根因分析单元,用于根据各个泛化层次树中的根因节点,得到所述批量报警日志的报警根因。
39.进一步地,所述第二判断单元,包括:
40.节点确定子单元,用于将叶子节点的上一层节点中关联系数值最大的作为目标节点;
41.执行子单元,用于执行泛化过程,该泛化过程包括:将所述目标节点的下一层节点中与该目标节点关联的节点的特征属性个数之和,作为所述目标节点的特征属性个数;
42.循环子单元,用于若所述目标节点的特征属性个数小于数量阈值,则将该目标节点的上一层节点中关联系数值最大的作为目标节点,再次执行所述泛化过程,直至所述目标节点的特征属性个数大于等于数量阈值;
43.得到根因节点子单元,用于将所述目标节点作为其对应的泛化层次树中的根因节点。
44.第三方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的报警日志的根因分析方法。
45.第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现所述的报警日志的根因分析方法。
46.由上述技术方案可知,本申请提供一种报警日志的根因分析方法及系统。其中,该方法包括:接收批量报警日志;根据批量报警日志和预设的泛化层次树集合,得到所述批量报警日志的报警根因;其中,所述预设的泛化层次树集合为根据预设的关联系数算法、批量历史报警日志和各历史报警日志各自对应的实际结果得到的,在保证报警日志根因分析的可靠性的基础上,能够提高报警日志根因分析的效率;具体地,能够提高根因分析的自动化程度,能够实现泛化层次树和关联系数的复用,能够提高根因分析应用场景的广泛性,进而能够节省人力成本,提高根因分析的效率和实时性。
附图说明
47.为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
48.图1是本申请实施例中报警日志的根因分析方法的流程示意图;
49.图2是本申请具体应用实例中构建的service特征泛化层次树示意图;
50.图3是本申请具体应用实例中构建的method特征泛化层次树示意图;
51.图4是本申请具体应用实例中构建的application特征泛化层次树示意图;
52.图5是本申请具体应用实例中构建的host特征泛化层次树示意图;
53.图6是本申请具体应用实例中特征属性映射后的service特征泛化层次树示意图;
54.图7是本申请具体应用实例中特征属性映射后的method特征泛化层次树示意图;
55.图8是本申请具体应用实例中特征属性映射后的application特征泛化层次树示意图;
56.图9是本申请具体应用实例中特征属性映射后的host特征泛化层次树示意图;
57.图10是本申请具体应用实例中泛化后的host特征泛化层次树示意图;
58.图11是本申请实施例中报警日志的根因分析系统的结构示意图;
59.图12是本申请应用实例中报警日志的根因分析系统的结构示意图;
60.图13是本申请一种举例中的网络故障特征泛化层次树示意图;
61.图14是本申请应用实例中聚类属性定位装置的结构示意图;
62.图15是本申请应用实例中泛化层次树构造装置的结构示意图;
63.图16为本申请实施例的电子设备的系统构成示意框图。
具体实施方式
64.为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
65.为了解决当生产上发生大量报警时,系统无法通过自动化的手段分析定位问题根源,开发人员人工进行问题定位效率较为低下的问题,实现高效且自动化的基于报警日志分析出问题根源,本申请考虑提供一种新的报警日志的根因分析方式,通过对报警日志各属性进行层次泛化处理,建立各特征的泛化层次树,以及各特征属性与最终结果的关联系数,其中父节点包含有子节点的特征属性。然后系统将报警日志如交易报警日志的各特性属性进行日志合并,根据各特征属性的关联系数不断向上迭代并统计该特征属性包含了多少条同类日志,直到某一聚类结果所包含的日志数目大于用户设定的阈值为止(作为优化,通常为处理日志总数的五分之一,用户也可自行设置);得到的泛化聚类结果可以代表这一类报警日志的共同根因。
66.基于此,为了在保证报警日志根因分析的可靠性的基础上,提高报警日志根因分析的效率,本申请实施例提供一种报警日志的根因分析系统,该系统可以是一服务器或客户端设备,所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(pda)、车载设备和智能穿戴设备等。其中,所述智能穿戴设备可以包括智能眼镜、智能手表和智能手环等。
67.在实际应用中,进行报警日志的根因分析的部分可以在如上述内容所述的服务器侧执行,也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器。
68.上述的客户端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
69.所述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信,包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括tcp/ip协议、udp/ip协议、http协议、https协议等。当然,所述网络协议例如还可以包括在上述协议之上使用的
rpc协议(remote procedure call protocol,远程过程调用协议)、rest协议(representational state transfer,表述性状态转移协议)等。
70.需要说明的是,本申请公开的报警日志的根因分析方法及系统可用于金融技术领域,也可用于除金融技术领域之外的任意领域,本申请公开的报警日志的根因分析方法及系统的应用领域不做限定。
71.具体通过下述各个实施例进行说明。
72.为了在保证报警日志根因分析的可靠性的基础上,提高报警日志根因分析的效率,本实施例提供一种执行主体是报警日志的根因分析系统的报警日志的根因分析方法,该报警日志的根因分析系统包括但不限于服务器,如图1所示,该方法具体包含有如下内容:
73.步骤100:接收批量报警日志。
74.具体地,可以接收分布式服务器发送的批量报警日志,每条报警日志可以包含有:服务、方法、应用和主机等特征对应的特征属性。
75.步骤200:根据批量报警日志和预设的泛化层次树集合,得到所述批量报警日志的报警根因;其中,所述预设的泛化层次树集合为根据预设的关联系数算法、批量历史报警日志和各历史报警日志各自对应的实际结果得到的。
76.具体地,所述报警根因可以表示生成批量报警日志的原因,可以用于确定可能存在异常的方法及其对应的主机、应用和服务等;所述预设的关联系数算法可以是pd.corr()算法;所述实际结果可以表示历史报警日志对应的分布式服务器运行的实际情况,可以是异常或正常。
77.由上述描述可知,本申请实施例提供的报警日志的根因分析方法,通过接收批量报警日志;根据批量报警日志和预设的泛化层次树集合,得到所述批量报警日志的报警根因;其中,所述预设的泛化层次树集合为根据预设的关联系数算法、批量历史报警日志和各历史报警日志各自对应的实际结果得到的,能够在保证报警日志根因分析的可靠性的基础上,提高报警日志根因分析的效率;其中,应用关联系数算法,能够进一步提高接下来应用关联系数进行特征属性聚类的准确性,这种方式相对传统方法中聚合当前日志数量较少的属性,具有更强的理论可解释性,同时在聚类迭代方面也更高效,最终得到的结果更符合实际的根因结论。
78.为了进一步提高得到泛化层次树集合的可靠性,进而提高接下来应用可靠的泛化层次树集合进行根因分析的准确性,在本申请一个实施例中,在步骤200之前,还包含有:
79.步骤001:获取批量历史报警日志和各历史报警日志各自对应的实际结果,所述实际结果包括:异常结果或正常结果。
80.步骤002:根据批量历史报警日志,生成多个泛化层次树。
81.具体地,可以根据批量历史报警日志和预设的特征属性关系表,生成多个泛化层次树;所述预设的特征属性关系表可以包含有特征与特征属性之间和特征属性之间的直接对应关系,即直接层间关系、直接包含关系,具体可根据实际需要进行设置,本申请对此不作限制,例如:应用特征包含有平台类应用和主机类应用特征属性,平台类应用特征属性包含有"f

dsf"和"f

bam"特征属性,主机类应用特征属性包含有"f

aaa"和"f

bbb"特征属性;当确定泛化层次树的叶子特征属性,应用预设的特征属性关系表可以得到完整的泛化
层次树。
82.其中,该泛化层次树中的根节点可以表示报警日志的特征,非根节点可以表示特征属性,各个泛化层次树的特征不同;非根节点为泛化层次树中除根节点之外的节点;特征属性可以包含有下一层节点中与其关联的特征属性。
83.步骤003:根据预设的关联系数算法、批量历史报警日志和实际结果,得到所述泛化层次树中的各个中间节点的关联系数。
84.具体地,中间节点可以表示泛化层次树中根节点和叶子节点之外的各节点,中间节点的关联系数可以表示中间节点与异常结果之间的关联系数。
85.步骤004:将各泛化层次树以及其各个中间节点的关联系数,作为所述泛化层次树集合。
86.为了进一步提高根因分析的自动化程度和效率,在本申请一个实施例中,步骤200包含有:
87.步骤210:将所有报警日志载入所述预设的泛化层次树集合中,得到所有报警日志对应在各叶子节点的特征属性个数,所述预设的泛化层次树集合包含有多个泛化层次树及其各个中间节点的关联系数,每个泛化层次树包含有叶子节点和中间节点。
88.步骤220:若存在特征属性个数大于等于数量阈值的叶子节点,则将该叶子节点作为其对应的泛化层次树中的根因节点。
89.具体地,可以将特征属性个数大于等于数量阈值的叶子节点作为该叶子节点对应的泛化层次树中的根因节点。
90.步骤230:若存在各叶子节点对应的特征属性个数均小于数量阈值的泛化层次树,则根据该泛化层次树中各个中间节点的关联系数、各叶子节点对应的特征属性个数和所述数量阈值,得到该泛化层次树中的根因节点。
91.具体地,若泛化层次树中的各叶子节点对应的特征属性个数均小于数量阈值,则根据该泛化层次树中各个中间节点的关联系数、各叶子节点对应的特征属性个数和所述数量阈值,得到该泛化层次树中的根因节点。
92.步骤240:根据各个泛化层次树中的根因节点,得到所述批量报警日志的报警根因。
93.为了进一步提高确定根因节点的准确性和效率,在本申请一个实施例中,步骤230中所述的根据该泛化层次树中各个中间节点的关联系数、各叶子节点对应的特征属性个数和所述数量阈值,得到该泛化层次树中的根因节点,包含有:
94.步骤241:将叶子节点的上一层节点中关联系数值最大的作为目标节点。
95.具体地,所述叶子节点为各叶子节点对应的特征属性个数均小于数量阈值的泛化层次树中的叶子节点;泛化层次树可以分为多层,每层包含有多个节点。
96.步骤242:执行泛化过程,该泛化过程包括:将所述目标节点的下一层节点中与该目标节点关联的节点的特征属性个数之和,作为所述目标节点的特征属性个数。
97.具体地,执行泛化过程可以相当于聚类迭代的过程;下一层节点中与该目标节点关联的节点可以为所述目标节点直接包含的节点;例如,若关联的节点有两个,特征属性个数分别为a和b,那么目标节点的特征属性个数为a+b。
98.步骤243:若所述目标节点的特征属性个数小于数量阈值,则将该目标节点的上一
层节点中关联系数值最大的作为目标节点,再次执行所述泛化过程,直至所述目标节点的特征属性个数大于等于数量阈值。
99.步骤244:将所述目标节点作为其对应的泛化层次树中的根因节点。
100.为了进一步说明本方案,本申请一个报警日志的根因分析方法的具体应用实例中,该方法具体包含有:
101.步骤s1:获取存量报警日志即批量历史报警日志,如表1所示,存量报警日志可以包含有20条,每条报警日志包含有:service、method、application和host四个特征,每个特征有多个特征属性,如应用(application)特征有"f

dsf"、"f

bam"、"f

aaa"和"f

bbb"4个叶子特征属性,其中"f

dsf"和"f

bam"为平台类(platform)应用,"f

aaa"和"f

bbb"为主机类(mainframe)应用,所以application特征共有6个特征属性。
102.表1
[0103][0104][0105]
步骤s2:根据pd.corr()算法训练得出各项特征属性与最终结果(最后一列为异常的部分)的关联系数(取值范围为0

1,0表示无关,1表示100%相关);即应用pd.corr()算法、表1中的存量报警日志和最终结果,得到表2中的各特征属性的关联系数;例如,表1中application特征中,特征属性为"f

aaa"的日志其结果都为异常,因此"f

aaa"特征属性与最终结果关联系数为1;method特征中"query"特征属性有10条记录,其中有8条的最终结果是异常,因此"query"与最终结果关联系数为0.8;其他各特征属性与最终结果关联系数可以类似得到。
[0106]
表2
[0107][0108]
步骤s3:根据表1和表2中各特征的属性之间的关系构建得到图2中的service特征泛化层次树,0.5和0表示非叶子属性的关联系数,图3中的method特征泛化层次树,0.2和0.8表示非叶子属性的关联系数,图4中的application特征泛化层次树,0和1表示非叶子属性的关联系数,图5中的host特征泛化层次树,0、0.1和1表示非叶子属性的关联系数。
[0109]
举例来说,host特征泛化层次树,所有host对应的ip都分布在园区1和园区2内,每个园区又分为多个故障域,每个故障域下面才是实际运行的各个服务器ip节点。
[0110]
步骤s4:在泛化层次树构建完成之后,系统开始实时接收报警日志,如某一批次,系统共收到如表3所示的10条报警日志。
[0111]
表3
[0112][0113]
步骤s5:如图6至图9所示,将报警日志的各个特征属性映射到之前生成的四棵泛化层次树中,得到这10条日志对应的各泛化层次树特征属性的日志条数;在图2和图6中,service特征泛化层次树的非根节点中的bam、dtx、preapproval、consumercredit、aml、comscore、service和ipublic均表示特征属性;在图3和图7中,method特征泛化层次树的非根节点中的response、"logmaintxstart"、"logtxstart"、request和"query"均表示特征属性;在图4和图8中,application特征泛化层次树的非根节点中的platform、"f

bam"、"f

dsf"、mainframe、"f

aaa"、"f

bbb"均表示特征属性;在图5和图9中,host特征泛化层次树的非根节点中的园区1、园区2、故障域a至故障域c、"***.49.74.45"、"***.49.74.52"、"***.27.77.59"、"***.27.77.37"和"***.27.77.43"均表示特征属性。
[0114]
步骤s6:若预设数量阈值为4,可以看到service、method、application这三颗泛化层次树中都有节点所包含的4条及以上的日志数,因此这三颗树无需再进行向上泛化。而host泛化层次树中还未有属性所包含的日志数超过阈值,因此需要对host泛化层次树中关联系数最大属性进行迭代泛化;如图9所示,该树目前可泛化的属性中,“故障域a”和“故障域b”这两个属性的关联系数最大,因此选择这两个节点进行泛化。
[0115]
步骤s7:如图10所示,泛化后的host泛化层次树中,“故障域a”属性中所包含的日志数已经大于阈值,此时四棵均有属性所包含的日志数大于等于阈值。因此泛化过程结束,将各颗泛化层次树的泛化最终结果输出,即:运行在故障域a中的f

aaa应用的"bam.consumercredit.bamconsumercreditservice__1_0"服务的"query"方法可能存在异常。
[0116]
由上述描述可知,本具体应用实例提供的报警日志的根因分析方法,根据相关业务特性构建属性泛化层次树、各特征属性与最终结果的关联系数以及设定聚类结束的日志数阈值,在系统启动之后,完全不需要人工干预,系统便可以通过整个模型不断的对报警日志进行分析,并将根因分析结果输出,这种根因分析方式效率和实时性比传统的人工分析要高很多;根据相关业务技术特性构建属性泛化层次树和各特征属性与最终结果的关联系数,之后就可以一直复用,无须每次根据报警日志分析报错原因,大大减少在报警日志根因分析过程中的人力成本;该模型不仅可以用在一种类型的应用中,不同类型的应用只需根据去业务技术特征构建对应的属性泛化层次树和各特征属性与最终结果的关联系数,其他装置各场景均可通用,有利于模型的复用和推广。
[0117]
在本申请的另一应用实例中,所述的报警日志的根因分析方法,包含有:通过对存量报警日志进行特征提取,应用pd.corr()算法训练得出各项特征属性与最终结果的关联
系数,同时根据特征属性构建泛化层次树;每个报警日志的各特征属性都有一个唯一的、最顶层的泛化结果;所有特征的泛化层次树组成泛化层次树集合。系统在生产环境接收到报警日志时,先对报警日志进行特征提取,筛选出有效的特征属性,然后载入泛化层次树集合,对相同类型的报警日志进行合并。再判断是否有某一聚类结果所包含的报警日志数量大于阈值(一般设置为日志总量的五分之一)。如果未达到上述条件,则选择当前关联系数绝对值最大的特征属性,将所有日志该特征属性的值替换成其上一层的值,继续合并相同类型的日志,直到某一聚类结果所包含的日志数量大于阈值。将该聚类结果输出,即可表示该聚类结果所包含所有报警日志的根因属性,能够在保证报警日志根因分析的可靠性的基础上,提高报警日志根因分析的效率。
[0118]
从软件层面来说,为了在保证报警日志根因分析的可靠性的基础上,提高报警日志根因分析的效率,本申请提供一种用于实现所述报警日志的根因分析方法中全部或部分内容的报警日志的根因分析系统的实施例,参见图11,所述报警日志的根因分析系统具体包含有如下内容:
[0119]
接收模块10,用于接收批量报警日志。
[0120]
根因分析模块20,用于根据批量报警日志和预设的泛化层次树集合,得到所述批量报警日志的报警根因;其中,所述预设的泛化层次树集合为根据预设的关联系数算法、批量历史报警日志和各历史报警日志各自对应的实际结果得到的。
[0121]
在本申请一个实施例中,所述的报警日志的根因分析系统,还包含有:
[0122]
获取模块,用于获取批量历史报警日志和各历史报警日志各自对应的实际结果,所述实际结果包括:异常结果或正常结果。
[0123]
生成模块,用于根据批量历史报警日志,生成多个泛化层次树。
[0124]
得到关联系数模块,用于根据预设的关联系数算法、批量历史报警日志和实际结果,得到所述泛化层次树中的各个中间节点的关联系数。
[0125]
得到集合模块,用于将各泛化层次树以及其各个中间节点的关联系数,作为所述泛化层次树集合。
[0126]
在本申请一个实施例中,所述根因分析模块,包含有:
[0127]
载入单元,用于将所有报警日志载入所述预设的泛化层次树集合中,得到所有报警日志对应在各叶子节点的特征属性个数,所述预设的泛化层次树集合包含有多个泛化层次树及其各个中间节点的关联系数,每个泛化层次树包含有叶子节点和中间节点。
[0128]
第一判断单元,用于若存在特征属性个数大于等于数量阈值的叶子节点,则将该叶子节点作为其对应的泛化层次树中的根因节点。
[0129]
第二判断单元,用于若存在各叶子节点对应的特征属性个数均小于数量阈值的泛化层次树,则根据该泛化层次树中各个中间节点的关联系数、各叶子节点对应的特征属性个数和所述数量阈值,得到该泛化层次树中的根因节点。
[0130]
根因分析单元,用于根据各个泛化层次树中的根因节点,得到所述批量报警日志的报警根因。
[0131]
在本申请一个实施例中,所述第二判断单元,包含有:
[0132]
节点确定子单元,用于将叶子节点的上一层节点中关联系数值最大的作为目标节点。
[0133]
执行子单元,用于执行泛化过程,该泛化过程包括:将所述目标节点的下一层节点中与该目标节点关联的节点的特征属性个数之和,作为所述目标节点的特征属性个数。
[0134]
循环子单元,用于若所述目标节点的特征属性个数小于数量阈值,则将该目标节点的上一层节点中关联系数值最大的作为目标节点,再次执行所述泛化过程,直至所述目标节点的特征属性个数大于等于数量阈值。
[0135]
得到根因节点子单元,用于将所述目标节点作为其对应的泛化层次树中的根因节点。
[0136]
本说明书提供的报警日志的根因分析系统的实施例具体可以用于执行上述报警日志的根因分析方法的实施例的处理流程,其功能在此不再赘述,可以参照上述报警日志的根因分析方法实施例的详细描述。
[0137]
为了进一步说明本方案,本申请提供一种报警日志的根因分析系统的应用实例,如图12所示,该系统的具体包含有:
[0138]
日志接入装置01:用于接收报警日志。
[0139]
特征提取装置02:用于对报警日志进行特征提取,筛选出有效的特征属性。
[0140]
泛化层次树载入装置03:用于载入泛化层次树集合。
[0141]
报警日志合并装置04:用于合并相同类型的报警日志,并统计该类型的报警日志的条数目,判断是否需要继续向上聚类。
[0142]
聚类属性定位装置05:用于定位下一步需要聚类的特征属性,具体定位方法为首先计算特征ai的各特征属性对应的fi:
[0143]
fi(v):=select s from t where ai=v表示查询在ai特征中的特征属性v的关联系数s。
[0144]
fi:=max{fi(v)|v∈dom(ai)}表示选择特征ai中fi(v)值最大的特征属性v作为下一步要聚类的特征属性。
[0145]
属性替换装置06:用于将报警日志的特征属性替换成为其上一层的特征属性。
[0146]
聚类结果输出装置07:用于输出最终的聚类结果。
[0147]
泛化层次树构造装置08:用于根据报警日志的各特征属性,进行泛化层次树构造。参见图13,在一种举例中,报警日志中的网络故障类型包括网络丢包和网络端口不通,而网络端口不通又可细分为本机网络端口不通和远端网络端口不通,基于此,构建网络故障特征泛化层次树。
[0148]
图14是聚类属性定位装置05的结构示意图,如图14所示,所述聚类属性定位装置05包含有:特征属性关联系数查询单元51和特征属性关联系数比较单元52,
[0149]
其中:
[0150]
特征属性关联系数查询单元51:用于查询该特征属性的关联系数。
[0151]
特征属性关联系数比较单元52:用于比较各特征属性包含日志数的多少。
[0152]
图15泛化层次树构造装置08的结构示意图,如图15所示,所述泛化层次树构造装置08包含有:泛化层次树构造单元81、泛化层次树整合单元82和特征属性关联系数生成单元83,其中:
[0153]
泛化层次树构造单元81:用于构造该特征的泛化层次树。
[0154]
泛化层次树整合单元82:用于对日志中不同的泛化层次树进行整合。
[0155]
特征属性关联系数生成单元83:用于生成层次泛化树中的各特征属性对应的关联系数。
[0156]
由上述描述可知,本申请提供的报警日志的根因分析方法及系统,在保证报警日志根因分析的可靠性的基础上,能够提高报警日志根因分析的效率;具体地,能够提高根因分析的自动化程度,能够实现泛化层次树和关联系数的复用,能够提高根因分析应用场景的广泛性,进而能够节省人力成本,提高根因分析的效率和实时性。
[0157]
从硬件层面来说,为了在保证报警日志根因分析的可靠性的基础上,提高报警日志根因分析的效率,本申请提供一种用于实现所述报警日志的根因分析方法中的全部或部分内容的电子设备的实施例所述电子设备具体包含有如下内容:
[0158]
处理器(processor)、存储器(memory)、通信接口(communications interface)和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述通信接口用于实现所述报警日志的根因分析系统以及用户终端等相关设备之间的信息传输;该电子设备可以是台式计算机、平板电脑及移动终端等,本实施例不限于此。在本实施例中,该电子设备可以参照实施例用于实现所述报警日志的根因分析方法的实施例及用于实现所述报警日志的根因分析系统的实施例进行实施,其内容被合并于此,重复之处不再赘述。
[0159]
图16为本申请实施例的电子设备9600的系统构成的示意框图。如图16所示,该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是,该图16是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
[0160]
在本申请一个或多个实施例中,报警日志的根因分析功能可以被集成到中央处理器9100中。其中,中央处理器9100可以被配置为进行如下控制:
[0161]
步骤100:接收批量报警日志。
[0162]
步骤200:根据批量报警日志和预设的泛化层次树集合,得到所述批量报警日志的报警根因;其中,所述预设的泛化层次树集合为根据预设的关联系数算法、批量历史报警日志和各历史报警日志各自对应的实际结果得到的。
[0163]
从上述描述可知,本申请的实施例提供的电子设备,能够在保证报警日志根因分析的可靠性的基础上,提高报警日志根因分析的效率。
[0164]
在另一个实施方式中,报警日志的根因分析系统可以与中央处理器9100分开配置,例如可以将报警日志的根因分析系统配置为与中央处理器9100连接的芯片,通过中央处理器的控制来实现报警日志的根因分析功能。
[0165]
如图16所示,该电子设备9600还可以包括:通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是,电子设备9600也并不是必须要包括图16中所示的所有部件;此外,电子设备9600还可以包括图16中没有示出的部件,可以参考现有技术。
[0166]
如图16所示,中央处理器9100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
[0167]
其中,存储器9140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还
可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序,以实现信息存储或处理等。
[0168]
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为lcd显示器,但并不限于此。
[0169]
该存储器9140可以是固态存储器,例如,只读存储器(rom)、随机存取存储器(ram)、sim卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为eprom等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
[0170]
存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
[0171]
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
[0172]
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出,并接收来自麦克风9132的音频输入,从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器9130还耦合到中央处理器9100,从而使得可以通过麦克风9132能够在本机上录音,且使得可以通过扬声器9131来播放本机上存储的声音。
[0173]
上述描述可知,本申请的实施例提供的电子设备,能够在保证报警日志根因分析的可靠性的基础上,提高报警日志根因分析的效率。
[0174]
本申请的实施例还提供能够实现上述实施例中的报警日志的根因分析方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的报警日志的根因分析方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
[0175]
步骤100:接收批量报警日志。
[0176]
步骤200:根据批量报警日志和预设的泛化层次树集合,得到所述批量报警日志的报警根因;其中,所述预设的泛化层次树集合为根据预设的关联系数算法、批量历史报警日志和各历史报警日志各自对应的实际结果得到的。
[0177]
从上述描述可知,本申请实施例提供的计算机可读存储介质,能够在保证报警日志根因分析的可靠性的基础上,提高报警日志根因分析的效率。
[0178]
本申请中上述方法的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。相关之处
参见方法实施例的部分说明即可。
[0179]
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd

rom、光学存储器等)上实施的计算机程序产品的形式。
[0180]
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0181]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0182]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0183]
本申请中应用了具体实施例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1