业务异常检测方法、装置及存储介质与流程

文档序号:17771007发布日期:2019-05-28 19:25阅读:170来源:国知局
业务异常检测方法、装置及存储介质与流程

本申请涉及业务异常检测方法、装置及存储介质,属于计算机技术领域。



背景技术:

分布式服务是指将整个业务系统划分为多个业务服务模块,至少两个不同的业务服务部署到不同的服务器上,该至少两个不同的业务服务之间通过接口进行数据交互。

为了方便管理每个业务服务,分布式服务系统中可以设置网络管理系统(networkmanagementsystem,nms)对各个业务服务的运行情况进行监测,在nms监测出某个业务服务存在异常时输出告警。

然而,目前的网络管理系统只能检测某个业务服务整体是否正常运行,对于整个业务服务整体正常运行但该业务服务内部的子模块异常的情况无法输出告警,这就会导致异常无法及时发现和处理的问题。



技术实现要素:

本申请提供了一种业务异常检测方法、装置及存储介质,可以解决在业务服务整体运行正常,而其中的子模块异常时网络管理系统无法检测的问题。本申请提供如下技术方案:

第一方面,提供了一种业务异常检测方法,所述方法包括:

获取各个业务服务发送的至少一条日志信息;

对所述至少一条日志信息中具有指定格式的目标日志信息进行解析,得到解析结果;所述指定格式与其他日志信息的日志格式不同,所述指定格式用于指示所述目标日志信息为待解析的日志信息;

在所述解析结果指示的业务服务存在异常时向网络管理系统发送所述目标日志信息,用以触发所述网络管理系统输出告警。

可选地,所述具有指定格式的目标日志信息为携带有指定标签的日志信息;所述指定标签用于指示写入所述目标日志信息的业务服务的运行情况。

可选地,所述指定标签包括以下标签内容:

标签标识,用于标识不同的标签;

静态数据和/或动态数据,用于指示所述指定标签的标签内容;

其中,静态数据为所述指定标签中不随运行变化的数据;所述动态数据为所述指定标签中随着运行变化的数据。

可选地,所述指定标签包括以下几种中的至少一种:

源标签,用于指示生成所述目标日志信息的第一进程和所述第一进程所属的第一业务服务;

目的标签,用于指示与所述第一进程通信的第二进程和所述第二进程所属的第二业务服务;

操作属性标签,用于指示所述第一进程所执行的操作的类型;

异常标识标签,用于标识运行异常的原因。

可选地,所述方法还包括:

基于所述目标日志信息确定相关日志信息,所述相关日志信息具有所述指定格式,所述相关日志信息用于协助定位业务服务存在的异常;

显示所述目标日志信息和所述相关日志信息。

可选地,所述基于所述目标日志信息确定相关日志信息,包括:

获取所述目标日志信息的生成时间;获取基于所述生成时间确定的时间区间内的相关日志信息,所述时间区间包括所述生成时间;和/或,

获取所述目标日志信息中指定标签;确定具有所述指定标签中的至少一项标签内容的相关日志信息。

第二方面,提供了一种业务异常检测方法,所述方法包括:

在运行过程中获取待写入日志处理系统的原始日志信息;

根据所述原始日志信息生成具有指定格式的目标日志信息;

将所述目标日志信息写入所述日志处理系统,以供所述日志处理系统进行解析,并在解析结果指示的业务服务存在异常时向网络管理系统发送所述目标日志信息,以触发所述网络管理系统输出告警。

可选地,所述根据所述原始日志信息生成具有指定格式的目标日志信息,包括:

获取所述原始日志信息的指定标签,所述指定标签用于指示当前的业务服务的运行情况;

将所述指定标签添加至所述原始日志信息中,得到所述目标日志信息。

第三方面,提供了一种业务异常检测装置,所述装置包括:

日志获取模块,用于获取各个业务服务发送的至少一条日志信息;

日志分析模块,用于对所述至少一条日志信息中具有指定格式的目标日志信息进行解析,得到解析结果;所述指定格式与其他日志信息的日志格式不同,所述指定格式用于指示所述目标日志信息为待解析的日志信息;

日志发送模块,用于在所述解析结果指示的业务服务存在异常时向网络管理系统发送所述目标日志信息,用以触发所述网络管理系统输出告警。

第四方面,提供了一种业务异常检测装置,所述装置包括:

日志获取模块,用于在运行过程中获取待写入日志处理系统的原始日志信息;

日志处理模块,用于根据所述原始日志信息生成具有指定格式的目标日志信息;

日志写入模块,用于将所述目标日志信息写入所述日志处理系统,以供所述日志处理系统进行解析,并在解析结果指示的业务服务存在异常时向网络管理系统发送所述目标日志信息,以触发所述网络管理系统输出告警。

第五方面,提供一种业务异常检测装置,所述装置包括处理器和存储器;所述存储器中存储有程序,所述程序由所述处理器加载并执行以实现第一方面所述的业务异常检测方法;或者,实现第二方面所述的业务异常检测方法。

第四方面,提供一种计算机可读存储介质,所述存储介质中存储有程序,所述程序由所述处理器加载并执行以实现第一方面所述的业务异常检测方法;或者,实现第二方面所述的业务异常检测方法。

本申请的有益效果在于:通过获取各个业务服务发送的至少一条日志信息;对至少一条日志信息中具有指定格式的目标日志信息进行解析,得到解析结果;指定格式用于指示目标日志信息为待解析的日志信息;在解析结果指示的业务服务存在异常时向网络管理系统发送目标日志信息,该目标日志信息用于触发网络管理系统输出告警;可以解决在业务服务整体运行正常,而其中的子模块异常时网络管理系统无法检测的问题;由于可以对每条目标日志信息进行解析来查看业务服务是否存在异常,因此,可以提高检测业务服务异常的及时性。

上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,并可依照说明书的内容予以实施,以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

图1是本申请一个实施例提供的业务异常检测系统的结构示意图;

图2是本申请一个实施例提供的业务异常检测方法的流程图;

图3是本申请一个实施例提供的业务异常检测装置的框图;

图4是本申请一个实施例提供的业务异常检测装置的框图;

图5是本申请一个实施例提供的业务异常检测装置的框图。

具体实施方式

下面结合附图和实施例,对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。

图1是本申请一个实施例提供的业务异常检测系统的结构示意图,如图1所示,该系统至少包括:至少一个业务服务110、日志处理系统120和网络管理系统(networkmanagementsystem,nms)130。

其中,业务服务110用于执行业务系统中的某种业务功能。比如:视频会议服务中的会议调度服务、会议业务管理服务、协议接入服务、媒体资源管理服务、或者码流转发管理服务等。

示意性地,业务服务110用于在运行过程中获取待写入日志处理系统120的原始日志信息;根据该原始日志信息生成具有指定格式的目标日志信息;将目标日志信息写入日志处理系统120,以供日志处理系统120进行解析,并在解析结果指示的业务服务存在异常时向网络管理系统130发送目标日志信息,以触发网络管理系统130输出告警。

业务服务110与日志处理系统120和网络管理系统130基于有线通信或者无线通信建立通信连接。

可选地,日志处理系统120可以与业务服务110运行于同一设备中;或者,日志处理系统120也可以与业务服务110运行于不同设备中。日志处理系统120用于接收并存储各个业务服务110发送的日志信息;并对该日志信息进行处理。

示意性地,日志处理系统120获取业务服务110发送的至少一条日志信息;对至少一条日志信息中具有指定格式的目标日志信息进行解析,得到解析结果;在解析结果指示的业务服务存在异常时向网络管理系统130发送目标日志信息,以触发网络管理系统130输出告警。其中,指定格式与其他日志信息的日志格式不同,该指定格式用于指示目标日志信息为待解析的日志信息。

可选地,日志处理系统120将至少一条日志信息写入日志文件中。

可选地,日志处理系统120对具有指定格式的目标日志信息进行解析,对不具有该指定格式的日志信息不进行解析。原有的日志处理系统120具有简单的分类功能,比如:使用图1所示的日志处理系统120中的日志分类模块对日志信息按照时间、进程标识、日志级别、业务服务标识和/或日志内容等进行分类;在此基础上,本申请中的日志处理系统120还具有对目标日志信息进行解析的功能,比如:使用图1所示的日志处理系统120中的日志解析模块对具有指定格式的目标日志信息进行解析。

本实施例中,日志处理系统120与网络管理系统130之间建立有通信连接。比如:日志处理系统120中安装有日志解析模块,该日志解析模块具有对具有指定格式的目标日志信息进行解析的功能,且具有在解析结果为业务服务110存在异常时将目标日志信息发送至网络管理系统130的功能。可选地,日志处理系统120中的日志解析模块也可以将解析结果写入日志文件中。

本申请中,通过建立日志处理系统120与网络管理系统130之间的通信连接,使得日志处理系统120可以在解析出业务服务110运行过程中存在异常时将目标日志信息发送至网络管理系统130,协助网络管理系统130定位业务异常,且可以根据该目标日志信息快速定位异常的位置、方向等,提高异常检测的及时性。

网络管理系统130可以与日志处理系统120运行于同一设备中;或者,也可以与日志处理系统120运行于不同设备中。

网络管理系统130用于检测业务服务110对应的硬件设备和软件程序的运行状态,在检测出硬件设备和/或软件程序出现异常时输出告警。另外,本申请中,网络管理系统130还会获取日志处理系统120发送的目标日志信息,并根据该目标日志信息输出告警。比如:网络管理系统130在接收到目标日志信息时输出告警;或者,网络管理系统130在接收到目标日志信息时输出告警并显示该目标日志信息。

图2是本申请一个实施例提供的业务异常检测方法的流程图,本实施例以该方法应用于图1所示的业务异常检测系统中为例进行说明。该方法至少包括以下几个步骤:

步骤201,业务服务在运行过程中获取待写入日志处理系统的原始日志信息。

可选地,业务服务基于原有的日志协议生成原始日志信息。示意性地,该原始日志信息包括但不限于以下内容:

1、生成时间,用于指示业务服务生成原始日志信息的时间;

2、进程标识,用于标识业务服务中生成该原始日志信息的进程,比如:进程标识为进程号和/或进程名称等;

3、日志级别,用于指示原始日志信息的重要程度;

4、业务服务标识,用于标识生成原始日志信息的业务服务,该业务服务标识可以是业务服务的名称;

5、日志内容,用于记录业务服务的运行过程。

步骤202,业务服务根据原始日志信息生成具有指定格式的目标日志信息。

业务服务在原有的日志协议的基础上对原有的日志协议进行增强,将原始日志信息转换为具有指定格式的目标日志信息。指定格式与其他日志信息(即基于原有的日志协议生成的日志信息)的日志格式不同,该指定格式用于指示目标日志信息为待解析的日志信息。这样,目标日志信息在写入日志处理系统后,会由日志处理系统对该目标日志信息进行解析以确定业务服务是否存在异常,可以提高检测异常的及时性。

可选地,具有指定格式的目标日志信息可以为携带有指定标签的原始日志信息;或者,可以为将原始日志信息按照指定格式重新排列得到的日志信息,当然,也可以是其他生成方式,本实施例不对生成目标日志信息的方式作限定。

示意性地,以具有指定格式的目标日志信息是在原始日志信息的头部加入指定标签为例进行说明。业务服务获取日志信息的指定标签;将指定标签添加至原始日志信息中,得到目标日志信息。其中,指定标签用于指示当前的业务服务的运行情况。

可选地,指定标签包括以下标签内容:标签标识,用于标识不同的标签;静态数据和/或动态数据,用于指示指定标签的标签内容。其中,静态数据为指定标签中不随运行变化的数据;动态数据为指定标签中随着运行变化的数据。示意性地,指定标签的格式为:[#标签名#静态数据#动态数据]。

可选地,参考下表一所示的指定标签,指定标签包括以下几种中的至少一种:源标签,用于指示生成目标日志信息的第一进程和第一进程所属的第一业务服务;目的标签,用于指示与第一进程通信的第二进程和第二进程所属的第二业务服务;操作属性标签,用于指示第一进程所执行的操作的类型;异常标识标签,用于标识运行异常的原因,每种异常标识标签对应一种异常说明。其中,源标签和目的标签用于在目标日志信息指示业务服务存在异常时定位异常源头。表一中的服务标识(包括第一服务标识和第二服务标识)可以是业务服务的名称;进程标识(包括第一进程标识和第二进程标识)可以是进程名称和/或进程号。

表一:

需要补充说明的是,表一所示的指定标签只是示意性地,在实际实现时,该指定标签还可以扩展出其他标签,本实施例在此不再一一列举。

可选地,每条目标日志消息可以包括至少一个指定标签。

比如:业务服务生成的目标日志消息如下:

2018/08/1720:09:18cmumcu_confk2403[#conf#3330888][#src#cm][#op#set][#dst#mt0512121885896][#ret#ok]设置广播成功

2018/08/1720:09:20cmumcu_unterw2403[#conf#3330079][#src#mc][#op#start][#dst#pair15][#ret#fail][#err#20385]媒体资源不足

其中,2018/08/1720:09:18和2018/08/1720:09:20为目标日志消息的生成时间(或者为目标日志消息对应的原始的日志消息的生成时间),[]分隔的每串字符串内容为各个指定标签。

可选地,业务服务可以将所有日志消息都转化为具有指定格式的目标日志消息;或者,也可以将部分日志消息转化为具有指定格式的目标日志消息,比如:将指定进程生成的日志消息转化为具有指定格式的目标日志消息;又比如:将异常次数较多的日志消息转化为具有指定格式的目标日志消息。本实施例不对业务服务所转化的日志消息的类型和数量作限定。

步骤203,业务服务将目标日志信息写入日志处理系统。

其中,业务服务将目标日志信息写入日志处理系统以供日志处理系统进行解析,并在解析结果指示的业务服务存在异常时向网络管理系统发送目标日志信息,以触发网络管理系统输出告警。

步骤204,日志处理系统获取各个业务服务发送的至少一条日志信息。

其中,至少一条日志信息包括原始日志信息和/或目标日志信息。

可选地,日志处理系统在获取到至少一条日志信息后,将该至少一条日志信息写入日志文件。

步骤205,日志处理系统对至少一条日志信息中具有指定格式的目标日志信息进行解析,得到解析结果。

其中,指定格式与其他日志信息的日志格式不同,指定格式用于指示目标日志信息为待解析的日志信息。

在一个示例中,日志处理系统对目标日志信息进行解析,得到解析结果,包括:解析目标日志信息是否包括异常标识标签;在目标日志信息包括异常标识标签时得到的解析结果为业务服务存在异常,执行步骤206;在目标日志信息不包括异常标识标签时得到的解析结果为业务服务不存在异常,日志处理系统再次执行步骤205。

可选地,日志处理系统可以将解析结果也写入日志文件。

步骤206,在解析结果指示的业务服务存在异常时,日志处理系统向网络管理系统发送目标日志信息,用以触发网络管理系统输出告警。

可选地,日志处理系统可以在解析结果指示的业务服务存在异常时主动向网络管理系统发送目标日志信息;或者,也可以根据网络管理系统发送的日志获取指令在解析结果指示的业务服务存在异常时发送该目标日志信息。当然,在解析结果指示的业务服务不存在异常时,日志处理系统也可以将目标日志信息发送至网络管理系统,比如:网络管理系统向日志处理系统发送日志获取指令,日志处理系统根据该日志获取指令将未发送的目标日志信息发送至网络管理系统;又比如:日志处理系统每隔预设时长将未发送的目标日志信息发送至网络管理系统。

可选地,日志处理系统还可以确定目标日志信息的相关日志信息,并将该相关日志信息发送至网络管理系统,以供网络管理系统定位异常。此时,基于目标日志信息确定相关日志信息,该相关日志信息具有指定格式,相关日志信息用于协助定位业务服务存在的异常;显示目标日志信息和相关日志信息。

其中,基于目标日志信息确定相关日志信息,包括:获取目标日志信息的生成时间;获取基于生成时间确定的时间区间内的相关日志信息,该时间区间包括生成时间。比如:将生成之前之间的第一预设时长和之后的第二预设时长内的目标日志信息确定为相关日志信息,其中,第一预设时长与第二预设时长相同或者不同,第一预设时长可以为2分钟、1分钟等;第二预设时长也可以是2分钟、1分钟等,本实施例不对基于生成时间确定时间区间的方式作限定。

和/或,日志处理系统获取目标日志信息中指定标签;确定具有指定标签中的至少一项标签内容的相关日志信息。比如:获取与指定标签中的源标签和目的标签相同的相关日志信息。

综上所述,本实施例提供的业务异常检测方法,通过获取各个业务服务发送的至少一条日志信息;对至少一条日志信息中具有指定格式的目标日志信息进行解析,得到解析结果;指定格式用于指示目标日志信息为待解析的日志信息;在解析结果指示的业务服务存在异常时向网络管理系统发送目标日志信息,该目标日志信息用于触发网络管理系统输出告警;可以解决在业务服务整体运行正常,而其中的子模块异常时网络管理系统无法检测的问题;由于可以对每条目标日志信息进行解析来查看业务服务是否存在异常,因此,可以提高检测业务服务异常的及时性。

另外,由于日志处理系统解析出业务服务存在异常时将目标日志信息发送至网络管理系统,该目标日志信息携带有源标签和目的标签可以辅助快速地定位异常源头,提高定位异常的效率。

另外,通过为日志信息添加指定标签得到目标日志信息,根据指定标签可以对需要查看的目标日志信息进行索引,过滤掉无关的日志信息,比如由误操作生成的日志信息等,提高目标日志信息的查找效率。

图3是本申请一个实施例提供的业务异常检测装置的框图,本实施例以该装置应用于图1所示的业务异常检测系统中的日志处理系统120为例进行说明。该装置至少包括以下几个模块:日志获取模块310、日志分析模块320和日志发送模块330。

日志获取模块310,用于获取各个业务服务发送的至少一条日志信息;

日志分析模块320,用于对所述至少一条日志信息中具有指定格式的目标日志信息进行解析,得到解析结果;所述指定格式与其他日志信息的日志格式不同,所述指定格式用于指示所述目标日志信息为待解析的日志信息;

日志发送模块330,用于在所述解析结果指示的业务服务存在异常时向网络管理系统发送所述目标日志信息,用以触发所述网络管理系统输出告警。

相关细节参考上述方法实施例。

图4是本申请一个实施例提供的业务异常检测装置的框图,本实施例以该装置应用于图1所示的业务异常检测系统中的业务服务110为例进行说明。该装置至少包括以下几个模块:日志获取模块410、日志处理模块420和日志写入模块430。

日志获取模块410,用于在运行过程中获取待写入日志处理系统的原始日志信息;

日志处理模块420,用于根据所述原始日志信息生成具有指定格式的目标日志信息;

日志写入模块430,用于将所述目标日志信息写入所述日志处理系统,以供所述日志处理系统进行解析,并在解析结果指示的业务服务存在异常时向网络管理系统发送所述目标日志信息,以触发所述网络管理系统输出告警。

相关细节参考上述方法实施例。

需要说明的是:上述实施例中提供的业务异常检测装置在进行业务异常检测时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将业务异常检测装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的业务异常检测装置与业务异常检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

图5是本申请一个实施例提供的业务异常检测装置的框图,该装置可以是图1所示的业务异常检测系统中的日志处理系统120;或者,也可以是业务异常检测系统中的业务服务110。该装置至少包括处理器501和存储器502。

处理器501可以包括一个或多个处理核心,比如:4核心处理器、5核心处理器等。处理器501可以采用dsp(digitalsignalprocessing,数字信号处理)、fpga(field-programmablegatearray,现场可编程门阵列)、pla(programmablelogicarray,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(centralprocessingunit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器501可以在集成有gpu(graphicsprocessingunit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器501还可以包括ai(artificialintelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的业务异常检测方法。

在一些实施例中,业务异常检测装置还可选包括有:外围设备接口和至少一个外围设备。处理器501、存储器502和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地,外围设备包括但不限于:射频电路、触摸显示屏、音频电路、和电源等。

当然,业务异常检测装置还可以包括更少或更多的组件,本实施例对此不作限定。

可选地,本申请还提供有一种计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的业务异常检测方法。

可选地,本申请还提供有一种计算机产品,该计算机产品包括计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的业务异常检测方法。

以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1