基于主机日志及性能指标的主机健康评价方法及装置与流程

文档序号:18524787发布日期:2019-08-24 10:08阅读:338来源:国知局
基于主机日志及性能指标的主机健康评价方法及装置与流程

本发明涉及大型主机技术领域,具体而言,涉及一种基于主机日志及性能指标的主机健康评价方法及装置。



背景技术:

目前,ibm-z系列的大型主机(mainframe)系统凭借其高可靠性、高可用性的特点,在企业it架构中仍然发挥基础作用,承载着企业it核心业务。但是,在主机系统日常运维过程中,现有的基于单一指标和事件的监控技术手段无法对主机整体健康情况进行评价,也不支持故障期间的快速进行问题定位和智能化处置。随着企业数据量大幅增长及7乘24小时不间断的运行要求,传统的监控方式与业务发展对主机运维的精细化、智能化的健康情况评价的要求存在较大差距,现有技术缺少一种对主机整体健康情况进行评价的方法。

本发明为了解决上述至少一个技术问题,提出了一种基于主机日志及性能指标的主机健康评价方法及装置。



技术实现要素:

本发明的主要目的在于提供一种基于主机日志及性能指标的主机健康评价方法及装置,以解决现有技术缺少对主机整体健康情况进行评价的方法的技术问题。

为了实现上述目的,根据本发明的一个方面,提供了一种基于主机日志及性能指标的主机健康评价方法,该方法包括:获取实时的主机日志及多个主机性能指标;

识别出所述主机日志对应的预设主机日志模板,并根据该主机日志模板确定所述主机日志的结构化时序指标;

分别根据所述结构化时序指标以及各主机性能指标对应的指标数据预测模型对所述结构化时序指标以及各主机性能指标进行异常检测,并分别得到所述结构化时序指标以及各主机性能指标的检测结果,其中,指标数据预测模型为根据对应的指标的历史数据训练得出;

根据所述结构化时序指标以及各主机性能指标的检测结果进行主机健康评价。

进一步的,所述分别根据所述结构化时序指标以及各主机性能指标对应的指标数据预测模型对所述结构化时序指标以及各主机性能指标进行异常检测,包括:

分别获取所述结构化时序指标以及各主机性能指标与对应的指标数据预测模型实时输出的预测值范围;

通过判断所述结构化时序指标以及各主机性能指标是否在对应的预测值范围内,以对所述结构化时序指标以及各主机性能指标进行异常检测。

进一步的,所述分别得到所述结构化时序指标以及各主机性能指标的检测结果,包括:

确定所述结构化时序指标以及各主机性能指标与对应的预测值范围的偏离程度;

根据偏离程度分别计算所述结构化时序指标以及各主机性能指标实时的健康分值。

进一步的,所述根据所述结构化时序指标以及各主机性能指标的检测结果进行主机健康评价,包括:

对所述结构化时序指标以及各主机性能指标的实时的健康分值进行加权计算,得出实时的主机健康值;

根据所述主机健康值进行主机健康评价。

进一步的,该主机健康评价方法还包括:

根据所述主机健康值生成预警信息,并判断所述预警信息是否与预设的自动化处理场景匹配,若匹配,则进行对应的自动化处理。

进一步的,该主机健康评价方法还包括:

确定历史主机日志中出现的高频单词组合,根据所述高频单词组合生成所述主机日志模板。

进一步的,所述根据该主机日志模板确定所述主机日志的结构化时序指标,包括:

根据所述主机日志模板对所述主机日志进行格式化处理,并输出日志xml文件;

提取所述日志xml文件固定字段类型的数值作为所述结构化时序指标。

进一步的,该主机健康评价方法还包括:

对所述多个主机性能指标进行聚类分析,生成多个聚类性能指标;

分别根据各主机性能指标对应的指标数据预测模型对各主机性能指标进行异常检测,并分别得到各主机性能指标的检测结果,包括:

分别根据各聚类性能指标对应的指标数据预测模型对各聚类性能指标进行异常检测,并分别得到各聚类性能指标的检测结果。

进一步的,所述多个主机性能指标包括:总体级指标、逻辑分区级指标以及地址空间级指标;

所述对所述多个主机性能指标进行聚类分析,生成多个聚类性能指标,包括:

分别针对所述总体级指标、所述逻辑分区级指标以及所述地址空间级指标进行聚类分析,分别生成所述总体级指标、所述逻辑分区级指标以及所述地址空间级指标对应的多个聚类性能指标。

为了实现上述目的,根据本发明的另一方面,提供了一种基于主机日志及性能指标的主机健康评价装置,该装置包括:

数据收集单元,用于获取实时的主机日志及多个主机性能指标;

结构化时序指标生成单元,用于识别出所述主机日志对应的预设主机日志模板,并根据该主机日志模板确定所述主机日志的结构化时序指标;

异常检测单元,用于分别根据所述结构化时序指标以及各主机性能指标对应的指标数据预测模型对所述结构化时序指标以及各主机性能指标进行异常检测,并分别得到所述结构化时序指标以及各主机性能指标的检测结果,其中,指标数据预测模型为根据对应的指标的历史数据训练得出;

健康评价单元,用于根据所述结构化时序指标以及各主机性能指标的检测结果进行主机健康评价。

进一步的,所述异常检测单元包括:检测模块;

所述检测模块,用于分别获取所述结构化时序指标以及各主机性能指标与对应的指标数据预测模型实时输出的预测值范围,并通过判断所述结构化时序指标以及各主机性能指标是否在对应的预测值范围内,以对所述结构化时序指标以及各主机性能指标进行异常检测。

进一步的,所述异常检测单元还包括:计算模块;

所述计算模块,用于确定所述结构化时序指标以及各主机性能指标与对应的预测值范围的偏离程度,并根据偏离程度分别计算所述结构化时序指标以及各主机性能指标实时的健康分值。

进一步的,所述健康评价单元包括:主机健康值计算模块;

所述主机健康值计算模块,用于对所述结构化时序指标以及各主机性能指标的实时的健康分值进行加权计算,得出实时的主机健康值,以根据所述主机健康值进行主机健康评价。

进一步的,该主机健康评价装置还包括:

预警及自动化处理单元,用于根据所述主机健康值生成预警信息,并判断所述预警信息是否与预设的自动化处理场景匹配,若匹配,则进行对应的自动化处理。

进一步的,该主机健康评价装置还包括:

主机日志模板生成单元,用于确定历史主机日志中出现的高频单词组合,并根据所述高频单词组合生成所述主机日志模板。

进一步的,所述结构化时序指标生成单元包括:格式化处理模块和数值提取模块;

所述格式化处理模块,用于根据所述主机日志模板对所述主机日志进行格式化处理,并输出日志xml文件;

所述数值提取模块,用于提取所述日志xml文件固定字段类型的数值作为所述结构化时序指标。

进一步的,该主机健康评价装置还包括:

聚类分析单元,用于对所述多个主机性能指标进行聚类分析,生成多个聚类性能指标;

所述异常检测单元,还用于分别根据各聚类性能指标对应的指标数据预测模型对各聚类性能指标进行异常检测,并分别得到各聚类性能指标的检测结果。

进一步的,所述多个主机性能指标包括:总体级指标、逻辑分区级指标以及地址空间级指标;

所述聚类分析单元,还用于分别针对所述总体级指标、所述逻辑分区级指标以及所述地址空间级指标进行聚类分析,分别生成所述总体级指标、所述逻辑分区级指标以及所述地址空间级指标对应的多个聚类性能指标。

为了实现上述目的,根据本发明的另一方面,还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于主机日志及性能指标的主机健康评价方法中的步骤。

为了实现上述目的,根据本发明的另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序在计算机处理器中执行时实现上述基于主机日志及性能指标的主机健康评价方法中的步骤。

本发明的有益效果为:本发明通过实时获取主机日志与主机性能指标数据,通过对主机日志进行识别,将非结构化的主机日志提取为模板并转化为结构化时序指标,并通过预先训练好的指标数据预测模型对结构化时序指标以及各主机性能指标进行异常检测,得出异常检测结果。进而根据结构化时序指标以及各主机性能指标的异常检测结果进行主机健康评价。本发明实现了量化的对主机健康进行评价,提升了主机监控精细化、智能化水平,对保障主机系统稳定运行具有较大意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:

图1是本发明实施例基于主机日志及性能指标的主机健康评价方法的流程图;

图2是本发明实施例进行异常检测的方法流程图;

图3是本发明实施例计算指标的健康分值的方法流程图;

图4是本发明实施例基于主机健康值进行主机健康评价及预警的方法流程图;

图5是本发明实施例生成主机日志模板的方法流程图;

图6是本发明实施例确定主机日志的结构化时序指标的方法流程图;

图7是本发明实施例对主机性能指标进行聚类分析的方法流程图;

图8是本发明实施例基于主机日志及性能指标的主机健康评价装置的第一结构框图;

图9是本发明实施例异常检测单元的组成结构框图;

图10是本发明实施例健康评价单元的组成结构框图;

图11是本发明实施例基于主机日志及性能指标的主机健康评价装置的第二结构框图;

图12是本发明实施例基于主机日志及性能指标的主机健康评价装置的第三结构框图;

图13是本发明实施例结构化时序指标生成单元的组成结构框图;

图14是本发明实施例基于主机日志及性能指标的主机健康评价装置的第四结构框图;

图15是本发明实施例计算机设备示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

图1是本发明实施例基于主机日志及性能指标的主机健康评价方法的流程图,如图1所示,本实施例的基于主机日志及性能指标的主机健康评价方法包括步骤s101至步骤s104。

步骤s101,获取实时的主机日志及多个主机性能指标。

在本发明的实施例中,目前主机平均单日的日志容量约3g,各类主机性能指标接近4000个。主机的健康评价需要全面涵盖日志与指标的真实状态,本发明通过在线收集实时的各主机性能指标以及主机日志,并转存在平台数据库中,实现了数据源的全覆盖。在本发明的实施例中,主机性能指标包括:总体级指标(如总体cpu使用率)、逻辑分区级指标(如单分区cpu使用率)以及地址空间级指标(如联机地址空间cpu使用率)等。

步骤s102,识别出所述主机日志对应的预设主机日志模板,并根据该主机日志模板确定所述主机日志的结构化时序指标。

在本发明的实施例中,将主机日志与所有的预设主机日志模板进行对比,确定当前主机日志对应的主机日志模板,进而根据主机日志模板确定当前主机日志的结构化时序指标,通过该方法将非结构化的文本形式的主机日志转化成结构化的时序指标。

步骤s103,分别根据所述结构化时序指标以及各主机性能指标对应的指标数据预测模型对所述结构化时序指标以及各主机性能指标进行异常检测,并分别得到所述结构化时序指标以及各主机性能指标的检测结果,其中,指标数据预测模型为根据对应的指标的历史数据训练得出。

在本发明实施例中,首先根据各指标的历史数据训练出各指标对应的指标数据预测模型,在可选实施例中,可以采用arima(自回归积分滑动平均)神经网络模型进行模型训练。训练好的arima模型输出实时的指标预测值,在本发明的可选实施例中,该指标预测值可以为一预测值区间,即预测该指标实时的最大值和最小值。在本发明实施例中,将实时的结构化时序指标以及各主机性能指标与对应的arima模型输出实时的指标预测值进行对比,以实现对当前的各指标进行异常检测。

步骤s104,根据所述结构化时序指标以及各主机性能指标的检测结果进行主机健康评价。

在本发明的可选实施例中,检测结果可以以数值的形式来表示可以以状态的形式来表示(例如,指标正常、非正常等)。在本发明的实施例中,根据结构化时序指标以及各主机性能指标的检测结果进行主机健康评价的方法可以有多种,例如:可以根据各指标的状态来判断主机是否健康,例如当各指标均正常时主机为健康;也可以根据各指标的检测结果数值来判断主机是否健康,例如当各指标的检测结果数值的总和或平均值满足预设数值范围时判断主机是否健康等。

由以上描述可以看出。本发明通过实时获取主机日志与主机性能指标数据,通过对主机日志进行识别,将非结构化的主机日志提取为模板并转化为结构化时序指标,并通过预先训练好的指标数据预测模型对结构化时序指标以及各主机性能指标进行异常检测,得出异常检测结果。进而根据结构化时序指标以及各主机性能指标的异常检测结果进行主机健康评价。本发明实现了量化的对主机健康进行评价,提升了主机监控精细化、智能化水平,对保障主机系统稳定运行具有较大意义。

图2是本发明实施例进行异常检测的方法流程图,如图2所示,上述步骤s103的异常检测具体包括步骤s201和步骤s202。

步骤s201,分别获取所述结构化时序指标以及各主机性能指标与对应的指标数据预测模型实时输出的预测值范围。

在本发明中,结构化时序指标以及各主机性能指标均为时序数据。在本发明的实施例中,指标数据预测模型输出实时的指标预测值范围,指标的实时预测值范围即预测该指标实时的最大值和最小值。在本发明实施例中,将实时的结构化时序指标以及各主机性能指标与对应的指标数据预测模型输出实时的指标预测值范围进行对比,以实现对当前的各指标进行异常检测。

在本发明的可选实施例中,在根据指标的历史数据来训练指标数据预测模型时,首先以单指标为对象,使用arima模型对历史数据训练,学习该指标的分布规律,并给出指标的预测上下区间。以此类推,对全量指标进行训练。

步骤s202,通过判断所述结构化时序指标以及各主机性能指标是否在对应的预测值范围内,以对所述结构化时序指标以及各主机性能指标进行异常检测。

在本发明的可选实施例中,当结构化时序指标以及各主机性能指标在对应的实时的预测值范围内时,判断其为正常,否则该指标为异常。

图3是本发明实施例计算指标的健康分值的方法流程图,如图3所示,上述步骤s103的检测结果具体通过步骤s301和步骤s302得出。

步骤s301,确定所述结构化时序指标以及各主机性能指标与对应的预测值范围的偏离程度。

步骤s302,根据偏离程度分别计算所述结构化时序指标以及各主机性能指标实时的健康分值。

在本发明的实施例中,结构化时序指标以及各主机性能指标的检测结果可以用健康分值来表示。在计算结构化时序指标以及各主机性能指标实时的健康分值时,首先需要确定实时的结构化时序指标以及各主机性能指标与对应的实时的预测值范围的偏离程度,进而根据偏离程度计算出健康分值。在本发明的可选实施例中,当一个指标实时的数值在对应的实时的预测值范围内时,该指标的健康分值为满分,当数值在预测值范围外时,根据数值与预测值范围的差值来计算健康分值。

图4是本发明实施例基于主机健康值进行主机健康评价及预警的方法流程图,如图4所示,上述步骤s104的根据所述结构化时序指标以及各主机性能指标的检测结果进行主机健康评价具体包括步骤s401和步骤s402。

步骤s401,对所述结构化时序指标以及各主机性能指标的实时的健康分值进行加权计算,得出实时的主机健康值。

步骤s402,根据所述主机健康值进行主机健康评价。

在本发明的实施例中,可以根据结构化时序指标以及各主机性能指标的实时的健康分值来计算出主机健康值,进而根据主机健康值来进行主机健康评价,实现了量化的对主机健康进行评价。

在本发明的实施例中,主机健康值可以由各指标的实时的健康分值进行加权计算来得出,具体的计算公式可以为:

其中,m为主机健康值,n为指标的数量,k为指标的次序,k=1表示第一个指标,nk为第k个指标的健康分值,wk为第k个指标的权重值。

在本发明的实施例中,根据主机健康值进行主机健康评价具体可以为:首先设定三种主机健康状态,健康、关注和严重,每种主机健康状态对应有主机健康值区间,进而可以通过判断实时的主机健康值在哪种主机健康状态对应的区间内,来确定实时的主机健康情况。在本发明的可选实施例中,当主机健康值在关注或严重的主机健康值区间内时,生成预警信息,并实施相应的自动化处置。

在本发明的可选实施例中,也可以根据结构化时序指标以及各主机性能指标的实时的健康分值直接来进行主机健康评价。

步骤s403,根据所述主机健康值生成预警信息,并判断所述预警信息是否与预设的自动化处理场景匹配,若匹配,则进行对应的自动化处理。

在本发明的实施例中,在计算出实时的主机健康值后可以对主机健康值进行可视化输出。在本发明的实施例中,可视化输出可以包括健康度展示、事件播报、自动化处置展示以及指标状态展示。健康值展示是指采用健康趋势线,拐点图标、悬浮窗口提示等可视化手段,将一段时间内的主机健康度展示出来,提供主机健康状态历史发展趋势。事件播报是指采用纵向时间轴的可视化方式,将生产实施产生的报警事件及时播报出来。自动化处置展示为采用文字播报的形式将场景匹配并自动触发的操作动作和触发条件展示出来。指标状态展示为对指标实施三层分类,使用红绿灯状态展示。当指标性能异常,为红灯,点击可以查询详细指标趋势。在本发明的实施例中,可视化展示支持时间上的回溯。也就是说,当点击之前某个时刻的健康度曲线时,性能指标状态等以及事件播报都回溯到当时的时刻,可视化展示故障蔓延趋势。

图5是本发明实施例生成主机日志模板的方法流程图,如图5所示,上述步骤s102中的主机日志模板具体通过步骤s501生成得出。

步骤s501,确定历史主机日志中出现的高频单词组合,根据所述高频单词组合生成所述主机日志模板。

在本发明考虑到主机日志涵盖各子系统运行状态信息,为非结构化的文本,海量数据,类型多样,日志分析和异常检测难度很大。本发明提供一种无监督实时的日志特征识别方法,基本思想是建立主机日志模板,根据主机日志模板将非结构化的日志文本转化为结构化的时序指标数据。

在本发明中,建立主机日志模板为从历史主机日志消息中识别出频繁出现单词组合。令dm=(m1,m2,...,mn)为主机日志消息的集合,每个mi是一条主机日志消息。i=(a1,a2,...,am)是主机日志消息集合中出现的不同单词组合。一个单词组合a的支持度(即单词组合出现的频率)等于dm中包含a的主机日志消息的数量。如果a频繁地出现(即具有较大的支持度),那么将a设置为一个主机日志模板。

在本发明的实施例中,可以基于前缀树模型来建立主机日志模板。具体为:首先,扫描根据历史主机日志创建的词频降序列表(见下表)。再次,创建根节点,扫描主机日志的第一条消息,匹配上步构建的词频降序列表得到树的第一条路径。扫描主机日志的第二条消息,得到树的第二条路径,以此类推。由于树节点的单词是按词频列表排序,故多条路径都共享前缀。最后对树做剪枝,如果树的某个节点有太多子节点,则删除其所有子节点,该节点变为叶节点。

通过本发明的方法生成的主机日志模板约300个,意味着主机日志有约300个频繁出现的单词组合和类型,模板以xml格式保存。该方法不仅可用于主机日志,也可用于其他平台系统的日志,具备推广价值。

步骤s502,识别出所述主机日志对应的预设主机日志模板,并根据该主机日志模板确定所述主机日志的结构化时序指标。

图6是本发明实施例确定主机日志的结构化时序指标的方法流程图,如图5所示,上述步骤s102的根据主机日志模板确定主机日志的结构化时序指标具体包括步骤s601和步骤s602。

步骤s601,根据所述主机日志模板对所述主机日志进行格式化处理,并输出日志xml文件;

在本发明实施例中,对于实时获取的主机日志,全量扫描已有的主机日志模板,对该条主机日志实施模板匹配,如匹配成功,则按主机日志模板对该条消息做格式化处理,输出xml。如未匹配成功,则意味着主机日志出现了新的单词组合,则进行动态增量式学习,构建新的主机日志模板,并保存为xml格式。

步骤s602,提取所述日志xml文件固定字段类型的数值作为所述结构化时序指标。

在本发明实施例中,针对格式化处理后的日志xml文件,可以通过预定义的特征提取功能,将日志xml文件中固定字段类型的数值提取出来,作为结构化时序指标。在本发明的其他实施例中,也可以统计主机日志对应的主机日志模板出现次数,将主机日志转化为频数,该频数表征每分钟该主机日志模板发生次数,进而将该频数作为结构化时序指标。通过上述方法实现了将非结构化的主机日志转化成了结构化时序指标,进而实现了对主机日志进行异常检测。

图7是本发明实施例对主机性能指标进行聚类分析的方法流程图,如图7所示,本发明实施例对主机性能指标进行聚类分析的方法包括步骤s701。

步骤s701,对所述多个主机性能指标进行聚类分析,生成多个聚类性能指标。

步骤s702,分别根据各聚类性能指标对应的指标数据预测模型对各聚类性能指标进行异常检测,并分别得到各聚类性能指标的检测结果。

本发明考虑到生产环境包含近2500个主机性能指标,若对每个指标进行异常检测及计算健康分值成本过高,因此需要对主机性能指标进行聚类。在本发明实施例中,首先根据运维经验(专家规则),将性能指标自顶向下分为三层,总体级指标,逻辑分区级指标,地址空间级指标。对于每一层内部,根据该层性能指标真实的时序波动状态,使用dbscan模型对性能指标实施聚类分析,根据分析结果再划分为cpu类,实存虚存类,通道链路类,存储io类、交易率响应时间类、表空间类等等。通过上述层次划分,将约2500个性能指标维度压缩到约20个维度。通过上述分类及降维的预处理,为健康度的运算提供了有效支撑。

在本发明实施例中,可以针对聚类性能指标预先训练出对应的指标数据预测模型,进而对实时的聚类性能指标进行异常检测,计算出聚类性能指标的健康分值。进而在计算主机健康值时可以通过对结构化时序指标及所有的聚类性能指标进行加权计算得出。

在本发明的实施例中,所述多个主机性能指标包括:总体级指标、逻辑分区级指标以及地址空间级指标。上述步骤s701的对所述多个主机性能指标进行聚类分析生成多个聚类性能指标,具体可以包括分别针对所述总体级指标、所述逻辑分区级指标以及所述地址空间级指标进行聚类分析,分别生成所述总体级指标、所述逻辑分区级指标以及所述地址空间级指标对应的多个聚类性能指标。

需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

基于同一发明构思,本发明实施例还提供了一种基于主机日志及性能指标的主机健康评价装置,可以用于实现上述实施例所描述的基于主机日志及性能指标的主机健康评价方法,如下面的实施例所述。由于基于主机日志及性能指标的主机健康评价装置解决问题的原理与基于主机日志及性能指标的主机健康评价方法相似,因此基于主机日志及性能指标的主机健康评价装置的实施例可以参见基于主机日志及性能指标的主机健康评价方法的实施例,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。

图8是本发明实施例基于主机日志及性能指标的主机健康评价装置的第一结构框图,如图8所示,本发明实施例基于主机日志及性能指标的主机健康评价装置包括:数据收集单元1、结构化时序指标生成单元2、异常检测单元3以及健康评价单元4。

数据收集单元1,用于获取实时的主机日志及多个主机性能指标;

结构化时序指标生成单元2,用于识别出所述主机日志对应的预设主机日志模板,并根据该主机日志模板确定所述主机日志的结构化时序指标;

异常检测单元3,用于分别根据所述结构化时序指标以及各主机性能指标对应的指标数据预测模型对所述结构化时序指标以及各主机性能指标进行异常检测,并分别得到所述结构化时序指标以及各主机性能指标的检测结果,其中,指标数据预测模型为根据对应的指标的历史数据训练得出;

健康评价单元4,用于根据所述结构化时序指标以及各主机性能指标的检测结果进行主机健康评价。

图9是本发明实施例异常检测单元的组成结构框图,如图9所示,本发明实施例的异常检测单元3包括检测模块301和计算模块302。

检测模块301,用于分别获取所述结构化时序指标以及各主机性能指标与对应的指标数据预测模型实时输出的预测值范围,并通过判断所述结构化时序指标以及各主机性能指标是否在对应的预测值范围内,以对所述结构化时序指标以及各主机性能指标进行异常检测。

计算模块302,用于确定所述结构化时序指标以及各主机性能指标与对应的预测值范围的偏离程度,并根据偏离程度分别计算所述结构化时序指标以及各主机性能指标实时的健康分值。

图10是本发明实施例健康评价单元的组成结构框图,如图10所示,本发明实施例的健康评价单元4包括主机健康值计算模块401。

主机健康值计算模块401,用于对所述结构化时序指标以及各主机性能指标的实时的健康分值进行加权计算,得出实时的主机健康值,以根据所述主机健康值进行主机健康评价。

图11是本发明实施例基于主机日志及性能指标的主机健康评价装置的第二结构框图,如图11所示,本发明实施例的基于主机日志及性能指标的主机健康评价装置还包括预警及自动化处理单元5,该预警及自动化处理单元5与健康评价单元4连接。

预警及自动化处理单元5,用于根据所述主机健康值生成预警信息,并判断所述预警信息是否与预设的自动化处理场景匹配,若匹配,则进行对应的自动化处理。

图12是本发明实施例基于主机日志及性能指标的主机健康评价装置的第三结构框图,如图12所示,本发明实施例的基于主机日志及性能指标的主机健康评价装置还包括主机日志模板生成单元6,该主机日志模板生成单元6与结构化时序指标生成单元2连接。

主机日志模板生成单元6,用于确定历史主机日志中出现的高频单词组合,并根据所述高频单词组合生成所述主机日志模板。

图13是本发明实施例结构化时序指标生成单元的组成结构框图,如图13所示,本发明实施例结构化时序指标生成单元2包括格式化处理模块201和数值提取模块202。

格式化处理模块201,用于根据所述主机日志模板对所述主机日志进行格式化处理,并输出日志xml文件;

数值提取模块202,用于提取所述日志xml文件固定字段类型的数值作为所述结构化时序指标。

图14是本发明实施例基于主机日志及性能指标的主机健康评价装置的第四结构框图,如图14所示,本发明实施例的基于主机日志及性能指标的主机健康评价装置还包括聚类分析单元7,该聚类分析单元7分别与数据收集单元1和异常检测单元3连接。

聚类分析单元7,用于对所述多个主机性能指标进行聚类分析,生成多个聚类性能指标。

在本发明实施例中,异常检测单元3还用于分别根据各聚类性能指标对应的指标数据预测模型对各聚类性能指标进行异常检测,并分别得到各聚类性能指标的检测结果。

在本发明的实施例中,上述多个主机性能指标包括:总体级指标、逻辑分区级指标以及地址空间级指标。聚类分析单元7具体用于分别针对所述总体级指标、所述逻辑分区级指标以及所述地址空间级指标进行聚类分析,分别生成所述总体级指标、所述逻辑分区级指标以及所述地址空间级指标对应的多个聚类性能指标。

由以上描述可以看出,本发明通过实时获取主机日志与主机性能指标数据,通过对主机日志进行识别,将非结构化的主机日志提取为模板并转化为结构化时序指标,并通过预先训练好的指标数据预测模型对结构化时序指标以及各主机性能指标进行异常检测,得出异常检测结果。进而根据结构化时序指标以及各主机性能指标的异常检测结果进行主机健康评价。本发明实现了量化的对主机健康进行评价,提升了主机监控精细化、智能化水平,对保障主机系统稳定运行具有较大意义。

为了实现上述目的,根据本申请的另一方面,还提供了一种计算机设备。如图15所示,该计算机设备包括存储器、处理器、通信接口以及通信总线,在存储器上存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于主机日志及性能指标的主机健康评价方法中的步骤。

处理器可以为中央处理器(centralprocessingunit,cpu)。处理器还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元,如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及作品数据处理,即实现上述方法实施例中的方法。

存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个单元存储在所述存储器中,当被所述处理器执行时,执行上述实施例中的方法。

上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解,此处不再赘述。

为了实现上述目的,根据本申请的另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序在计算机处理器中执行时实现上述基于主机日志及性能指标的主机健康评价方法中的步骤。本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)、随机存储记忆体(randomaccessmemory,ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive,缩写:hdd)或固态硬盘(solid-statedrive,ssd)等;所述存储介质还可以包括上述种类的存储器的组合。

显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1