异常检测方法和设备的制造方法_2

文档序号:9929710阅读:来源:国知局
r>[0018] 在本发明第二方面的基础上,在一种可能的实现方式中,异常检测设备还包括预 处理模块,预处理模块用于通过最小二乘法去除历史数据序列和近期趋势数据序列中的异 常数据,W提升动态阔值范围的准确性。
[0019] 在本发明第二方面的基础上,在一种可能的实现方式中,告警模块具体用于:根据 当前检测点的观测值和当前检测点的动态阔值范围确定单点异常量,单点异常量为当前检 测点的观测值超出当前检测点的动态阔值范围的值,然后根据单点异常量和前一时刻的告 警统计量确定当前检测点的告警统计量,根据当前检测点的动态阔值范围和异常发生的点 数计算当前检测点的告警统计量的阔值范围,判断当前检测点的告警统计量是否属于当前 检测点的告警统计量的阔值范围,如果当前检测点的告警统计量不属于当前检测点的告警 统计量的阔值范围,则判断告警标识是否为真,如果告警标识不为真,则触发告警,记录告 警时间起点,将告警标识设置为真,继续检测下一个检测点,如果告警标识为真,则继续检 测下一个检测点。如果当前检测点的告警统计量属于当前检测点的告警统计量的阔值范 围,则判断告警标识是否为真,如果告警标识为真,则结束告警,记录告警事件终点,将告警 标识设置为否,继续检测下一个检测点,如果告警标识不为真,则继续检测下一个检测点。
[0020] 在本发明第一方面和第二方面的基础上,该动态阔值选取策略包括W下策略中的 任意一个:
[0021] 策略一:当前检测点的动态阔值范围的上限为Min化DT_UpperJDT_Upper),当前 检测点的动态阔值范围的下限为Max化DT_Lower,RDT_Lower)。策略二:当前检测点的动态 阔值范围的上限为Max化DT_Upper,RDT_Upper),当前检测点的动态阔值范围的下限为Min (皿T-Lower,WT-Lower)。
[0022] 策略当前检测点的动态阔值范围的上限为Hwei曲巧HDT_Upper+Rwei曲巧畑T_ 化per,当前检测点的阔值范围的下限为Hwe i曲巧皿T_Lower+Rwe i曲巧畑T_Lowe;r。
[0023] 其中,HDT_Upper为第一动态阔值范围的上限,RDT_Upper为第二动态阔值范围的 上限,HDT_Lower为第一动态阔值范围的下限,RDT_Lower为第二动态阔值范围的下限, Hwe i曲t表示第一动态阔值范围的权重,Rwe i曲t表示第二动态阔值范围的权重。
[0024] 本发明实施例的方法设置上述=种动态阔值选取策略供用户选择,用户可W根据 性能参数的特性选择适合的策略,其中,策略一适合观测值比较稳定的性能参数,一旦观测 值异常波动意味着出现异常。策略二中观测值的轻微波动对待检测设备没有影响,因此适 合一些非关键的性能参数。策略=采取了一种均衡方式,适合运维管理员熟悉的性能参数, 从而根据性能参数设置合适的权重。
[0025] 本发明实施例提供的异常检测方法和设备,通过获取待检测设备的性能参数的历 史数据序列和近期趋势数据序列,根据历史数据序列计算得到当前检测点的观测值的第一 动态阔值范围,W及根据近期趋势数据序列计算得到当前检测点的观测值的第二动态阔值 范围,然后根据第一动态阔值范围、第二动态阔值范围和动态阔值选择策略确定当前检测 点的动态阔值范围,最后判断当前检测点的观测值是否属于当前检测点的动态阔值范围。 所述方法中,能够综合性能参数的历史数据和近期趋势的变化来确定当前检测点的动态阔 值范围,并能够根据不同性能参数设置不同的动态阔值选择策略,避免待检测设备的性能 参数异常的误判、漏报和虚警。
【附图说明】
[0026] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发 明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可W 根据运些附图获得其他的附图。
[0027] 图1为本发明实施例适用的性能参数的监控系统的示意图;
[0028] 图2为本发明实施例一提供的异常检测方法的流程图;
[0029] 图3为曲线拟合的结果示意图;
[0030] 图4为本发明实施例二提供的检测点的动态阔值范围的计算方法的流程图;
[0031] 图5描绘了异常检测的动态阔值范围效果;
[0032] 图6为本发明实施例=提供的异常告警处理方法的流程图;
[0033] 图7为本发明实施例四提供的异常检查设备的结构示意图;
[0034] 图8为本发明实施例五提供的异常检查设备的结构示意图;
[0035] 图9为本发明实施例六提供的异常检测设备的结构示意图;
[0036] 图10为本发明实施例屯提供的异常检测设备的实体结构的示意图。
【具体实施方式】
[0037] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例 中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是 本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0038] 本发明实施例的方法可W主要应用在云计算虚拟化场景中,在云计算虚拟化场景 中需要对虚拟化设备进行监控和管理,例如,对虚拟化设备进行异常检测,异常检测即对虚 拟化设备进行各种性能指标的实时监控,及时发现虚拟化设备的异常情况。图1为本发明实 施例适用的性能参数的监控系统的示意图,如图1所示,监控系统包括异常检测设备、数据 采集引擎、数据库、待检测设备和性能定位设备。其中,数据采集引擎用于采集获取待检测 设备的各性能参数的观测值,异常检测设备用于根据数据采集引擎用于采集到的性能参数 的观测值进行异常检测分析,确定待检测设备是否发生异常,如果发生异常,则异常检测设 备向运维管理人员发出告警,并且把异常事件持久化到数据库中,W便于后续性能定位模 块根据数据库中存储的数据进行性能定位的关联分析。
[0039] 图2为本发明实施例一提供的异常检测方法的流程图,该方法可W由异常检测设 备执行,如图2所示,本实施例的方法可W包括W下步骤:
[0040] 步骤101、获取待检测设备的性能参数的历史数据序列和近期趋势数据序列。
[0041] 待检测设备可W是虚拟化设备,也可W是实体物理设备,性能参数例如是CPU利用 率、内存利用率等。
[0042] 该性能参数的历史数据序列包括当前检测点的观测值和当前检测点所属的当前 检测周期之前的N个检测周期内的同一检测点的观测值,即历史数据序列中包括N+1个检测 点的观测值,当前检测周期之前的N个检测周期为与当前检测周期在时间上相邻,且在时间 上超前当前检测周期的N个周期。历史数据序列是基于性能参数的周期性和相似性得到 的,异常检测设备可W按照指定的时间粒度,统计过去一段时间同一时刻的观测值,该时间 粒度即一个检测点,例如,W小时为粒度,周期为一周,异常检测设备统计过去=个月内每 个星期一早上八点服务器的CPU利用率,将统计结果作为历史数据序列。
[0043] 该性能参数的近期趋势数据序列包括当前检测点的观测值和当前检测点之前的N 个检测点的观测值,即异常数据序列中包括N+1个检测点的观测值,当前检测点之前的N个 检测点为与当前检测点在时间上相邻,且在时间上超前当前检测点的N个检测点。近期趋势 数据序列是基于性能参数的突发性和可变性得到的,异常检测设备可W按照相同的时间粒 度,统计最近一段时间的观测值。例如,仍然W小时为粒度,获取当前时刻之前的10小时内 的CPU利用率作为近期趋势数据序列。本实施例中,历史数据序列中包括的当前检测点的观 测值和近期数据序列包括的当前检测点的观测值相同,运个由于历史数据序列和近期数据 序列都是W当前检测点为基准点确定的。
[0044] 步骤102、根据历史数据序列计算得到当前检测点的第一动态阔值范围,W及根据 近期趋势数据序列计算得到当前检测点的第二动态阔值范围。
[0045] 可W采用现有的方法或者本发明下述实施例二中提到的方法计算当前检测点的 第一动态阔值范围和第二动态阔值范围。
[0046] 可选的,在步骤102之前还可W通过最小二乘法去除历史数据序列和近期趋势数 据序列中的异常数据。历史数据序列如果存在异常点,在计算过程中构建的自回归模型就 会因为异常点而存在偏差。因此异常点的准确剔除能够提升动态阔值范围的准确性。为了 简化去噪复杂度,本发明采取最简单的一元线性回归拟合直线,通过误差线范围剔除粗大 误差。
[0047] 最小二乘法的原理是:若能找到一条最佳的拟合曲线,那么各测量值与运条拟合 曲线上的对应点之差(即偏差)的平方和最小。
[0048] 首先假设拟合的直线方程为:y = bo+bix,然后根据历史数据序列建立多元方程,从 而可推导出拟合曲线的两个参数:
[0049]
[(K)加 ]
[0化1 ]
[00对 側为:
[0化3]
[0化4]
[0055] 粗大误差判定的基本原则为:若测量点距拟合直线上的对应点之差为上述所有点 的均方差的3倍W上,则该点为误差点。图3为曲线拟合的结果示意图,如图3所示,曲线表示 待判定的历史数据序列,=条平行线中的中线为基于最小二乘法计算得到的拟合直线,其 余两条边线表示误差线范围,若历史数据序列明显超出边线则意味着是无差点。
[0056] 步骤103、根据第一动态阔值范围、第二动态阔值范围和动态阔值选择策略确定当 前检测点的动态阔值范围。
[0057] 动态阔值选取策略包括W下策略中的任意一个:
[005引策略一:当前检测点的动态阔值范围的上限为Min化DT_UpperJDT_Upper),当前 检测点的动态阔值范围的下限为Max化DT_Lower,WT_Lower ),其中,HDTJJpper为第一动态 阔值范围的上限,畑T_Upper为第二动态阔值范围的上限,皿T_Lower为第一动态阔值范围 的下限,RDT_Lower为第二动态阔值范围的下限;
[0059] 策略二:当前检测点的动态阔值范围的上限为Max化DT_Upper,WT_Upper),当前 检测点的动态阔值范围的下限为Min化DT_Lower,WT_Lower);
[0060] 策略S:当前检测点的动态阔值范围的上限为Hwei曲巧HDT_Upper+Rwei曲巧畑T_ Upper,当前检测点的阔值范围的下限为Hwei曲1:*HDT_Lowe;r+Rwei曲1:*RDT_Lowe;r,其中, Hwei曲t表示第一动态阔值范围的权重,Rwei曲t表示第二动态阔值范围的权重。
[0061] 通过上述=种策略对比可知,策略一适合观测值比较稳定的性能参数,一旦观测 值异常波动意味着出现异常。策略二中观测值的轻微波动对待检测
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1