一种告警日志占比预测方法、系统、设备以及介质与流程

1.本发明涉及预测领域，具体涉及一种告警日志占比预测方法、系统、设备以及存储介质。


背景技术：

2.随着计算机网络技术的发展与创新，人们的生活工作越来越离不开计算机技术的支持，这也凸显了一个稳定、安全的数据中心的重要作用。数据中心服务器整体之间的业务沟通和稳定性维持固然重要，而保证数据中心稳定的前提是尽可能保证每一台服务器的安全稳定，所以服务器模块的告警状态显得尤为重要。现存的告警状态分析主要基于当前的告警日志数量，该种方法可以较为准确地反馈服务器模块状态，但是及时性不强，并且一般只能分析单个服务器模块，忽略了各个模块之间的联系。


技术实现要素：

3.有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种告警日志占比预测方法，包括以下步骤：
4.获取待预测模块在多个单位时间内分别产生的告警日志以及获取所有模块在多个单位时间内分别产生的日志以得到在每一个单位时间内所述待预测模块产生的告警日志的占比；
5.将多个所述占比构成占比序列并利用所述占比序列建立arima模型；
6.获取每一个其他模块对应的多个影响因子序列并根据所述多个影响因子序列确定所述每一个其他模块的状态预测模型；
7.根据所述状态预测模型和所述arima模型预测下一单位时间内所述待预测模块产生的告警日志的占比。
8.在一些实施例中，将多个所述占比构成占比序列并利用所述占比序列建立arima模型，进一步包括：
9.对所述占比序列进行多阶差分处理直到得到平稳的差分占比序列并记录当前阶数d；
10.利用acf函数对所述差分占比序列计算以确定所述arima模型的参数p和自相关系数以及利用pacf函数对所述差分占比序列计算以确定所述arima模型的参数q和偏自相关系数；
11.利用阶数d、参数p、参数q、自相关系数、偏自相关系数和所述占比序列构建所述arima模型。
12.在一些实施例中，利用阶数d、参数p、参数q、自相关系数、偏自相关系数和所述占比序列构建所述arima模型，进一步包括根据下式构建所述arima模型：
[0013][0014]
θ(b)＝1
‑
θ1b
‑
θ2b2‑…‑
θ
q
b
q
；
[0015][0016][0017]
其中，w
t
为占比序列；b为延迟算子；θ1，θ2，θ3...θ
q
为偏自相关系数，为自相关系数；f
t
为误差。
[0018]
在一些实施例中，获取每一个其他模块对应的多个影响因子序列，进一步包括：
[0019]
获取每一个其他模块对应的单位时间内出现的异常次数序列 {an1,an2,
…
,an
n
}、模块历史寿命值序列{mt1,mt2,
…
,mt
n
}、相邻异常情况的间隔时长序列{it1,it2,
…
,it
n
}；
[0020]
其中，n取值为其他模块的总数量。
[0021]
在一些实施例中，根据所述多个影响因子序列确定所述每一个其他模块的状态预测模型，进一步包括：
[0022]
根据y＝m(x
i
)+ε计算每一个影响因子序列中每一个元素对应的状态值，其中，m(
·
)是回归函数，ε是误差扰动项，x
i
为每一个影响因子序列中每一个元素；根据计算每一个影响因子取值为x时的状态预测值，并将作为每一个其他模块的对应的状态预测模型；其中，x
i
和x
j
分别为所述异常次数序列、模块历史寿命值序列或相邻异常情况的间隔时长序列中的第i个和第j个元素，y
i
为x
i
对应的状态值，k为二阶高斯核拟合核函数，为单位时间内出现的异常次数取值为x
an
时对应的状态预测值，为模块历史寿命值取值为x
mt
时对应的状态预测值，为相邻异常情况的间隔时长取值为x
it
时对应的状态预测值。
[0023]
在一些实施例中，根据所述状态预测模型和所述arima模型预测下一单位时间内所述待预测模块产生的告警日志的占比，进一步包括：
[0024]
计算所述状态预测模型预测得到的每一个其他模块对应的状态值与所述差分占比序列之间的相关性；
[0025]
将所述相关性大于阈值的状态值作为线性参数，不大于阈值的状态值作为非线性参数；
[0026]
根据u
t
β+m(t)+ε计算校正值，其中，u＝(u1,
…
,u
a
)
t
，u1,
…
,u
a
代表a个线性参数，t＝(t1,
…
,t
b
)
t
，t1,
…
,t
b
代表b个非线性参数，β为系数，ε是误差扰动项。
[0027]
在一些实施例中，还包括利用下式预测占比：
[0028][0029]
其中，为差分占比序列，α
t
，α
t
‑1…
α
t
‑
p
为β
t
‑1，...，β
t
‑
q
为θ2b2，...，θ
q
b
q
。
[0030]
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种告
警日志占比预测系统，包括：
[0031]
获取模块，配置为获取待预测模块在多个单位时间内分别产生的告警日志以及获取所有模块在多个单位时间内分别产生的日志以得到在每一个单位时间内所述待预测模块产生的告警日志的占比；
[0032]
第一模型建立模块，配置为将多个所述占比构成占比序列并利用所述占比序列建立arima模型；
[0033]
第二模块建立模块，配置为获取每一个其他模块对应的多个影响因子序列并根据所述多个影响因子序列确定所述每一个其他模块的状态预测模型；
[0034]
预测模块，配置为根据所述状态预测模型和所述arima模型预测下一单位时间内所述待预测模块产生的告警日志的占比。
[0035]
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：
[0036]
至少一个处理器；以及
[0037]
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种告警日志占比预测方法的步骤。
[0038]
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种告警日志占比预测方法的步骤。
[0039]
本发明具有以下有益技术效果之一：本发明提出的方案基于系统日志和模块历史寿命、单位时间内出现的异常次数、相邻异常情况的间隔时长等三个影响因子数据集，不仅考虑到待预测模块自身规律的影响，还考虑了服务器各个模块的相互影响，通过arima主系统，添加npm因子系统，建立spm校正
‑
组合预测系统，预测待预测模块的告警日志占比。这样能够通过isrest收集的系统日志，基于待预测模块自身规律以及其他因子模块对该模块的影响，建立arima和spm模型，较为准确地预测待预测模块 t+1时段的告警日志占比，并对应得到告警等级提供给服务器运维人员，为运维人员提供较为及时准确的预判，避免更大程度的损失。
附图说明
[0040]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0041]
图1为本发明的实施例提供的告警日志占比预测方法的流程示意图；
[0042]
图2为本发明的实施例提供的告警日志占比预测方法的实施架构图；
[0043]
图3为本发明的实施例提供的数据处理系统的结构示意图；
[0044]
图4为本发明的实施例提供的告警日志占比预测系统的结构示意图；
[0045]
图5为本发明的实施例提供的计算机设备的结构示意图；
[0046]
图6为本发明的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
[0047]
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
[0048]
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
[0049]
根据本发明的一个方面，本发明的实施例提出一种告警日志占比预测方法，如图1所示，其可以包括步骤：
[0050]
s1，获取待预测模块在多个单位时间内分别产生的告警日志以及获取所有模块在多个单位时间内分别产生的日志以得到在每一个单位时间内所述待预测模块产生的告警日志的占比；
[0051]
s2，将多个所述占比构成占比序列并利用所述占比序列建立arima 模型；
[0052]
s3，获取每一个其他模块对应的多个影响因子序列并根据所述多个影响因子序列确定所述每一个其他模块的状态预测模型；
[0053]
s4，根据所述状态预测模型和所述arima模型预测下一单位时间内所述待预测模块产生的告警日志的占比。
[0054]
本发明提出的方案，依据待预测模块的系统告警日志占比及服务器各其他因子模块告警状态影响因素数据集对待预测模块的告警状态进行预测，并且以待预测模块的系统告警日志数量在所有日志中的占比数这一相对变量为主要分析因素，能够更加客观地利用日志数据。同时考虑到告警日志占比数与其历史值的关系，通过分析数据独立性和平稳性，建立 autoregressive integrated moving average模型(arima)，以自身的历史值来预测未来值，而且服务器各个模块之间相互影响、密不可分，待预测模块不仅受到自身历史值的影响，还受到服务器其他因子模块的影响，通过其他因子模块的历史寿命、单位时间内出现的异常次数、相邻异常情况的间隔时长等三个影响因子对arima模型预测值残差序列的校正，能够更加准确地预测待预测模块的告警状态。需要说明的是，用户可根据自身需求更换待预测模块和其他因子模块。
[0055]
在本发明的实施例中，基于时间序列类型的服务器系统告警日志占比数，添加模块历史寿命、单位时间内出现的异常次数、相邻异常情况的间隔时长影响因子，建立arima模型和spm模型来预测待预测模块的告警状态。首先通过服务器rest工具(isrest)带内收集系统日志，得到cpu、disk、dirver、gpu、hba、memory、nic、raid、system、fan 等多个模块warning级别的日志数量和总日志数，计算得到单位时间内服务器待预测模块的warning级别日志数量占比，按照时间轴顺序排列建立 arima模型作为主系统，得到因变量t+1时段的初步预测值。因服务器的各个模块之间可能存在强关联关系，也可能是独立的、对其他模块影响较小的，针对服务器各模块之间存在的上述状态待预测模块的告警状态不仅与自身历史数据相关，还受到其他模块的影响，由于因子模块与待预测模块的线性关系不确定，所以在主模型的基础上建立spm模型，用以校正误差，提高预测的准确性。将预测结果提供给服务器运维人员，提前检查待预测模块，避免更严重的损失。
[0056]
在一些实施例中，如图2所示，可以利用数据收集系统、数据处理系统、arima主系统、npm因子系统、spm校正
‑
组合预测系统实现arima 模型和spm模型的模块预测方法。
[0057]
在一些实施例中，数据收集系统可以是应用服务器管理软件isrest 的带内收集日志功能，进而可得到cpu、disk、dirver、gpu、hba、 memory、nic、raid、system、fan等多个服务器模块的日志，一般认为模块warning级别的日志数量越多，该模块告警状态越严重，受到日志采集时间不均匀及各种日志数量不稳定的影响，本发明将待预测模块 warning级别日志数量占比作为主要研究对象，取其中一个模块作为待预测模块m
w
，其余服务器模块作为因子模块，设共有n个因子模块 {m1，m2,
…
，m
n
}。在大量的日志中取出待预测模块的warning级别的日志数量n
w
以及所有模块总日志数n
sum
，另选取模块历史寿命 {mt1，mt2,
…
,mt
n
,mt
n+1
}、单位时间内出现的异常次数 {an1,an2,
…
,an
n
,an
n+1
}、相邻异常情况的间隔时长{it1,it2,
…
,it
n
,it
n+1
} 变量作为因子模块状态的影响因素。
[0058]
在一些实施例中，如图3所示，数据处理系统可以根据数据收集系统的数据集，按照时间轴计算待预测模块warning级别日志数量占比作为 arima主系统的输入参数；因子模块的历史寿命、单位时间内出现的异常次数、相邻异常情况的间隔时长变量作为npm因子系统的输入参数； arima主系统和snm因子系统的输出参数作为spm校正
‑
组合预测系统的输入参数。
[0059]
在一些实施例中，相较于带外收集日志，带内收集日志的方式能够更直接、更全面地收集到需要的日志，告警日志的数量占比与时间轴有强相关关系，即该序列自身有一定的规律，未来数据受到历史数据和误差扰动项的影响，基于此种特性可通过历史数据集建立arima模型以预测时刻的系统告警日志占比。
[0060]
arima模型建模的基础是时间序列必须为平稳序列，即决定序列的特征随时间的变化固定不变，通过差分运算可将非平稳序列变为平稳序列。
[0061]
在一些实施例中，在步骤s2中，将多个所述占比构成占比序列并利用所述占比序列建立arima模型，进一步包括：
[0062]
对所述占比序列进行多阶差分处理直到得到平稳的差分占比序列并记录当前阶数d；
[0063]
利用acf函数对所述差分占比序列计算以确定所述arima模型的参数p和自相关系数以及利用pacf函数对所述差分占比序列计算以确定所述arima模型的参数q和偏自相关系数；
[0064]
利用阶数d、参数p、参数q、自相关系数、偏自相关系数和所述占比序列构建所述arima模型。
[0065]
具体的，每阶差分处理之后可以通过数据折线图主观判断数据的平稳性，如果数据整体没有上升或者下降的趋势，分区间观察也没有明显受时间影响的局部数据集，则认为当前阶数差分处理之后的数据平稳，记平稳序列(即差分占比序列)为其中差分处理过程可以是：
[0066][0067]
接着，可以应用acf函数和pacf函数对差分占比序列进行计算确定 arima模型的参数p、q、自相关系数、偏自相关系数。
[0068]
基于上述处理对待预测模块warning级别的告警日志占比序列{w1,w2,
…
,w
t
}建立arima(p，d，q)模型：
[0069][0070]
θ(b)＝1
‑
θ1b
‑
θ2b2‑…‑
θ
q
b
q
；
[0071][0072][0073]
其中，w
t
为占比序列；b为延迟算子；θ1，θ2，θ3...θ
q
为偏自相关系数，为自相关系数；f
t
为误差。
[0074]
这样，通过应用arima主系统对服务器待预测模块自身序列的分析得到该模块受自身规律影响的预测值。
[0075]
在一些实施例中，可以利用npm因子系统得到每一个其他因子模块的状态值。
[0076]
其中，获取每一个其他模块对应的多个影响因子序列，进一步包括：
[0077]
获取每一个其他模块对应的单位时间内出现的异常次数序列 {an1,an2,
…
，an
n
}、模块历史寿命值序列{mt1，mt2，
…
，mt
n
}、相邻异常情况的间隔时长序列{it1，it2,
…
,it
n
}；
[0078]
其中，n取值为其他模块的总数量。
[0079]
然后利用non
‑
parametric模型，y＝m(x
i
)+ε计算每一个影响因子序列中每一个元素对应的状态值，其中，m(
·
)是回归函数，ε是误差扰动项， x
i
为每一个影响因子序列中每一个元素。因为预测值必定与真实值存在差距，书写公式时为严谨表示，以ε标记该差距，但是带入数据时不需要考虑ε。
[0080]
这样，得到每一个其他因子模块的每一个影响因子序列中每一个元素 x
i
对应的状态值y
i
。
[0081]
接着，根据计算每一个影响因子取值为x(x 可以是an
n+1
、mt
n+1
、it
n+1
)时的状态预测值，并将作为每一个其他模块的对应的状态预测模型；其中，x
i
和x
j
分别为所述异常次数序列、模块历史寿命值序列或相邻异常情况的间隔时长序列中的第i个和第j个元素，y
i
为x
i
对应的状态值，k为二阶高斯核拟合核函数，为单位时间内出现的异常次数取值为x
an
时对应的状态预测值，为模块历史寿命值取值为x
mt
时对应的状态预测值，为相邻异常情况的间隔时长取值为x
it
时对应的状态预测值。
[0082]
例如，以第一个其他因子模块为例，x取值分别是an
n+1
、mt
n+1
、it
n+1
，得到对应的状态值误差扰动项分别记为ε
11
、ε
12
和ε
13
，同样的因为预测值必定与真实值存在差距，书写公式时为严谨表示，以ε
11
标记该差距，但是带入数据时不需要考虑ε
11
、ε
12
和ε
13
。
[0083]
对上述三个状态值取平均值即可得到第一个其他因子模块的状态预测值。
[0084]
在一些实施例中，arima主系统主要分析了服务器待预测模块自身规律对未来值的影响，根据历史数据预测t+1时段的待预测模块warning级别日志数量的占比；snp因子系统主要考虑服务器其他因子模块对待预测模块的影响，选择模块历史寿命、单位时间内出现的异常次数、相邻异常情况的间隔时长三个影响因素，建立通过non
‑
parametric模型和取均值的方式估计得到因子模块的状态值。
[0085]
基于上述两个模型系统，构建spm校正
‑
组合预测系统，以arima系统的模型输出数据为基础，对其残差进行进一步分析，以校正arima模型对待预测模块warning日志占比的预测。因服务器的各个因子模块对待预测模块的影响线性相关关系不确定，所以首先计算各个因子模块与arima系统输出残差的相关系数，通过计算相关性的方法确定每一个因子模块的状态值与arima系统输出残差序列(差分占比序列)的相关系数。将所述相关性大于阈值的状态值作为线性参数，不大于阈值的状态值作为非线性参数，进而得到a个线性参数，b个非线性参数，然后建立因子模块与残差序列的semi
‑
parametric模型，满足：
[0086]
y＝u
t
β+m(t)+ε
[0087]
其中，其中，u＝(u1,
…
,u
a
)
t
，u1,
…
,u
a
代表a个线性参数，t＝(t1,
…
,t
b
)
t
， t1,
…
,t
b
代表b个非线性参数，β为系数，ε是误差扰动项。
[0088]
在一些实施例中，可以应用local
‑
polynomial
‑
regression方法得到 non
‑
parametric模型β的估计结果，结合arima系统对待预测模块warning 日志数量占比的预测，用差分后的待预测模块warning日志数量占比序列得到校正误差后的组合预测值如下，并以此对应模块告警等级。
[0089][0090]
其中，为差分占比序列，α
t
，α
t
‑1…
α
t
‑
p
为β
t
‑1，...，β
t
‑
q
为θ2b2，...，θ
q
b
q
。
[0091]
本发明提出的方案基于系统日志和模块历史寿命、单位时间内出现的异常次数、相邻异常情况的间隔时长等三个影响因子数据集，不仅考虑到待预测模块自身规律的影响，还考虑了服务器各个模块的相互影响，通过 arima主系统，添加npm因子系统，建立spm校正
‑
组合预测系统，预测待预测模块的告警日志占比。这样能够通过isrest收集的系统日志，基于待预测模块自身规律以及其他因子模块对该模块的影响，建立arima和 spm模型，较为准确地预测待预测模块t+1时段的告警日志占比，并对应得到告警等级提供给服务器运维人员，为运维人员提供较为及时准确的预判，避免更大程度的损失。
[0092]
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种告警日志占比预测系统400，如图4所示，包括：
[0093]
获取模块401，配置为获取待预测模块在多个单位时间内分别产生的告警日志以及获取所有模块在多个单位时间内分别产生的日志以得到在每一个单位时间内所述待预测模块产生的告警日志的占比；
[0094]
第一模型建立模块402，配置为将多个所述占比构成占比序列并利用所述占比序列建立arima模型；
[0095]
第二模块建立模块403，配置为获取每一个其他模块对应的多个影响因子序列并根据所述多个影响因子序列确定所述每一个其他模块的状态预测模型；
[0096]
预测模块404，配置为根据所述状态预测模型和所述arima模型预测下一单位时间内所述待预测模块产生的告警日志的占比。
[0097]
本发明提出的方案基于系统日志和模块历史寿命、单位时间内出现的异常次数、相邻异常情况的间隔时长等三个影响因子数据集，不仅考虑到待预测模块自身规律的影响，还考虑了服务器各个模块的相互影响，通过 arima主系统，添加npm因子系统，建立spm校正
‑
组合预测系统，预测待预测模块的告警日志占比。这样能够通过isrest收集的系统日志，基于待预测模块自身规律以及其他因子模块对该模块的影响，建立arima和 spm模型，较为准确地预测待预测模块t+1时段的告警日志占比，并对应得到告警等级提供给服务器运维人员，为运维人员提供较为及时准确的预判，避免更大程度的损失。
[0098]
基于同一发明构思，根据本发明的另一个方面，如图5所示，本发明的实施例还提供了一种计算机设备501，包括：
[0099]
至少一个处理器520；以及
[0100]
存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行如上的任一种告警日志占比预测方法的步骤。
[0101]
基于同一发明构思，根据本发明的另一个方面，如图6所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601 存储有计算机程序指令610，计算机程序指令610被处理器执行时执行如上的任一种告警日志占比预测方法的步骤。
[0102]
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
[0103]
此外，应该明白的是，本文的计算机可读存储介质(例如，存储器) 可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。
[0104]
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
[0105]
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
[0106]
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
[0107]
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
[0108]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0109]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。