一种基于Hadoop的分布式系统的健康度量方法与流程

技术特征：

1.一种基于Hadoop的分布式系统的健康度量方法，其特征在于，针对基于Hadoop的分布式系统软件，执行以下步骤：

步骤一、选取软件的健康表征元素；考虑老化缺陷的影响，选取的健康表征元素要求容易受到使用时间的影响，并且易于获取数据；

步骤二、运行软件，分别在期望正常状态下以及待度量运行状态下，收集健康表征元素的数据；

步骤三、建立健康度量的高斯混合模型；

设共选取n个健康表征元素，表示为集合X＝(X₁,X₂,...,X_i,...,X_n)，其中第i个健康表征元素为X_i，1≤i≤n；第i个健康表征元素X_i的一组观测值表示为(x_i1,x_i2,…,x_ij,…,x_im)，m为观测值个数，x_ij表示对健康表征元素X_i的第j次观测值，1≤j≤m；用表示第i个健康表征元素的高斯分布概率密度，x_i表示第i个健康表征元素的变量，μ_i表示第i个健康表征元素的均值，表示第i个健康表征元素的方差；

软件健康表征元素X的高斯混合模型的概率密度函数G(x₁,x₂,...,x_i,...,x_n)表示为：

$G(x_1,x_2,...,x_i,...,x_n)=\underset{i=1}{\overset{n}{\Σ}}{w}_i{p}_i(x_i,{\mathrm{\μ}}_i,{\mathrm{\σ}}_i^2)$

其中，w_i为第i个健康表征元素的权重；

分别利用期望正常状态下和待度量运行状态下的健康表征元素的数据来估计高斯混合模型的参数μ_i、和w_i，得到对应两种情况下的高斯混合模型的概率密度函数；

步骤四、获取软件的健康度h；

根据步骤三获得的期望正常状态下的高斯混合模型的概率密度函数G₁(x₁,x₂,...,x_n)，待度量运行状态下的高斯混合模型的概率密度函数G₂(x₁,x₂,...,x_n)，确定软件的健康度h如下：

$h=\frac{{\∫}_0^{C_n}...{\∫}_0^{C_1}{G}_1(x_1,x_2,...,x_n)G_2(x_1,x_2,...,x_n){\mathrm{dx}}_1{\mathrm{dx}}_2...{\mathrm{dx}}_n}{\sqrt{{\∫}_0^{C_n}...{\∫}_0^{C_1}{G_1}^2(x_1,x_2,...,x_n){\mathrm{dx}}_1{\mathrm{dx}}_2...{\mathrm{dx}}_n}\sqrt{{\∫}_0^{C_n}...{\∫}_0^{C_1}{G_2}^2(x_1,x_2,...,x_n){\mathrm{dx}}_1{\mathrm{dx}}_2...{\mathrm{dx}}_n}}$

其中，C_i表示第i个健康表征元素的最大值，i＝1,2,…,n；

软件健康度h的取值范围是[0,1]，当软件健康度h＝1时，表示软件运行正常，处于健康态；当软件健康度h＝0时，表示软件性能状态恶化，处于失效态；当软件健康度处于(0,1)之间时，表示软件稳定性、可用性逐渐下降，软件处于亚健康状态；根据软件可接受的运行状态，设置健康度的阈值，来判断软件是否需要进行维护以防止性能状态的进一步恶化。

2.根据权利要求1所述的一种基于Hadoop的分布式系统的健康度量方法，其特征在于，所述的步骤一中，在内存和CPU的使用情况中选取健康表征元素，选取的健康表征元素包括内存使用量和/或内存可用量，以及CPU使用率和/或CPU平均负载。

3.根据权利要求1所述的一种基于Hadoop的分布式系统的健康度量方法，其特征在于，所述的步骤二中，所述的期望正常状态是由软件开发人员给出的、健康度为1的系统状态，在该状态下，软件不会出现功能异常，是绝对正常状态。

4.根据权利要求1所述的一种基于Hadoop的分布式系统的健康度量方法，其特征在于，所述的步骤三中，所述的第i个健康表征元素的高斯分布概率密度的表达式为：

$p_i(x_i,{\mathrm{\μ}}_i,{\mathrm{\σ}}_i^2)=\frac{\exp \{-\frac{1}{2}{(x_i-{\mathrm{\μ}}_i)}^2{\mathrm{\σ}}_i^{-2}\}}{{\left(2\mathrm{\π}\right)}^{1/2}{\mathrm{\σ}}_i}.$

5.根据权利要求1或4所述的一种基于Hadoop的分布式系统的健康度量方法，其特征在于，所述的步骤三中，估计高斯混合模型的参数的过程为：

步骤3.2.1，使用最大似然估计确定中的μ_i和

建立的对数似然函数：

$L({\mathrm{\μ}}_i,{\mathrm{\σ}}_i^2|x_i)=ln\underset{j=1}{\overset{m}{\Π}}{p}_i(x_{ij},{\mathrm{\μ}}_i,{\mathrm{\σ}}_i^2)=-\frac{m}{2}ln\left(2\mathrm{\π}\right)-m{\mathrm{ln\σ}}_i-\frac{1}{2}\underset{j=1}{\overset{m}{\Σ}}\frac{{(x_{ij}-{\mathrm{\μ}}_i)}^2}{{\mathrm{\σ}}_i^2}$

对对数似然函数的未知参数μ_i和分别求偏导数，并令偏导函数等于0，得到：

$\frac{\∂L({\mathrm{\μ}}_i,{\mathrm{\σ}}_i^2|x_i)}{\∂{\mathrm{\μ}}_i}=\underset{j=1}{\overset{m}{\Σ}}\frac{(x_{ij}-{\mathrm{\μ}}_i)}{{\mathrm{\σ}}_i^2}=0$

$\frac{\∂L({\mathrm{\μ}}_i,{\mathrm{\σ}}_i^2|x_i)}{\∂{\mathrm{\σ}}_i^2}=\frac{-m}{2{\mathrm{\σ}}_i^2}+\underset{j=1}{\overset{m}{\Σ}}\frac{{(x_{ij}-{\mathrm{\μ}}_i)}^2}{2{\mathrm{\σ}}_i^4}=0$

解得μ_i和的参数估计结果为：

$\widehat{{\mathrm{\μ}}_i}=\frac{\underset{j=1}{\overset{m}{\Σ}}{x}_{ij}}{m}$

$\widehat{{\mathrm{\σ}}_i^2}=\frac{\underset{j=1}{\overset{m}{\Σ}}{\left(x_{ij}-\widehat{{\mathrm{\μ}}_i}\right)}^2}{m}$

根据参数估计的无偏性对进行偏差修正，修正后的结果为：

${{\stackrel{\‾}{\mathrm{\σ}}}_i}^2=\frac{\underset{j=1}{\overset{m}{\Σ}}{(x_{ij}-\widehat{{\mathrm{\μ}}_i})}^2}{m-1}$

分别利用期望正常状态下以及待度量运行状态下健康表征元素的观测值，获取两种情况下μ_i和的估计值；

步骤3.2.2，计算高斯混合模型公式中的权值w_i；

首先，求取混合模型的似然函数：

$ln\underset{j=1}{\overset{m}{\mathrm{\Π}}}G(x_1,x_2,...,x_n)=ln\underset{j=1}{\overset{m}{\mathrm{\Π}}}\underset{i=1}{\overset{n}{\Σ}}{w}_i{p}_i(x_{ij},{\mathrm{\μ}}_i,{{\mathrm{\σ}}_i}^2)=\underset{j=1}{\overset{m}{\Σ}}ln\[\underset{i=1}{\overset{n}{\Σ}}{w}_i{p}_i(x_{ij},{\mathrm{\μ}}_i,{{\mathrm{\σ}}_i}^2)\];$

定义函数为：

${\mathrm{\β}}_i\left(x_{i1},x_{i2},\mathrm{...},x_{im}\right)=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left(\frac{w_i{p}_i\left(x_{ij},{\mathrm{\μ}}_i,{{\mathrm{\σ}}_i}^2\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i{p}_i\left(x_{ij},{\mathrm{\μ}}_i,{{\mathrm{\σ}}_i}^2\right)}\right);$

引入拉格朗日乘子λ，得到新的目标函数如下：

$L\left(w_i\right|x_i)=ln\underset{j=1}{\overset{m}{\Π}}G(x_1,x_2,...,x_n)+\mathrm{\λ}(1-\underset{i=1}{\overset{n}{\Σ}}{w}_i);$

然后，对w_i求偏导数，并令其结果为零，如下：

$\frac{\∂L\left(w_i\right|x_i)}{\∂w_i}=\frac{1}{w_i}{\mathrm{\β}}_i(x_{i1},x_{i2},...,x_{im})-\mathrm{\λ}=0;$

解得结果为：

进而得到得到λ＝m；

获得权重i＝1,2,…,n；

联立n个w_i(i＝1,2,…,n)组成的方程组，求得w₁,w₂,…,w_n的值。