基于多指标度量的可靠性评估结果的可信评价方法与流程

本发明涉及软件可靠性评估领域，具体涉及一种基于多指标度量的可靠性评估结果的可信评价方法。
背景技术：
：软件可靠性评估的主要目标是根据已有的关于软件系统的信息，对软件系统的可靠性进行分析和评估，确定其是否满足开发、维护和使用要求，并对软件的设计结构和功能实现等方面做出相应指导。通过对计算机技术、人工智能、概率论等方法的交叉运用，软件可靠性评估作为一种指标评估系统已经形成了一套相对成熟的理论体系。然而，由于构件软件和由构件软件构成的软件系统情况十分复杂，可靠性评估所需数据的采集和整理等方面不可避免地会受到各种因素的影响，使得评估结果与真实情况之间产生一定的偏离，即存在误差。可靠性评估模型对评估对象的实际运行情况进行不同程度的模拟和简化等原因，可靠性的最终评估结果是否足够可信成为可靠性评估之后的新问题。因此需要对可靠性评估结果的评价方法进行研究，确定该结果是否符合构件软件系统的真实情况，进而说明对系统所做的可靠性评估能否发挥原定作用。软件可靠性评估过程的本质是一项映射，即把软件和软件系统的状况和特性参数作为输入，通过预设的可靠性评估模型，输出可靠性相关参量，如可靠度、平均失效间隔时间、等。因此，评估结果中存在的误差来源可以划分为以下三种：输入误差、模型误差和随机误差。下面分别说明这三种误差类别及对应的评价方法。输入误差是指在对软件和系统的状况的整理、分析、描述后得到的可靠性评估输入参数与真实状况有差距，令评估结果与真实结果之间存在一定误差。因为评估模型的映射函数本身十分复杂，有可能在定义域内的某些点附近存在混沌现象，使得输入量的微小变化经过映射后被不可控制地放大，从而影响作为输出量的评估结果的精确程度。一般来说，可以通过灵敏度分析或不确定性分析等方法，确定输入量的微小变化对输出量的影响大小，达到检验输入误差大小的目的。模型误差是指可靠性评估模型在计算过程中产生的随机误差，而其它可能导致评估结果不准确的误差则归类为随机误差。两者的区别在于，模型误差来源于评估模型在对软件的真实情况进行仿真时固有的不确定性，而其他误差来自输入数据和评估模型之外的随机扰动。一般来说，可以通过统计学方法如方差分析等区分模型误差和随机误差，并分别确定它们各自对评估结果的影响大小，实现检验误差大小的效果。构件软件可靠性评估结果的评价方法主要是针对评估结果是否具有可信性，即经过评估模型计算出的预测值与代表真实情况的真值相比，其偏差值是否在软件工程可以接受的范围内。这里拟使用四个指标来对评估结果的可信性进行评价：准确性；稳定性；稳健性；不确定度。准确性是指评估结果与真值(或其他可以近似代表真值的参考值)相比是否足够相近；稳定性是指多次对开发状况和运行状况相同的同一构件软件系统进行评估后，得出的多个评估结果之间是否足够相近；稳健性是指考虑到对待评估的软件系统进行数据信息采集时可能出现的误差，因而对输入情况进行微小改动后，观察得到的评估结果的变化情况，如果变化较小则说明即便存在输入误差，评估结果依然与真实情况相差不远。不确定度指标则是在考虑已知评估方案各参数的不确定度前提下，对系统的可靠性评估结果的不确定度进行合成与计算，从而判断评估结果是否可靠。如果评估结果在以上四个方面都表现较好，则足以说明该结果可以用来表示软件系统的实际可靠性状况。技术实现要素：针对构件软件系统的可靠性评估结果进行评价，考虑在缺乏真实值情况下，无法判断两种可靠性评估方案孰优孰劣的技术难点，基于稳定性、准确性、稳健性、不确定度等公认的可靠性评估结果度量指标，提出了一种基于多指标度量的构件软件系统可靠性评估结果评价技术，解决可靠性评估结果的可信性问题过于依赖敏感性分析，且可靠性评估方案无法有效优胜劣汰等问题。该方法的具体步骤如下：步骤1、采用可靠性评估方案对构件软件进行可靠性评估，获取可靠性评估结果。步骤2、针对所述可靠性评估结果，计算其对应的稳健性参数。步骤3、计算所述可靠性评估结果对应的准确性参数。步骤4、计算所述可靠性评估结果对应的稳定性参数。步骤5、针对所述构件软件的可靠度与不确定度，计算所述可靠性评估结果的不确定参数。步骤6、确定所述稳健性参数、所述准确性参数、所述稳定性参数与所述不稳定性参数对所述可靠性评估结果的可信性的影响权重。步骤7、根据步骤6得到的所述稳健性参数、所述准确性参数、所述稳定性参数与所述不稳定性参数对所述可靠性评估结果的可信性的影响权重，获得所述可靠性评估结果的可信性参数。步骤8、重复步骤1至步骤7，获取其他可靠性评估方案所得的构件软件可靠性评估结果的可信性参数。步骤9、比较所评估的所有可靠性评估方案所得的构件软件可靠性评估结果的可信性参数，得到最优可靠性评估方案。所述步骤6具体的方法如下：步骤601、采用专家打分法，将所述稳健性参数、所述准确性参数、所述稳定性参数与所述不稳定性参数进行两两比较，构造判断矩阵。步骤602、计算一致性指标，确定所述判断矩阵的一致性指标。步骤603、若所述判断矩阵的一致性指标满足条件，计算所述准确性参数、所述稳定性参数与所述不稳定性参数对所述可靠性评估结果的可信性影响权重。若所述判断矩阵的一致性指标不满足条件，采用重新进行专家打分、一致性调整方法进行调整，直至所述判断矩阵的一致性指标满足条件，计算所述准确性参数、所述稳定性参数与所述不稳定性参数对所述可靠性评估结果的可信性影响权重。所述稳健性参数为在假设输入偏差的基础上验证所述可靠性评估结果的变化范围，确定输入误差在可接受程度的概率，可采用一次二阶矩方法获取。所述准确性参数的计算方法为：若可靠性参数的真实值存在，则其中e为准确性参数，xi为第i次可靠性参数的评估结果(i＝1,2,…,k)，s为可靠性参数的真实值。若可靠性参数的真实值不存在，则：其中e＝1/e′为准确性参数，xi为第i次可靠性参数的评估结果(i＝1,2,…,k)，s1和s2分别为经另外两种可靠性评估方案得出的评估结果。所述条件为：当所述判断矩阵阶数小于等于2时，一致性比例为0；当所述判断矩阵阶数大于2时，一致性比率小于0.1。所述一致性比率为所述一致性指标与所述随机一致性指标的比值。当前国内外对于可靠性评估结果的评价方法，只是从误差分析或敏感度分析等角度进行判断，判断角度过于单一，判断结果也缺乏可信性，判断条件也过于苛刻，在无法获得真实可靠性结果的情况下，无法判断评估方案的好坏。因此，本技术在传统评估结果评价方案的基础上进行了优化，提出了四个认可度较高的可靠性评估结果评价度量指标，并从这四个指标对可靠性评估方案进行综合度量，为评估方案的选取和改进提供强有力的指导。附图说明图1是基于多指标度量的构件软件系统可靠性评估结果评价技术流程图。具体实施方式下面结合附图对本发明的具体实施方式进行详细论述。图1给出了基于多指标度量的构件软件系统可靠性评估结果评价技术流程图。具体实施过程如下：第一步：采用基于体系结构的某构件软件可靠性评估方案对某一构件软件系统进行可靠性评估。具体的：建立构件软件体系结构，进行构件可靠性评估，再进行系统可靠性评估，得出可靠性评估结果。第二步：针对该评估方案的评估结果，计算构件软件可靠性评估结果对应的稳健性参数，即在假设输入偏差的基础上验证评估结果的变化范围，确定输入误差在可接受程度的概率。由于软件可靠性评估的输入量可能存在一定程度的不确定性变化，导致评估结果产生相应的误差，因此采用一次二阶矩方法，在假设输入偏差的基础上验证评估结果的变化范围，确定输入误差对评估结果的影响。可靠性评估结果可表示为：y＝f(x)其中x＝(x1，x2，...，xn)t，表示评估模型的输入向量，xi(i＝1，2，...，n)为输入量；y表示评估模型的输出向量，即评估结果；f表示评估模型的映射规则。假设输入值x在真实值xd附近做微小变化，即：x＝xd+xp其中，表示x的确定部分，xp＝(δx1，δx2，...，δxn)t表示x的随机部分，且有1)xp的均值为0；2)|xp|远小于|xd|。此时有：y＝yd+yp＝f(x)＝fd(x)+fp(x)其中，yd＝fd(x)＝f(xd)表示y的确定部分，yp＝fp(x)表示y的随机部分，这一部分是由于输入量x的随机变动导致的评估结果变化，即输入误差，故同样有1)yp的均值为0；2)|yp|远小于|yd|。对映射y＝f(x)在xd处做一阶taylor展开，有：其中和分别为和(i＝1，2，...，n)的略写。由y＝fd(x)+fp(x)可得：由统计学分析可知，输出量y的期望：μf＝e[f(x)]＝e[fd(x)]+e(fp(x)]＝fd(x)＝f(xd)输出量y的方差：假设y近似服从正态分布，即假如输入误差的可接受程度定义如下：当输入量x的变动范围为10％时，导致输出量y的输入误差范围不大于10％。则这种情况的概率为其中μf＝f(xd)这一概率值越高，说明评估结果的输入误差越有可能被限定在可接受程度内，即结果的稳健性越好。通常认为p≥80％时，评估结果的稳健性较好，这里取p作为稳健性参数。第三步：针对该评估方案的评估结果，计算构件软件可靠性评估结果对应的准确性参数。软件可靠性评估结果可以视为服从某种特定分布规律的随机变量。假设对同一软件或软件系统进行k次可靠性评估，所得结果分别为x1、x2……xk，则第i次评估结果的绝对误差可表示为：ei＝|xi-s|其中s表示可靠性的真实值，此时有：其中表示k次评估结果的算术平均值；表示第i次评估结果相对于评估模型消除不确定性后的标准结果的误差，即模型误差；表示评估模型的标准结果相对于真实值的误差，由于已经计算过输入误差和模型误差，因此该项显示为随机误差。评价模型误差大小的标准为稳定性，即模型误差越小，评估结果的稳定性越好；评价随机误差大小的标准为准确性，即随机误差越小，评估结果的准确性越好。评价结果的准确性可以由对同一软件或软件系统进行多次评估后得出的结果的平均值与真实值之间的相对差值表示，考虑到某些软件或软件系统的可靠性参数真实值无法获得或获取难度较大，此处的真实值可分为以下两种情况：当能够获取可靠性参数真实值的情况下，如存在某些专门用以验证软件可靠性的数据时，可采用可靠性参数的真实值进行评价，即其中e为准确性参数，xi为第i次可靠性参数的评估结果(i＝1,2,…,k)，s为可靠性参数的真实值；当无法获取真实值时，可以取除本评估模型方法外的两种可靠性评估方法进行分别评估，并取两者结果的平均值作为真实参考值。由于许多已有的可靠性评估方法经过长期实践检验，具有一定的参考价值，故可作为参考来近似代表真实值，此时：其中e＝1/e′为准确性参数，xi为第i次可靠性参数的评估结果(i＝1,2,…,k)，s1和s2分别为经由另外两种评估方法得出的评估结果。当e≤30％时，可以认为评估结果的准确性较好。第四步：针对该评估方案的评估结果，计算构件软件可靠性评估结果对应的稳定性参数。软件可靠性评估结果的稳定性可以由方差分析法确定模型误差和随机误差的相对大小，继而判断模型误差与随机误差的比值是否在可接受范围内。对m个不同状况或水平下的软件或软件系统可靠性分别做n次可靠性评估，得到m×n个样本，记录如下表：表1不同水平下可靠性评估结果分布表则有：st＝se+sa其中：此时se反映了对同一状况下软件或软件系统评估结果的离散程度，代表了评估过程的随机误差；sa反映了软件或软件系统的不同状况导致的评估结果离散程度，代表评估模型自身的误差。如果sa显著大于se，说明评估的模型误差超出应有的水平。假设全部样本均满足以下三个条件：1)、样本随机变量近似服从正态分布；2)、各样本随机变量的方差相同；3)、各样本之间相互独立。令：令统计量s为稳定性参数，服从分布自由度为(m-1，m(n-1))的f分布。取显著性系数α＝0.95，当s≤f0.05(m-1，m(n-1))时，认为模型误差在可接受范围内，评估结果的稳定性较好。常用f分布表(α＝0.95)如下：表2显著性系数α＝0.95时的f分布表第五步：根据构件的可靠度及其不确定度，计算系统可靠性评估结果的不确定度参数。由于构件软件和系统的可靠性评估的函数为非线性，且各输入量间均不相关，因此可以由泰勒级数展开成为近似线性的测量模型，被测量的估计值y的合成标准不确定度uc(y)的表达式中包括泰勒级数展开式中的高阶项。当每个输入量xi都是正态分布时，考虑高阶项后的系统可靠性评估结果不确定度公式计算为：将代入上式中，即可得到基于不确定度指标的软件系统可靠性评估结果评价公式为uc(y)：其中，r1，r2，......，rn为各个构件的软件可靠性评估结果，μ(ri)为各个构件可靠性评估结果对应的不确定度。通常认为，不确定度越小可靠性评估结果越可信，取不确定度参数第六步：采用两两比较法，确定稳健性、准确性、稳定性和不确定度对可靠性评估结果的可信性影响的权重。第601步：采用专家打分法，将四个因素两两比较，构造判断矩阵。将稳健性、准确性、稳定性和不确定度4个因素两两进行比较，用aij表示因素ai比因素aj相对的重要程度，具体的标度见表3:表3专家打分标度将两两比较结果列在判断矩阵中：第602步：计算一致性指标，判断矩阵的一致性。在判断矩阵的构造中，并不要求判断一致性，这是因为客观事务的复杂性与人的认识多样性所决定的，但要求判断有大体的一致性，即排除一些违反常识的判断。当判断偏离一致性过大时，计算出来的结果作为决策依据将出现某些问题。因此需要进行一致性检验，其步骤如下：计算一致性指标(m为判断矩阵的阶数，λmax为判断矩阵的最大特征值)，查找相应的随机一致性指标r.i.，并计算一致性比率当c.r.<0.1时,认为矩阵的不一致程度可以接受，否则需重新构造判断矩阵。其中对于一、二阶矩阵总是一致的，即c.r.＝0。表4随机一致性指标r.im12345678910r.i000.580.901.211.241.321.411.451.49第603步：判断矩阵的一致性条件满足时计算四个因素对软件可靠性评估结果可信性影响的相对重要程度即四个因素的影响权重。将判断矩阵的每一行分别相加，再将所得的列向量归一化(每一项除以列中各行之和)，即得出各因素a1、a2、a3、a4的相对重要度，依次排序。第604步：判断矩阵的一致性指标不满足时，进行重新打分或采用一致性调整方法进行一致性调整，当满足一致性指标时重新计算四个因素对软件可靠性评估结果可信性影响权重。第七步：根据稳定性、准确性、稳健性、不确定度参数计算结果及其影响权重得出采用该方案计算的软件可靠性评估结果的可信性。第八步：重复第一至第六步。计算采用其他可靠性评估方案进行可靠性评估时的可信性参数。第九步：比较各方案的可信性计算结果，得出最优方案。可信水平越高，说明评估方案越优。当前第1页12