素的提取，根据评价的高低产生相应量 化的评分，这样对三种类型的证据，都能够进行量化的度量，产生评分。
[0035] (5)生成领域软件可信性评估报告
[0036] 基于已经建立的评估模型，结合相关证据形式化度量产生的评分，可以开展实际 的评估工作，如图1、图2所示，自底向上对评估模型进行实例化，根据每个节点定义的组 合运算、分支权重和分支节点的评分，能够计算节点的评分。基于实例化后的评估模型，与 等级模型中的映射条件进行匹配，从而确定领域软件对应的可信等级。评估报告中不仅包 含软件对应的可信等级，还包含具体的评估数据，同时，由于等级模型中的可信等级是有序 的，通过分析软件达到比当前等级更高可信等级的映射条件和具体评估数据，能够确定制 约软件可信性的瓶颈问题，关于瓶颈问题分析也应结合具体数据在报告中给出。
[0037] 下面结合一个电力领域的具体实例对本发明的【具体实施方式】做简要说明。采用本 发明提出的方法，针对电厂生产管理软件进行可信性评估，按照图1给出的实施步骤进行 评估：
[0038] (1)建立属性模型
[0039] 根据评估需求和实际应用需求，对电厂生产管理软件需要考察的方面进行分析， 确定需要考察的具体属性指标。通用属性中重点考察可用性和可靠性，因此选择指标为 {功能可用率，系统故障间隔}，领域属性中重点考察对领域编码的支持程度，因此选择指 标为{:物资编码支持度，故障编码支持度}，应用属性中重点考察对本厂重要业务流程的支 持程度，主要考察软件对本厂的燃料检测流程和方法的支持程度，因此选择指标为{燃料 检测规定支持度}。本例中为了简化评估过程，选择以上的5个指标参与评估，具体的结构 可以参见表1。
[0040] (2)建立评估模型
[0041] 根据评估分数计算方法，按照图2所示的结构，定义本例中需要考察的属性分组 和属性目标的结构，根据属性目标的重要性定义权重，并对相应的证据进行说明，具体情况 参见表1。相关证据也按照属性结构进行组织，分别对应不同的属性目标，也需要定义相应 的权重和计算方法，这里不做详细的描述。
[0042] 表1评估实例中的属性目标结构、权重及相关证据
[0044] (3)建立等级模型
[0045] 根据软件等级评估需求，基于已经建立的评估模型，按照图2所示的方式，建立本 例的等级模型，具体模型参见表2。
[0046] 表2评估实例中的等级模型及映射条件
[0048] (4)证据的形式化度量
[0049] 对于每个评估中需要使用的证据都要进行形式化的度量，这样才能给出量化的评 分，从而开始具体的评估过程。这里对本例中使用的部分证据按照图3所示的方法进行处 理，原始证据来自于软件需求分析文档和用户反馈文档，通过对原始证据进行预处理，生成 参与评估的标准证据，其中第一个原始证据可以分解出一个功能描述证据（软件需要提供 操作票管理功能）和一个条件描述证据（软件需要支持多用户并发操作），第二个原始证据 可以分解出两个条件描述证据（软件采用JSP实现；部署服务器应免费开源），第三个原始 证据可以分解出两个评价描述证据（软件使用评价总体不错；软件对设备故障编码支持不 好）。针对不同类型的证据按照不同的方法进行度量，产生相应的评分。
[0050] 原始证据①："……电厂设备的任何操作都需要使用操作票，软件应支持操作票的 增、删、改、查等基本操作，应保证多个用户同时管理操作票……"；
[0051] 原始证据②："……软件应采用JSP语言实现，部署在免费开源的服务器上……"；
[0052] 原始证据③："……软件使用整体上感觉不错，但是未很好的支持设备故障编码， 对于设备故障管理、操作票管理等相关的操作不太方便……"。
[0053] (5)进行评估并生成可信性评估报告
[0054] 基于已经产生量化评分的证据，按照图3所示，自底向上针对每个节点进行计算， 具体计算过程如表3所示：
[0055] 表3评估模型中每个节点的评分计算
[0057] 根据表2和表3可以确定软件的可信等级，同时，基于这些具体的数据能够分析软 件的瓶颈问题，提出具体的改进建议，这些内容都应包含在可信评估报告中，如本例中的评 估报告应主要包含以下内容：
[0058] ?结论：总体评分7. 32分，对应可信等级1级
[0059] ?具体评分：通用属性总体评分7. 5分，领域属性总体评分6. 8分......
[0060] ?瓶颈问题分析：软件如果想要映射到更高可信等级，总分未达标且领域属性组 的单项属性目标评分未达标，主要问题在于"故障编码支持度"这项属性指标评分较低……
[0061] 鲁改进建议：软件需要更好地支持设备故障编码，在主要的功能中固化编码标 准，……
【主权项】
1. 一种基于形式化程度的领域软件可信性评估方法，包含以下步骤： 步骤（1):建立需要考察的领域软件特性的属性模型； 步骤（2):选择与属性相关的证据，自定义运算逻辑，建立评估模型； 步骤（3):根据评估需求，基于评估模型，自定义映射条件，建立可信等级模型； 步骤（4):对选择的领域软件证据进行形式化分析，基于评估模型度量软件的形式化 程度，通过与等级模型的匹配和映射，对领域软件的可信性进行评价。2. 根据权利要求1所述的一种基于形式化程度的领域软件可信性评估方法，其特征在 于步骤（1)所述的属性模型具有层次结构，包括通用特性、领域特性和应用特性三个方面， 每个方面可划分为多个层次的属性组，属性组中包含相关的具体属性目标。3. 根据权利要求1所述的一种基于形式化程度的领域软件可信性评估方法，其特征在 于步骤（2)所述的评估模型为自定义的树形结构模型，模型的非叶节点定义了各分支的组 合运算，叶节点则定义了相关证据的组合运算，各节点能够根据定义的运算逻辑计算出评 分。4. 根据权利要求1所述的一种基于形式化程度的领域软件可信性评估方法，其特征在 于步骤（3)所述的等级模型是基于评估模型自定义的，模型中包含描述软件可信程度的多 个有序等级，每个等级对应多个映射条件，通过与映射条件的匹配确定领域软件的可信等 级。5. 根据权利要求1所述的一种基于形式化程度的领域软件可信性评估方法，其特征在 于所述步骤（4)具体包含以下步骤： 步骤（4. 1)将基于属性模型选择的评估证据进行分组和预处理，证据分为功能描述、 评价描述、条件描述三种类型，需对证据进行形式化分析之前的预处理； 步骤（4.2)根据证据的不同类型分别进行形式化分析，针对每个证据产生一个量化的 评分，评分的高低表明了证据的形式化程度； 步骤（4.3)基于已经建立的评估模型，最底层的与属性目标相关的证据已经赋值，自 底向上根据自定义的运算逻辑逐层计算评分； 步骤（4.4)基于等级模型，通过将已赋值的评估模型实例与映射条件进行匹配，能够 确定领域软件对应的可信等级； 步骤（4.5)生成领域软件可信性评估报告，报告中给出软件的可信等级并结合评估数 据指出制约软件可信性的瓶颈问题。
【专利摘要】本发明公开了一种基于形式化程度的领域软件可信性评估方法，包含以下步骤：步骤(1)建立需要考察的领域软件特性的属性模型；步骤(2)选择与属性相关的证据，自定义运算逻辑，建立评估模型；步骤(3)根据评估需求，基于评估模型，自定义映射条件，建立可信等级模型；步骤(4)对选择的领域软件证据进行形式化分析，基于评估模型度量软件的形式化程度，通过与等级模型的匹配和映射，对领域软件的可信性进行评价。本发明充分考虑了领域软件的通用属性和领域特性，将形式化程度的分析引入到领域软件的可信性评估中，使评估结果具有更高的可信度，同时，通过建立属性模型、评估模型和等级模型，能够为领域软件可信性分析及后续研究提供更加有力的支持。
【IPC分类】G06F21/57
【公开号】CN105184170
【申请号】CN201510599859
【发明人】包铁, 韩璐, 刘淑芬, 姚志林, 张欣佳, 李兵, 曲明
【申请人】吉林大学
【公开日】2015年12月23日
【申请日】2015年9月21日