本发明涉及一种软件测试质量评价方法，尤其是应用于航空机载软件全生存周期的软件测试质量评价方法。
背景技术：
随着计算机应用的不断加深，软件的质量直接影响着这一应用的深度和广度。计算机系统的软件可靠性问题研究表明：由于软件设计故障引起的系统失效与由于硬件设计故障引起的失效比是10:1。软件故障正逐渐成为导致计算机系统失效的主要因素。软件质量问题已成为人们共同关注的焦点。机载软件是应用于机载设备内部的计算机软件，主要包括机上的信息管理和指令控制系统和系统的依托平台等。随着航空电子技术不断发展，现代飞机向着高度模块化、综合化的方向发展，软件在航空电子系统中所占的比重越来越大，功能越来越复杂，现代飞机几乎所有重要的功能系统都和机载软件相关，软件实现的功能随着每一代飞机而翻倍，机载计算机在飞行器控制系统中的广泛使用，机载软件质量问题愈显突出，甚至成为机载计算机软件能否发挥其优越性能的一个制约因素。
由于被测对象的数量很大,测控软件也十分复杂。评价要素的最终目的是为了能够使用有效、现行的数据。数据质量验证方法对于不同安全等级的机载软件数据,需采用不同的数据质量验证方法,以在满足数据安全性、可用性等因素条件下降低数据质量辨识成本。现有技术根据不同安全关键等级的数据需求,提出了针对性的数据质量确认、验证方法及其软件测试，虽然解决了航空机载软件如何测试的问题，但软件测试质量如何评价是软件测试今后发展过程中需要面对的问题。软件测试质量的好坏直接影响软件测试结果的有效性。建立软件测试质量模型和选择科学、合理的评价方法是软件测试质量评价的两个基本问题，也是当前软件测试质量评价研究中的难点。由于软件是航空机载装备的重要组成部分，软件测试是保障航空装备软件质量可靠性的重要手段。目前航空机载软件测试是由国家授权的软件测评机构依据国标、国军标、中国民用航空规章以及国际通行标准(do-178b/c等)考核航空机载产品中的软件是否符合软件研制任务书、软件需求规格说明、软件设计、接口设计等技术文件中明确的要求和实现方式。软件测试质量的好坏直接影响软件测试结果的有效性。但由于航空机载软件的复杂性和特殊性，虽然解决了如何测试的问题，但软件测试质量如何评价是软件测试今后发展过程中需要面对的问题。建立软件测试质量模型和选择科学、合理的评价方法是软件测试质量评价的两个基本问题，也是当前软件测试质量评价研究中的难点。国内外学者从测试过程、可靠性增长、缺陷残留风险、测试效率和测试成本等多个角度提出了许多有重要意义的软件测试质量评价方法，但缺乏从软件研制生存周期进行量化评价的方法。
技术实现要素：
本发明的目的是针对高安全关键的航空机载软件测试质量评价的难题，提供一种能够降低软件维护成本，提高软件测试质量，全生存周期软件测试质量评价度量方法，以帮助软件研发人员和项目管理人员客观、公正的量化软件测试质量，从而持续提高软件质量。
本发明解决现有技术问题所采用的方案是：一种航空机载软件测试质量评价方法，其特征在于包括如下步骤：根据航空机载软件研制全生存周期，将软件研制过程测试、三方测评、定型/鉴定测评和用户使用纳入度量模型，创建包括阶段层、活动层和度量元层的航空机载软件测试质量模型，并将航空机载软件测试项目中的典型缺陷和可复用测试用例等组织资产贡献度纳入度量元体系；在航空机载软件测试质量模型中，对执行预期功能所需的最小数据集合的全部要求进行定义，确定每个度量元的权重系数，收集测试阶段各度量元数值m(k)，计算出研制过程测试质量评价值t1；再根据各度量元权重系数之和等于1的原则确定三方测评阶段各度量元的权重系数，收集三方测评阶段各度量元数值，计算出三方测评质量评价值t2；然后根据各度量元权重系数之和等于1的原则确定定型/鉴定测评阶段各度量元的权重系数，收集定型/鉴定测评阶段各度量元数值，计算出定型/鉴定测评质量评价值t3；最后根据各度量元权重系数之和等于1的原则确定用户使用阶段各度量元的权重系数，以及一段时间内收集用户使用阶段各度量元数值，计算出用户使用质量评价值t4；通过t1-t2-t3-t4计算出航空机载软件测试质量评价值t，根据t值与测评机构测量库的基准值进行比较，确定航空机载软件测试的质量优劣。
本发明相比于现有技术具有如下有益效果：
降低软件维护成本，提高软件测试质量。本发明在航空机载软件测试质量模型中，对执行预期功能所需的最小数据集合的全部要求进行定义，确定每个度量元的权重系数，收集测试阶段各度量元数值m(k)，计算出研制过程测试质量评价值t1，为进一步提高第三方软件测评工作质量奠定了基础。通过确定三方测评阶段各度量元的权重系数，收集三方测评阶段各度量元数值，计算出三方测评质量评价值t2；确定定型/鉴定测评阶段各度量元的权重系数，收集定型/鉴定测评阶段各度量元数值，计算出定型/鉴定测评质量评价值t3；确定用户使用阶段各度量元的权重系数，一段时间内收集用户使用阶段各度量元数值，计算出用户使用质量评价值t4；提高了软件产品质量，降低软件维护成本，提高软件测试质量，提升软件运行可靠性方面成效显著。
本发明根据各活动和度量元的权重，以及各度量元采集的数值，计算出航空机载软件测试质量评价值t，根据t值与测评机构测量库的组织基准值进行比较，确定航空机载软件测试的质量优劣。建立软件测试质量评价模型，实施软件测试质量评价，促进航空机载软件测试质量改进。实现了高安全关键航空机载软件在机载设备的航空机载设备c型件研制阶段、s型件研制阶段、d定型阶段和p使用阶段的软件测试质量度量综合评价，在c阶段通过研制过程的四个软件测试活动(测试策划、测试设计、测试执行和测试总结)进行质量度量，在s阶段通过三方测评缺陷发现率和严重缺陷发现率进行质量度量，在d阶段通过定型/鉴定测评缺陷发现率和严重缺陷发现率进行质量度量，在p阶段通过用户使用缺陷发现率和严重缺陷发现率进行质量度量，使评价要素更完整、评价模型更合理，达到提升软件测试质量和航空机载软件质量的目的。
本发明的主要创新在于：一是将组织资产贡献度纳入度量元体系，其作用是鼓励测试人员将好的测试用例和典型缺陷纳入组织资产管理，便于积累测试经验、沉淀测试成果和提高测试技能；二是根据航空机载软件研制全生存周期，除软件研制过程测试外，将三方测评、定型/鉴定测评和用户使用纳入度量模型，使评价要素更完整、评价模型更合理，达到提升软件测试质量和航空机载软件质量的目的。
附图说明
下面结合附图和实施例对本专利进一步说明。
图1是航空机载软件测试质量评价流程图。
图2是航空机载设备研制阶段和软件测试阶段对应关系示意图。
具体实施方式
参阅图1。根据本发明，将组织资产贡献度纳入度量元体系，根据航空机载软件研制全生存周期，将软件研制过程测试、三方测评、定型/鉴定测评和用户使用纳入度量模型，创建包括阶段层、活动层和度量元层的航空机载软件测试质量模型，并将航空机载软件测试项目中的典型缺陷和可复用测试用例等组织资产贡献度纳入度量元体系；在航空机载软件测试质量模型中，对执行预期功能所需的最小数据集合的全部要求进行定义，确定每个度量元的权重系数，收集测试阶段各度量元数值m(k)，k代表18种度量元中的某一种度量元，计算出研制过程测试质量评价值t1；再根据各度量元权重系数之和等于1的原则确定三方测评阶段各度量元的权重系数，收集三方测评阶段各度量元数值，计算出三方测评质量评价值t2；然后根据各度量元权重系数之和等于1的原则确定定型/鉴定测评阶段各度量元的权重系数，收集定型/鉴定测评阶段各度量元数值，计算出定型/鉴定测评质量评价值t3；最后根据各度量元权重系数之和等于1的原则确定用户使用阶段各度量元的权重系数，以及一段时间内收集用户使用阶段各度量元数值，计算出用户使用质量评价值t4；通过t1-t2-t3-t4计算出航空机载软件测试质量评价值t，根据t值与测评机构测量库的基准值进行比较，确定航空机载软件测试的质量优劣。
在以下描述的实施例中，航空机载软件测试质量模型包括阶段层、活动层和度量元层，阶段层包括研制过程测试质量、三方测评质量、定型/鉴定测评质量和用户使用质量4个阶段，活动层包括测试策划质量、测试设计质量、测试执行质量和测试总结质量4项活动，度量元层包含18种度量元(见度量元取值表)，度量元的取值范围采用归一化处理，度量元的含义及计算方法见指标描述。针对评价开展的时机、技术和管理要求，度量元的种类和数量可以不同，因需要而设置。
航空机载软件测试质量模型的实现原理如下：
航空机载软件研制过程测试是由研制单位按照项目总体测试要求开展的软件测试工作，包括测试策划、测试设计、测试执行和测试总结4个活动，研制过程测试质量是根据测试策划质量、测试设计质量、测试执行质量和测试总结质量进行质量度量的。测试策划质量包括显性需求覆盖率、隐性需求覆盖率、测试策略充分性和测试环境差异性4个度量元，测试设计质量包括测试需求覆盖率、测试用例颗粒度2个度量元，测试执行质量包括测试用例执行率、回归测试用例比例和软件缺陷接受率3个度量元，测试总结质量包括组织资产贡献度、测试工具分析度和测试人员能力分析度3个度量元。
在研制过程测试后，项目总体单位指定具有软件测评资质的测评机构开展第三方测评。三方测评质量是从缺陷的探测程度来衡量软件测试工作的质量，由于测试不可能实现穷举，需在一定的时间和人力成本内进行，因此所有的测试工作理论上均不可能探测到所有缺陷，即不存在完美的软件或系统。三方测评质量采用三方测评结果与研制过程测试结果进行对比的方式进行评价，三方测评质量包含三方测评缺陷发现率和三方测评严重缺陷发现率2个度量元，属于减分项。
在三方测评后，项目主管机关指定具有软件测评资质的测评机构开展定型/鉴定测评，定型/鉴定测评质量采用定型/鉴定测评结果与研制过程测试结果和三方测评结果进行对比的方式进行评价，定型/鉴定测评质量包括定型/鉴定测评缺陷发现率和定型/鉴定测评严重缺陷发现率2个度量元，属于减分项。
在定型/鉴定测评后，航空机载软件产品交付用户，在一定时间内暴露出来的问题数量也是评价软件测试质量的一个重要维度，用户使用质量采用用户使用结果与研制过程测试结果、三方测评结果和定型/鉴定测评结果进行对比的方式进行评价，用户使用质量包括用户使用缺陷发现率和用户使用严重缺陷发现率2个度量元，属于减分项。
度量元取值表
航空机载软件测试质量评价的操作步骤：
第一步：航空机载软件研制过程测试阶段包含测试策划、测试设计、测试执行、测试总结4个活动，确定每个活动的权重系数，确定每个活动的权重系数a，权重系数按顺序定义为{a0,a1,a2,a3...ai}，且满足
式中，i为自然数。
每个活动ai包含若干度量元，确定每个度量元的权重系数b，按顺序定义为{b0,b1,b2……bm}，满足式(2)
第二步：确定三方测评阶段各度量元的权重系数，收集三方测评阶段各度量元数值，计算出三方测评质量评价值t2。
第三步：确定定型/鉴定测评阶段各度量元的权重系数，收集定型/鉴定测评阶段各度量元数值，计算出定型/鉴定测评质量评价值t3。
第四步：确定用户使用阶段各度量元的权重系数，一段时间内收集用户使用阶段各度量元数值，计算出用户使用质量评价值t4。
第五步：按照式(5)计算航空机载软件测试质量评价值t,
t＝t1-t2-t3-t4…………………………(5)
第六步：通过t与测评机构测量库的组织基准值进行比较，最终确定航空机载软件测试的质量优劣。
参阅图2。根据航空机载设备研制管理要求，航空机载设备研制阶段分为f方案研制阶段、c型件研制阶段、s型件研制阶段、d定型阶段和p使用阶段，f转c表示由方案阶段转到初样阶段，c转s表示由初样阶段转到试样阶段，s转d表示由试样阶段转定型阶段，d转p表示由定型阶段转到批生产阶段。航空机载软件研制阶段包括系统分析与设计、软件需求、软件设计、软件编码、软件集成、软件验收、系统集成、软件定型/鉴定、软件运行与维护。航空机载软件测试阶段包括研制过程测试阶段、三方测评阶段、定型/鉴定测评阶段、用户使用阶段。根据航空机载设备研制生存周期和型号软件工程化要求，航空机载软件在c型件研制阶段需开展研制过程测试质量度量，在s型件研制阶段需开展三方测评质量度量，在d定型阶段需开展定型/鉴定测评质量度量，三方测评和定型/鉴定测评质量度量是从缺陷的探测程度来衡量研制过程测试工作的质量，在p使用阶段需将软件产品交付用户使用后开展的用户使用质量度量，在一定时间内暴露出来缺陷数量的多少也是评价软件测试质量的一个维度。