一种云平台质量的评价方法及装置、电子设备与流程

1.本发明涉及平台质量评价技术领域，尤其涉及一种云平台质量的评价方法及装置、电子设备。


背景技术：

2.随着it领域持续发展，生产生活数字化持续进展，云形态的软件逐渐普及，云越来越成为承载数据及应用的基础设施，其质量状况越来越引起关注。基础设施一旦出问题，后果是灾难性的。然而，云做为目前最复杂的软件系统之一，评估其质量状况是非常困难的任务。而在一个版本更新到生产环境之前，又不得不对其做出评价。
3.传统技术中，通常采用mccall模型，boehm模型等对软件的运行状态或使用情况来评价其质量，iso/iec 2501n是目前的最新成果，此标准模型用8个特性及31个子特性来评估软件质量，对于单机系统和软件来说，是非常全面准确的评估模型。然而对于云平台这种分布式复杂系统，此模型缺少api(application program interface，应用程序界面)质量，高可用质量及监控告警质量等质量域的评估，这些质量域的质量对云平台的上线运行至关重要。


技术实现要素：

4.本发明要解决的技术问题是：针对现有技术中缺少对云平台这种分布式复杂系统各质量域能够进行全面评价的方法，提供一种云平台质量的评价方法。
5.本发明采用的技术方案是，所述云平台包括至少一个云产品，每个所述云产品包括至少两个质量子域，所述云平台质量的评价方法，包括：确定各个所述质量子域的覆盖率以及通过率；根据所述覆盖率以及所述通过率，利用预设的染色规则，确定所述云产品对应的质量地图中对应的各个所述质量子域的染色状况，其中，所述染色状况用于表征该质量子域的质量状况；利用所述质量状况，确定所述云平台的质量分。
6.在一个实施方式中，所述确定各个所述质量子域的覆盖率以及通过率，包括：根据所述质量子域所对应的预设覆盖率度量方法，确定所述质量子域对应的覆盖率；根据如下公式计算所述质量子域所对应的所述通过率：
[0007][0008]
其中，p为所述通过率，di为一优先级为i的测试用例权重，mi为所述质量子域中测试用例结果为通过且优先级为i的用例数，ni为所述质量子域中所有参与覆盖率计算的且优先级为i的用例总数。
[0009]
在一个实施方式中，所述根据所述覆盖率以及所述通过率，利用预设的染色规则，确定所述云产品对应的质量地图中对应的各个所述质量子域的染色状况，其中，所述染色状况用于表征该质量子域的质量状况，包括：绘制包括所有所述云产品与对应的所有所述质量子域的所述覆盖率以及所述通过率的对应表，以构成所述质量地图；当所述通过率大
于预设的第一通过率阈值，且所述覆盖率大于预设的第一覆盖率阈值时，将对应的所述质量子域在所述质量地图的对应位置配置为第一颜色；当所述通过率小于预设的第二通过率阈值，且所述覆盖率大于预设的第二覆盖率阈值时，将对应的所述质量子域在所述质量地图的对应位置配置为第二颜色；将所述质量地图中其他未被配置颜色的区域配置为第三颜色；其中，所述第一通过率阈值大于所述第二通过率阈值，所述第一覆盖率阈值大于所述第二覆盖率阈值。
[0010]
在一个实施方式中，所述利用所述质量状况，确定所述云平台的质量分，包括：利用如下公式，确定所述质量状况所对应的所述云产品的质量分：
[0011][0012]
其中，ω为所述云产品的质量分，k(p,c)为染色公式，d为高危遗留问题修正分，l为所述质量子域的总数；利用如下公式，确定至少一个所述云产品所共同对应的所述云平台的质量分：
[0013][0014]
其中，a为所述云平台的质量分，r为所述云平台中所述云产品的总数。
[0015]
本发明的另一方面提供了一种云平台质量的评价装置，所述云平台包括至少一个云产品，每个所述云产品包括至少两个质量子域，云平台质量的评价装置包括：计算模块，被配置为确定各个所述质量子域的覆盖率以及通过率；染色模块：被配置为根据所述覆盖率以及所述通过率，利用预设的染色规则，确定所述云产品对应的质量地图中对应的各个所述质量子域的染色状况，其中，所述染色状况用于表征该质量子域的质量状况；统计模块，被配置为利用所述质量状况，确定所述云平台的质量分。
[0016]
在一个实施方式中，所述计算模块被进一步配置为：根据所述质量子域所对应的预设覆盖率度量方法，确定所述质量子域对应的覆盖率；根据如下公式计算所述质量子域所对应的所述通过率：
[0017][0018]
其中，p为所述通过率，di为一优先级为i的测试用例权重，mi为所述质量子域中测试用例结果为通过且优先级为i的用例数，ni为所述质量子域中所有参与覆盖率计算的且优先级为i的用例总数。
[0019]
在一个实施方式中，所述染色模块被进一步配置为：绘制包括所有所述云产品与对应的所有所述质量子域的所述覆盖率以及所述通过率的对应表，以构成所述质量地图；当所述通过率大于预设的第一通过率阈值，且所述覆盖率大于预设的第一覆盖率阈值时，将对应的所述质量子域在所述质量地图的对应位置配置为第一颜色；当所述通过率小于预设的第二通过率阈值，且所述覆盖率大于预设的第二覆盖率阈值时，将对应的所述质量子域在所述质量地图的对应位置配置为第二颜色；将所述质量地图中其他未被配置颜色的区域配置为第三颜色；其中，所述第一通过率阈值大于所述第二通过率阈值，所述第一覆盖率阈值大于所述第二覆盖率阈值。
[0020]
在一个实施方式中，所述统计模块被进一步配置为：利用如下公式，确定所述质量状况所对应的所述云产品的质量分：
[0021][0022]
其中，ω为所述云产品的质量分，k(p,c)为染色公式，d为高危遗留问题修正分，l为所述质量子域的总数；利用如下公式，确定至少一个所述云产品所共同对应的所述云平台的质量分：
[0023][0024]
其中，a为所述云平台的质量分，r为所述云平台中所述云产品的总数。
[0025]
本发明的另一方面提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上中任一项所述的云平台质量的评价方法的步骤。
[0026]
本发明的另一方面提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的云平台质量的评价方法的步骤。
[0027]
采用上述技术方案，本发明至少具有下列优点：
[0028]
本发明所述的云平台质量的评价方法，能够对云平台这种分布式复杂系统各质量域进行全面评价，针对云平台的特殊性，对现有的质量模型进行增补。增加api质量，高可用及监控告警等质量域，使质量模型得出的评价更加准确。
[0029]
并且，本发明采用测试用例的覆盖率和通过率来综合评估各质量域质量，不依赖专家的主观判断，其结果更加客观，更加符合实际。
[0030]
进一步地，本发明根据各质量域的质量状况绘制出质量地图，使质量风险可见，可衡量。云平台客户从此图可以得出强项与弱项。云平台的研发测试可以从此图得得出哪个质量域有问题，哪里需要更多投入。
附图说明
[0031]
图1为根据本发明实施例的云平台质量的评价方法流程图；
[0032]
图2为根据本发明实施例中的染色规则的示意图；
[0033]
图3为根据本发明实施例中的质量地图经染色处理后的示意图；
[0034]
图4为根据本发明实施例的云平台质量的评价装置组成结构示意图；
[0035]
图5为根据本发明实施例的电子设备示意图。
具体实施方式
[0036]
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
[0037]
本发明中说明书中对方法流程的描述及本发明说明书附图中流程图的步骤并非必须按步骤标号严格执行，方法步骤是可以改变执行顺序的。而且，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0038]
本发明第一实施例，一种云平台质量的评价方法，如图1所示，包括以下具体步骤：
[0039]
步骤s1，确定各个所述质量子域的覆盖率以及通过率。
[0040]
步骤s2，根据所述覆盖率以及所述通过率，利用预设的染色规则，确定所述云产品对应的质量地图中对应的各个所述质量子域的染色状况，其中，所述染色状况用于表征该质量子域的质量状况。
[0041]
步骤s3，利用所述质量状况，确定所述云平台的质量分。
[0042]
下面将分步具体描述本实例中所提供的云平台质量的评价方法。
[0043]
步骤s1，确定各个所述质量子域的覆盖率以及通过率。
[0044]
本实施例中，云平台可以包括至少一个云产品(通常情况下会有很多个云产品)，其中，各个云产品根据需要，可包括多个质量域，各个质量域可以进一步包括一个或多个质量子域。
[0045]
本实施例中，是可以在iso/iec 2501n的质量模型的基础上，进行增补，具体地，可以包括对质量子域的增补。
[0046]
示例性地，每个云产品可以包括5个质量域，以及11个质量子域，具体地，5个质量域包括：可交付性，可用性，可靠性，可运维性，安全运营。进一步地，可交付性质量域包括e2e部署质量子域，可用性质量域包括api质量、e2e功能(ui)、性能容量3个质量子域，可靠性质量域包括高可用、长时稳定性2个质量子域，可运维性包括监控告警、数据备份、服务器运维3个质量子域，安全运营包括安全扫描、渗透测试2个质量子域，共计5个质量域，11个质量子域。
[0047]
本实施例中，各个质量子域均包括大量的测试用例，各测试用测被设置不同的处理优先级，具体可以为4级，在后续的步骤中，是可以按照各测试用例的优先级顺序对各个质量子域的测试用例依次进行处理。
[0048]
本实施例中，是根据所述质量子域所对应的预设覆盖率度量方法，确定所述质量子域对应的覆盖率，其具体的对应计算方法可以如下表所示：
[0049][0050]
由表中的对应关系，计算出各个云产品中，各质量子域的覆盖率c。
[0051]
需要说明的是，上述质量域数量的选择以及对应关系的划分是可以根据实际情况需要进行适当改变的，同样，表中所示的计算方法也不代表对应的质量子域只有唯一的计算方式，凡是在本发明的基础上进行的合理改动，均应包含在本发明的保护范围内。
[0052]
进一步地，可以计算各质量子域的通过率，可以理解的是，计算通过率无需在计算覆盖率的步骤之后，两者之间的先后顺序对本发明不造成影响，也就是说，计算各质量子域的通过率以及通过率的顺序是可以调整的。
[0053]
具体地，可以根据如下公式(1)计算质量子域所对应的通过率：
[0054][0055]
其中，p为通过率，di为一优先级为i的测试用例权重，mi为质量子域中测试用例结果为通过且优先级为i的用例数，ni为质量子域中所有参与覆盖率计算的且优先级为i的测试用例总数。
[0056]
步骤s2，根据所述覆盖率以及所述通过率，利用预设的染色规则，确定所述云产品对应的质量地图中对应的各个所述质量子域的染色状况，其中，所述染色状况用于表征该质量子域的质量状况。
[0057]
本实施例中，首先可以绘制包括所有所述云产品与对应的所有质量子域的所述覆盖率以及所述通过率的对应表，以构成质量地图。
[0058]
接下来，对质量地图进行染色处理，本实施例中，是根据对应的质量子域的覆盖率以及通过率的情况，确定质量地图中对应位置的具体颜色，如图2所示。
[0059]
具体的染色规则可以被配置为：
[0060]
当通过率大于预设的第一通过率阈值，且覆盖率大于预设的第一覆盖率阈值时，将对应的所述质量子域在所述质量地图的对应位置配置为第一颜色；
[0061]
当通过率小于预设的第二通过率阈值，且覆盖率大于预设的第二覆盖率阈值时，将对应的所述质量子域在所述质量地图的对应位置配置为第二颜色；
[0062]
将所述质量地图中其他未被配置颜色的区域配置为第三颜色；
[0063]
其中，第一通过率阈值大于第二通过率阈值，第一覆盖率阈值大于第二覆盖率阈值。
[0064]
示例性地，上述第一颜色可以为绿色，第二颜色可以为红色，第三颜色可以为黄色，第一通过率阈值可以为90％，第一覆盖率阈值可以为80％，第二通过率阈值可以为80％，第二覆盖率阈值可以为60％。
[0065]
需要说明的是，颜色的选择是可以根据实际需要进行调整的，各个阈值的选择也是可以根据实际应用需要，在一定范围内进行合理的调整。
[0066]
可以理解的是，如图3所示，经染色处理后的质量地图中，一质量子域对应的颜色是可以用于表征该质量子域的质量状况的。
[0067]
步骤s3，利用所述质量状况，确定所述云平台的质量分。
[0068]
本实施例中，是根据各个质量子域的质量状况，综合得到对应的云产品的质量分，进一步地，再根据各个云产品的质量分，综合得到对应的云平台的质量分。
[0069]
首先，利用如下公式(2)，确定质量状况所对应的云产品的质量分：
[0070][0071]
其中，ω为云产品的质量分，k(p,c)为染色公式(p为对应的质量子域的通过率，c为对应的质量子域的覆盖率)，d为高危遗留问题修正分，l为质量子域的总数。
[0072]
利用如下公式(3)，确定至少一个云产品所共同对应的所述云平台的质量分：
[0073][0074]
其中，a为云平台的质量分，r为所述云平台中所述云产品的总数。
[0075]
本实施例中，通过求出云平台的质量分a，以量化该云平台的质量状况。
[0076]
本实施例相较于现有技术，至少具有以下优点：
[0077]
1)本发明能够对云平台这种分布式复杂系统各质量域进行全面评价，针对云平台的特殊性，对iso/iec 2501n的质量模型进行增补。增加api质量，高可用及监控告警等质量域，使质量模型得出的评价更加准确。
[0078]
2)本发明采用测试用例的覆盖率和通过率来综合评估各质量域质量，不依赖专家的主观判断，其结果更加客观，更加符合实际。
[0079]
3)本发明根据各质量域的质量状况绘制出质量地图，使质量风险可见，可衡量。云平台客户从此图可以得出强项与弱项。云平台的研发测试可以从此图得得出哪个质量域有问题，哪里需要更多投入。
[0080]
4)本发明给出云平台的评价分数，可以用于云平台纵向版本质量的简单比较，或者用于不同云平台质量的横向比较。
[0081]
本发明第二实施例，与第一实施例对应，本实施例介绍一种云平台质量的评价装置，如图4所示，包括以下组成部分：
[0082]
计算模块，被配置为确定各个质量子域的覆盖率以及通过率。染色模块：被配置为根据覆盖率以及所述通过率，利用预设的染色规则，确定云产品对应的质量地图中对应的各个质量子域的染色状况，其中，染色状况用于表征该质量子域的质量状况。统计模块，被配置为利用质量状况，确定云平台的质量分。
[0083]
本实施例中，计算模块被进一步配置为：
[0084]
根据质量子域所对应的预设覆盖率度量方法，确定所述质量子域对应的覆盖率；
[0085]
根据如下公式(4)计算所述质量子域所对应的所述通过率：
[0086][0087]
其中，p为所述通过率，di为一优先级为i的测试用例权重，mi为所述质量子域中测试用例结果为通过且优先级为i的用例数，ni为所述质量子域中所有参与覆盖率计算的且优先级为i的用例总数。
[0088]
本实施例中，染色模块被进一步配置为：
[0089]
绘制包括所有云产品与对应的所有质量子域的覆盖率以及通过率的对应表，以构成所述质量地图。
[0090]
当通过率大于预设的第一通过率阈值，且覆盖率大于预设的第一覆盖率阈值时，
将对应的质量子域在质量地图的对应位置配置为第一颜色。
[0091]
当通过率小于预设的第二通过率阈值，且覆盖率大于预设的第二覆盖率阈值时，将对应的质量子域在质量地图的对应位置配置为第二颜色。
[0092]
将质量地图中其他未被配置颜色的区域配置为第三颜色。
[0093]
其中，第一通过率阈值大于第二通过率阈值，第一覆盖率阈值大于第二覆盖率阈值。
[0094]
本实施例中，统计模块被进一步配置为：
[0095]
利用如下公式(5)，确定质量状况所对应的云产品的质量分：
[0096][0097]
其中，ω为云产品的质量分，k(p,c)为染色公式，d为高危遗留问题修正分，l为质量子域的总数。
[0098]
利用如下公式(6)，确定至少一个云产品所共同对应的云平台的质量分：
[0099][0100]
其中，a为云平台的质量分，r为云平台中云产品的总数。
[0101]
本发明第三实施例，一种电子设备，参考图5，可以作为实体装置来理解，包括处理器以及存储有所述处理器可执行指令的存储器，当所述指令被处理器执行时，执行如第一实施例中的云平台质量的评价方法的步骤。
[0102]
本发明第四实施例，本实施例的云平台质量的评价方法的流程与第一实施例相同，区别在于，在工程实现上，本实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的所述方法可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台设备(可以是基站等网络设备)执行本发明实施例所述的方法。
[0103]
综上，本发明相较于现有技术，至少具有以下优点：
[0104]
1)本发明能够对云平台这种分布式复杂系统各质量域进行全面评价，针对云平台的特殊性，对iso/iec 2501n的质量模型进行增补。增加api质量，高可用及监控告警等质量域，使质量模型得出的评价更加准确。
[0105]
2)本发明采用测试用例的覆盖率和通过率来综合评估各质量域质量，不依赖专家的主观判断，其结果更加客观，更加符合实际。
[0106]
3)本发明根据各质量域的质量状况绘制出质量地图，使质量风险可见，可衡量。云平台客户从此图可以得出强项与弱项。云平台的研发测试可以从此图得得出哪个质量域有问题，哪里需要更多投入。
[0107]
4)本发明给出云平台的评价分数，可以用于云平台纵向版本质量的简单比较，或者用于不同云平台质量的横向比较。
[0108]
通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。