一种基于日志分析的软件质量评估系统及方法与流程

本技术涉及数据挖掘与质量评估，具体涉及一种基于日志分析的软件质量评估系统及方法。

背景技术：

1、随着互联网的快速发展，计算机系统和软件应用越来越复杂，同时也越来越庞大，系统发生错误的概率也越来越大，在云原生和devops研发模式的挑战下，一个软件从开发、测试、到上线维护的过程中，会产生大量的日志、指标、事件以及告警等数据，这也给企业质量平台建设带来了很大的挑战。为了更精准的评估软件质量，需要针对产品的整个生命周期进行阶段式检查和评估，并给出有效性建议，从而改善、评估软件产品质量。

2、目前业内有很多关于软件质量的评估及改进方法。这些软件质量评估方法多是对于软件的质量定义、评测，且更多用于软件发布前的质量评估，以用来判断是否满足发布指标，以及发布后的三方验收测试上最终评估确认质量达标。

3、现有软件质量评估方法缺少对软件发布后运行过程中的日志、监控及告警数据进行分析，对软件全生命周期覆盖不全，对软件质量的改善效果不佳。因此，期望能提供一种针对软件运行过程中薄弱环节精准改善的软件质量改进方法或工具。

技术实现思路

1、为了解决以上技术问题，本技术提供了一种基于日志分析的软件质量评估系统及方法，所述系统包括：日志收集模块、数据预处理模块和质量评估模块；

2、所述日志收集模块用于收集系统运行中产生的日志数据；

3、所述数据预处理模块用于将收集到的所述日志数据进行清洗与转换的标准化处理，得到预处理后的日志数据；

4、所述质量评估模块用于建立评估模型，对所述预处理后的日志数据进行质量评估和预测，根据预测结果评估软件质量状况。

5、可选的，所述日志数据包括系统运行状态数据、异常错误信息和用户操作数据。

6、可选的，所述对日志数据进行清洗与转换的标准化处理包括去除无效值和处理缺失值；

7、所述缺失值的处理具体包括：

8、当缺失值为整行，删除整行缺失值；

9、当缺失值为某一单元格，则对缺失值进行填补。

10、可选的，所述质量评估模块包括关键指标提取子模块和评估模型构建子模块；

11、所述关键特征提取子模块用于对缺失值填补后的日志数据进行解析，根据关键指标获取各个字段以及字段值；

12、所述评估模型构建子模块用于基于所述关键指标以及该关键指标对应的值、维度以及每一个维度对应的权重构建软件质量评估模型。

13、可选的，对缺失值填补后的日志数据进行解析，根据关键指标获取各个字段以及字段值，所述关键指标具体包括：异常错误日志数量、90％百分位响应时间、可用性分析、cpu利用率、内存利用率、网络带宽利用率、存储空间利用率、用户活跃度、使用习惯、搜索行为、互动程度、留存率。

14、可选的，基于所述关键指标以及该关键指标对应的值、维度以及每一个维度对应的权重构建软件质量评估模型具体包括：

15、所述每一个维度对应的权重包括：

16、稳定性维度、响应性能维度、错误处理维度、资源利用率维度和用户体验维度；分别对应的权重为：30％、30％、20％、10％、10％；

17、所述关键指标以及所述关键指标对应的值包括：

18、所述稳定性维度的衡量指标为异常错误日志数量，其中，当错误为0个，维度分值为5分；当错误为1～5个，维度分值为4分；当错误为5～10个，维度分值为3分；当错误为10～20个，维度分值为2分；当错误大于20个，维度分值为1分；

19、所述响应性能维度的衡量指标为90％百分位响应时间，其中，当响应时间小于500毫秒，维度分值为5分；当响应时间为500～1000毫秒，维度分值为4分；当响应时间为1000～2000毫秒，维度分值为3分；当响应时间为2000～3000毫秒，维度分值为2分；当响应时间大于3000毫秒，维度分值为1分；

20、所述错误处理的衡量指标为可用性分析，其中，当可用性为0.95～1，维度分值为5；当可用性为0.85～0.95，维度分值为4；当可用性为0.7～0.85，维度分值为3分；当可用性为0.5～0.7，维度分值为2分；当可用性低于0.5，维度分值为1分；

21、所述资源利用率的衡量指标为cpu利用率、内存利用率、网络带宽利用率和存储空间利用率；其中，当cpu利用率为0～60％且内存利用率0～50％且网络带宽利用率为0～60％且存储空间利用率为0～70％且维度分值为5分；当cpu利用率为60％～70％，内存利用率50％～70％，网络带宽利用率为60％～70％，存储空间利用率为70％～80％，维度分值为4分，当指标值满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为4分，否则进入下一分值；当cpu利用率为70％～80％，内存利用率70％～80％，网络带宽利用率为70％～80％，存储空间利用率为80％～90％，维度分值为3分，当指标值至少满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为3分，否则进入下一分值；当cpu利用率为80％～90％，内存利用率80％～90％，网络带宽利用率为80％～90％，存储空间利用率为90％～95％，维度分值为2分，当指标值至少满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为2分，否则进入下一分值；当cpu利用率高于90％，内存利用率高于90％，网络带宽利用率高于90％，存储空间利用率高于95％，维度分值为1分，当指标值至少有一项满足阈值时，维度分值为1分；

22、所述用户体验的衡量指标为用户活跃度、使用习惯、搜索行为、互动程度、留存率；其中，当用户活跃度高且使用习惯与本系统设计一致且搜索行为明确表达对系统信息的需求且互动程度高且留存率较高，维度分值为5分；当用户活跃度较高，使用习惯与本系统设计基本相符，搜索行为体现对系统内容的兴趣，互动程度较高，留存率一般，维度分值为4分，当指标值满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为4分，否则进入下一分值；当用户活跃度一般，使用习惯与本系统设计有些出入，搜索行为没有明确展示需求，互动程度一般，留存率较低，维度分值为3分，当指标值至少满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为3分，否则进入下一分值；当用户活跃度较低，使用习惯与本系统设计严重不符，搜索行为与系统内容无关，互动程度较低，留存率较很低，维度分值为2分，当指标值至少满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为2分，否则进入下一分值；当用户活跃度极低，使用习惯与系统设计完全不符，搜索行为无搜索内容，互动程度为无互动，留存率较极低，维度分值为1分，当指标值至少有一项满足阈值时，维度分值为1分。

23、本技术还公开一种基于日志分析的软件质量评估方法，其特征在于，

24、收集系统运行中产生的日志数据；

25、将收集到的所述日志数据进行清洗与转换的标准化，得到预处理后的日志数据；

26、建立评估模型，对所述预处理后的日志数据记性质量评估和预测，根据预测结果评估软件质量状况。

27、可选的，所述日志数据包括系统运行状态数据、异常错误信息和用户操作数据。

28、与现有技术相比，本技术的有益效果为：

29、本技术基于在软件系统中嵌入适当的日志监控记录机制，以收集软件系统在运行过程中产生的日志、告警等数据，对收集到的数据进行预处理，解析，从日志、告警数据中提取关键特征，根据具体需求和软件的质量标准，定义一组适当的质量指标，使用数据挖掘和机器学习技术，对日志数据进行分析和建模，利用建立的模型，对未知的日志数据进行质量评估和预测，将分析和评估结果可视化展示，以便更好地理解和汇报软件的质量情况。本技术通过在软件系统中嵌入适当的日志记录机制，收集日志并进行清洗、解析、特征提取、指标定义、建模、质量评估、结果展示等来反馈软件质量，给出软件改进建议。