一种网络服务质量评价方法、装置、设备及可读存储介质与流程

本发明涉及大数据分析技术领域，更具体地说，涉及一种网络服务质量评价方法、装置、设备及可读存储介质。

背景技术：

随着信息社会进入大数据时代，数据量和传输速率呈爆发式增长，新的多样性的信息服务大量涌现，人们对信息服务的要求也越来越高。为了获得用户对服务的认可，服务提供商必须确保良好的用户体验质量。因此，用户体验质量不仅成为学术界重要的研究课题之一，而且也成为移动互联网关键的服务评价指标之一。

目前，服务质量(qualityofservice，qos)是最广泛的服务度量标准。qos评价指标主要包括网络的吞吐率、时延、丢包率、抖动、误码率等，但是这些指标仅仅反映了服务技术层面的性能和网络传输层面的性能，无法根据用户的主观体验评价网络的服务质量，因此qos无法反映用户对网络服务的认可程度。

用户体验质量(qualityofexperience，qoe)是一种以用户认可程度为标准的服务的评价方法.它综合了服务层面、用户层面、环境层面的影响因素，能够反映用户对网络服务的认可程度，但这仍然是对于一个网络的客观评价。

需要说明的是，itu·t工作组提出了用户体验质量(qualityofexperience，qoe)的概念，即用户对一个应用或业务整体可接受性的主观感受，包含受整个端到端系统的影响和受用户主观期望值及所处环境影响的业务整体可接受性。并且世界电信管理论坛(tele-managementforum，tmf)提出了qoe主要涉及的2个关键指标，即关键性能指标(keyperformanceindicator，kpi)和关键质量指标(keyqualityindicator，kqi)。

因此现有的评价模型对于qoe的计算还只停留在网络传输时延、抖动、传输带宽、丢包等性能指标和质量指标，并未考虑用户的爱好、心情、所处的状态、业务发生的情景等用户喜好和习惯，所以现有的评价模型无法结合用户的喜好和习惯评价一个网络的服务质量，其评价结果无法反映用户对网络的真实感受，从而导致网络的评价结果不够准确，无法给网络的改良和优化提供有效的参考依据，降低了用户体验。

例如，两个用户都在使用手机观看一场足球比赛，其中一个用户是足球迷而另外一个用户不是足球迷，当视频质量变差时，足球迷用户由于对视频有着更高的重视程度，其qoe降低的程度可能会比非足球迷用户大很多。即在两个用户各项qos参数都一样的情况下，两者的qoe也可能是不同的，这种差异就是由用户的主观感受带来的。

因此，如何提高网络服务质量的评价结果的准确性，是本领域技术人员需要解决的问题。

技术实现要素：

本发明的目的在于提供一种网络服务质量评价方法、装置、设备及可读存储介质，以提高网络服务质量的评价结果的准确性。

为实现上述目的，本发明实施例提供了如下技术方案：

一种网络服务质量评价方法，包括：

获取用户数据和目标网络中的信令数据；

将用户数据划分为用户kpi数据集、用户kqi数据集和用户qoe数据集，将信令数据划分为业务kpi数据集、业务kqi数据集和业务qoe数据集；

关联所述用户kpi数据集和所述业务kpi数据集，以确定所述目标网络的kpi评价数据，关联所述用户kqi数据集和所述业务kqi数据集，以确定所述目标网络的kqi评价数据，关联所述用户qoe数据集和所述业务qoe数据集，以确定所述目标网络的qoe评价数据；

构建kpi评价数据和kqi评价数据的第一映射关系，kqi评价数据和qoe评价数据的第二映射关系，根据第一映射关系和第二映射关系计算目标网络的质量体验值，并按照预设的评价规则确定质量体验值对应的评价结果。

其中，将用户数据划分为用户kpi数据集、用户kqi数据集和用户qoe数据集，包括：

采用词袋模型提取用户数据中的特征，并将特征划分为kpi特征、kqi特征和qoe特征；

将kpi特征、kqi特征和qoe特征分别用kpi隐式矩阵、kqi隐式矩阵和qoe隐式矩阵进行表示；

通过混合协同过滤算法分别优化kpi隐式矩阵、kqi隐式矩阵和qoe隐式矩阵，得到kpi优化矩阵、kqi优化矩阵和qoe优化矩阵；

将kpi优化矩阵包含的kpi特征作为用户kpi数据集，将kqi优化矩阵包含的kqi特征作为用户kqi数据集，将qoe优化矩阵包含的qoe特征作为用户qoe数据集。

其中，采用词袋模型提取用户数据中的特征之前，还包括：

清洗用户数据，并将清洗后的用户数据进行存储。

其中，将信令数据划分为业务kpi数据集、业务kqi数据集和业务qoe数据集，包括：

按照kpi评价指标、kqi评价指标和qoe评价指标划分信令数据，得到kpi信令数据、kqi信令数据和qoe信令数据；

分别分析kpi信令数据、kqi信令数据和qoe信令数据，得到业务kpi数据集、业务kqi数据集和业务qoe数据集。

其中，分别分析kpi信令数据、kqi信令数据和qoe信令数据，包括：

通过平均评估分值mos方法分别划分kpi信令数据、kqi信令数据和qoe信令数据的优劣层次；

对kpi信令数据、kqi信令数据和qoe信令数据分别进行kmo校验，并在kpi信令数据、kqi信令数据和qoe信令数据中分别确定kmo大于预设阈值的信令数据；

将kmo大于预设阈值的信令数据作为目标数据，采用主成分分析pca算法提取目标数据的因子，并计算目标数据的因子的值；

将kpi信令数据、kqi信令数据和qoe信令数据中的kmo不大于预设阈值的信令数据作为对象数据，并通过模糊层次分析法分析目标数据的因子的值和对象数据的优劣层次，得到业务kpi数据集、业务kqi数据集和业务qoe数据集。

其中，按照预设的评价规则确定质量体验值对应的评价结果，包括：

在预设的评价等级数据库查找与质量体验值对应的评价结果，并将查找到的评价结果作为目标网络的评价结果。

其中，按照预设的评价规则确定质量体验值对应的评价结果之后，还包括：

将评价结果进行可视化展示。

一种网络服务质量评价装置，包括：

获取模块，用于获取用户数据和目标网络中的信令数据；

划分模块，用于将用户数据划分为用户kpi数据集、用户kqi数据集和用户qoe数据集，将信令数据划分为业务kpi数据集、业务kqi数据集和业务qoe数据集；

关联模块，用于关联所述用户kpi数据集和所述业务kpi数据集，以确定所述目标网络的kpi评价数据，关联所述用户kqi数据集和所述业务kqi数据集，以确定所述目标网络的kqi评价数据，关联所述用户qoe数据集和所述业务qoe数据集，以确定所述目标网络的qoe评价数据；

评价模块，用于构建kpi评价数据和kqi评价数据的第一映射关系，kqi评价数据和qoe评价数据的第二映射关系，根据第一映射关系和第二映射关系计算目标网络的质量体验值，并按照预设的评价规则确定质量体验值对应的评价结果。

一种网络服务质量评价设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意一项所述的网络服务质量评价方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的网络服务质量评价方法的步骤。

通过以上方案可知，本发明实施例提供的一种网络服务质量评价方法，包括：获取用户数据和目标网络中的信令数据；将用户数据划分为用户kpi数据集、用户kqi数据集和用户qoe数据集，将信令数据划分为业务kpi数据集、业务kqi数据集和业务qoe数据集；关联用户kpi数据集和业务kpi数据集，以确定目标网络的kpi评价数据，关联用户kqi数据集和业务kqi数据集，以确定目标网络的kqi评价数据，关联用户qoe数据集和业务qoe数据集，以确定目标网络的qoe评价数据；构建kpi评价数据和kqi评价数据的第一映射关系，kqi评价数据和qoe评价数据的第二映射关系，根据第一映射关系和第二映射关系计算目标网络的质量体验值，并按照预设的评价规则确定质量体验值对应的评价结果。

可见，该方法在评价目标网络的服务质量过程中，以用户数据和目标网络中的信令数据为基础，将用户数据划分为用户kpi数据集、用户kqi数据集和用户qoe数据集，将信令数据划分为业务kpi数据集、业务kqi数据集和业务qoe数据集；进而在确定kpi与kqi的映射关系，kqi与qoe的映射关系时，关联用户kpi数据集和业务kpi数据集确定目标网络的kpi评价数据，关联用户kqi数据集和业务kqi数据集确定目标网络的kqi评价数据，关联用户qoe数据集和业务qoe数据集确定目标网络的qoe评价数据，计算目标网络的质量体验值，并按照预设的评价规则确定质量体验值对应的评价结果。因此该方法能够结合用户的使用喜好和习惯评价网络的服务质量，得到的评价结果能够反映用户对网络的真实感受，从而给网络的改良和优化提供了有效参考依据，能够依据用户的个性和喜好优化网络质量，提高了评价结果的准确性和用户体验。

相应地，本发明实施例提供的一种网络服务质量评价装置、设备及可读存储介质，也同样具有上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种网络服务质量评价方法流程图；

图2为本发明实施例公开的一种用户数据处理流程图；

图3为本发明实施例公开的一种网络服务质量评价装置示意图；

图4为本发明实施例公开的一种网络服务质量评价设备示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种网络服务质量评价方法、装置、设备及可读存储介质，以提高网络服务质量的评价结果的准确性。

参见图1，本发明实施例提供的一种网络服务质量评价方法，包括：

s101、获取用户数据和目标网络中的信令数据；

具体的，用户数据至少包括：用户的个人信息、用户使用目标网络的场景，用户对每个场景的重视程度，即用户喜好等信息。

s102、将用户数据划分为用户kpi数据集、用户kqi数据集和用户qoe数据集，将信令数据划分为业务kpi数据集、业务kqi数据集和业务qoe数据集；

由于获取到的用户数据和信令数据比较繁杂，为了便于计算和处理可按照关键性能指标(keyperformanceindicator，kpi)、关键质量指标(keyqualityindicator，kqi)和用户体验质量(qualityofexperience，qoe)将用户数据划分为用户kpi数据集、用户kqi数据集和用户qoe数据集，将信令数据划分为业务kpi数据集、业务kqi数据集和业务qoe数据集。其中每个数据集可转换为数据矩阵，以便于计算。

需要说明的是，在划分用户数据和信令数据之前，需要分别对用户数据和信令数据进行初始化，以将用户数据和信令数据转化为便于处理的向量数据。

s103、关联用户kpi数据集和业务kpi数据集，以确定目标网络的kpi评价数据，关联用户kqi数据集和业务kqi数据集，以确定目标网络的kqi评价数据，关联用户qoe数据集和业务qoe数据集，以确定目标网络的qoe评价数据；

需要说明的是，用户体验质量的处理关键在于：确定kpi与kqi的映射关系，以及kqi与qoe的映射关系。因此关联用户kpi数据集和业务kpi数据集，以确定目标网络的kpi评价数据，关联用户kqi数据集和业务kqi数据集，以确定目标网络的kqi评价数据，关联用户qoe数据集和业务qoe数据集，以确定目标网络的qoe评价数据，能够实现结合用户的主观感受计算用户对于目标网络的质量体验值。

关联不同数据集，即分析用户数据集和业务数据集的关联性和相关性，描述数据规律。例如：用户数据集包括：基于用户角度描述的id、经纬度、小区标识、信号强度等数据；业务数据集包括：基于网络的客观性能指标描述的经纬度、用户id、信号强度、延时、衰减等数据。那么可以关联这两个数据集，以发现其中的共性，即关联这两个数据集具有的相同数据，进而合并这些相同数据，得到一个包含用户数据和业务数据的新数据集。

s104、构建kpi评价数据和kqi评价数据的第一映射关系，kqi评价数据和qoe评价数据的第二映射关系，根据第一映射关系和第二映射关系计算目标网络的质量体验值，并按照预设的评价规则确定质量体验值对应的评价结果。

其中，所述按照预设的评价规则确定所述质量体验值对应的评价结果，包括：在预设的评价等级数据库查找与所述质量体验值对应的评价结果，并将查找到的评价结果作为所述目标网络的评价结果。

具体的，对于计算得到的质量体验值，可以按照预设的评价规则确定质量体验值对应的评价结果。例如评价规则拟定的评价等级为五级，其中一级表示评价结果最佳，五级表示评价结果最好，每个等级对应一个质量体验值的取值范围。若计算得到的质量体验值落入一个质量体验值的取值范围，则将该范围对应的等级确定为目标网络的评价结果。

其中，所述按照预设的评价规则确定所述质量体验值对应的评价结果之后，还包括：将所述质量体验值的取值范围。

具体的，为了便于服务商改良和优化目标网络，可以将质量体验值的取值范围，为网络的改良和优化提供有效的参考依据，使服务商能够依据用户的个性和喜好优化网络质量。

可见，本实施例提供了一种网络服务质量评价方法，所述方法在评价目标网络的服务质量过程中，以用户数据和目标网络中的信令数据为基础，并将用户数据划分为用户kpi数据集、用户kqi数据集和用户qoe数据集，将信令数据划分为业务kpi数据集、业务kqi数据集和业务qoe数据集；进而在确定kpi与kqi的映射关系，kqi与qoe的映射关系时，关联用户kpi数据集和业务kpi数据集确定目标网络的kpi评价数据，关联用户kqi数据集和业务kqi数据集确定目标网络的kqi评价数据，关联用户qoe数据集和业务qoe数据集确定目标网络的qoe评价数据，计算目标网络的质量体验值，并按照预设的评价规则确定质量体验值对应的评价结果。因此该方法能够结合用户的使用喜好和习惯评价网络的服务质量，得到的评价结果能够反映用户对网络的真实评价，从而给网络的改良和优化提供了有效参考依据，能够依据用户的个性和喜好优化网络质量，提高了评价结果的准确性和用户体验。

基于上述实施例，需要说明的是，用户数据的处理步骤为：所述将所述用户数据划分为用户kpi数据集、用户kqi数据集和用户qoe数据集，包括：

s201、采用词袋模型提取用户数据中的特征，并将特征划分为kpi特征、kqi特征和qoe特征；

s202、将kpi特征、kqi特征和qoe特征分别用kpi隐式矩阵、kqi隐式矩阵和qoe隐式矩阵进行表示；

s203、通过混合协同过滤算法分别优化kpi隐式矩阵、kqi隐式矩阵和qoe隐式矩阵，得到kpi优化矩阵、kqi优化矩阵和qoe优化矩阵；

s204、将kpi优化矩阵包含的kpi特征作为用户kpi数据集，将kqi优化矩阵包含的kqi特征作为用户kqi数据集，将qoe优化矩阵包含的qoe特征作为用户qoe数据集。

其中，所述采用词袋模型提取所述用户数据中的特征之前，还包括：清洗所述用户数据，并将清洗后的用户数据进行存储。数据清洗是将重复、多余的数据筛选清除，将缺失的数据补充完整，将错误的数据纠正或者删除；数据清洗的一般步骤包括：分析数据、缺失值处理、异常值处理、去重处理、噪音数据处理。也就是说，清洗用户数据能够发现并纠正用户数据中可识别的错误，检查数据一致性，处理无效数据和缺失数据等。

具体的，用户数据包括用户个人信息(性别、年龄、兴趣爱好等)、用户职业信息(职业、收入、消费习惯等)、用户行为信息(网页点击量、页面停留时长、行为偏好等)等多种信息。对采集到的用户数据进行数据清洗并存储，采用词袋模型对处理过的用户数据进行关键字提取，并依此计算用户隐式偏好矩阵，最后使用混合协同过滤算法对所得关键字与隐式偏好矩阵进行优化，根据实际情况构建用户偏好矩阵，用户偏好矩阵包括：属于kpi指标的偏好矩阵、属于kqi指标的偏好矩阵和属于qoe指标的偏好矩阵，其分别对应用户kpi数据集、用户kqi数据集和用户qoe数据集。

基于上述实施例，需要说明的是，将信令数据划分为业务kpi数据集、业务kqi数据集和业务qoe数据集，包括：按照kpi评价指标、kqi评价指标和qoe评价指标划分信令数据，得到kpi信令数据、kqi信令数据和qoe信令数据；分别分析kpi信令数据、kqi信令数据和qoe信令数据，得到业务kpi数据集、业务kqi数据集和业务qoe数据集。

其中，分别分析kpi信令数据、kqi信令数据和qoe信令数据，包括：通过平均评估分值mos方法分别划分kpi信令数据、kqi信令数据和qoe信令数据的优劣层次；对kpi信令数据、kqi信令数据和qoe信令数据分别进行kmo校验，并在kpi信令数据、kqi信令数据和qoe信令数据中分别确定kmo大于预设阈值的信令数据；将kmo大于预设阈值的信令数据作为目标数据，采用主成分分析pca算法提取目标数据的因子，并计算目标数据的因子的值；将kpi信令数据、kqi信令数据和qoe信令数据中的kmo不大于预设阈值的信令数据作为对象数据，并通过模糊层次分析法分析目标数据的因子的值和对象数据的优劣层次，得到业务kpi数据集、业务kqi数据集和业务qoe数据集。

其中，将各个业务数据集中的具体数据指标进行量化，并采用平均评估分值mos法，将每个数据指标的感受分为5个层次，从优到劣分级评价用户感知。具体的，对每个业务数据集的具体数据指标进行kmo校验，考察各个变量间的相关性，对kmo大于0.6的数据指标运用主成分分析法pca进行因子提取，并进行旋转和重新命名，计算因子的值。

通过主成分分析法pca进行因子提取，并进行旋转和重新命名，计算因子的值的过程包括：通过一个线性变换将变量映射为一组因子，依次取方差最大的前m个因子，因子载荷矩阵实行正交旋转，最后进行结果处理，对得到的每个因子进行命名，并计算每个因子的值。

对于计算得到的因子的值和kmo小于0.6的数据指标，基于模糊层次分析法fahp进行处理。其中0.6即为预设阈值，当然，此阈值可根据实际应用情况灵活调整。具体的，将所有数据指标由下而上进行分层映射，其中每一层评价模型包括目标层、指标层及方案层。计算过程中参照用户偏好及运营商指标，给出0.1-0.9的标度，并建立模糊互补的判断矩阵，将模糊互补矩阵转换为模糊一致矩阵，计算权重向量，以构建每个业务数据集的业务矩阵。其中，业务数据集指业务kpi数据集、业务kqi数据集和业务qoe数据集中的任意一个数据集。

基于上述实施例，需要说明的是，划分用户数据和信令数据时，可按照语音类qoe、流类qoe、交互类qoe、背景类qoe等类别选取qoe数据集；按照可接入性、即时性、完整性、会话质量、内容质量、可保持性、易用性等性能指标选取kqi数据集；按照发送建立成功率、接受建立成功率、发送建立时间、接收建立时间、平均发送建立时间、平均接收建立成功率、发送完整率、接收完整率、端到端的持续时间、端到端成功率、内容完整性等网络指标选取kpi数据集。

下面对本发明实施例提供的一种网络服务质量评价装置进行介绍，下文描述的一种网络服务质量评价装置与上文描述的一种网络服务质量评价方法可以相互参照。

参见图3，本发明实施例提供的一种网络服务质量评价装置，包括：

获取模块301，用于获取用户数据和目标网络中的信令数据；

划分模块302，用于将用户数据划分为用户kpi数据集、用户kqi数据集和用户qoe数据集，将信令数据划分为业务kpi数据集、业务kqi数据集和业务qoe数据集；

关联模块303，用于关联用户kpi数据集和业务kpi数据集，以确定目标网络的kpi评价数据，关联用户kqi数据集和业务kqi数据集，以确定目标网络的kqi评价数据，关联用户qoe数据集和业务qoe数据集，以确定目标网络的qoe评价数据；

评价模块304，用于构建kpi评价数据和kqi评价数据的第一映射关系，kqi评价数据和qoe评价数据的第二映射关系，根据第一映射关系和第二映射关系计算目标网络的质量体验值，并按照预设的评价规则确定质量体验值对应的评价结果。

其中，划分模块包括：

用户数据划分单元，用于采用词袋模型提取用户数据中的特征，并将特征划分为kpi特征、kqi特征和qoe特征；

表示单元，用于将kpi特征、kqi特征和qoe特征分别用kpi隐式矩阵、kqi隐式矩阵和qoe隐式矩阵进行表示；

优化单元，用于通过混合协同过滤算法分别优化kpi隐式矩阵、kqi隐式矩阵和qoe隐式矩阵，得到kpi优化矩阵、kqi优化矩阵和qoe优化矩阵；

确定单元，用于将kpi优化矩阵包含的kpi特征作为用户kpi数据集，将kqi优化矩阵包含的kqi特征作为用户kqi数据集，将qoe优化矩阵包含的qoe特征作为用户qoe数据集。

其中，还包括：

清洗模块，用于清洗用户数据，并将清洗后的用户数据进行存储。

其中，划分模块具体用于：

按照kpi评价指标、kqi评价指标和qoe评价指标划分信令数据，得到kpi信令数据、kqi信令数据和qoe信令数据；分别分析kpi信令数据、kqi信令数据和qoe信令数据，得到业务kpi数据集、业务kqi数据集和业务qoe数据集。

其中，划分模块包括：

划分单元，用于通过平均评估分值mos方法分别划分kpi信令数据、kqi信令数据和qoe信令数据的优劣层次；

校验单元，用于对kpi信令数据、kqi信令数据和qoe信令数据分别进行kmo校验，并在kpi信令数据、kqi信令数据和qoe信令数据中分别确定kmo大于预设阈值的信令数据；

计算单元，用于将kmo大于预设阈值的信令数据作为目标数据，采用主成分分析pca算法提取目标数据的因子，并计算目标数据的因子的值；

分析单元，用于将kpi信令数据、kqi信令数据和qoe信令数据中的kmo不大于预设阈值的信令数据作为对象数据，并通过模糊层次分析法分析目标数据的因子的值和对象数据的优劣层次，得到业务kpi数据集、业务kqi数据集和业务qoe数据集。

其中，评价模块具体用于：

在预设的评价等级数据库查找与质量体验值对应的评价结果，并将查找到的评价结果作为目标网络的评价结果。

其中，还包括：

展示模块，用于将评价结果进行可视化展示。

可见，本实施例提供了一种网络服务质量评价装置，包括：获取模块、划分模块、关联模块以及评价模块。首先由获取模块获取用户数据和目标网络中的信令数据；然后划分模块将用户数据划分为用户kpi数据集、用户kqi数据集和用户qoe数据集，将信令数据划分为业务kpi数据集、业务kqi数据集和业务qoe数据集；进而关联模块关联用户kpi数据集和业务kpi数据集，以确定目标网络的kpi评价数据，关联用户kqi数据集和业务kqi数据集，以确定目标网络的kqi评价数据，关联用户qoe数据集和业务qoe数据集，以确定目标网络的qoe评价数据；最后评价模块构建kpi评价数据和kqi评价数据的第一映射关系，kqi评价数据和qoe评价数据的第二映射关系，根据第一映射关系和第二映射关系计算目标网络的质量体验值，并按照预设的评价规则确定质量体验值对应的评价结果。

如此各个模块之间分工合作，各司其职，从而实现了结合用户的使用喜好和习惯评价网络的服务质量，得到的评价结果能够反映用户对网络的真实评价，从而给网络的改良和优化提供了有效参考依据，能够依据用户的个性和喜好优化网络质量，提高了评价结果的准确性和用户体验。

下面对本发明实施例提供的一种网络服务质量评价设备进行介绍，下文描述的一种网络服务质量评价设备与上文描述的一种网络服务质量评价方法及装置可以相互参照。

参见图4，本发明实施例提供的一种网络服务质量评价设备，包括：

存储器401，用于存储计算机程序；

处理器402，用于执行所述计算机程序时实现上述任意实施例所述的网络服务质量评价方法的步骤。

下面对本发明实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种网络服务质量评价方法、装置及设备可以相互参照。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意实施例所述的网络服务质量评价方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。