用于预测移动网络体验的设备和方法与流程

本发明大体上涉及通信网络领域，具体涉及使用移动网络中的移动服务预测移动应用的网络体验。为此，公开了一种设备，该设备在推理阶段可以使用训练后的机器学习模型来估计网络体验评分。本发明还提供了一种设备，该设备在训练阶段可以生成包括移动应用的网络体验评分集合的数据库，并且可以基于生成的数据库针对移动应用训练机器学习模型。

背景技术：

1、传统上，网络体验是根据服务质量(quality of service，qos)参数计算的，这些参数是从可访问应用采集或预测的。此外，基于传统方法计算的网络体验可能依赖于代表用户使用的应用的测量和统计数据，并通过应用来衡量，例如，通过开放的应用编程接口(application programming interface，api)或通过与应用开发组织的合作来衡量。

2、此外，然后基于qos参数和评分方法计算网络体验评分和等级。

3、但是，传统设备和方法的一个问题是，网络体验测量仅限于可访问应用。此外，选择代表用户使用的应用或将测试限制到可访问应用，将无法准确反映网络体验。

4、此外，传统设备和方法的另一个问题是，与许多不同的应用开发组织合作来捕获应用事件是不实际的。此外，合作需要投入大量成本、时间和精力方可开展。

技术实现思路

1、鉴于上述问题和缺点，本发明的实施例旨在改进传统的设备和方法。目的是提供一种在推理阶段直接从网络kpi数据预测网络体验的设备和方法。另一个目标是提供一种在训练阶段训练机器学习模型，以直接从网络kpi数据预测网络体验的设备和方法。

2、本发明的设备和方法应该能够确定在通过第五代(fifth generation，5g)移动网络实现的行业中使用移动服务的许多应用的网络体验。这些应用可能使用专有加密协议进行通信。因此，可能无法访问事件来测量用户在移动网络上通过这些应用使用服务的体验。

3、该目标通过所附独立权利要求中描述的本发明的实施例实现。本发明的实施例的有利实现方式在从属权利要求中进一步限定。

4、具体地，根据本发明的实施例所述的设备和方法用于使用机器学习模型来确定其中应用事件不可访问的具有专有加密协议的移动网络应用的网络体验评分和等级。

5、本发明的第一方面提供了一种用于预测移动网络体验的设备，所述设备用于在推理阶段：通过使用移动网络中的一个或多个移动设备上的一个或多个移动应用执行一组测试程序来获得所述移动网络的网络关键性能指标(key performance indicator，kpi)数据，获得训练后的机器学习模型并向所述训练后的机器学习模型馈送所述网络kpi数据，以及使用所述训练后的机器学习模型，基于所述网络kpi数据，估计来自所述一个或多个移动应用的至少一个移动应用的网络体验评分。

6、该设备可以是，或可以结合在电子设备中，例如个人计算机、服务器计算机、客户端计算机、笔记本电脑和笔记本计算机、平板设备等。

7、例如，在推理阶段，该设备可以获得kpi数据和训练后的机器学习模型。此外，该设备可以使用训练后的机器学习模型，基于网络kpi数据估计至少一个移动应用的网络体验评分。该设备可以在执行测试程序期间获得网络kpi数据，例如，网络kpi数据可以在使用应用时从移动网络本身获得，而不是从应用获得。

8、本发明的设备可以减少路测的时间和成本。例如，第一方面的设备可以直接从kpi数据估计网络体验评分。因此，可以减少或消除与预测qos参数输出相关的成本和时间，所述qos参数输出由传统设备用于预测网络体验评分。

9、此外，第一方面的设备可以估计可能被加密并且它们的事件可能无法被设备访问的应用的网络体验评分。

10、该设备可以包括电路。电路可以包括硬件和软件。硬件可以包括模拟或数字电路，或模拟电路和数字电路两者。在一些实施例中，电路包括一个或多个处理器和连接到一个或多个处理器的非易失性存储器。非易失性存储器可以携带可执行程序代码，当一个或多个处理器执行可执行程序代码时，该可执行程序代码使得设备执行本文中描述的操作或方法。

11、在第一方面的一种实现方式中，所述设备还用于使用所述训练后的机器学习模型，基于所述网络kpi数据，估计来自所述一个或多个移动应用的所述至少一个移动应用的网络体验等级。

12、例如，第一方面的设备可以直接从kpi数据估计网络体验等级。

13、在第一方面的另一种实现方式中，获得所述训练后的机器学习模型包括为所述一个或多个移动应用的每个移动服务获得第一训练后的机器学习模型和第二训练后的机器学习模型，其中，所述设备还用于：使用所述第一训练后的机器学习模型估计所述至少一个移动应用的所述网络体验评分和/或使用所述第二训练后的机器学习模型估计所述至少一个移动应用的所述网络体验等级。

14、特别地，如果移动应用代表不同的移动网络服务，则设备可以获得每个移动服务的机器学习模型。例如，设备可以获得两种类型的机器学习模型，一种类型(回归)用于估计网络体验评分，另一种类型(分类)用于估计网络体验等级，但可能存在多种模型，根据评分方法，每个服务一种模型。

15、在第一方面的另一种实现方式中，所述第一训练后的机器学习模型基于随机森林机器学习模型，特别是回归模型，和/或所述第二训练后的机器学习模型基于随机森林机器学习模型，特别是分类模型。

16、在第一方面的另一种实现方式中，所述至少一个移动应用基于加密协议，提供所述设备不可访问的事件。

17、本发明的第二方面提供了一种用于预测移动网络体验的设备，所述设备用于在训练阶段：通过使用所述移动网络中的一个或多个移动设备上的一个或多个移动应用运行一组测试程序来获得训练数据，基于所述获得的训练数据，计算来自所述一个或多个移动应用的至少一个移动应用的网络体验评分集合，基于所述一组测试程序，获得所述移动网络的网络kpi数据，以及生成数据库，所述数据库包括所述至少一个移动应用的所述网络体验评分集合，每个网络体验评分与所述移动网络的网络kpi数据的一部分相关联。

18、该设备可以是，或可以结合在电子设备中，例如个人计算机、服务器计算机、客户端计算机、笔记本电脑和笔记本计算机、平板设备等。

19、例如，在训练阶段，设备可以通过使用不基于加密协议(即，设备可以访问应用事件)的移动应用运行所述一组测试程序来获得训练数据。此外，设备可以根据在训练阶段从应用采集的qos参数数据计算网络体验评分。此外，在训练阶段，可以采集网络体验评分并存储在数据库中，以训练机器学习模型。

20、在第二方面的一种实现方式中，所述设备还用于基于所述获得的训练数据，计算所述至少一个移动应用的网络体验等级集合，其中，所述数据库还包括所述至少一个移动应用的所述网络体验等级集合，每个网络体验等级与所述移动网络的网络kpi数据的一部分相关联。

21、在第二方面的另一种实现方式中，所述设备还用于基于所述生成的数据库，针对所述至少一个移动应用训练第一机器学习模型和第二机器学习模型。

22、在第二方面的另一种实现方式中，所述第一机器学习模型基于随机森林机器学习模型，特别是回归模型，所述设备还用于根据所述数据库，通过向所述回归模型馈送所述计算的网络体验评分集合来训练所述回归模型，每个网络体验评分基于所述训练数据的qos参数计算，并与所述移动网络的所述网络kpi数据的一部分相关联。

23、在第二方面的另一种实现方式中，所述第二机器学习模型基于随机森林机器学习模型，特别是分类模型，所述设备还用于根据所述数据库，通过向所述分类模型馈送所述计算的网络体验等级集合来训练所述分类模型，每个网络体验等级基于所述计算的网络体验评分计算，并与所述移动网络的所述网络kpi数据的一部分相关联。

24、在第二方面的另一种实现方式中，所述一个或多个应用包括移动服务，并基于向所述设备提供可访问事件的可访问应用。

25、在第二方面的另一种实现方式中，所述一组测试程序包括用户交互，所述用户交互包括以下各项中的一项或多项：

26、-网页浏览程序，

27、-视频播放程序，

28、-社交媒体上传程序，

29、-社交媒体下载程序，

30、-虚拟现实程序，

31、-增强现实程序，

32、-云游戏程序，

33、-娱乐程序。

34、在第二方面的另一种实现方式中，所述移动服务的所述训练数据包括以下各项中的一项或多项：

35、-所述至少一个移动应用的可访问性的qos参数，

36、-所述至少一个移动应用的保持性的qos参数，

37、-所述至少一个移动应用的质量的qos参数，

38、-允许的网络体验评分的最小值，

39、-允许的网络体验评分的最大值。

40、在第二方面的另一种实现方式中，所述网络kpi数据包括以下各项中的一项或多项：

41、-延迟数据，

42、-丢包数据，

43、-延迟方差数据，

44、-抖动数据，

45、-数据速率，

46、-带宽数据，

47、-参考信号接收功率数据，

48、-信号与干扰加噪声比数据，

49、-往返时间。

50、在第二方面的另一种实现方式中，每个网络体验评分具有非负整数值。

51、在第二方面的另一种实现方式中，每个网络体验等级是以下各项中的一项：

52、-出色等级，

53、-非常优秀等级，

54、-优秀等级，

55、-令人满意等级，

56、-足够等级。

57、本发明的第三方面提供了一种用于预测移动网络体验的方法，所述方法包括在推理阶段：通过使用移动网络中的一个或多个移动设备上的一个或多个移动应用执行一组测试程序来获得所述移动网络的网络kpi数据，获得训练后的机器学习模型并向所述训练后的机器学习模型馈送所述网络kpi数据，以及通过所述训练后的机器学习模型，基于所述网络kpi数据，估计来自所述一个或多个移动应用的至少一个移动应用的网络体验评分。

58、在第三方面的一种实现方式中，所述方法还包括使用所述训练后的机器学习模型，基于所述网络kpi数据，估计来自所述一个或多个移动应用的所述至少一个移动应用的网络体验等级。

59、在第三方面的另一种实现方式中，获得所述训练后的机器学习模型包括为所述一个或多个移动应用的每个移动服务获得第一训练后的机器学习模型和第二训练后的机器学习模型，其中，所述方法还包括：使用所述第一训练后的机器学习模型估计所述至少一个移动应用的所述网络体验评分和/或使用所述第二训练后的机器学习模型估计所述至少一个移动应用的所述网络体验等级。

60、在第三方面的另一种实现方式中，所述第一训练后的机器学习模型基于随机森林机器学习模型，特别是回归模型，和/或所述第二训练后的机器学习模型基于随机森林机器学习模型，特别是分类模型。

61、在第三方面的另一种实现方式中，所述至少一个移动应用基于加密协议，提供所述设备不可访问的事件。

62、第三方面的方法实现了针对第一方面的设备描述的优点和效果。

63、本发明的第四方面提供了一种用于预测移动网络体验的方法，所述方法包括在训练阶段：通过使用所述移动网络中的一个或多个移动设备上的一个或多个移动应用运行一组测试程序来获得训练数据，基于所述获得的训练数据，计算来自所述一个或多个移动应用的至少一个移动应用的网络体验评分集合，基于所述一组测试程序，获得所述移动网络的网络kpi数据，以及生成数据库，所述数据库包括所述至少一个移动应用的所述网络体验评分集合，每个网络体验评分与所述移动网络的网络kpi数据的一部分相关联。

64、在第四方面的一种实现方式中，所述方法还包括基于所述获得的训练数据，计算所述至少一个移动应用的网络体验等级集合，其中，所述数据库还包括所述至少一个移动应用的所述网络体验等级集合，每个网络体验等级与所述移动网络的网络kpi数据的一部分相关联。

65、在第四方面的另一种实现方式中，所述方法还包括基于所述生成的数据库，针对所述至少一个移动应用训练第一机器学习模型和第二机器学习模型。

66、在第四方面的另一种实现方式中，所述第一机器学习模型基于随机森林机器学习模型，特别是回归模型，所述方法还包括根据所述数据库，通过向所述回归模型馈送所述计算的网络体验评分集合来训练所述回归模型，每个网络体验评分基于所述训练数据的qos参数计算，并与所述移动网络的所述网络kpi数据的一部分相关联。

67、在第四方面的另一种实现方式中，所述第二机器学习模型基于随机森林机器学习模型，特别是分类模型，所述方法还包括根据所述数据库，通过向所述分类模型馈送所述计算的网络体验等级集合来训练所述分类模型，每个网络体验等级基于所述计算的网络体验评分计算，并与所述移动网络的所述网络kpi数据的一部分相关联。

68、在第四方面的另一种实现方式中，所述一个或多个应用包括移动服务，并基于向所述设备提供可访问事件的可访问应用。

69、在第四方面的另一种实现方式中，所述一组测试程序包括用户交互，所述用户交互包括以下各项中的一项或多项：

70、-网页浏览程序，

71、-视频播放程序，

72、-社交媒体上传程序，

73、-社交媒体下载程序，

74、-虚拟现实程序，

75、-增强现实程序，

76、-云游戏程序，

77、-娱乐程序。

78、在第四方面的另一种实现方式中，所述移动服务的所述训练数据包括以下各项中的一项或多项：

79、-所述至少一个移动应用的可访问性的qos参数，

80、-所述至少一个移动应用的保持性的qos参数，

81、-所述至少一个移动应用的质量的qos参数，

82、-允许的网络体验评分的最小值，

83、-允许的网络体验评分的最大值。

84、在第四方面的另一种实现方式中，所述网络kpi数据包括以下各项中的一项或多项：

85、-延迟数据，

86、-丢包数据，

87、-延迟方差数据，

88、-抖动数据，

89、-数据速率，

90、-带宽数据，

91、-参考信号接收功率数据，

92、-信号与干扰加噪声比数据，

93、-往返时间。

94、在第四方面的另一种实现方式中，每个网络体验评分具有非负整数值。

95、在第四方面的另一种实现方式中，每个网络体验等级是以下各项中的一项：

96、-出色等级，

97、-非常优秀等级，

98、-优秀等级，

99、-令人满意等级，

100、-足够等级。

101、第四方面的方法实现了针对第二方面的设备描述的优点和效果。

102、本发明的第五方面提供了一种计算机程序，包括用于执行根据第三方面或第四方面或其任何实现方式所述的方法的程序代码。

103、本发明的第六方面提供了一种非瞬时性存储介质，所述非瞬时性存储介质存储可执行程序代码，当处理器执行所述可执行程序代码时，所述可执行程序代码使得执行根据第三方面或第四方面或其任何实现方式所述的方法。

104、需要说明的是，本技术中描述的设备、元件、单元和模块可以在软件或硬件元件或其任何类型的组合中实现。本技术中描述的各种实体所执行的步骤以及所描述的各种实体要执行的功能均意在指相应实体适于或用于执行相应步骤和功能。虽然在以下具体实施例的描述中，外部实体执行的具体功能或步骤没有在执行具体步骤或功能的实体的具体详述元件的描述中反映，但是技术人员应清楚，这些方法和功能可以通过相应的硬件或软件元件或其任何组合实现。