用户感知评估方法、装置、存储介质以及电子装置与流程

1.本发明实施例涉及移动用户感知技术领域，具体而言，涉及一种用户感知评估方法、装置、存储介质及电子装置。


背景技术：

2.随着第五代移动通信技术(5th generation mobile communication technology，5g)网络的快速发展，移动通信网络的规模和组网日益复杂，同时用户对5g网络的服务质量要求越来越高。移动用户感知不仅仅是作为运营商的重要考核指标，而且是衡量运营商网络质量和感知的重要手段。与此同时，第四代移动通信技术(4th generation mobile communication technology，4g)用户还需要一定时间才会过渡到5g网络，预计将来很长一段时间存在4g/5g网络制式多网并存的情况，这种复杂的网络场景使得客户感知难以得到有效评估。
3.传统的方式通常是运营商采用指标建模和客户调研来获悉用户感知,但是这类方法不仅时效性低而且用户范围有限。单纯从网管系统选取若干网络指标进行量化来评估用户感知，虽然简单但是随着业务种类和外部影响因素的不断增加，在实际操作中如何选择适宜的指标建立模型将成为一个难题。此外,问卷调研客户感知不能直接快速地反应客户感知，存在严重的滞后性。


技术实现要素：

4.本发明实施例提供了一种用户感知评估方法、装置、存储介质及电子装置，以至少解决相关技术中采用问卷调研的方式获取用户感知存在滞后性的问题。
5.根据本发明的一个实施例，提供了一种用户感知评估方法，包括：实时采集网络控制面和用户面数据；根据所述数据获取影响用户感知的业务指标；基于所述业务指标对用户感知进行实时在线评估。
6.在一个示例性实施例中，根据所述数据获取影响用户感知的业务指标之前，还包括：利用实时流处理框架对所述数据进行抽取、转换及加载(extract-transform-load，etl)清洗整理。
7.在一个示例性实施例中，根据所述数据获取影响用户感知的业务指标包括：按预定时间间隔对所述数据进行统计以获取影响用户感知的所述业务指标。
8.在一个示例性实施例中，所述业务指标至少包括以下之一：tcp上行重传率、tcp下行重传率、tcp上行乱序率、tcp下行乱序率、tcp连接响应平均时延、tcp连接确认平均时延、网页下载速率、页面响应成功率、页面响应成功平均时延、页面显示成功率、页面显示平均时长、视频播放成功率、视频有效下载速率、视频播放等待时长、视频播放卡顿频次、im异常掉线率、im响应成功率、im响应平均时延、im消息发送接收速率。
9.在一个示例性实施例中，基于所述业务指标对用户感知进行实时在线评估包括：计算出用户的每个业务指标的评估值；综合所述用户的每个业务指标的评估值获得所述用
户的用户感知评估值；将获得的用户感知评估值进行实时显示。
10.在一个示例性实施例中，计算出用户的每个业务指标的评估值包括：对于每个业务指标，当该业务指标的值达到第一门限值时，将预设的第一评估值作为该业务指标的评估值；当该业务指标的值达到第二门限值时，将预设的第二评估值作为该业务指标的评估值；当该业务指标的值位于第一门限值与第二门限值之间时，根据该业务指标的值在第一门限值与第二门限值之间的占比计算出第三评估值，并将所述第三评估值作为该业务指标的评估值。
11.在一个示例性实施例中，综合所述用户的每个业务指标的评估值获得所述用户的用户感知评估值包括：根据用户所使用的业务类型的历史记录将用户划分成不同业务类型用户；针对不同的业务类型用户，设置该用户的每个业务指标的权重系数；基于用户的每个业务指标的权重系数计算该用户的所有业务指标的评估值的加权平均值，并将所述加权平均值作为所述用户的用户感知评估值。
12.根据本发明的另一个实施例，提供了一种用户感知评估装置，包括：采集模块，用于采集控制面和用户面数据；获取模块，用于根据所述数据获取影响用户感知的业务指标；评估模块，用于基于所述业务指标对用户感知进行评估。
13.在一个示例性实施例中，所述装置还包括：处理模块，用于利用实时流处理框架对所述数据进行抽取、转换及加载etl清洗整理。
14.在一个示例性实施例中，所述获取模块包括：统计单元，用于按预定时间间隔对所述数据进行统计以获取影响用户感知的所述业务指标。
15.在一个示例性实施例中，所述评估模块包括：第一计算单元，用于计算出用户的每个业务指标的评估值；获取单元，用于综合所述用户的每个业务指标的评估值获取所述用户的用户感知评估值；显示单元，用于将获得的用户感知评估值进行实时在线显示。
16.在一个示例性实施例中，所述获取单元包括：划分单元，用于根据用户所使用的业务类型的历史记录将用户划分成不同业务类型用户；设置单元，用于针对不同的业务类型用户，设置该用户的每个业务指标的权重系数；第二计算单元，基于用户的每个业务指标的权重系数计算该用户的所有业务指标的评估值的加权平均值，并将所述加权平均值作为所述用户的用户感知评估值。
17.根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
18.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
19.在本发明上述实施例中，通过实时采集的网络控制面和用户面的数据获取用户感知的业务指标，并基于所述业务指标对用户感知进行实时在线评估，从而实时反馈出用户感知情况，达到快速改善用户感知体验的效果。
附图说明
20.图1是根据本发明实施例的一种用户感知评估方法的计算机终端的硬件结构框
图；
21.图2是根据本发明实施例的用户感知评估方法的流程图；
22.图3是根据本发明实施例的用户感知评估装置的结构框图；
23.图4是根据本发明另一实施例的用户感知评估装置的结构框图；
24.图5是根据本发明再一实施例的用户感知评估装置的结构框图；
25.图6是根据本发明又一实施例的用户感知评估装置的结构框图；
26.图7是根据本发明又一实施例的用户感知评估装置的结构框图；
27.图8是根据本发明实施例的实时在线用户感知评估方法流程图；
28.图9是根据本发明实施例的综合用户感知评估架构图。
具体实施方式
29.下文中将参考附图并结合实施例来详细说明本发明的实施例。
30.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
31.本技术实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种用户感知评估方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，其中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
32.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的用户感知评估方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
33.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
34.图2是根据本发明实施例的用户感知评估方法的流程图，如图2所示，该流程包括如下步骤：
35.步骤s202，实时采集网络控制面和用户面数据；
36.步骤s204，根据所述数据获取影响用户感知的业务指标；
37.步骤s206，基于所述业务指标对用户感知进行实时在线评估。
38.在本实施例的步骤s204之前，还可以包括：利用实时流处理框架对所述数据进行抽取、转换及加载etl清洗整理。
39.在本实施例中的步骤s204之前，还可以包括：按预定时间间隔对所述数据进行统计以获取影响用户感知的所述业务指标。
40.在本实施例中，所述业务指标至少包括以下之一：tcp上行重传率、tcp下行重传率、tcp上行乱序率、tcp下行乱序率、tcp连接响应平均时延、tcp连接确认平均时延、网页下载速率、页面响应成功率、页面响应成功平均时延、页面显示成功率、页面显示平均时长、视频播放成功率、视频有效下载速率、视频播放等待时长、视频播放卡顿频次、im异常掉线率、im响应成功率、im响应平均时延、im消息发送接收速率。
41.在本实施例的步骤s206中，还可以包括：计算出用户的每个业务指标的评估值；综合所述用户的每个业务指标的评估值获得所述用户的用户感知评估值；将获得的用户感知评估值进行实时在线显示。
42.在本实施例中，计算出用户的每个业务指标的评估值可包括：对于每个业务指标，当该业务指标的值达到第一门限值时，将预设的第一评估值作为该业务指标的评估值；当该业务指标的值达到第二门限值时，将预设的第二评估值作为该业务指标的评估值；当该业务指标的值位于第一门限值与第二门限值之间时，根据该业务指标的值在第一门限值与第二门限值之间的占比计算出第三评估值，并将所述第三评估值作为该业务指标的评估值。
43.在本实施例中，综合所述用户的每个业务指标的评估值获得所述用户的用户感知评估值，可包括：根据用户所使用的业务类型的历史记录将用户划分成不同业务类型用户；针对不同的业务类型用户，设置该用户的每个业务指标的权重系数；基于用户的每个业务指标的权重系数计算该用户的所有业务指标的评估值的加权平均值，并将所述加权平均值作为所述用户的用户感知评估值。
44.通过上述步骤，利用网络控制面和用户面的数据获取用户感知的业务指标，基于所述业务指标对用户感知进行实时在线评估，可以快速发现用户感知差的用户，从而做出相应的处理。解决了采用问卷调研的方式或以运营商后台的离线网络指标数据来获取用户感知存在滞后性的问题，提高了反馈用户感知的时效性。
45.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
46.图3是根据本发明实施例的用户感知评估装置的结构框图，如图3所示，所述感知评估装置100包括采集模块10、获取模块20和评估模块30。
47.采集模块10，用于实时采集网络控制面和用户面数据。
48.获取模块20，用于根据所述数据获取影响用户感知的业务指标。
49.评估模块30，用于基于所述业务指标对用户感知进行实时在线评估。
50.在本实施例提供的用户感知评估装置，利用网络控制面和用户面的数据获取用户
感知的业务指标，基于所述业务指标对用户感知进行实时在线评估，可以快速发现用户感知差的用户，从而解决了采用问卷调研的方式或以运营商后台的离线网络指标数据来获取用户感知存在滞后性的问题，提高了反馈用户感知的时效性。
51.图4是根据本发明另一实施例的用户感知评估装置的结构框图，如图4所示，该用户感知评估装置除包括图3所示的所有模块外，所述用户感知评估装置100还可以包括：处理模块40，用于利用实时流处理框架对所述数据进行抽取、转换及加载etl清洗整理。
52.图5是根据本发明再一实施例的用户感知评估装置的结构框图，如图5所示，该用户感知评估装置除包括图4所示的所有模块外，所述获取模块20还可进一步包括：统计单元21，用于按预定时间间隔对所述数据进行统计以获取影响用户感知的所述业务指标。
53.图6是根据本发明又一实施例的用户感知评估装置的结构框图，如图6所示，该用户感知评估装置除包括图5所示的所有模块外，所述评估模块30还可进一步包括第一计算单元31、获取单元32和显示单元33。
54.第一计算单元31，用于计算出用户的每个业务指标的评估值。
55.获取单元32，用于综合所述用户的每个业务指标的评估值获取所述用户的用户感知评估值；
56.显示单元33，用于将获得的用户感知评估值进行实时在线显示，例如，将用户感知变化曲线进行实时在线显示。
57.图7是根据本发明又一实施例的用户感知评估装置的结构框图，如图7所示，该用户感知评估装置除包括图6所示的所有模块外，所述获取单元32还可进一步包括划分单元321、设置单元322和第二计算单元323。
58.划分单元321，用于根据用户所使用的业务类型的历史记录将用户划分成不同业务类型用户。
59.设置单元322，用于针对不同的业务类型用户，设置该用户的每个业务指标的权重系数。
60.第二计算单元323，基于用户的每个业务指标的权重系数计算该用户的所有业务指标的评估值的加权平均值，并将所述加权平均值作为所述用户的用户感知评估值。
61.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
62.为了便于对本发明所提供的技术方案的理解，下面将结合具体场景的实施例进行详细描述。
63.本实施例提供了一种用户感知评估方法，通过本实施例提供的方法，一方面可以实时在线监测用户感知，另一方面，本实施例中还采用了综合用户感知评估体系。下面对这两部分进行详细说明。
64.实时在线监测用户感知：
65.传统的用户感知通常是基于用户调查问卷或运营商后台的离线网络指标数据进行统计分析，一般不具有时效性，不能及时反馈出用户当时的感知体验。
66.图8是本发明实施例的实时在线用户感知评估方法流程图，如图8所示，在本实施例中，先采集5g核心网控制面n1、n2、n11等链路和s1-u口用户面的数据信息，再利用实时流
处理框架，对海量用户数据进行etl清洗整理，然后用户感知指标体系在服务器内存中进行例如5分钟粒度的统计分析，将结果实时在线显示，最终形成用户感知变化曲线。运营商可根据该实时在线监测用户感知变化，快速发现用户感知差的用户，主动进行关怀和保障。
67.综合用户感知评估体系：
68.相关技术中对用户感知的研究多侧重在网络底层性能，即使给出了部分业务类型的端到端性能指标的统计方法，对客户感知的度量和评估不够全面。通常客户是通过相对主观的评价来反映感知的好坏，它会随着用户所处的环境和心情实时波动。
69.图9是根据本发明实施例的综合用户感知评估架构图，如图9所示，在本实施例中，可选择5g网络控制面和用户面常用指标，利用二八原则进行用户感知评估计算。用户对于的指标值达到最优门限值时即为例如100分，达到最差门限值时即为例如20分，位于中间水准值时即为20分加上该指标值所在最优和最差幅度的占比。
70.本实施例中提供的评估方法是对用户全量操作进行感知评估，可以准确掌握所有用户及业务的真实感知，避免了传统评估方法中使用平均操作而把最优和最差的用户感知弱化的缺陷。同时该评估方法是业务行为而不是网络设备的运行指标，可以避免对网络设备能力的依赖。
71.本发明实施例提供了一种用户感知评估方法主要包括如下步骤：
72.步骤一、实时用户感知指标计算：
73.在本实施中，可通过探针采集5g核心网控制面链路上n1、n2、n11等接口和s1-u口用户面的数据，利用实时流处理框架，对海量5g用户数据进行etl清洗整理。选择影响用户感知的主要业务指标，将清洗后数据按照指标计算公式进行计算，详见表1，业务指标数据在服务器内存中进行例如5分钟粒度的统计分析，再结合用户感知评估系统进行评分计算，将结果实时在线显示，最终形成用户感知变化曲线。
74.表1
75.[0076][0077]
步骤二、综合用户感知评估计算：
[0078]
针对步骤一计算出的业务指标，利用综合用户感知算法进行用户感知评估。业务指标的指标值达到最优门限值时即为sh分(可取值100或10)，达到最差门限值时即为s
l
分(可取值20或2)，位于中间水准值时即为s
l
分基础上加该指标值所在最优和最差幅度(s
h-s
l
)的占比。
[0079]
分析评估时延类指标，如果用户需要超过5秒才打开web页面，那么该用户体验可能由于等待时间过长而离开网站而去访问其他网站；也就认为用户页面流量的感知下限为5秒。我们在评估页面响应时延指标时，使用d
ip
、d
down
分别为页面响应时延指标的上、下门限阀值。如果用户页面响应时延大于d
ip
，则用户感知差；如果用户页面响应时延小于d
down
，则用户感知好，其他则表示一般，转换为页面响应用户感知评估计算公式为：
[0080][0081]
分析评估速率类指标，我们使用r
quick
、r
slow
分别表示页面下载速率的上、下门限阀值。如果用户页面下载速率大于r
quick
，则用户感知好；如果用户页面下载速率小于r
slow
，则用户感知差，其他则表示一般，转换为页面下载速率用户感知评估公式为：
[0082][0083]
其他业务感知类指标均可按照上述两个进行推导计算；
[0084]
考虑到不同类型的移动用户对各业务的指标要求不同，产生的用户感知自然有差异，比如视频类指标对视频类用户比较关注；我们根据用户的日常使用的xdr记录中业务大小类进行聚类，识别出各种用户属于视频类、游戏类、语音类等用户。针对不同类型的用户，我们调整该用户的权重系数，详见表格2为：
[0085]
表2
[0086] tcp上行重传率tcp下行重传率
…
im消息发送接收速率视频类用户α
11
α
12
α
1j
α
1n
游戏类用户α
21
α
22
α
2j
α
2n
…
α
i1
α
i2
α
ij
α
in
语音类用户α
m1
α
m2
α
mj
α
mn
[0087]
针对不同类型i的用户，我们根据表2的权重系数对该用户的业务指标加权累加计算，然后再求平均值，即可得到该用户的综合用户感知评估值t为：
[0088]
其中
[0089]
在本实施例中，可以实时反映用户感知情况，不像传统用户感知需要通过调查问卷等方式获取用户感知，具有实时性高特点。另外，通过综合用户感知评估，计算用户感知快速而且简易，区别于传统利用网络指标来衡量用户感知的方式，针对用户本身业务的直观衡量计算。
[0090]
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0091]
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
[0092]
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0093]
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0094]
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
[0095]
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0096]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。