专利名称：模拟用户行为的彩信业务用户感知体验QoE的测评方法
技术领域：
本发明涉及一种使用客观方法模拟用户行为发送与接收彩信业务的用户感知体验QoE (Quality of Experience)的测评方法,属于移动通信网络业务质量评估的技术领域。。
背景技术：
随着无线通信领域相关技术的发展，彩信业务的应用越来越广泛，彩信的英文名是MMS(Multimedia Messaging Service),即多媒体信息服务，其最大特色是支持多媒体功能，能够传递功能全面的内容和信息，这些信息包括文字、图像、声音、数据乃至视频等各种多媒体格式。因此，能否给用户提供令人满意的彩信业务的服务质量，是运营商十分关心的问题。运营商为了能够保证一个其网络运营正常，往往十分留意其设备的网络参数。而事 实上，网络参数在反应实际网络情况的时候也具有局限性，不能从用户的角度对移动通信网进行评估，仅仅从网管系统得到相关的监控指标，并不能确切地体现用户的实际感知。为此对于运营商以及网络提供商来说，需要建立模拟用户感知的客观评价方案，以达到真实的反应其业务质量并对质量进行监控，进而优化网络性能、提高服务质量。目前，广泛应用的彩信质量监控方法是从业务系统角度出发，对系统中各个指标进行监控，以达到对彩信整体质量监控和评估的效果。这种方法能够在一定程度上反应网络的情况，但是运营商无法根据用户的真实体验即时对业务质量进行改进。因此，这种方式有其片面性，不能够使得网络得到最好的优化。下面介绍一些彩信质量评价的现有技术的状况有些公司提出了对彩信进行质量评价的技术方案。例如，文献《基于彩信鱼平台实现彩信端到端业务质量监控》(刊于《电信工程技术与标准化》，2009年第8期)介绍了彩信业务的质量监控方法，并公开了从尽可能的所有关联到的网络环节采集彩信业务的各种网络参数，以便实现端到端的业务监控。文献《基于3G移动业务的用户体验映射体系研究》(刊于《移动通信》，2011年第3— 4期)提出两种QoE到QoS的映射体系与映射方法。其中之一是基于权重的QoE到QoS的映射方法，非常简单，但其应用环境比较单一，且针对的场景或业务发生变化，得到的结果准确度可能不够理想。另一种是QoE到QoS映射的智能模型，需要以大量实测数据和经验值为基础，准确度完全依赖于使用的映射方法，有很大的随机性。一些高校和科研机构也对彩信质量评价有所研究。文献《彩信业务运行质量分析系统的设计与实现》(北京邮电大学学位论文，2010年)分析了网管系统，对设备层、网络层和业务层相关流程的关键性能指标KPI (Key Performance Indicator)进行分类并提出了可行的优化策略。文献《多媒体KPI指标及彩信发送平台的开发设计与论证》(山东大学，2009年)提出了 KPI指标的采集技术，但是这些KPI指标也是从网络端得到的，与用户感知关联不大。通过以上分析可以看出，目前已有的评测方法大多存在缺陷仅考虑QoS参数，或应用范围不广，或评测模型较为简单，因此需要提出一种新的彩信体验质量评测方法。
发明内容
有鉴于此，本发明的目的是提供一个模拟用户行为的彩信业务用户感知体验QoE的测评方法，本发明是针对目前的网络QoS参数无法真实反映用户对彩信业务的实际体验的需求而提出的一种模拟用户对彩信质量的客观感知体验的评测方法；从用户端采集彩信用户的体验数据，再从接入性、保持性和完整性三方面分析，得到这三部分相应的关键体验指标KEI测量值，再基于这些指标进行综合分析与计算，得到一个位于(Γ5之间的QoE值，用于更好地反映用户对彩信的实际体验状况。为了达到上述发明目的，本发明提供了一种模拟用户行为的彩信业务用户感知体验QoE评测方法，其特征在于先设置一套包括彩信发送和彩信接收两种用户各自的业务 接入，业务保持和业务完整三方面用户感知体验参数的彩信业务QoE测评指标体系，然后，利用测试终端模拟用户使用彩信业务的发送和接收过程，分别采集与计算彩信业务两种用户感知体验的关键性能指标KPI(Key Performance Indicator),进而计算其相应的彩信业务关键质量指标KQI(Key Quality Indicator),以及利用心理模型对KQI进行综合运算而获得相应的彩信业务的关键体验指标KEI (Key Experience Indicator),然后对这些KEI指标进行综合分析，获得等效于国际标准平均意见分值MOS (Mean Opinion Score)的5分制彩信业务QoE值。所述彩信业务QoE测评指标体系中，彩信发送的业务接入性能的KQI参数设有三项取决于接入通用分组无线业务GPRS时长的接入时延、取决于GPRS附着Attach结束状态和分组数据协议PDP激活结束状态的接通状态、以及取决于传输控制协议TCP连接状态和域名解析DNS响应状态的请求成功状态；其业务保持性能的KQI参数设有四项取决于承载网络是否在线的在线状态，取决于彩信上传时长的发送时长、彩信传输的平均速率、以及取决于信号电标准差的信号稳定度；其业务完整性能的KQI参数设有两项；取决于传输成功状态的信息完好性和取决于确认消息状态的流程完整性；彩信接收业务的三方面性能指标参数中，除去其业务保持性能的KQI参数中的接收时长取决于彩信下载时长以外，其他参数都与彩信发送相同。 所述方法包括下述步骤(I)测试终端采集和计算一次彩信业务发送和接收两种用户的KPI参数；(2)分别根据彩信业务QoE测评指标体系中两种用户各自的KPI参数，逐步计算彩信业务相应的KQI和利用心理模型对KQI进行综合运算，获得相应的KEI，最终获得模拟该次使用彩信业务发送和接收两种用户的QoE值；(3)在不同时间和/或不同地点分别执行步骤(I)和(2)的操作后，对获得的多次彩信业务发送和接收两种用户的不同QoE值进行分析与统计，得到在设定时间和/或设定地区的彩信业务用户感知体验的质量状况。所述步骤(I)中，测试终端每次采集和计算彩信业务发送与接收两种用户的KPI包括下述各个参数接入通用分组无线业务GPRS(General Packet Radio Service)时长为接入GPRS结束时刻与开始时刻的时间差，单位为秒(s)；
GPRS附着(Attach)结束状态；表明测试终端是否连接到GPRS，附着成功，说明该测试终端已经连接到GPRS，其数值为1，否则为O ;分组数据协议F1DP (Packet Data Protocol)激活结束状态所述激活是终端在传送彩信前向系统服务器申请地址资源的过程，激活成功的数值为1，否则为O ;DNS响应状态DNS解析和TCP连接同时成功时，其数值为1，否则为O ;承载网络状态所述承载的网络为GPRS或TD-SCDMA，接入网络后能保持连接状态，则其数值为I，否则为O;彩信上传时长测试终端发送彩信的起始时刻与该彩信到达彩信中心丽SC(Multimedia Messaging Service Center)时刻的时间差,仅在彩信发送中有该指标；彩信下载时长测试终端接收到彩信通知后，从该通知中提取携带MMS消息存放地址的统一资源定位符URL (Uniform Resource Locator)的时间起始,直到其通过无线会话协议 WSP (Wireless Session Protocol)或超文本传输协议 HTTP (HyperText TransferProtocol)的获取指令从MMSC下载完成该彩信的时间，仅在彩信接收中有该指标；平均传输速率为测试时间段内彩信传输速率的均值，在彩信发送中，该指标是发送的MMS总字长与彩信上传时长之比；在彩信接收中，该指标是接收到的MMS总字长与彩信下载时长之比，单位均为Kb/秒；信号电平标准差为测试时间段内信号电平的均方差；单位是分贝毫瓦(dBm)；传输成功状态对于彩信发送，该指标是测试终端把彩信发送到丽SC时，其数值为1，否则为0，对于彩信接收，该指标是测试终端从彩信中心成功下载彩信时，其数值为1，否则为O ;确认消息状态针对彩信业务流程中的发送、通知、彩信提取及回执的三个阶段分别设有下述四个交互状态的确认消息发送阶段是在MMSC接收到彩信后，给发送端的接收确认消息；通知阶段有两条消息=MMSC通过推送PUSH协议给接收端发送的包含该彩信位置URL的彩信抵达消息，以及丽SC给发送端发送的表明该彩信已经成功转发的确认消息；彩信提取及回执过程是在发送端要求和接收端允许的前提下，当接收端下载彩信后，MMSC给发送端的该彩信己读的确认消息，上述各个通知消息若被接收，其相应数值为1，否则为O。所述步骤(2)进一步包括下列操作内容(21)利用彩信业务两种用户各自的KPI分别计算其对应的KQI 接入时延为接入GPRS的时长；接通状态在Attach状态与PDP激活状态都成功时，其数值为1，否则为O ;请求成功状态与DNS响应状态的涵义和赋值方式相同；在线状态与承载网络状态的涵义和赋值方式相同；发送时长与彩信上传时长的涵义和赋值方式相同；接收时长与彩信下载时长的涵义和赋值方式相同；平均速率与其对应的KPI指标的涵义和赋值方式相同；、
信号稳定度，为信号电平的标准差系数，其计算公式:倍搬發·
IriV1Uii-JM信息完好性表明彩信内容传输是否成功，传输成功时，其数值为1，否则为O ;流程完整性在彩信发送业务中，当接收确认、转发成功和彩信已读三个确认消息都接收到时，其数值为1，否则为O ;而在彩信接收业务中，当接收到彩信抵达消息时，其数值为1，否则为O。(22)先将KQI指标分为两类实测指标参数值越大、网络传输性能越好的正向指标和实测指标参数值越小、网络传输性能越好的反向指标，其中正向指标包括接通状态、请求成功状态、在线状态、平均速率、信息完好性和流程完整性，反向指标包括接入时延、信号稳定度、发送时长和接收时长；(23)利用每个KQI的满意度值KQIhb和层次分析法AHP，按照公式KEIi= Σ ω 0KQIMOSi, 0计算其KEI ;式中，KEIi是由下标i区分的接入性、保持性和完整性的关键体验指标；系数ω 0是由下标β区分的各个KEI中的各个KQImqs的权重，ω 0是由AHP得到的，且满足Σ ω0=1 ；ΚΕΙ的取值区间为
；(24)按照下述公式计算测试终端模拟用户每次彩信业务的QoE值QoE= Σ (OiKEIi=CO接入性KEI接入性+ ω保持性KEI保持性+ ω完整性KEI完整性;该步骤操作内各与步骤
(23)相同，也是利用AHP方法先构造KEI关系判断矩阵，再计算该判断矩阵的最大特征值与其对应的特征向量，并对该特征向量进行归一化处理，归一化处理后的特征向量的每个元素就是各个业务接入、业务保持和业务完整三个KEI对应的权重Oi，最后进行一致性检验；但是，需要说明的是当该三个KEI中的任意一个数值为O时，则其对应的QoE即为O。所述期望值是由评估者根据人的主观体验和需求，针对不同类型的应用进行差异化设置的数值；所述满意度映射函数是根据人的主观体验模型，即取决于各项KQI实测值与其期望值之比值而确定的下述两种S型分段曲线的函数式正向指标满意度映射函数式:
权利要求
1.一种模拟用户行为的彩信业务用户感知体验QoE的测评方法，其特征在于先设置一套包括彩信发送和彩信接收两种用户各自的业务接入，业务保持和业务完整三方面用户感知体验参数的彩信业务QoE测评指标体系，然后，利用测试终端模拟用户使用彩信业务的发送和接收过程，分别采集与计算彩信业务两种用户感知体验的关键性能指标KPI (KeyPerformance Indicator),进而计算其相应的彩信业务关键质量指标KQI (Key QualityIndicator),以及利用心理模型对KQI进行综合运算而获得相应的彩信业务的关键体验指标KEI(Key Experience Indicator),然后对这些KEI指标进行综合分析,获得等效于国际标准平均意见分值MOS (Mean Opinion Score)的5分制彩信业务QoE值。
2.根据权利要求I所述的评测方法，其特征在于所述彩信业务QoE测评指标体系中，彩信发送的业务接入性能的KQI参数设有三项取决于接入通用分组无线业务GPRS时长的接入时延、取决于GPRS附着Attach结束状态和分组数据协议PDP激活结束状态的接通状态、以及取决于传输控制协议TCP连接状态和域名解析DNS响应状态的请求成功状态；其业务保持性能的KQI参数设有四项取决于承载网络是否在线的在线状态，取决于彩信上传时长的发送时长、彩信传输的平均速率、以及取决于信号电标准差的信号稳定度；其业务完整性能的KQI参数设有两项；取决于传输成功状态的信息完好性和取决于确认消息状态的流程完整性；彩信接收业务的三方面性能指标参数中，除去其业务保持性能的KQI参数中的接收时长取决于彩信下载时长以外，其他参数都与彩信发送相同。
3.根据权利要求2所述的方法，其特征在于所述方法包括下述步骤 (1)测试终端采集和计算一次彩信业务发送和接收两种用户的KPI参数； (2)分别根据彩信业务QoE测评指标体系中两种用户各自的KPI参数，逐步计算彩信业务相应的KQI和利用心理模型对KQI进行综合运算，获得相应的KEI，最终获得模拟该次彩信业务发送和接收两种用户的QoE值； (3)在不同时间和/或不同地点分别执行步骤(I)和(2)的操作后，对获得的多次彩信业务发送和接收两种用户的不同QoE值进行分析与统计，得到在设定时间和/或设定地区的彩信业务用户感知体验的质量状况。
4.根据权利要求3所述的方法，其特征在于所述步骤(I)中，测试终端每次采集和计算彩信业务发送与接收两种用户的KPI包括下述各个参数 接入通用分组无线业务GPRS时长为接入GPRS结束时刻与开始时刻的时间差，单位为秒(s )； GPRS附着(Attach)结束状态；表明测试终端是否连接到GPRS，附着成功，说明该测试终端已经连接到GPRS，其数值为1，否则为0 ; 分组数据协议F1DP (Packet Data Protocol)激活结束状态所述激活是终端在传送彩信前向系统服务器申请地址资源的过程，激活成功的数值为1，否则为0 ; DNS响应状态DNS解析和TCP连接同时成功时，其数值为1，否则为0 ; 承载网络状态所述承载的网络为GPRS或TD-SCDMA，接入网络后能保持连接状态，则其数值为1，否则为0 ; 彩信上传时长测试终端发送彩信的起始时刻与该彩信到达彩信中心MMSC时刻的时间差，仅在彩信发送中有该指标； 彩信下载时长测试终端接收到彩信通知后，从该通知中提取携带MMS消息存放地址的统一资源定位符URL的时间起始，直到其通过无线会话协议WSP或超文本传输协议HTTP的获取指令从MMSC下载完成该彩信的时间，仅在彩信接收中有该指标； 平均传输速率为测试时间段内彩信传输速率的均值，在彩信发送中，该指标是发送的MMS总字长与彩信上传时长之比；在彩信接收中，该指标是接收到的MMS总字长与彩信下载时长之比,单位均为Kb/秒； 信号电平标准差为测试时间段内信号电平的均方差；单位是分贝毫瓦(dBm)； 传输成功状态对于彩信发送，该指标是测试终端把彩信发送到MMSC时，其数值为1，否则为O，对于彩信接收，该指标是测试终端从彩信中心成功下载彩信时，其数值为1，否则为O ; 确认消息状态针对彩信业务流程中的发送、通知、彩信提取及回执的三个阶段分别设有下述四个交互状态的确认消息发送阶段是在MMSC接收到彩信后，给发送端的接收确认消息；通知阶段有两条消息=MMSC通过推送TOSH协议给接收端发送的包含该彩信位置URL的彩信抵达消息，以及MMSC给发送端发送的表明该彩信已经成功转发的确认消息；彩信提取及回执过程是在发送端要求和接收端允许的前提下，当接收端下载彩信后，MMSC给发送端的该彩信己读的确认消息，上述各个通知消息若被接收，其相应数值为1，否则为O。
5.根据权利要求3所述的方法，其特征在于所述步骤(2)进一步包括下列操作内容 (21)利用彩信业务两种用户各自的KPI分别计算其对应的KQI 接入时延为接入GPRS的时长； 接通状态在Attach状态与PDP激活状态都成功时，其数值为1，否则为O ; 请求成功状态 与DNS响应状态的涵义和赋值方式相同； 在线状态与承载网络状态的涵义和赋值方式相同； 发送时长与彩信上传时长的涵义和赋值方式相同； 接收时长与彩信下载时长的涵义和赋值方式相同； 平均速率与其对应的KPI指标的涵义和赋值方式相同； 信号稳定度，为信号电平的标准差系数，其计算公式:腦_如.; 信息完好性表明彩信内容传输是否成功，传输成功时，其数值为1，否则为O ; 流程完整性在彩信发送业务中，当接收确认、转发成功和彩信已读三个确认消息都接收到时，其数值为1，否则为O ;而在彩信接收业务中，当接收到彩信抵达消息时，其数值为·1，否则为O。
(22)先将KQI指标分为两类实测指标参数值越大、网络传输性能越好的正向指标和实测指标参数值越小、网络传输性能越好的反向指标，其中正向指标包括接通状态、请求成功状态、在线状态、平均速率、信息完好性和流程完整性，反向指标包括接入时延、信号稳定度、发送时长和接收时长； (23)利用每个KQI的满意度值KQIsros和层次分析法AHP，按照公式KEIi=E eKQIsrosi,0计算其KEI ;式中，KEIi是由下标i区分的接入性、保持性和完整性的关键体验指标；系数是由下标@区分的各个KEI中的各个KQImqs的权重，w 0是由AHP得到的，且满足E W0=I ；KEI的取值区间为[O，5]； (24)按照下述公式计算测试终端模拟用户每次彩信业务的QoE值QoE=E WiKEIi=Co接入性KEI接入性+ w保持性KEI保持性+ w完整性KEI完整性；该步骤t呆作内各与步骤(23)相冋，也是利用AHP方法先构造KEI关系判断矩阵，再计算该判断矩阵的最大特征值与其对应的特征向量，并对该特征向量进行归一化处理，归一化处理后的特征向量的每个元素就是各个业务接入、业务保持和业务完整三个KEI对应的权重％，最后进行一致性检验；但是，需要说明的是当该三个KEI中的任意一个数值为0时，则其对应的QoE即为O。
6.根据权利要求5所述的方法，其特征在于所述期望值是由评估者根据人的主观体验和需求，针对不同类型的应用进行差异化设置的数值；所述满意度映射函数是根据人的主观体验模型，即取决于各项KQI实测值与其期望值之比值而确定的下述两种S型分段曲线的函数式正向指标满意度映射函数式
全文摘要
一种模拟用户行为的彩信业务用户感知体验QoE的测评方法，是先设置一套包括彩信发送和彩信接收两种用户各自的业务接入，业务保持和业务完整三方面用户感知体验参数的彩信业务QoE测评指标体系，再利用测试终端模拟用户使用彩信业务的发送和接收过程，分别采集与计算彩信业务两种用户感知体验的关键性能指标KPI，进而计算其相应的彩信业务关键质量指标KQI，以及利用心理模型对KQI进行综合运算而获得相应的彩信业务的关键体验指标KEI，然后对这些KEI指标进行综合分析，获得等效于国际标准平均意见分值MOS的5分制彩信业务QoE值。本发明的测评参数标准客观、实用，操作步骤简单、计算复杂度低、容易实现；能模拟用户行为得到相对客观、公正的用户体验感知质量。
文档编号H04W4/12GK102711061SQ20121016046
公开日2012年10月3日 申请日期2012年5月22日 优先权日2012年5月22日
发明者亓玉娇, 刘勇, 叶艳柯, 周小毛, 孟欣欣, 徐静涛, 李湘平, 杜海清, 王永峰, 胡文, 许克辉 申请人:北京东方文骏软件科技有限责任公司, 北京邮电大学