专利名称：模拟用户行为的话音业务用户感知体验QoE的评测方法
技术领域：
本发明涉及一种对移动通信网络的话音业务体验质量QoE (Quality ofExperience)的评 估方法，确切地说，涉及一种使用客观方法模拟用户行为的话音业务质量的感知体验评测方法，属于移动通信网络业务质量评估的技术领域。
背景技术：
随着移动通信网络的不断发展和逐渐普及，用户对移动通信网的话音业务质量的要求也随之不断提高；可以说，话音质量的好坏直接影响着用户对于运营商的选择。因此，根据移动通信网络业务质量的要求，亟需建立一套话音业务服务质量和用户感知体验的客观评测体系，以便能够更好地对话音业务服务质量和用户感知体验进行定量分析和评估。这个需求已经逐步成为移动网络运营商在网络建设过程中必须考虑的关键问题。下面简介话音服务质量和用户感知体验的客观评测方法的现有技术状况(I)针对话音服务质量评估的专利申请《一种评估移动通信话音质量的方法》(中国专利申请号201010549835.4)是在移动通信网络进行通话时，采集在网络间传输的各种信令，利用信令中携带的相关数据与信息来评估用户通话质量的好坏。该项技术只是客观评价话音内容的传输质量，没有全面评估用户对话音业务的感知体验，没有涉及用户通话的接入与释放等过程。《用于估计语音质量的方法和设备》(中国专利申请号200580051845.2)，该方法介绍了为接入网络与核心网络之间和在核心网络中传输的语音帧和确定帧的丢失比率，并将帧丢失的比率映射到质量估计值。该项技术仅仅考虑语音的丢帧率来计算语音平均意见得分值MOS (Mean Opinion Score),不能反映用户对话音业务的整体体验感知状况。(2)国内外的一些厂商、公司也提出了不同的客观评测话音业务质量的解决方案，例如，世纪鼎利话音质量感知评估PESQ (Perceptual Evaluation of Speech Quality)系统是利用国际电联ITUP. 862推荐话音评估最新算法PESQ制作的，用于测试话音业务的MOS值。然而，该系统只能得到话音业务的MOS值，而MOS值只是用户体验的一个指标参数，它没有模拟用户拨打电话的接入或保持通话等过程，无法全面评估一次话音业务。华为公司的话音业务质量评估方法VQI (Voice Quality Index)是一种在运营过程中对上行话音的一些技术指标进行统计、分析和计算，从而判断上行话音业务质量的方法。但是，该方法只适用于上行话音业务质量的评估，不够全面和真实，没有模拟用户的双工话音业务。爱立信提出的自动化网络监测解决方案(TEMS Automatic)能够通过对话音和数据服务执行真正的端到端测试，并站在用户角度评估网络质量。虽然该技术通过监测网络质量来评估业务质量，但缺陷是没有直观的业务质量评估数值。上述多种话音业务质量评估方案，有的虽然实施简单，技术完善，但是无法真正模拟用户使用话音业务的过程，不能客观地反映主被叫用户双方对同一次话音业务的不同体验。总之，尽管现有技术已经提出若干种话音业务的质量和用户体验的评估方案，其中，有的方案操作简单，技术也比较完善；但是，这些技术都不能真正模拟用户使用话音业务的全过程，不能客观地反映用户对话音业务全过程的体验感知评测。
发明内容
有鉴于此，本发明的目的是提供一种模拟用户行为的话音业务用户感知体验QoE的评测方法，以便能够对话音业务质量进行定量分析和评测，全面评估话音业务中主被叫双方用户的不同体验感知质量，以弥补现有技术缺陷和满足网络运营商的需求。为了达到上述目的，本发明提供了一种模拟用户行为的话音业务用户感知体验QoE (Quality of Experience)的评测方法,其特征在于先设置一套包括主叫用户和被叫用户两种感知体验、并把这两种用户感知体验区分成各自的业务接入、业务保持和业务完整三方面用户体验参数的话音业务QoE测评指标体系；然后，利用测试终端模拟用户使用话音业务的主叫和被叫的全过程，分别采集与计算通话双方主被叫两种话音业务的关键性能指标KPI (Key Performance Indicator),进而计算其相应的话音业务关键质量指标KQI (Key Quality Indicator),以及利用心理模型并结合KQI进行综合运算,获得相应的话音业务的关键体验指标KEI (Key Experience Indicator),然后对这些KEI指标进行综合分析，获得等效于国际标准平均意见得分值MOS (Mean Opinion Score)的五分制话音业务QoE 值。所述话音业务QoE测评指标体系中主叫用户的业务接入性能的KQI参数设有两项取决于主叫回铃时延的接入时延和取决于摘机状态的接通状态，业务保持性能的KQI参数设有五项取决于呼叫结束状态及其原因的掉话状态、取决于实测的话音质量平均意见得分值MOS值的单通状态、串话状态和话音稳定度，以及取决于信号电平标准差的信号稳定度，业务完整性能的KQI参数设有两项取决于平均MOS值的话音质量和取决于释放时延的释放性；被叫用户的业务接入性能的KQI参数也设有两项取决于被叫振铃时延的接入时延和取决于业务信道状态的接通状态，其业务保持和业务完整性能的KQI参数的项目内容与数量都与主叫用户相同。所述方法包括下述步骤(I)测试终端采集和计算一次话音业务主被叫通话双方用户的KPI参数；(2)根据话音业务QoE测评指标体系中主被叫两种用户的KPI参数，分别计算主被叫话音业务各自相应的KQI和利用心理模型对KQI进行综合运算，从而获得相应的KEI，最终获得模拟用户本次使用话音业务的QoE值；(3)在不同时间和/或不同地点分别执行上述两个步骤(I)和(2)的操作后，对获得的多次话音业务的主被叫用户不同QoE值进行分析与统计，获得在设定时间和/或设定地区的话音业务用户感知体验的质量状况。所述步骤(I)中，话音业务KPI参数包括两类主叫用户KPI参数和被叫用户KPI参数，其中，话音业务主叫用户KPI设有下述9项检测参数主叫回铃时延为主叫用户接收到回铃时间与其拨号完成时间之差，单位为秒
(S)；主叫接通状态为主叫用户摘机且业务信道分配成功时的状态，其数值为1，否则为0 ;
主叫掉话状态为主叫用户通话未结束就中断通信链路的状态，取决于呼叫结束状态及其原因，其数值在未掉话时为0,掉话时为I ;单通状 态为主、被叫双方用户中有一方听不到对方声音的状态，当主、被叫用户中一方实测MOS值为0时，该用户的单通状态数值为1，否则为0 ;串话状态为其他信号耦合到本次通信线路造成干扰的状态，检测方法是在话音编码帧里插入测试比特位，根据通话前后对该测试比特位的检测来判断通话过程中是否产生串话；其数值在未串话时为0,串话时为I ;MOS标准差为每一次通话时间内话音MOS采样值的均方差；信号电平标准差为测试时间内信号电平值的均方差，单位为分贝(dBm)；平均MOS值为每一次通话时间段内的MOS平均值；释放时延为用户主动结束呼叫到系统完成资源释放的时延，单位为毫秒(ms)。话音业务被叫用户KPI也设有下述共9项检测参数被叫振铃时延为振铃开始时间与寻呼指令到达被叫终端的时间之差，单位为秒
(S)；被叫接通状态为被叫用户摘机且业务信道分配成功时的状态，其数值为1，否则为0 ;其他六个参数掉话状态、单通状态、串话状态、MOS标准差、信号电平标准差、平均MOS值和释放时延的定义及其数值涵义都与主叫用户KPI相同。所述步骤(2)中，计算话音业务的主被叫用户各自KQI的操作步骤相同，分别包括下列操作内容(21)利用测试终端采集到的话音业务主被叫用户的KPI分别计算各自对应的KQI 接入时延，分别与主叫回铃时延或被叫振铃时延的定义和数值涵义相对应；接通状态、掉话状态、单通状态和串话状态，分别与KPI指标逐一对应；话音稳定度，为MOS采样值的标准差系数，其计算公式为
声立户中产—MOS标准差
1口日稳止度—信号稳定度，为信号电平的标准差系数，其计算公式信号稳
号电平驢话音质量，为实测的话音质量平均意见得分值MOS的均值；释放性，与释放时延的定义和数值涵义相对应；(22)先将KQI指标分为两类实际数值越大、网络性能越好的正向指标和实际值越小、网络性能越好的反向指标，其中正向指标包括接通状态，掉话状态、单通状态、串话状态和话音质量；反向指标包括接入时延、话音稳定度、信号稳定度和释放性；再将每项KQI指标与其期望值相比较，并按照满意度映射函数计算每个KQI的满意度值KQImqs,即等效于MOS
区间的得分值；(23)利用每个KQI的满意度值KQImqs和层次分析法AHP (Analytic HierarchyProcess)计算其KEI，得到的KEI的分值区间为
；
为全面评测话音业务的QoE，KEI参数被细分为三种分别为接入性、保持性和完整性的KEI，且其计算公式相同，都为=KEIi= E Co AQImqU，其中，自然数下标i表示上述接入性、保持性和完整性三种KEI的序号，权重《 i则由AHP得到，且满足E i=l ；(24)按照下述公式加权计算主被叫用户每一次话音业务的QoE值，就能够分别评估主被叫用户的体验质量QoE=W接入性KEI接入性+ w保持性KEI保持性+ w完整性KEI完整性；该步骤的f呆作与步骤(23)
相同，即利用AHP方法先构造各KEI关系判断矩阵，再计算该判断矩阵的最大特征值与其对应的特征向量，归一化后的特征向量的每个元素就是各KEI对应的权重Oi，最后进行一致性检验；但要说明的是当上述三个KEI中的任意一个数值为0时，则其对应的QoE即 为O。所述期望值是由评估者根据人的主观体验和需求，针对不同类型的应用进行差异化设置的数值；所述满意度映射函数是根据人的主观体验模型，即取决于各项KQI实测值与其期望值之比值而确定的下述两种S型分段曲线的函数式正向指标满意度映射函数式
权利要求
1.一种模拟用户行为的话音业务用户感知体验QoE的评测方法，其特征在于先设置一套包括主叫用户和被叫用户两种感知体验、并把这两种用户感知体验区分成各自的业务接入、业务保持和业务完整三方面用户体验参数的话音业务QoE测评指标体系；然后，利用测试终端模拟用户使用话音业务的主叫和被叫的全过程，分别采集与计算通话双方主被叫两种话音业务的关键性能指标KPI(Key Performance Indicator),进而计算其相应的话音业务关键质量指标KQI(Key Quality Indicator),以及利用心理模型并结合KQI进行综合运算，获得相应的话音业务的关键体验指标KEI(Key Experience Indicator),然后对这些KEI指标进行综合分析,获得等效于国际标准平均意见得分值MOS (Mean Opinion Score)的五分制话音业务QoE值。
2.根据权利要求I所述的评测方法，其特征在于所述话音业务QoE测评指标体系中主叫用户的业务接入性能的KQI参数设有两项取决于主叫回铃时延的接入时延和取决于摘机状态的接通状态，业务保持性能的KQI参数设有五项取决于呼叫结束状态及其原因的掉话状态、取决于实测的话音质量平均意见得分值MOS的单通状态、串话状态和话音稳定度，以及取决于信号电平标准差的信号稳定度，业务完整性能的KQI参数设有两项取决于平均MOS值的话音质量和取决于释放时延的释放性；被叫用户的业务接入性能的KQI参数也设有两项取决于被叫振铃时延的接入时延和取决于业务信道状态的接通状态，其业务保持和业务完整性能的KQI参数的项目内容与数量都与主叫用户相同。
3.根据权利要求I所述的评测方法，其特征在于所述方法包括下述步骤 (1)测试终端采集和计算一次话音业务主被叫通话双方用户的KPI参数； (2)根据话音业务QoE测评指标体系中主被叫两种用户的KPI参数，分别计算主被叫话音业务各自相应的KQI和利用心理模型对KQI进行综合运算，从而获得相应的KEI，最终获得模拟用户本次使用话音业务的QoE值； (3)在不同时间和/或不同地点分别执行上述两个步骤(I)和(2)的操作后，对获得的多次话音业务的主被叫用户不同QoE值进行分析与统计，获得在设定时间和/或设定地区的话音业务用户感知体验的质量状况。
4.根据权利要求3所述的方法，其特征在于所述步骤(I)中，话音业务KPI参数包括两类主叫用户KPI参数和被叫用户KPI参数，其中，话音业务主叫用户KPI设有下述9项检测参数 主叫回铃时延为主叫用户接收到回铃时间与其拨号完成时间之差，单位为秒(S); 主叫接通状态为主叫用户摘机且业务信道分配成功时的状态，其数值为1，否则为O ; 主叫掉话状态为主叫用户通话未结束就中断通信链路的状态，取决于呼叫结束状态及其原因，其数值在未掉话时为O,掉话时为I ; 单通状态为主、被叫双方用户中有一方听不到对方声音的状态，当主、被叫用户中一方实测MOS值为O时，该用户的单通状态数值为1，否则为O ; 串话状态为其他信号耦合到本次通信线路造成干扰的状态，检测方法是在话音编码帧里插入测试比特位，根据通话前后对该测试比特位的检测来判断通话过程中是否产生串话；其数值在未串话时为O,串话时为I ; MOS标准差为每一次通话时间内话音MOS采样值的均方差； 信号电平标准差为测试时间内信号电平值的均方差，单位为分贝(dBm)；平均MOS值为每一次通话时间段内的MOS平均值； 释放时延为用户主动结束呼叫到系统完成资源释放的时延，单位为毫秒(ms)； 话音业务被叫用户KPI也设有下述共9项检测参数 被叫振铃时延为振铃开始时间与寻呼指令到达被叫终端的时间之差，单位为秒(s)； 被叫接通状态为被叫用户摘机且业务信道分配成功时的状态，其数值为1，否则为O ; 其他六个参数掉话状态、单通状态、串话状态、MOS标准差、信号电平标准差、平均MOS值和释放时延的定义及其数值涵义都与主叫用户KPI相同。
5.根据权利要求3所述的方法，其特征在于所述步骤(2)中，计算话音业务的主被叫用户各自KQI的操作步骤相同，分别包括下列操作内容 (21)利用测试终端采集到的话音业务主被叫用户的KPI分别计算各自对应的KQI 接入时延，分别与主叫回铃时延或被叫振铃时延的定义和数值涵义相对应； 接通状态、掉话状态、单通状态和串话状态，分别与KPI指标逐一对应； 话音稳定度，为MOS采样值的标准差系数，其计算公式为 语音稳定度 平均MOS值 信号稳定度，为信号电平的标准差系数，其计算公式信号稳定度 话音质量，为实测的话音质量平均意见得分值MOS的均值； 释放性，与释放时延的定义和数值涵义相对应； (22)先将KQI指标分为两类实际数值越大、网络性能越好的正向指标和实际值越小、网络性能越好的反向指标，其中正向指标包括接通状态，掉话状态、单通状态、串话状态和话音质量；反向指标包括接入时延、话音稳定度、信号稳定度和释放性； 再将每项KQI指标与其期望值相比较，并按照满意度映射函数计算每个KQI的满意度值KQImos,即等效于MOS [O, 5]区间的得分值； (23)利用每个KQI的满意度值KQImqs和层次分析法AHP(Analytic HierarchyProcess)计算其KEI，得到的KEI的分值区间为[O, 5]； 为全面评测话音业务的QoE，KEI参数被细分为三种分别为接入性、保持性和完整性的KEI，且其计算公式相同，都为=KEIi=E OiKQIs^i，其中，自然数下标i表示上述接入性、保持性和完整性三种KEI的序号，权重ω i则由AHP得到，且满足Σ ω i=l ； (24)按照下述公式加权计算主被叫用户每一次话音业务的QoE值，就能够分别评估主被叫用户的体验质量 QoE= ω接入性KEI接入性+ ω保持性KEI保持性+ ω完整性KEI完整性；该步骤的 呆作与步骤(23 )相问，即利用AHP方法先构造各KEI关系判断矩阵，再计算该判断矩阵的最大特征值与其对应的特征向量，归一化后的特征向量的每个元素就是各KEI对应的权重Qi，最后进行一致性检验；但要说明的是当上述三个KEI中的任意一个数值为O时，则其对应的QoE即为O。
6.根据权利要求5所述的方法，其特征在于所述期望值是由评估者根据人的主观体验和需求，针对不同类型的应用进行差异化设置的数值；所述满意度映射函数是根据人的主观体验模型，即取决于各项KQI实测值与其期望值之比值而确定的下述两种S型分段曲线的函数式正向指标满意度映射函数
全文摘要
一种模拟用户行为的话音业务用户感知体验QoE的评测方法，是先设置一套包括主叫和被叫两种用户感知体验、并把两种用户感知体验区分成各自的业务接入、业务保持和业务完整三方面体验参数的话音业务QoE测评指标体系；然后，用测试终端模拟用户使用话音业务的主被叫全过程，分别采集与计算通话双方主被叫两种话音业务的关键性能指标KPI，进而计算其相应的关键质量指标KQI，以及利用心理模型并结合KQI进行综合运算，获得相应的关键体验指标KEI，然后对这些KEI指标进行综合分析，获得等效于国际标准MOS的五分制话音业务QoE值。本发明的测评参数标准客观、实用，操作步骤简单、计算复杂度低、容易实现；能模拟用户行为得到相对客观、公正的用户体验感知质量。
文档编号H04W24/08GK102685789SQ20121015990
公开日2012年9月19日 申请日期2012年5月22日 优先权日2012年5月22日
发明者亓玉娇, 刘勇, 叶艳柯, 周小毛, 孟欣欣, 徐静涛, 李湘平, 杜海清, 王永峰, 胡文, 许克辉 申请人:北京东方文骏软件科技有限责任公司, 北京邮电大学