专利名称：业务支撑能力的测试方法
技术领域：
本发明涉及移动通信网络中的业务支撑能力的测试方法，尤其是一种移 动通信网络中网络对端对端业务的支撑能力进行测试的方法。
背景技术：
随着通讯技术的进步，端对端业务也逐渐的发展起来，对于运营商、服 务提供商和设备供应商等移动通信的参与各方来说，端到端业务性能的测试 十分重要。对于运营商来说，端对端业务性能测试对进一步的网络部署以及 开展新型业务的支撑能力测试有很重要的意义。在现阶段，还缺少标准组织 在此领域有针对性地输入权威的规范，虽然也存在一些相关的技术内容，但 是通常都从工程技术的角度入手，对业务服务的技术关键点进行研究和分析， 例如，仅对承载网络的可测量性能指标进行量化，并作为标准来评价底层网络所提供的业务的好坏；或者只对应用层中的关键技术进行研究分析，例如 多媒体业务音视频编解码的性能衡量参数指标。以上提到的性能测试往往是仅对技术关键点进行研究和分析，具有一定 的缺陷首先是在端对端业务性能评估中，各种性能参数都处于一个平面， 或者仅按照一些简单的规则进行分层，性能参数之间缺乏一定的映射关系； 其次，性能参数指标的选取以及测量往往凭借研究经验，忽略了用户和市场 中可能的一些决定性因素；另外，现在这种业务性能评估还没有完整、系统 的数学模型，指标间也没有一定的量化映射关系，因此使得性能评价孤立， 难以获得准确的评价结果，从而无法根据这些评价结果判断现有网络对端到 端业务的支撑情况如何。发明内容本发明的目的是针对通过现有端对端业务的测试体系无法准确的判断现 有网络能够支撑一些业务的问题，提出一种业务支撑能力的测试方法，能够根据网络中各个网元的服务质量(Quality of Service,简称QoS )获得与 业务相关的用户体验质量(Quality of Experiece,简称QoE )，并根据体 验质量的水平进行评估。为实现上述目的，本发明提供了一种业务支撑能力的测试方法，其包括 以下步骤获得当前网络中各网元的实际服务质量参数；根据体验质量与服务质量的参数映射模型将所述实际服务质量参数 映射为体验质量参数；判断所述体验质量参数是否符合测试业务必需的体验质量参数水平， 是则输出所述当前网络适合开展该测试业务的结果，否则输出不适合开展 该测试业务的结果。在上述技术方案中，还可以在获得当前网络中各网元的实际服务质量参 数的操作之前，将服务质量参数根据开放系统互连标准按网络层次和网元 进行划分，获得服务质量层次模型。进一步地，所述根据体验质量与服务质量的参数映射模型将所述实际 服务质量参数映射为体验质量参数的操作具体为根据所述实际服务质量参数所属的网元选择与该网元相关的体验质 量与服务质量的参数映射模型；根据所述相关的体验质量与服务质量的参数映射模型将所述实际服 务质量参数映射为体验质量参数。进一步地，判断所述体验质量参数是否符合测试业务必需的体验质量 参数水平的操作具体为判断所述体验质量参数是否小于预定阈值，是则忽略该体验质量参 数，否则利用所述体验质量参数计算效用函数值，将所述计算获得的效用 函数值与所述测试业务必需的体验质量参数水平所属的数值区间进行对 比，判断该效用函数值是否属于所述数值区间。进一步地，在所述获得当前网络中各网元的实际服务质量参数的操作 之前，还包括获得与所述预定业务相关的体验质量参数及权重的步骤，具体为对所述预定业务的所有相关体验质量参数进行独立或组合大样本测试，获得所有相关体验质量参数中影响程度超过预定闳值的体验质量参数 以及该体验质量参数的权重。进一步地，所述利用所述体验质量参数计算效用函数值的操作具体为 将所述体验质量参数乘以该体验质量参数的权重的结果作和，获得效用函 数值。上述技术方案中如果预定业务为流媒体业务，则需要对流媒体业务的 所有相关体验质量参数进行独立或组合大样本测试，以获取相关的体验质 量参数及权重，所述体验质量参数包括服务不可接入率、初始连接时间、 重緩沖频率、重緩冲时间、音频质量、视频质量、音视频同步差错率、音 视频同步时间和服务失败率中组合的部分或全部。基于上述的技术方案，本发明建立了不同层次、不同逻辑网元之间的映 射关系，构成了二维逻辑体系，并根据二维逻辑体系建立数学模型，用以分 析服务质量和体验质量参数之间的量化映射关系。本发明将当前网络中网元 的服务质量映射为体验质量，并根据该业务的用户体验质量来评估当前网络 是否可实现该种业务，因此这种测试方法业务针对性强，且便于理解。下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
图1为本发明服务质量层次模型的示意图。图2为本发明体验质量与服务质量的参数映射模型的示意图。 图3为本发明业务支撑能力的测试方法的一实施例的流程示意图。 图4为本发明业务支撑能力的测试方法的另一实施例的流程示意图。
具体实施方式
本发明按照网络层次和不同网元对QoS参数进行纵向和横向的分层， 并将表示用户体验感受的QoE参数与分层后的QoS参数进行一定规则的映 射，并建立映射模型。在现有网络中开展一项新的业务时，能够从网络中 各个网元的服务质量对应的用户体验的角度出发，以用户体验的程度来测 试现有网络是否能够支撑该业务的实现。如图1所示，为发明服务质量层次模型的示意图，在图中纵向代表网 络层次，这里的网络层次是指0SI网络模型中规定的层次，包括应用层、 传输层以及传输层以下的数据链路层和物理层。在图中横向代表该业务所 涉及的网元。对于某项业务QoS参数来说，可以通过以上的横纵分层获得 服务质量的层次模型。以流媒体业务为例，涉及该业务的QoS参数很多， 包括帧大小(Frame size )、帧率(Frame rate )、帧丢失率(Frame loss rat io )、帧差错率(Frame error ratio)、帧差错率(Frame error ratio)、 传输率(Transaction rate)、传输延迟(Transaction delay)、 带宽(Bandwidth)、传输延迟(Transfer delay)、抖动(Jitter)、包丢 失率(Packet loss ratio)、 包差错率(Packet error ratio)、 帧丢 弃率(Frame discard ratio)、剩余比4争率(Residual bit ratio)、 基站功率(Base station power)、接入延迟(Access delay) 、 P且塞率(Block ratio)、软掉话率(Soft handoff i-ate)。按照网络层次进行划分，应用层所涉及的QoS参数有帧大小、帧率、 帧丢失率、帧差错率、帧差错率、传输率和传输延迟。传输层所涉及的QoS 参数有带宽、传输延迟、抖动、包丟失率和包差错率。传输层以下层次(数据链路层和物理层)所涉及的QoS参数有帧丟失率、帧差错率、帧丟弃率、剩余比特率、基站功率、接入延迟、阻塞率和软掉话率。按照网元划分QoS参数是指根据端到端网络中的不同网段，终端或者 客户端、无线网络传送、无线接入及其控制、固定网络传送和服务器等各 自涉及的QoS参数进行划分。其中固定网络传送包括核心网和业务承载网。如图2所示，为本发明体验质量与服务质量的参数映射模型的示意图。 体-验质量与业务类型有关，同样以流々某体业务为例，QoE参数包括服务不 可4姿人率(Service non—Accessbi 1 ity )、净刀i合连4妄时间(Initial Coimection time ) 、 4刀i台纟差〉中曰十间(Initial buffering time )、重纟复,中步页率(Rebuf fer ing f requency )、冲緩冲时间(Rebuf fer ing t ime )、音步贞质量(Audio qual i ty )、 视频质量(Video quality)、音视频同步差错率(Audio/Video Synchronize error frequency)、音视频同步时间(Audio/Video Synchronize time)、 服务失败率(Service failure ratio)等。在图2的QoE参数与服务质量层次模型构成了体验质量与服务质量的参 数映射模型，在参数映射模型中QoE参数与QoS参数可以一一对应，也可一 对多或多对多的对应，QoE参数和QoS参数之间的量化映射关系通过该参数 映射模型体现出来。对于本发明业务支撑能力的测试方法来讲，其基础是选取影响该业务性 能的QoE参数，需要根据业务种类和用户对该业务的性能要求进行测试来获 得QoE参数。在网络中可能运行有多种业务类型，而对于不同的具体业务来 讲，对QoE的要求并不相同，例如有些业务对时延要求较高，有些业务队丢 包率比较敏感，因此在选取QoE参数的时候需要考察具体的业务。以具体业务(流媒体业务)举例来说，有哪些QoE参数由业务本身决定， 而QoE参^:的权重则是根据独立或组合大样本测试获得的。对于每个QoE 参数都要进行独立或组合设计样本，例如独立参数样本可以设计为 一种唇 齿不同步的情况，而组合参数样本则可以设计为 一种视频马赛克+视频信号抖动的情况，将以上的样本进行测试来检验用户在不同情况下对于QoE参数的体验，并由测试者进行打分。通过大样本测试，可以将测试者的个体特例因素降到很低的程度，并得出相对准确的QoE优先级，而这种方法是一种通过统计学和概率理论来 研究非确定课题的通用研究方法。对大样本测试结果进行统计分析，得出QoE参数对业务实现的影响程 度大小，从而最终得出QoE参数对业务实现的优先级和权重。对QoE参数 按影响业务体验的优先级进行排序，并按各个参数的评分结果按比例对应 成权重值。例如对于视频流业务来说，音视频不同步的样本评分均值为 2. 7(5分制)，视频马赛克的样本均值为0. 5(5分制)，从而可以把音视频 不同步参数的权重定义为2,7/5 =0.54,视频马赛克的权重定义为 0.5/5=0.1。当把各个QoE参数的权重作和时，可以获得效用函数值 U = ^Ki*Pi,其中Ki为各个QoE的权值，Pi取值为1或0,当网络中的业务性能受到该QoE参数影响时，Pi为l，否则为0。如图3所示，为本发明业务支撑能力的测试方法的一实施例的流程示意图，包4舌以下步骤步骤IOI、获得当前网络中各网元的实际QoS参数；步骤102、根据QoE与QoS的参数映射模型将所述实际QoS参数映射为QoE参数；步骤103、判断所述QoE参数是否符合测试业务必需的QoE参数水平， 是则才丸行步骤104,否则执行步骤105;步骤104、输出所述当前网络适合开展该测试业务的结果，并结束操作；步骤105、输出不适合开展该测试业务的结果。在判断QoE参数是否符合测试业务必需的QoE参数水平时，由于有些 QoE参数对业务影响很小，因此可以通过设定阈值来排除一些不重要的QoE参数的影响。例如对于启动时延，如果小于3s就可忽略该QoE参数带来 的影响。如果QoE参数大于该阈值，则利用QoE参数计算效用函数值，将 计算获得的效用函数值与测试业务必需的QoE参数水平所属的数值区间进 行对比，判断该效用函数值是否属于数值区间，如果在数值区间内，则认 为可以开展该测试业务，如果不在数值区间，则认为不适合开展该测试业 务。以视频流业务举例进行说明，对于QoS参数带宽，该QoS参数相关联 的网元有各自的带宽值，而从用户体验的角度上讲主要是在图像清晰程 度、图像画面被破坏程度对用户体验有较大的影响，而这些视频质量的参 数则是由各个网元的带宽最小值决定的。这种对应关系就体现在QoE参数 与QoS参数的映射模型中。当计算出的视频质量参数在规定范围内，则表 示适合开展该业务，从而方便的为运营商提供指导。如图4所示，为本发明业务支撑能力的测试方法的另一实施例的流程示 意图，包括以下步骤步骤101、获得当前网络中各网元的实际QoS参数，对于各种网元设备， 其获取QoS参数的方式各有不同，且采用各种特定设备获取该QoS参数， 这里就不进行详述了；步骤102a、根据QoS层次模型选择与QoE参数相关的网元，QoS层次 模型在水平上划分为多个网元，需要选择与该QoE参数相关的某些网元；步骤102b、在QoE与QoS的参数映射模型中，查找与相关网元对应的 映射模型，然后将实际QoS参数映射为QoE参数；步骤103、判断QoE参数是否符合测试业务必需的QoE参数水平，是 则执行步骤104，否则执行步骤105;步骤104、输出当前网络适合开展该测试业务的结果，并结束操作；步骤105、输出不适合开展该测试业务的结果。这里举例进行说明QoS参数与QoE参数映射模型，以QoS层的参数时延为例，所谓时延是指传输层数据包到达间隔时间，QoS层各网元时延总 和即为QoE层的参数启动延迟的值，而启动延迟的含义是指电机播放到开 始播放视频的时间。在某业务(例如视频流)开展前，求出现有网络中QoS 参数对应的QoE参数值，就可以方便的比较出该业务是否适合在现有网络 中实施。综上所述，本发明建立了不同网络层次、不同逻辑网元之间的映射关系， 构成了 二维逻辑体系，并根据二维逻辑体系建立数学模型，以分析QoS和噢 QoE参数之间的量化映射关系，在选择QoE参数时，根据用户调查和市场研 究中的关键因素通过大样本的测试和统计分析进行选取，从而可以量化性能 指标之间的关系。最后应当说明的是以上实施例仅用以说明本发明的技术方案而非对 其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普 通技术人员应当理解依然可以对本发明的具体实施方式
进行修改或者对 部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵 盖在本发明请求保护的技术方案范围当中。
权利要求
1. 一种业务支撑能力的测试方法，其包括以下步骤获得当前网络中各网元的实际服务质量参数；根据体验质量与服务质量的参数映射模型将所述实际服务质量参数映射为体验质量参数；判断所述体验质量参数是否符合测试业务必需的体验质量参数水平，是则输出所述当前网络适合开展该测试业务的结果，否则输出不适合开展该测试业务的结果。
2、 根据权利要求1所述的测试方法，其中在获得当前网络中各网元的 实际服务质量参数的操作之前，将服务质量参数根据开放系统互连标准按 网络层次和网元进行划分，获得服务质量层次模型。
3、 根据权利要求2所述的测试方法，其中所述根据体验质量与服务质 量的参数映射模型将所述实际服务质量参数映射为体验质量参数的操作 具体为根据所述实际服务质量参数所属的网元选择与该网元相关的体验质 量与服务质量的参数映射模型；根据所述相关的体验质量与服务质量的参数映射模型将所迷实际服 务质量参数映射为体验质量参数。
4、 根据权利要求1-3所述的测试方法，其中判断所述体验质量参数是 否符合测试业务必需的体验质量参数水平的操作具体为判断所述体验质量参数是否小于预定阈值，是则忽略该体验质量参 数，否则利用所述体验质量参数计算效用函数值，将所述计算获得的效用 函数值与所述测试业务必需的体验质量参数水平所属的数值区间进行对 比，判断该效用函数值是否属于所述数值区间。
5、 根据权利要求4所述的测试方法，其中在所述获得当前网络中各网 元的实际服务质量参数的^t喿作之前，还包括获得与所述预定业务相关的体验质量参数及权重的步骤，具体为对所述预定业务的所有相关体验质量 参数进行独立或组合大样本测试，获得所有相关体验质量参数中影响程度 超过预定阈值的体验质量参数以及该体验质量参数的权重。
6、根据权利要求5所述的测试方法，其中所述利用所述体验质量参数 计算效用函数值的操作具体为将所述体验质量参数的权重作和，获得效 用函数值。
全文摘要
本发明涉及一种业务支撑能力的测试方法，其包括获得当前网络中各网元的实际服务质量参数；根据体验质量与服务质量的参数映射模型将所述实际服务质量参数映射为体验质量参数；判断所述体验质量参数是否符合测试业务必需的体验质量参数水平，是则输出所述当前网络适合开展该测试业务的结果，否则输出不适合开展该测试业务的结果。本发明建立了不同网络层次、不同逻辑网元之间的映射关系，构成了二维逻辑体系，并根据二维逻辑体系建立数学模型，以分析QoS和QoE参数之间的量化映射关系，在选择QoE参数时，根据用户调查和市场研究中的关键因素通过大样本的测试和统计分析进行选取，从而可以量化性能指标之间的关系。
文档编号H04Q7/38GK101272575SQ20071006474
公开日2008年9月24日 申请日期2007年3月23日 优先权日2007年3月23日
发明者炎 张, 杨若望, 王南掬, 王敬宇 申请人:中国移动通信集团公司