专利名称：基于用户体验交互的流媒体质量监测报告的实现方法
技术领域：
本发明涉及一种基于用户体验交互的流媒体质量监测报告的实现方法，属于多媒体通信技术领域。
背景技术：
流媒体是一种使音频、视频和其他多媒体元素在Internet及无线网络上以实时的、无需下载等待的方式进行播放的技术。流媒体技术能给用户提供持续不断的音视频数据流，满足用户在线观赏动态影音的需求。随着计算机网络的快速发展，以及第三代移动通信技术3G(3rd_generation)和无线局域网络WLAN(Wireless Local Area Network)等无线网络的迅速发展,流媒体业务的应用越来越广泛。在有线网络中应用的重要领域为交互式网络电视IPTV(InteractivePersonal TV)，而在移动网络领域主要为移动流媒体。 但是，在现有网络中，尤其是在频谱资源非常紧张的无线网络上提供流媒体业务时，网络延时、拥塞等网络恶劣环境往往会使多媒体数据包的传输产生延时、丢包、抖动或乱序等情况，从而使流媒体的业务质量恶化，给用户体验造成不利影响。对于网络运营商和服务提供商来说，需要采用有效、准确的流媒体质量评测方案来监控其业务传输性能，进而优化网络性能，提高服务质量。然而，目前的流媒体质量评测方法和流媒体传输与控制协议的实际使用都不理想，没有真实地反应业务质量，也未能对流媒体业务实现实时评测和监控，其主要原因是客户端与服务器未能及时进行信息交互一方面，客户端不能及时获知网络环境条件，更谈不上掌握网络环境对用户体验质量造成的影响；另一方面，流媒体服务器也不能实时、准确地获知客户端的用户体验质量，以便及时调整网络参数，这是当前流媒体业务质量监控中存在的两大问题。下面介绍有关移动流媒体质量报告的现有技术简况(I)利用网络参数，直接在网络侧预测流媒体质量。例如，文献《Research onMonitoring Quality of 3G Streaming Media Service》[C](干丨J 于“InternationalConference on Communication Systems, Networks and Applications” 2010),利用网络端的丢包数、丢包率、包时延、包抖动等参数对流媒体质量进行评测。文献《No-ReferenceQuality Assessment for Networked Video via Primary Analysis of Bit Stream》[J](刊于 “IEEE Transactions on circuits and video technology” 2010),考虑了编码端量化步长、帧率和网络端丢包等参数的影响，并在时域进行加权，最终实现对视频流质量的客观评价。IETF RFC4445还提出一种测量IPTV传输质量的方法MDI (Media DeliveryIndex),也仅仅使用两种网络参数DF (Delay Factor)和MLR (Media Loss Rate)进行测量。(2)利用报告的形式，将客户端的业务能力上报给流媒体服务器。例如，中国发明专利申请《一种上报能力的方法及相关处理装置》(申请号200810056281.7)介绍了一种上报方法，但该方法仅限于将客户端的业务能力标识上报到服务器，不具有交互性；而且客户端的业务能力的判断不是以用户的感知为标准，这种能力的判断结果只能为服务器调整网络状态提供参考，不能作为完全依据。中国发明专利申请《用于交叉参考相关应用来报告流媒体质量的方法和设备》(申请号200780048832. 9)介绍了另一种交叉参考报告流媒体质量的方法，该方法主要侧重于报告的方法，没有涉及报告的内容及其获取方式。中国发明专利申请《网络电视业务管理方法及系统、服务质量管理节点》(申请号201010174116. 9)涉及的一种网络电视业务管理方法、系统和服务质量管理节点，能够克服IPTV业务指标无法自动测量的缺陷，但是IPTV终端上报的参数仅有收视率、请求成功率、丢包率、丢帧率和抖动等，没有涉及音视频业务本身的传输与观赏的体验质量。(3)在传统的RTP/RTCP/RTSP协议簇中，对业务传输质量起到控制作用的是RTCP协议，RTCP协议利用网络参数来判断和评价业务质量，并以此调整网络带宽等参数。但是，RTCP协议并没有对用户的业务体验质量进行监测与分析，因此不能完全真实地反映客户端的流媒体业务质量。从以上分析可以看出，在客户端独立进行流媒体体验质量评价的基础上，结合网 络参数实施综合评价，并将客户端相关参数实时上报给流媒体服务器的方法，至今国内外都还未见有相关文献发表，同时，目前已有的协议在基于用户体验的业务质量判断与控制方面也有诸多不足。
发明内容
有鉴于此，本发明的目的是提供一种基于用户体验交互的流媒体质量监测报告的实现方法。本发明是针对目前出现的流媒体质量监控需求，并充分考虑现有网络可实施的技术基础，再广泛吸取目前多种流媒体质量监测、监控技术的最新成果，进行综合优化而提出的。与现有各种质量监控技术方案相比较，本发明方法是在现有的网络技术基础上，充分利用网络中已经部署的相关先进、成熟技术，通过自定义的双向传输的体验质量QoE(Quality of Experience)协议传输流媒体的用户体验质量及相关参数,在客户端与服务器之间实现实时交互，很好地解决了上述流媒体业务质量监控中的两大问题。为了达到上述目的，本发明提出了一种基于用户体验交互的流媒体质量监测报告的实现方法，其特征在于首先设置自定义的双向传输的体验质量QoE交互协议及其相关网络环境参数(Network Environment Parameters)和业务性能参数(ServicePerformance Parameters),服务器监测流媒体的发送状况,客户端监测流媒体的接收状况并评价其用户体验质量，分别生成服务器到客户端的S-C报告(Server-Client Report)和客户端到服务器的C-S报告(Client-Server Report),再经由网络传输,在客户端和服务器之间实现流媒体质量监测报告的实时交互，从而对两者之间传输的流媒体业务质量实现实时监测。本发明基于用户体验交互的流媒体质量监测报告的实现方法，利用自定义的双向传输的QoE交互协议及相关参数，使流媒体客户端能够及时获取业务传输时的网络环境参数，分析有线和无线网络条件对流媒体业务的传输影响，并结合设定的流媒体业务质量评价方法获得业务用户的体验质量。流媒体服务器又通过与客户端的实时交互，了解、获悉客户端用户对流媒体业务的体验质量，以便对网络条件或流媒体业务参数适时做出调整，提高业务的服务质量。
从网络运营商的角度看，本发明方法占用的带宽资源很少，可以直接应用于现有网络，不用对现有网络进行额外的更改与升级；从网络客户的角度看，QoE交互报告的传送并不会影响流媒体的传输播放，反而有利于业务质量的评价和提升。再者，本发明方法的操作步骤简单，计算难度低，容易实现，对流媒体业务的实际运营和管理具有重要意义，在提升流媒体业务质量的应用中，具有较好的推广应用前景与价值。
图I是本发明基于用户体验交互的流媒体监测质量报告方法的流程图。图2是本发明QoE协议实现示意图。图3是本发明S-C报告结构示意图。图4是本发明C-S报告结构示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明作进一步的详细描述。本发明是一种基于用户体验交互的流媒体质量监测报告的方法首先设置自定义的双向传输的体验质量QoE交互协议及其相关网络环境参数和业务性能参数，服务器监测流媒体的发送状况，客户端监测流媒体的接收状况并评价其用户体验质量，分别生成服务器到客户端的S-C报告和客户端到服务器的C-S报告，再经由网络传输，在客户端和服务器之间实现流媒体质量监测报告的实时交互，从而对两者之间传输的流媒体业务质量实现实时监测。参见图1，介绍本发明方法的各个具体操作步骤步骤1，设置自定义的双向传输的QoE交互协议，并定义其中的网络环境参数和业务性能参数，该双向传输的QoE交互协议规定服务器到客户端的S-C报告携带网络环境参数，客户端到服务器的C-S报告携带业务性能参数。本发明自定义的双向传输的QoE交互协议在网络中的传输情况，如图2所示，分别要求在服务器和客户端发送的S-C报告和C-S报告的结构组成如下服务器到客户端的S-C报告由报头与数据块组成，其中，报头包括协议版本号(Protocol Version):当前QoE协议的版本号，字段长度8bit,本发明实施例中的版本号为I ;数据包类型(Packet Type):当前报告的类型1为S-C报告，2为C-S报告，字段长度8bit ；数据包长度(Packet Length):当前报告的数据包长度，单位byte，字段长度16bit ；数据块用于携带下述一个或多个网络环境参数多媒体编码类型(Code Type):音频和/或视频数据的编码格式信息，即采用设定的压缩技术，将某个音视频格式的文件转换成另一种音视频格式文件的方式，字段长度16bit ;音频数据的常用编码类型有G. 711、G. 723，视频数据的常用编码类型有MPEG-2、H. 263、H. 264 ；多媒体文件长度(Length):音频和/或视频文件的长度，单位秒，字段长度16bit ；发送时间戳(Send Timestamp):发送当前流媒体数据包的时钟信息，字段长度32bit ；服务器发包数(Packets Sent):服务器累计发送到客户端的流媒体数据包数，字段长度32bit ；发送字节数(Bytes Sent):服务器累计发送到客户端的流媒体字节数，字段长度32bit ；发送速率(Send Rate):服务器发送流媒体业务数据的平均比特率，单位比特/ 秒；字段长度32bit ;双向时延(Roundtrip Delay):流媒体测试包从服务器发送到客户端，再返回服务器的传输时间，单位秒，精度为微秒；字段长度32bit ；服务器扩展字段(Expand):用于以后协议扩展时的备用字段，字段长度256bit ；客户端到服务器的C-S报告由报头与数据块组成，其中，报头包括的协议版本号，数据包类型、长度的字段位长和涵义都与S-C报告相同，不再赘述；数据块用于携带下述一个或多个业务性能参数接收包数(Packets Received):客户端累计接收到的流媒体数据包数,字段长度32bit ；接收字节数(Bytes Received):客户端累计接收到的流媒体字节数,字段长度32bit ；丢包率(Packets Loss Rate):丢包数与服务器发包数之比，其中丢包数为服务器发包数与接收包数的差值，字段长度8bit ；抖动(Jitter):两个流媒体数据包相对传输时间的差值，即两个流媒体数据包的接收时间戳和发送时间戳之差的差值，单位秒，精度为微秒；字段长度24bit ；接收时间戳(Receive Timestamp):接收当前流媒体数据包的时钟信息,字段长度32bit ；接收速率(Receive Rate):接收流媒体业务数据的平均比特率,单位比特/秒，字段长度32bit ；音频质量QoA (Quality ofAudio):利用基于抖动扩展改进的E-Model算法在客户端评价音频质量，字段长度32bit ；视频质量QoV(Quality of Video):利用基于中国发明专利申请《基于关键巾贞图像质量加权的无参考视频质量客观评价方法》(申请号201110021600. 2)的修正方法在客户端评价视频质量，字段长度32bit ；音视频时间差(Time Difference):同一流媒体文件中原来同步的一对视频包与音频包到达客户端的时间戳之差，用于衡量音视频的同步性，单位秒，精度为微秒；字段长度32bit ；连接等待时间(Time Waiting):从用户业务请求到客户端开始呈现业务的延时时间，单位秒，精度为微秒；字段长度32bit ；
客户端扩展字段(Expand):用于以后协议扩展时的备用字段，字段长度256bit。步骤2，服务器测试、记录与统计网络环境参数，并按照QoE协议规定生成S-C报告，再发送给客户端。该步骤2包括下述操作内容(21)服务器测试、记录多媒体编码类型、多媒体文件长度和发送时间戳，同时统计服务器发包数Psmd和发送字节数Bsmd,并按照下述公式计算包括发送速率和双向时延的网络环境参数，其中，发送速率= ^send ~^d)X8，式中，B " send和B ' smd分别为服务器在
server,send server,send
T" SCTVCT,smd和T" _v ,smd两个不同时刻统计的发送字节数；双向时延Tkd = Tserver, recv_Tserver,send，式中，T
server, recv 矛口 Tserver, send
分别为服务器接
收和发送测试包的时间；(22)服务器将获取的流媒体业务的上述网络环境参数写入QoE协议报文的对应字段中，生成S-C报告，并通过网络发送给客户端。步骤3，客户端测试、记录与统计接收的流媒体信息，并利用S-C报告计算该流媒体的业务性能参数，同时，评价该流媒体业务的用户体验质量；然后按照QoE协议规定生成C-S报告，再发送给服务器。该步骤3包括下述操作内容(31)客户端测试、记录接收时间戳和连接等待时间，同时统计接收包数Ρ_ν和接收字节数B_v，并按照下述公式利用S-C报告信息计算包括丢包率、抖动、接收速率和音视频时间差的业务性能参数，其中，
P丢包率凡^= ，式中，Pioss = Psend-Precv ;
send抖动_- T:— ) - (J:一 - T— )|，式中，自然数上标m、η分别为发送流媒体的两个不同数据包的序号；接收速率Icv = ^mcv ~Βψ] Χ 8 ,式中，B " rec^PB' reev 分别为 T" elient, recv 和
client,recv client,recv
'两个不同时刻统计的接收字节数；音视频时间差；=tTJZ-ΤΤ:::客户端接收同一流媒体文件中原来同步的一对
视频包的时刻与音频包的时刻=丨:之差，式中，自然数上标k为流媒体文件中的数据包序号；(32)客户端对流媒体业务的音频和/或视频的用户体验质量进行评价；其中，音频质量评价方法，采用基于抖动扩展修正的E-Model算法QoA =93. 2-Id-Ie-Ij,即引入抖动因子L描述抖动对语音质量的影响式中，、和Ie为原E-Model算法中分别因语音信号传输延时和丢包造成的语音质量损伤因子，Ij为扩展修正而新增的抖动影响因子，且L = Ij^Ij1 ;式中，Ijd是因网络传输时延造成的抖动影响因子Ijd = aiXJ+a2X (J_a3) Xf(J_a3)，式中，参数ai、a2分别为反映网络性能的经验参数，实施例是根据原E-Model算法中对传输时延造成的质量损伤因子的各种参数回音响度、背景噪声、响度评测值而计算得到=O. 029, = O. 194 ;参数a3为用双向时延描述抖动严重程度的门限值，其数值取决于丢包率
Rioss :当Rioss ( i时，=(1_￥)χ|;当Rloss > i时，a3 = O ;式中，i为丢包率的阈值，此
处设i = 5% ;函数f为阶跃函数,其数学表达式为J ( a3, f (J-a3) = O, J > a3,, f (J_a3)=I ;该式表示若抖动J大于a3,会对语音质量造成严重影响；
C χ 丁
Ijl是因缓冲区溢出造成的抖动影响因子/ =bxe—(，式中，b为根据不同音频
编码器选取不同数值的系数，因实施例使用G. 723. I. B-6. 3编码器，故b = 10. 3 ;T为缓冲区的字节容量，该实施例中的T = IMB ;c为该音频编码方式下占用缓冲区的比例系数，c =10.81% ;Rreev为接收速率；视频质量评价方法，利用中国专利申请《基于关键帧图像质量加权的无参考视频质量客观评价方法》(申请号201110021600. 2)的方法进行评价，并利用S-C报告与丢包率、抖动和/或接收速率修正评价结果。假设使用原来的专利申请方法的视频质量评分为qov,再利用丢包率Rltjss进行修正，即QoV = qovX (I+dXRloss)。本发明实施例测试的视频为Foreman序列(总帧数为250帧)，该视频分辨率为常用的标准化图像格式QCIF (QuarterCommon Intermediate Format,在H. 323协议簇中，规定了视频采集设备的标准采集分辨率的大小为176 X 144像素)，属于前景、背景均运动且运动相对缓慢的视频类型，设参数d =10。该步骤中，音频质量评价方法和视频质量评价方法都采用5分制评价质量优劣，其中5分最好，I分最差。(33)客户端将获取的上述参数写入QoE协议报文的对应字段中，生成C-S报告，再通过网络传送到服务器。步骤4，服务器将步骤2和3分别生成的一对QoE协议报文对应存储，以供后续分析流媒体的用户体验质量与网络环境的关系，为后期监控流媒体业务质量提供依据。该步骤4包括下述操作内容(41)服务器将其在步骤2生成的S-C报告和在步骤3接收的C-S报告，作为一对QoE协议报文对应存储于数据库；(42)利用模糊评价算法分析流媒体用户体验质量与网络环境的关系，为后期监控移动流媒体业务质量提供依据首先确定包括网络环境参数和业务性能参数的各种评价指标，以及每个评价指标的衡量标准；再通过层次分析法分别确定每个评价指标的权重，以便对评价对象的相关因素合理量化；最后构造模糊隶属度函数，运用模糊数学方法进行分类决策，得到流媒体用户体验质量与网络环境的关系。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
权利要求
1.一种基于用户体验交互的流媒体质量监测报告的实现方法，其特征在于首先设置自定义的双向传输的体验质量QoE交互协议及其相关网络环境参数和业务性能参数，月艮务器监测流媒体的发送状况，客户端监测流媒体的接收状况并评价其用户体验质量，分别生成服务器到客户端的S-C报告(Server-Client Report)和客户端到服务器的C-S报告(Client-Server R印ort)，再经由网络传输，在客户端和服务器之间实现流媒体质量监测报告的实时交互，从而对两者之间传输的流媒体业务质量实现实时监测。
2.根据权利要求I所述的方法，其特征在于，所述方法包括下列操作步骤 (1)设置自定义的双向传输的QoE交互协议，并定义其中的网络环境参数和业务性能参数，该双向传输的QoE交互协议规定服务器到客户端的S-C报告携带网络环境参数，客户端到服务器的C-S报告携带业务性能参数； (2)服务器测试、记录与统计网络环境参数，并按照QoE协议规定生成S-C报告，再发送给客户端； (3)客户端测试、记录与统计接收的流媒体信息，并利用S-C报告计算该流媒体的业务性能参数，同时，评价该流媒体业务的用户体验质量；然后按照QoE协议规定生成C-S报告，再发送给服务器； (4)服务器将步骤(2)和(3)分别生成的一对QoE协议报文对应存储，以供后续分析流媒体的用户体验质量与网络环境的关系，为后期监控流媒体业务质量提供依据。
3.根据权利要求2所述的方法，其特征在于所述自定义的双向传输的QoE交互协议规定 (11)服务器到客户端的S-C报告由报头与数据块组成，其中，报头包括协议版本号(Protocol Version),数据包类型(Packet Type)及其长度(Packet Length);数据块用于携带下述一个或多个网络环境参数 多媒体编码类型(Code Type):音频和/或视频数据的编码格式信息，即采用设定的压缩技术，将某个音视频格式的文件转换成另一种音视频格式文件的方式；音频数据的常用编码类型有G. 711、G. 723，视频数据的常用编码类型有MPEG-2、H. 263、H. 264 ； 多媒体文件长度(Length):音频和/或视频文件的长度； 发送时间戳(Send Timestamp):发送当前流媒体数据包的时钟信息； 服务器发包数(Packets Sent):服务器累计发送到客户端的流媒体数据包数； 发送字节数(Bytes Sent):服务器累计发送到客户端的流媒体字节数； 发送速率(Send Rate):服务器发送流媒体业务数据的平均比特率； 双向时延(Roundtrip Delay):流媒体测试包从服务器发送到客户端，再返回服务器的传输时间； 服务器扩展字段(Expand):用于以后协议扩展时的备用字段； (12)客户端到服务器的C-S报告由报头与数据块组成，其中，报头包括协议版本号，数据包类型及其长度；数据块用于携带下述一个或多个业务性能参数 接收包数(Packets Received):客户端累计接收到的流媒体数据包数； 接收字节数(Bytes Received):客户端累计接收到的流媒体字节数； 丢包率(Packets Loss Rate):丢包数与服务器发包数之比，其中丢包数为服务器发包数与接收包数的差值；接收时间戳(Receive Timestamp):接收当前流媒体数据包的时钟信息； 抖动(Jitter):两个流媒体数据包相对传输时间的差值，即两个流媒体数据包的接收时间戳和发送时间戳之差的差值； 接收速率(Receive Rate):接收流媒体业务数据的平均比特率； 音频质量QoA(Quality of Audio):利用基于抖动扩展修正的E-Model算法在客户端评价音频质量； 视频质量QoV(Quality of Video):利用基于中国发明专利申请《基于关键巾贞图像质量加权的无參考视频质量客观评价方法》(申请号201110021600. 2)的修正方法在客户端评价视频质量； 音视频时间差(Time Difference):同一流媒体文件中原本同步的ー对视频包与音频包到达客户端的时间戳之差，用于衡量音视频的同步性； 连接等待时间(Time Waiting):从用户业务请求到客户端开始呈现业务的延时时间； 客户端扩展字段(Expand):用于以后协议扩展时的备用字段。
4.根据权利要求2或3所述的方法，其特征在于所述步骤(2)包括下述操作内容 (21)服务器测试和记录多媒体编码类型、多媒体文件长度和发送时间戳，同时统计服务器发包数Ps6nd和发送字节数Bs6nd,并按照下述公式计算包括发送速率和双向时延的网络环境參数，其中， 发送速率
5.根据权利要求2或3或4所述的方法，其特征在于所述步骤(3)包括下述操作内容 (31)客户端测试、记录接收时间戳和连接等待时间，同时统计接收包数P_v和接收字节数B_v，并按照下述公式利用S-C报告信息计算包括丢包率、抖动、接收速率和音视频时间差的业务性能參数，其中，
6.根据权利要求5所述的方法，其特征在于所述步骤(31)中，音频质量评价方法和视频质量评价方法都采用5分制评价质量优劣，其中5分最好，I分最差。
7.根据权利要求5所述的方法，其特征在于所述步骤(4)包括下述操作内容 (41)服务器将其在步骤(2)生成的S-C报告和在步骤(3)接收的C-S报告，作为一对QoE协议报文对应存储于数据库； (42)利用模糊评价算法分析流媒体用户体验质量与网络环境的关系，为后期监控移动流媒体业务质量提供依据首先确定包括网络环境参数和业务性能参数的各种评价指标，以及每个评价指标的衡量标准；再通过层次分析法分别确定每个评价指标的权重，以便对评价对象的相关因素合理量化；最后构造模糊隶属度函数，运用模糊数学方法进行分类决策，得到流媒体用户体验质量与网络环境的关系。
全文摘要
一种基于用户体验交互的流媒体质量监测报告的实现方法，先设置自定义的双向传输的体验质量QoE交互协议及其相关网络环境参数和业务性能参数，服务器监测流媒体的发送状况，客户端监测流媒体的接收状况并评价其用户体验质量，分别生成S-C报告和C-S报告再经由网络传输，在客户端和服务器之间实现流媒体质量监测报告的实时交互，从而对两者之间传输的流媒体业务质量实现实时监测。本发明是根据现有网络技术基础，再广泛吸取目前多种流媒体质量监测、监控技术的最新成果，进行综合优化而提出的。其操作步骤简单，占用的带宽资源少，计算难度低，也不用更改或升级现有网络，实现容易，对现有网络中流媒体的运营和管理有重要意义，有较好的推广应用前景。
文档编号H04L29/06GK102868666SQ20111018937
公开日2013年1月9日 申请日期2011年7月7日 优先权日2011年7月7日
发明者杜海清, 刘勇, 徐静涛, 王凤纯, 陈丽珊, 许克辉, 孟欣欣, 胡文, 李湘平 申请人:北京东方文骏软件科技有限责任公司, 北京邮电大学