媒体内容传送的网络传输效应的评估系统和方法

专利名称：媒体内容传送的网络传输效应的评估系统和方法
媒体内容传送的网络传输效应的评估系统和方法
技术领域：
本发明通常涉及在电子信号传递介质上的数据传输，特别涉及在电子信号传递介 质上的多媒体内容传输，包括但不限于在计算机设备局域网、计算机广域网、无线网络、蜂 窝网络和电视网络上的，包括但不限于视频、音频和文本内容。
背景技术：
多媒体内容如数字视频短片和音频声音比特，越来越多地在计算设备网络上传 输，如互联网。现有许多机制用于通过计算设备网络传输多媒体内容。传统上，多媒体内容是通过使用客户机-服务器机制进行传输，其中一台或一组 多个服务器计算装置被专用作主机和传送多媒体内容，而另一台或另一组多个客户机被专 用于接收多媒体内容。在此情况下，通过策略性地安排中间服务器计算装置，为服务器计算 装置充当代理服务器，缓存并传送多媒体内容到网络内靠近它们的那些客户机装置，这样 能够提高内容传输效率。最近，非常流行使用同伴互助机制(peer-assisted mechanism)。在此情况下， 接收多媒体内容的客户机本身取代在客户机-服务器情况下的中间服务器，作为代理服务 器，缓存并重新传送多媒体内容到其它客户机。也有许多其它内容传输机制和效率提高方 案，如单个或多个基于树的应用层多播、点对点(peer-to-peer)文件下载、点对点串流传 输、和内容分配网络(CDN)。共同地，它们被称为“点对点/对等”网络(其后称为P2P网 络)。除了仅在接收到整个内容文件之后可以由客户机播放多媒体内容，传送和播放经 常同时进行，也被称为“串流”，不管使用哪一种传输机制或效率提高方案。对于通过使用计算装置网络的传统的文件传输，可以使用一个简单的可量化的度 量，如文件传输的总延迟，作为一个评估目标。但是，对于多媒体内容串流传输，评估目标就 是播放体验质量(其后被称为QoE)，这是一个难以量化的且主观性的度量。测量QoE的唯 一可接受方法是由播放多媒体内容的代表性观众进行主观打分。但是，由多个主观性评分组成的QoE评估过程费力耗时。理想情况下，每次主观 性评分应该对不同的设置(网络拓扑、协议、算法、传输机制、效率提高方案、以及观众数 目等)和不同的内容类型重复进行。此外，QoE评估过程的结果应该是可重复到令人信服 的。实际上，大规模的QoE评估试验很难实施。一些测试者使用PlanetLab (http://www. planet-lab. org)充当覆盖网络的测试台，这是连接到全球互联网的众多计算机进行的协 作。但是，两个使用PlanetLab的试验很难在相同设置(如相同组合的计算机)下实施，更 不用说可重复的结果。另一种方法是使用某个独特内容以吸引大量观众参与试验。例如， 在2008年奥林匹克运动会直播期间进行测试。尽管这种试验可能是相当大规模的，但很难 重复进行。在过去几年，对传统电视内容和相关应用的视频质量评估已经受到很多关注。产 生了许多文献和标准。例如，国际电讯联盟(International Telecommunication Union),“Recommendation ITU-R BT.500-11-Methodology for the subjective assessment of the quality of television pictures. ”(2002)(在此其内容通过引用结合到本文)以 及 International Telecommunication Union,"ITU-T Recommendation P. 910Subjective video quality assessment methods for multimedia applications.，，(1999)(在此其内 容通过引用结合到本文)。尽管在这些文献里讨论了一些专为多媒体应用里视频质量的主 观性评估而设计的具体方法，但它们没有提供在计算装置网络内个人计算机上进行测试的 任何技术方案。最近，有关于3L-视频主观性评估的研究，即低比特率、低帧率、和低分辨率视频， 其构成互联网上串流传输的大部分视频内容。在这些评估研究里，内容的每个参考序列 (SRC)都通过许多误差条件或所谓的假设参考电路(HRC)进行处理，以产生处理的视频序 列(PVS)。目前所考虑的HRC适合于使用客户机-服务器机制进行的串流传输内容，其中在 服务器和客户机之间有单个链接，并且信息包丢失率是唯一考虑的网络传输误差类型。但 是，这种HRC方法在P2P网络应用里受到限制，因为HRC方法将信息包丢失率看作唯一的网 络传输误差类型。当在P2P网络上传输内容时，被传输的内容的最小处理单位不再是信息包而是组 块(chunk)。一个网络信息包是传输内容的数据片段，大小范围通常是几百到上万比特。另 一方面，一个组块，是由内容的几个连续音频和视频帧组成，其长度可以是从几百毫秒到一 秒的不中断播放时间。尽管一个组块尺寸取决于特定传输机制、网络和内容串流应用的实 际执行，在任何情况下，一个组块比一个信息包更大。在P2P内容串流应用里，几乎所有的重要构件和组件都被设计用来处理组 块。例如，组块选择算法，对等点选择算法，都是基于在相邻对等点之间交换的组块位图 (bit-map)信息，以及本地组块缓冲管理。因此，为了评估P2P网络传输的串流内容的QoE， 需要有产生并提取组块级别(chunk-level)的损失的创新性方法。美国专利申请文献(2006/0120463)、美国专利申请文献(US2009/0180545)和美 国专利(7266147)披露了假设参考解码器的设计和实施。这些文献集中研究如何评估视频 流应用的不同编码和解码方法，而不考虑网络的内容传输。另一方面，本发明披露的是对使 用P2P进行传输的内容播放的QoE评估进行测试或试验的一个系统和一种方法。其主要集 中于由网络传输组件产生的组块级别的损害，而不会涉及媒体编码器或解码器。总而言之，一些现有技术披露了评估网络传输效率的方法，但它们没有具体到串 流多媒体内容的传输。一些其它现有技术披露了评估流媒体内容的网络传输效率的方法， 但这些方法侧重于信息包级别的网络传输效率以及是使用非P2P网络进行传输。此外，其 它现有技术披露了传输媒体内容本身的方法，但没有评估网络传输效率的方法。

发明内容本发明的一个目的是提供一种研究和评估有关多媒体内容比特流的网络传输效 率的方法和系统。本发明的另一个目的是提供这种方法和系统作为进行QoS评估的工具， 以及作为进行评估和改善多媒体内容传送平台和播放策略的基础，然后增强多媒体内容观 众的总体用户感受。在对内容观众的最终用户感受进行组块级的网络传输效率评估时，本发明可以被用于任何网络。网络可以是任何类型，并可以有任何类型的网络构架，包括但不限于互联 网、宽带、无线、和内部计算机网络。基于最终用户的主观性评价或目标QoS测量，本发明提 供的方法也适用于对网络传输的媒体内容进行质量评估。在此披露的是一种对网络上媒体内容比特流数据片段传输进行评估的计算机实 施方法，包括从媒体内容比特流提供数据片段、在传输数据片段期间产生网络传输失真、 接收数据片段、确定每个接收到的数据片段的播放策略、并评估在播放策略下的媒体内容 比特流的播放效果，其中每个数据片段是一个组块。依照各种实施例，网络传输失真是从实时试验、仿真或人工生成中所选择的一个 或多个方法产生。在本领域技术人员熟知的范围内，同样可以采用其它方法。依照典型实 施例，网络传输失真因子是通过数据片段延迟分布和/或数据片段下载模式表示，其能够 以图示方式表示。前者是所有延迟数据片段的累积统计。后者描述单个数据片段在下载时 如何进行填补。因此，网络传输失真因子分别可以被粗略和精确测量。依照各种实施例，一旦网络传输失真因子被引入到传输的数据片段，播放策略包 括但不限于等待直到数据片段被完全接收，然后发送到媒体内容解码器进行媒体内容播 放；立即发送部分接收到的数据片段到媒体内容解码器进行媒体内容播放；或者等待一个 预设最长等待时间，然后发送被完全或者部分接收的数据片段到媒体内容解码器进行媒体 内容播放。依照各种实施例，评估媒体内容播放效果包括确定网络传输失真因子和播放效 果的用户主观性体验质量之间的相关性。可以采用任何合适的机制来获得用户体验质量的 度量，如平均意见得分(MOS)。依照一个典型实施例，可以组成一个专家性的最终用户组，在 统计分析以剔除偏向的组员意见之后，收集并汇编专家组对接收媒体内容比特流的整体效 果评分。依照另一个典型实施例，在训练如何对接收媒体的效果进行评分之后，典型的最终 用户对接收的媒体内容比特流进行评分。在最终用户的单个机器上进行用户测试，并使用 一种数据收集方法收集MOS数据。

参照附图，以下将详细描述本发明的实施例，其中图1显示本发明的一个实施例执行的步骤；图2显示本发明一个实施例的典型系统；图3显示产生组块级失真效应的三种不同方法的模块示意图；图4显示可以用于实施数据片段接收模式的三种不同增量曲线；图5显示本发明一个实施例播放控制器执行确定播放策略的步骤；和图6显示不同视频内容比特流类型的主观性用户QoE和平均间断之间的相关性。
具体实施方式在以下的描述里，将以优选实施例来阐述网络上媒体内容的数据片段传输的评估 方法、在P2P网络上媒体内容比特流进行传送的方法、计算机编程产品等。对本领域技术人 员而言，在不脱离本发明范围和精神的前提下，可以对其作出修改、包括增加和/或替换。 为了更清晰地描述本发明，将忽略具体细节，而不会使本发明难以理解。但是，此披露将使本领域技术人员无需进行过度实验也能够实施在此所述的教义。如图1所示，本方法包括提供媒体内容比特流组块100，产生组块的网络传输失 真效应105，接收失真组块，根据组块延迟而确定并执行一个播放策略110，以及评估在该 播放策略下的播放效果115。参照图2，整个过程包括源视频(SRC) 200、视频编码器205、网络传输210、视频解 码器220和处理视频(PVS) 225。在视频编码器205上可以选择不同的媒体编解码、传输率。 在由视频解码器220进行解码之后，处理视频225被显示在显示器(图中未显示)上给用 户观看。在图2的下半部分，组块级缺陷模块211包括三个组件组块形成器212、组块级 失真产生器213、和组块缓冲管理器214。根据预设的设置参数如组块尺寸，组块形成器212 负责将视频流信息包组织到组块内。然后，这些组块被分布到P2P覆盖网络上的组块级失 真产生器213，在此期间，就产生了各种类型的组块级失真效应。在接收这些视频组块之后， 每个对等(peer)客户机(图中未显示)管理并保管这些接收到的组块在一个本地组块级 的缓冲器内(图中未显示)，类似于组块缓冲管理器214，用于继续与其它对等方共享。同 时，对等客户机(peer client)需要对每个组块作出播放决定，如通过一个播放控制器功 能。当接收组块的时间短于其播放时间时，播放控制器213将其移出本地组块级缓冲器，并 将其发送到解码器220和播放器(图中未显示)。优选地，播放控制器215在媒体(视频和 音频)编解码层上的网络串流层上运行。因此，对任何使用的编解码器是透明的，并可以设 计考虑典型串流应用里的各种权衡。在图2所述的实施例里，组块级失真产生器213与播 放控制器215是独立的。换言之，播放控制器215和本地缓冲管理器214不关心如何产生 组块级失真效应。在示范实施例里，以下参数被用来确定组块级失真7)e:第i个组块的期望播放时 间；T/:组块i的下载开始时间；ΓΛ组块i的下载完成时间；1.数据片段级延迟如果下载 完成时间迟于其期望播放时间，组块i被延迟。第i组块的数据片段级的延迟长度被设定 为-.Di = {Tf - Γ/}+,其中W+ = X如果X > 0，否则O2·数据片段延迟分布(DSDD)数据 片段延迟分布是所有延迟数据片段的一个累积统计。在最简单的情况下，其可以由一个离 散随机变量表示。例如，如果X= {1，2}(秒)，p(X= 1) =p (X = 2) =0.5，所有延迟数 据片段等概率地遭遇长达1或2秒的延迟。对其它普通情况，可以作出较少限制性的假设。 3.数据片段接收模式(DSRP)数据片段接收模式描述数据片段如组块i如何在整个下载过 程期间被填充。如果定义f\(t)，t e [Tsi5Tci]为在时间t组块i的下载完成比例，fi(t)是 一个非递减函数，并且fi (Tsi) =OA(Tci) =1。算术上，DSRP可以由任何递增曲线fjt) over t e [Tsi, Tci]来表示。因此，DSDD比DSRP有更粗粒度，如果我们有每个组块的DSRP 的完成轨迹，那么可以推断出延迟分布信息。参照图3，描述了三种不同的产生组块级失真效应的方法。在其它实施例里可以有 其它实施方法(图中未显示)。根据需要，每种方法都可以被用来产生DSDD或DSRP。第一 种方法是通过实时实验300。在一个实时实验如支持P2P广播里，可以收集并记录每个组块 的详细DSRP。或者，这种实验可以基于PlanetLab。第二种方法是通过进行网络传输仿真 305。利用仿真，可以仿真具有大量用户的庞大网络，并且仿真可以重复进行。从仿真实验 可以收集相同类型的DSRP轨迹。第三种方法是通过人工产生310。不同于由实验或仿真决 定失真效应，通过遵循一个所选的分布，以及实施具有不同递增曲线fi(t)的组块级接收模式，能够产生不同的组块延迟。图4显示三种不同递增曲线的例子，当我们手工产生组块级失真效应时，这些曲 线可以被应用到fi(t)实施。在此例子里，三种递增曲线(A、B和C)有相同的开始下载时 间Tsi (在期望播放时间TT之前1秒)和完成时间Tci (在TT之后4秒)。但是，在此时间段 内的任何时间点上，由曲线A产生的组块总是接收比B和C更多的内容。特别在t = TT时， 期望播放时间，A产生大约80%完整的组块，而B仅产生大约20%，C接近为0%。图5描述一个播放控制器(图2)的运作。在P2P串流系统里，播放控制器215 将检查播放的每个组块。仅有两种组块类型一个是在其期望播放时间之前已经完成下载 的组块(即非延迟组块)，和一个延迟组块(Di > 0)。对非延迟组块来说，播放控制器215 简单处理，并在其期望的播放时间，将其移出本地组块缓冲器214 (图2)，并将它发送到解 码器以进行播放。当组块是延迟组块，播放控制器必须决定如何处理这种情况。在所述例 子里，播放控制器做出以下一个选择(a)等待直到组块被完整接收，然后将其发送到解码 器；(b)直接发送不完整的组块到解码器，不等待；(c)当等待组块以被完整接收时，同时启 动一个计时器，有一个预设的期满阈值，一旦计时器超时，播放控制器停止等待，立即发送 组块到解码器。计时器期满阈值可以预设为最长等待时间(LWT)。在这个意义下，选项(a) 和(b)是(c)的特定情况，对应LWT =CX^PLWT = 0。在典型实施例里，可以调整计时器期 满阈值和播放控制器的其它运算参数(图中未显示)。因为解码器的实施特性，发送到解码 器的不完整组块(以上选项c)可能不能被正确解码和播放。结果在最终处理的视频里相 当于忽略了不完整的组块。参照图6，曲线图显示了采用本发明方法的实验在主观性QoE和网络传输效果之 间的相关性。在该实验里，确定了平均播放间断(受数据片段延迟分布和播放策略影响) 和QoE (使用一个MOS评分系统)之间的关系。在此实验里，使用50个源视频片段，其有平均长达30秒的不同类别。30位年龄 介于18-28的终端用户(16男14女)参与。评估方案是隐藏参考的绝对种类定级(ACR)。 以下表格1显示终端用户使用的MOS评分系统。
评分54321主观性感觉非常好好一般差很差
表格1采用的播放策略是简单易懂的。如果在最长等待时间(LWT)内任何接收到的视频 组块是不完整的，那么将其丢弃。否则，视频组块将被解码，处理的视频将被每个终端用户 的对等客户机播放在终端用户的显示器上。如果在期望播放时间对等客户机没有接收到组 块，解码器将停止在最后一个播放的图像上，直到新内容到达。由于实施了解码器，可能有三种由组块级失真引起的观看效果(i)Di = 0，没有失 真，如果组块i在其期望播放时间之前是完整的，其被正常解码和播放。(ii)0 < Di < LffT, 停止-和-播放的观看效果。如果组块i是延迟的，但在LWT之前仍然是完整的，在处理视 频里产生的效果是首先图像停止达Di持续时间，然后正常播放组块i。(iii) Di > = LffT,停 止-和_丢弃的观看效果，如果组块i是延迟的，并在LWT期满时仍然不是完整的，PVS的效果是图像停止达LWT，然后直接跳到组块i+1。依照以下等式计算平均间断d，d= 1-c其中c是连续观看时间对总观看时间(包 括等待时间)的比率。使用了两种类型的数据片段延迟分布短延迟分布，其中延迟是均勻分布在
秒，和长延迟分布，其中所有延迟等于3秒(等于LWT，因为LWT被默认设置成3秒)。通过使用DMOS度量，去除在主观性MOS评分过程里的实验偏差，依照以下等式，通 过从参考视频(属于相同种类且没有失真)的MOS减去PVS的MOS而导出DM0S = MOScat. (d) -MOSca, (r) +5发现DMOS (图中未显示)与MOS分析一致，意味着实验结果是合理的。从图6可以看出，在目标度量(即平均间断)和主观QoE度量之间有一种相关性。 在此特定的实施例里，实际结论是终端用户更关心屏幕停止事件的数目，而不是每次停止 事件的持续时间。根据本发明教导，可以使用通用或专用计算机或微处理器来实施本发明。基于本 发明的教导，在通用或专用计算机或处理器上运行的计算机指令或软件代码可以很容易由 软件领域技术人员准备。在一些实施例里，本发明包括一个计算机存储媒质，其内存有计算机指令或软件 代码，可以被用来对计算机或微处理器编程以执行本发明的任何过程。存储媒质可以包括 但不限于软碟、光碟、蓝光碟、DVD、CD-R0M、磁光碟、R0M、RAM、闪存装置、或能够存储指令、代 码和/或数据的任何类型的媒质或装置。为了更好地理解本发明，提供了本发明的上述描述。这不是意在排他性的或将本 发明限制在所披露的格式。对本领域技术人员来说，各种修改和改变是显而易见的。为了更好地解释本发明的原理及其实际应用，选择并描述了本发明的实施例，从 而使本领域技术人员能够理解本发明的各种实施例，并根据特定使用预期作出各种修改。 因此，本发明范围由以下权利要求及其等价物设定。
权利要求
一种对网络上媒体内容比特流数据片段传输进行评估的计算机实施方法，包括从媒体内容比特流提供数据片段；在传输数据片段期间产生网络传输失真；接收数据片段；确定每个数据片段的播放策略；和评估在该播放策略下媒体内容比特流的播放效果；其中每个数据片段是一个组块。
2.根据权利要求1所述的计算机实施方法，其中所述网络是一个对等网络 (peer-to-peer network)。
3.根据权利要求1所述的计算机实施方法，其中所述媒体内容比特流是一个流媒体 (streaming media)内容比特流。
4.根据权利要求1所述的计算机实施方法，其中所述产生网络传输失真还包括从实 时试验、仿真、或人工生成中选择以产生一个组块级失真。
5.根据权利要求4所述的计算机实施方法，其中所述组块级失真是由组块延迟分布和 /或组块接收模式表示。
6.根据权利要求1所述的计算机实施方法，其中所述确定播放策略还包括从以下进行 选择等待直到数据片段被完全接收，然后发送数据片段到媒体内容解码器； 立即发送部分接收到的数据片段到媒体内容解码器；或等待一个预设最长等待时间，然后发送一个被完全接收的数据片段到媒体内容解码ο
7.根据权利要求1所述的计算机实施方法，其中评估播放效果还包括确定所述网络 传输失真和播放效果的用户主观性体验质量度量之间的相关性。
8.—个对网络上传输媒体内容比特流数据片段进行评估的系统，包括一个数据片段生成器，用于接收媒体内容比特流，并由媒体内容比特流产生数据片段；一个失真产生器，用于从数据片段生成器接收数据片段，并产生关于数据片段的网络 传输失真；一个数据片段缓冲器，用于接收由失真产生器传输的数据片段；和 一个播放控制器，用于确定每个接收到的数据片段的播放策略； 其中每个数据片段是一个组块。
9.根据权利要求8所述的系统，其中所述网络是一个对等网络。
10.根据权利要求8所述的系统，其中所述媒体内容比特流是一个流媒体内容比特流。
11.根据权利要求8所述的系统，其中所述失真产生器是从实时试验、仿真、或人工生 成中选择以产生一个组块级失真，而产生网络传输失真。
12.根据权利要求11所述的系统，其中所述组块级失真是由组块延迟分布和/或组块 接收模式表示。
13.根据权利要求8所述的系统，其中所述播放控制器从以下选择而确定一个播放策略等待直到一个数据片段被完全接收，然后发送数据片段到媒体内容解码器； 立即发送部分接收到的数据片段到媒体内容解码器；或等待一个预设最长等待时间，然后发送一个被完全接收的数据片段到媒体内容解码
全文摘要
本发明提供对对等网络上媒体内容比特流数据片段的传输进行评估的一个系统和一种方法，其在对等网络上串流媒体内容的数据组块，使用实时试验、仿真或人工生成产生关于数据组块的网络传输失真，在接收器端确定每个数据片段的播放策略，并评估在该播放策略下媒体内容比特流的播放效果。
文档编号H04L29/06GK101959063SQ201010257388
公开日2011年1月26日 申请日期2010年8月19日 优先权日2010年7月28日
发明者傅正佳, 邱达民, 雷志斌 申请人:香港应用科技研究院有限公司