专利名称：用于跨层视频质量管理的装置、系统和方法
用于跨层视频质量管理的装置、系统和方法本申请是PCT国际申请号为PCT/US2007/064645、国际申请日为2007年3月22日、国际公布号为W02007/115011、中国国家申请号为200780011799.2、题为“用于跨层视频质量管理的装置、系统和方法”的申请的分案申请。背景最新的国际视频编码标准是由国际电信联盟(ITU)的视频编码专家组和国际标准化组织和国际电工委员会的运动图像专家组(MPEG)联合开发并发布的H.264/MPEG-4高级视频编码(AVC)标准。该AVC H.264/MPEG-4AVC标准为各种各样的应用包括视频电话、视频会议、电视、流送视频、数字视频制作、和其它视频应用提供编码。该标准进一步为用于上述视频应用程序的存储应用包括硬盘和DVD存储提供编码。随着以有线或无线方式与家庭网络环境交互的组件或进程的数量的增多，“数字家庭”的流行已提高了对家庭网络性能的要求。然而，可用于支持数字家庭的资源是有限的。因此，有限的资源(例如带宽)应当在构成组件或进程之间被高效率地分配以向终端用户提供例如高质量的数字家庭体验。附图简述
图1不出媒体处理系统的一个实施例。图2示出媒体处理子系统的一个实施例。图3示出一实施例的初始化逻辑流程。图4示出一实施例的准入决策逻辑流程。图5示出一实施例的运行时逻辑流程。图6示出一实施例的跨层视频质量管理器的框图。图7示出一实施例的逻辑流程。详细描述将描述用于层间视频质量管理的技术。现在将详细参照如附图所示的这些实施例的描述。尽管将结合这些附图描述实施例，但并不旨在将它们限定于本文中公开的附图。相反，旨在涵盖由所附权利要求所定义的所述实施例的精神和范围内的所有替换、修改和等效方案。各个实施例涉及协调多种视频处理和网络处理技术以提升终端用户对例如视频的体验质量的跨层视频质量管理器(CL-VQM)。例如，CL-VQM可监视和控制网络，并根据网络状况调节视频处理。此外，CL-VQM跨多个网络层(例如根据OSI七层模型的层)的应用使得CL-VQM能通过协调各种因层而异的技术来控制网络以提升终端用户的体验质量。图1示出系统的一个实施例。图1示出系统100的框图。例如，在一个实施例中，系统100可包括具有多个节点的媒体处理系统。节点可包括在系统100中用于处理和/或传达信息的任何物理或逻辑实体，并可视给定的一组设计参数或性能约束所需实现为硬件、软件、或其任意组合。尽管图1被示为具有呈特定拓扑的有限数目的节点，但可以理解系统100可视给定实现所需包括呈任意类型的拓扑的或多或少的节点。这些实施例在这点上并不受限。
在各个实施例中，节点可包括或被实现为计算机系统、计算机子系统、计算机、设施、工作站、终端、服务器、个人计算机(PC)、膝上型计算机、超薄膝上型计算机、手持式计算机、个人数字助理(PDA)、机顶盒(STB)、电话、移动电话、蜂窝电话、手机、无线接入点、基站(BS)、订户站(SS)、移动订户中心(MSC)、无线电网络控制器(RNC)、微处理器、诸如专用集成电路(ASIC)的集成电路、可编程逻辑器件(PLD)、诸如通用处理器的处理器、数字信号处理器(DSP)和/或网络处理器、接口、输入/输出(I/O)设备(例如键盘、鼠标、显示器、打印机)、路由器、集线器、网关、网桥、交换机、电路、逻辑门、寄存器、半导体器件、芯片、晶体管、或任何其它设备、机器、工具、装备、组件、或其组合。这些实施例在这点上并不受限。在各个实施例中，节点可包括或被实现为软件、软件模块、应用、程序、子例程、指令集、计算代码、字、值、符号、或其组合。节点可根据预定义计算机语言、方式或语法实现以指示处理器执行特定功能。计算机语言的示例可包括C、C++、Java、BASIC、Perl、Matlab、PascaUVisual BASIC、汇编语言、机器代码、处理器用微代码等等。这些实施例在这点上并不受限。在各个实施例中，通信系统100可根据一种或多种协议传达、管理、或处理信息。协议可包括用于管理节点之间通信的一组预定义规则或指令。协议可由诸如国际电信联盟(ITU),国际标准化组织(ISO)、国际电工委员会(IEC),电气和电子工程师协会(IEEE)、因特网工程任务组(IETF)、运动图像专家组(MPEG)等的标准组织发布的一种或多种标准定义。例如，所述实施例可被安排成根据媒体处理标准运行，这些媒体处理标准诸如有国家电视系统委员会(NTSC)标准、逐行倒相(PAL)标准、MPEG-1标准、MPEG-2标准、MPEG-4标准、地面数字视频广播(DVB-T)标准、ITU/IEC H.263标准、低比特率通信视频编码、2000年11月公布的ITU-T推介H.263v3和/或ITU/IECH.264标准、极低比特率通信视频编码、于2003年5月公布的ITU-T推介H.264。这些实施例在这点上并不受限。在各种实施例中，系统100的节点可被安排成传达、管理或处理不同类型的信息，诸如媒体信息和控制信息。媒体信息的示例一般可包括表示对用户有意义的内容的任何数据，诸如语音信息、视频信息、音频信息、图像信息、文本信息、数字信息、字母数字符号、图形等。控制信息可指表示对自动化系统有意义的命令、指令或控制字的任何数据。例如，控制信息可被用来路由媒体信息通过系统，建立设备之间的连接，指示节点以预定方式处理该媒体信息等。这些实施例在这点上并不受限。在各个实施例中，系统100可被实现为有线通信系统、无线通信系统、或两者的组合。尽管系统100可能是作为示例使用特定通信介质示出的，但是可以理解本文中所讨论的原理和技术可使用任何类型的通信介质或伴随技术来实现。这些实施例在这点上并不受限。当被实现为有线系统时，系统100例如可包括被安排成在一个或多个有线通信介质上传达信息的一个或多个节点。有线通信介质的示例可包括布线、电缆、印刷电路板(PCB)、底板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。有线通信介质可使用输入/输出(I/o)适配器与节点相连。该I/O适配器可被安排成用任何适当技术操作以使用所需的一组通信协议、服务或操作过程来控制节点之间的信息信号。该I/o适配器还可包括用以将I/o适配器与相应通信介质相连的适当物理连接器。I/O适配器的示例可包括网络接口、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等。这些实施例在这点上并不受限。当被实现为无线系统时，系统100例如可包括被安排成在一类或多类无线通信介质上传达信息的一个或多个无线节点。无线通信介质的示例可包括无线频谱的各部分，诸如一般的RF频谱和具体的超高频(UHF)频谱。这些无线节点可包括适于在指定无线频谱上传达信息信号的的组件和接口，诸如一个或多个天线、无线发射机/接收机(“收发机”)、放大器、滤波器、控制逻辑、天线等。这些实施例在这点上并不受限。在各个实施例中，系统100可包括具有一个或多个媒体源节点102-1-n的媒体处理系统。媒体源节点102-1-n可包括能向媒体处理节点106提供或投放媒体信息和/或控制信息的任何媒体源。更具体地，媒体源节点102-1-n可包括能向媒体处理节点106提供或投放数字音频和/或视频(AV)信号的任何媒体源。媒体源节点102-1-n的示例可包括能存储和/或投放媒体信息的任何硬件或软件单元，诸如数字多功能盘(DVD)设备、家用录像系统(VHS)设备、数字VHS设备、个人摄像机、计算机、游戏控制台、光盘(CD)播放器、计算机可读或机器可读存储器、数码相机、摄像放像一体机、视频监视系统、电话会议系统、电话系统、医疗和测量仪器、扫描器系统、复印机系统等等。媒体源节点102-1-n的其它示例可包括向媒体处理节点106提供广播或流送模拟或数字AV信号的媒体分发系统。媒体分发系统的示例可包括例如无线电(OTA)广播系统、地面有线电视系统(CATV)、卫星广播系统等。值得注意，取决于给定实现，媒体源节点102-1-n对媒体处理节点106而言可以是内部的、或者是外部的。这些实施例在这点上并不受限。在各个实施例中，从媒体源节点102-1-n接收的传入视频信号可能具有本机格式，有时称为视觉分辨率格式。视觉分辨率格式的示例包括数字电视(DTV)格式、高清电视(HDTV)、逐行扫描格式、计算机显示格式等。例如，媒体信息可能是用范围在每帧480个可见行到每帧1080个可见行的垂直分辨率格式和范围在每行640个可见像素到每行1920个可见像素的水平分辨率格式编码。在一个实施例中，媒体信息可能例如被编码在具有720逐行(720p)的视觉分辨率格式的HDTV视频信号中，720p指720个垂直像素和1280个水平像素(720x1280)。在另一示例中，媒体信息可能具有与各种计算机显示格式相对应的视觉分辨率格式，诸如视频图形阵列(VGA)格式分辨率(640x480)、扩展图形阵列(XGA)格式分辨率(1024x768)、高级XGA (SXGA)格式分辨率(1280x1024)、超级XGA (UXGA)格式分辨率(1600x1200)等等。这些实施例在这点上并不受限。在各个实施例中，媒体处理系统100可包括在一个或多个通信介质104-1-m上连接到媒体源节点102-1-n的媒体处理节点106。媒体处理节点106可包括如前所述安排成处理从媒体源节点102-1-n接收的媒体信息的任何节点。在各个实施例中，媒体处理节点106可包括或被实现为具有处理系统、处理子系统、处理器、计算机、设备、编码器、解码器、编/解码器(CODEC)、滤波设备(例如图形缩放设备、解块滤波设备)、变换设备、娱乐系统、显示器或任何其它处理架构的一个或多个媒体处理设备。这些实施例在这点上并不受限。在各个实施例中，媒体处理节点106可包括媒体处理子系统108。媒体处理子系统108可包括安排成处理从媒体源节点102-1-n接收的媒体信息的处理器、存储器、和应用硬件和/或软件。例如，媒体处理子系统108可被安排成管理JSVC/H.264视频解码器关于图像或画面的相邻块数据，并执行如以下更详细描述的其它媒体处理操作。媒体处理子系统108可将经处理的媒体信息输出到显示器110。这些实施例在这点上并不受限。
在各个实施例中，媒体处理节点106可包括显示器110。显示器110可以是能够显示从媒体源节点102-1-n接收的媒体信息的任何显示器。显示器110可以给定格式分辨率显示媒体信息。例如，显示器110可在具有VGA格式分辨率、XGA格式分辨率、SXGA格式分辨率、UXGA格式分辨率等的显示器上显示该媒体信息。显示器和格式分辨率的类型可根据给定的一组设计或性能约束而变化，且这些实施例在这点上并不受限。在一般操作中，媒体处理节点106可从一个或多个媒体源节点102-1-n接收媒体信息。例如，媒体处理节点106可从实现为与媒体处理节点106整合的DVD播放器的媒体源节点102-1接收媒体信息。媒体处理子系统108可从该DVD播放器取回媒体信息、将该媒体信息从视觉分辨率格式转换成显示器110的显示分辨率格式,并使用显示器110再现该媒体信息。在各个实施例中，媒体处理节点106可被安排成从一个或多个媒体源节点102-1-n接收输入图像。该输入图像可包括从一个或多个视频图像得出的或与其相关联的任何数据或媒体信息。在各个实施例中，输入图像可包括图像数据、视频数据、视频序列、画面组、画面、图像、区域、对象、帧、切片、宏块、块、像素、信号等。赋给像素的值可包括实数和/或整数。在各个实施例中，媒体处理节点106可被安排成协调多种视频处理和网络处理技术以提升终端用户对例如媒体(例如，视频)的呈现的体验质量。例如,媒体处理节点106可监视和控制网络，并根据网络状况调节视频处理。此外，媒体处理节点106可通过协调各种因层而异的技术来控制网络以提升终端用户的体验质量。在一个实施例中，例如媒体处理节点106的媒体处理子系统108可被安排成协调多种视频处理和网络处理技术。更具体地，媒体处理子系统108可被安排成协调和控制多种涉及视频处理、网络处理或其各个部分(例如涉及网络的个体层的网络处理)的、原本是独立的或被独立控制的服务质量(QoS)和优化技术，以提升系统100的整体性能。媒体处理子系统108可利用一个或多个预定`义或预定数学函数、或预先计算的表来控制视频的处理和输出(例如向显示器110的输出)以提升系统100性能，特别是系统100终端用户的体验质量。一般的系统100以及具体的媒体处理子系统108可参照图2更详细地描述。图2不出媒体处理子系统108的一个实施例。图2不出适于与如参照图1所述的媒体处理节点106 —起使用的媒体处理子系统108的框图。然而，这些实施例并不限定于图2中给出的示例。如图2所示，媒体处理子系统108可包括多个单元。视给定的一组设计或性能约束所需，一个或多个单元可使用一个或多个电路、组件、寄存器、处理器、软件子例程、模块、或其任意组合实现。尽管图2示出呈特定拓扑的有限数目的单元作为示例，但可以理解可视给定实现所需在媒体处理子系统108中使用呈任意适当拓扑的或多或少的单元。这些实施例在这点上并不受限。在各个实施例中，媒体处理子系统108可包括处理器202。处理器202可使用诸如复杂指令集计算机(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现指令集组合的处理器、或其它处理器器件的任何处理器或逻辑器件来实现。例如，在一个实施例中，处理器202可被实现为通用处理器，诸如由美国加州圣克拉拉的ntel 公司制造的处理器。处理器202也可被实现为专用处理器，诸如控制器、微控制器、嵌入式处理器、数字信号处理器(DSP)、网络处理器、媒体处理器、输入/输出(I/O)处理器、媒体接入控制(MAC)处理器、无线基带处理器、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)等。这些实施例在这点上并不受限。在一个实施例中，媒体处理子系统108可包括耦合到处理器202的存储器204。视给定实现所需，存储器204可经由通信总线214、或通过处理器202与存储器204之间的专用通信总线耦合于处理器202。存储器204可使用能够储存数据的任何机器可读或计算机可读介质来实现，包括易失性和非易失性存储器两者。例如，存储器204可包括只读存储器(ROM)、随机存取存储器(RAM)、动态RAM (DRAM)、双倍数据率DRAM (DDRAM)、同步DRAM(SDRAM)、静态RAM (SRAM)、可编程ROM (PR0M)、可擦式可编程ROM (EPROM)、电可擦式可编程ROM (EEPR0M)、闪存、诸如铁电聚合物存储器等的聚合物存储器、奥弗辛斯基(ovonic)存储器、相变或铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、磁卡或光卡、或任何其它类型的适于储存信息的介质。值得注意的是，存储器204的某部分或全部可与处理器202被包括在同一集成电路上，或者替换地，存储器204的某部分或全部可被设置于在处理器202的集成电路之外的集成电路或其它介质例如硬盘驱动器上。这些实施例在这点上并不受限。在各个实施例中，媒体处理子系统108可包括收发机206。收发机206可以是安排成根据所需无线协议操作的任何无线电发射机和/或接收机。适当无线协议的示例可包括各种无线局域网(WLAN)协议，包括诸如 ffiEE802.lla/b/g/n、IEEE 802.16、IEEE 802.20等的IEEE 802.XX系列协议。无线协议的其它示例可包括各种无线广域网(WffAN)协议，诸如具有通用分组无线服务(GPRS)的全球移动通信(GSM)蜂窝无线电话系统协议、具有IxRTT的码分多址(CDMA)蜂窝无线电话通信系统、增强数据率全球演进(EDGE)系统等等。无线协议的其它示例可包括诸如红外线协议的无线个域网(PAN)协议，来自蓝牙技术联盟(SIG)系列协议的协议，包括蓝牙规范版本vl.0、vl.1、vl.2、v2.0、具有增强数据率(EDR)的v2.0、以及一种或多种蓝牙样板(在此合称为“蓝牙规范”)等。其它适当协议可包括超宽带(UWB)、数字办公室(D0)、数字家庭、可信平台模块(TPM)、ZigBee、以及其它协议。这些实施例在这点上并不受限。在各个实施例中，媒体处理子系统108可包括一个或多个模块。视给定的一组设计或性能约束所需，这些模块可包括或被实现为一个或多个系统、子系统、处理器、设备、机器、工具、组件、电路、寄存器、应用、程序、子例程、或其任意组合。这些实施例在这点上并不受限。例如，在一个实施例中，媒体处理子系统108可包括视频质量管理模块208。视频质量管理模块208可被安排成根据预定数学函数、算法或表来协调和控制如以上介绍的多种涉及视频处理、网络处理、或其各个部分(例如涉及网络的个体层的网络处理)的、原本是独立的或被独立控制的服务质量(QoS)和优化技术。例如，预定数学函数、算法、或表可被储存在任何适当存储设备中，诸如存储器204、大容量存储设备(MSD) 210、硬件实现的查找表(LUT) 216等等。可以理解，宏块模块208可被实现为由处理器202执行的软件、专用硬件、或两者的组合。这些实施例在这点上并不受限。在各个实施例中，媒体处理子系统108可包括MSD 210。MSD 210的示例可包括硬盘、软盘、压缩盘只读存储器(⑶-ROM)、可记录压缩盘(⑶-R)、可重写压缩盘(⑶-RW)、光盘、磁性介质、磁性-光学介质、可移动存储卡或盘、各类DVD设备、带设备、卡式设备等。这些实施例在这点上并不受限。在各个实施例中，媒体处理子系统108可包括一个或多个I/O适配器212。I/O适配器212的示例可包括通用串行总线(USB)端口 /适配器、IEEE1394火线端口 /适配器等。这些实施例在这点上并不受限。在一般操作中，媒体处理子系统108可从一个或多个媒体源节点102-1-n接收媒体信息。例如，媒体源节点102-1可包括与处理器202连接的DVD设备。替换地，媒体源102-2可包括储存数字AV文件的存储器204，诸如运动图像专家组(MPEG)编码的AV文件。视频质量管理模块208可用来从大容量存储设备216和/或存储器204接收媒体信息、处理这些媒体信息(例如通过处理器202)、并在存储器204、处理器202的高速缓冲存储器、或其组合上储存或缓冲这些媒体信息。视频质量管理器模块208的操作可参照图3到图7理解。目如存在众多解决QoS和其它优化以提升例如流送视频的质量的技术(基于标准的或专用的)。QoS和优化技术已在网络层栈中的各个层上提出以提升流送视频质量。例如有在网络层栈的链路层上定义的优先级化和参数化技术，诸如IEEE 802.1D中针对以太网连接的和IEEE 802.1le中针对无线连接的。此外还有上层技术，例如提供QoS过程以管理实时流送视频话务的实时传输协议(RTP)增强。每种QoS和/或优化技术可提供特定的质量提升，例如流送视频质量提升，但没有单一的QoS和/或优化技术可在所有视频或网络状况下提供最佳视频质量。如所介绍地，一实施例协调多种视频处理和网络处理技术以提升终端用户例如对流送视频的整体体验质量。更具体地，一实施例协调可能各自原本独立涉及特定网络层或特定层的各种技术。此外，实现这种跨层协调的一实施例可同步地采用这些各不相同的技术并考虑每种技术个体的优点和限制以得到适于提升对流送视频的整体体验质量的组合。因此，一实施例可能能够跨网络栈的这些各不相同的层收集来自众多源的信息(例如MAC统计数据、RTP统计数据、UPnP QoS统计数据、来自客户机的缓冲区满度报告、FEC统计数据等)，并且可能能够恰切地操纵涉及这些层的一种或多种技术以鉴于例如分组丢失和带宽限制来维持视频质量。出于讨论目的(且部分地由图6所示)，一实施例可在包括流送服务器和流送客户机(或渲染器)作为网络拓扑的一部分的网络内操作。在一实施例中，流送服务器和流送客户机两者皆可驻留在例如家庭或办公室网络、或可在其上处理和/或观看(例如在显示器110上观看)流送视频的任何网络上。此外，流送服务器和流送客户机可用一条或多条链路连接，每条链路可包括管理该链路的一种或多种链路层技术。例如，流送服务器可经由HomePlug AV (HPAV)连接到无线接入点，该无线接入点又将经由例如IEEE 802.1lg与流送客户机通信。表I示出可应用于特定的一个或多个网络层的现有QoS或其它优化技术的样本的细节。表I
权利要求
1.一种用于跨层视频质量管理的装置，包括: 媒体处理节点，其通过跨多个网络层从多个媒体源收集媒体信息和/或控制信息并且响应于收集到的媒体信息和/或控制信息操纵涉及所述多个网络层的一种或多种视频处理和网络处理技术以鉴于分组丢失和带宽限制来维持视频质量，在多个图形进程和多个跨层网络进程之间协调以提升流送视频的质量。
2.如权利要求1所述的装置，所述媒体处理节点包括视频质量管理模块，所述视频质量管理模块进一步: 取决于网络状况准入视频流。
3.如权利要求2所述的装置，所述视频质量管理模块进一步: 检测所述网络状况中的变化。
4.如权利要求3所述的装置，所述视频质量管理模块进一步: 响应于所述网络状况的变化重新协调至少图形进程或网络进程。
5.如权利要求4所述的装置，其特征在于，至少有一个网络进程涉及与另一网络进程不同的网络层。
6.一种用于跨层视频质量管理的系统，包括: 有线通信介质；以及 与所述通信介质耦合的媒体处理节点，其通过跨多个网络层从多个媒体源收集媒体信息和/或控制信息并且响应于收集到的媒体信息和/或控制信息操纵涉及所述多个网络层的一种或多种视频处理和网络处理技术以鉴于分组丢失和带宽限制来维持视频质量，在多个图形进程和多个跨层网络进程之间协调以提升流送视频的质量。
7.如权利要求6所述的系统，所述媒体处理节点包括视频质量管理模块,所述视频质量管理模块进一步: 取决于网络状况准入视频流。
8.如权利要求7所述的系统，所述视频质量管理模块进一步: 检测所述网络状况中的变化。
9.如权利要求8所述的系统，所述视频质量管理模块进一步: 响应于所述网络状况的变化重新协调至少图形进程或网络进程。
10.如权利要求9所述的系统，其特征在于，至少有一个网络进程涉及与另一网络进程不同的网络层。
11.一种用于跨层视频质量管理的方法，包括: 初始化视频质量管理模块； 由所述视频质量管理模块准入视频流；以及 通过跨多个网络层从多个媒体源收集媒体信息和/或控制信息并且响应于收集到的媒体信息和/或控制信息操纵涉及所述多个网络层的一种或多种视频处理和网络处理技术以鉴于分组丢失和带宽限制来维持视频质量，由所述视频质量管理模块协调多个图形进程和多个网络进程以提升所述视频流的质量。
12.如权利要 求11所述的方法，所述初始化视频质量管理模块进一步包括: 发现UPnP设备或服务； 监视网络状况；以及检测跨层组件。
13.如权利要求11所述的方法，所述准入视频流进一步包括: 搜集网络QoS和客户机能力信息； 选择MPEG概况； 配置可缩放视频解码器；以及 控制RTP选择性重传。
14.如权利要求11所述的方法，其特征在于，至少有一个网络进程涉及与另一网络进程不同的网络层。
15.如权利要求14所述的方法，其特征在于，还包括: 检测网络状况中的变化；以及 由所述视频质量管理模块重新协调至少图形进程或网络进程。
全文摘要
一实施例是协调多种视频处理和网络处理技术以提升例如流送视频的体验质量的跨层视频质量管理器。
文档编号H04N5/44GK103118301SQ20131005154
公开日2013年5月22日 申请日期2007年3月22日 优先权日2006年3月31日
发明者R·波帕迪卡, B·哈基米 申请人:英特尔公司