专利名称：基于预测的无线信道状态的自适应视频编码的制作方法
技术领域：
本发明总体涉及无线通信系统；更具体地，涉及自适应视频编码，用于适应基于分组的有损通信信道上的视频传输。
背景技术：
已提出了用于提高视频错误鲁棒性/隐藏的多种方法，这些方法可基本分成两组。第一组涉及网络层解决方案，尝试通过为视频解码器提供无误差A/V流而恢复分组层的错误/丢包。这些解决方案通常要求有冗余码和进行重传。第二组涉及视频层解决方案， 特别是后处理，其会接受遭破坏的视频流，并尝试减小解码视频帧中的间隙和失配。可理解，这两组(网络层解决方案和视频层解决方案)都具有自身的优点和缺点。具体地，高度受保护的网络层可非常强健，并且对于错误可复原，但通常这是通过减小信道的恒定吞吐量和/或增加信道的有效等待时间而实现的。对于视频层，其中一个主要考虑因素是整体用户体验(例如，用户的感性体验)。即使在可变的网络状态下，视频也应流畅自然。在可变的信道状态下，提供可接受的用户体验对实时(或准实时)视频流特别具有挑战性，因为丢包和信道延迟可对感知的视频质量产生有害影响(例如，阻塞或模糊印象、视频冻结或抖动，以及音频/视频同步问题)。更具体地，在实时视频编码和传输期间，大于帧间隔的分组传输增量延迟可能会产生与掉包或丢包相同的后果。视频解码器一般需要在相对较短的时间内解码并呈现每个视频帧。因此，如果分组在网络上延迟过多，将不可能及时完成帧解码以用于显示。如果延迟帧或丢弃帧也是其他帧的基准帧，可能会发生多个帧的解码错误。特别是在无线通信的情况下，现有技术没有提供用以将媒体相关内容的通信以强健、可靠、永久可接受的方式进行的适当方法。
图I为根据本发明实施方式的视频网络100的框示。图2为示出根据本发明实施方式的通过无线接入装置进行视频流编码和通信的功能框图。图3为示出根据本发明实施方式的信道吞吐量估计和编码器比特率调整的功能框图。图4为示出根据本发明实施方式的视频自适应编码方法的运行流程图。图5为示出根据本发明实施方式的编码器比特率自适应调整方法的流程图。图6为示出根据本发明实施方式的基于平均传输队列等待时间的编码器比特率自适应调整方法的流程图。图7为示出根据本发明实施方式的编码器比特率自适应减小方法的流程图。图8为示出根据本发明实施方式的编码器比特率自适应增加方法的流程图。图9为示出根据本发明实施方式的采用传输排队模型的信道状态预测方法的流程图。图10为根据本发明实施方式的各个视频流转换调度方法的图示。
具体实施例方式本文提供了一种用于优化基于分组的有损通信介质/信道上的视频传输的新型方法，以提高终端用户体验。新型方法涉及信道状态预测估计与自适应视频编码的结合，使得例如在用于分组网络传输的实时视频编码期间实现更佳的错误隐藏、错误恢复和带宽利 用。本发明总体涉及数字视频压缩，一般适用于视频压缩标准、协议和/或推荐实践(例如，MPEG-4 Part 2、H. 264(AVC)、WMV、AVS、RealVideo 和 Quicktime 等)。本文提出的新型方法通常在示例性实施方式中采用基于分组的无线传输(例如，UDP/IP)，但各个方面和院里及其等同物也可被广泛扩展至任何有损或可变的通信信道上的网络传输(无论采用哪种特定类型的通信介质，例如，有线、无线、光学介质等)。具体如图所示，图I为根据本发明实施方式的视频网络100的框示。网络104将诸如视频内容108的信息从视频源102分配给无线接入装置106，以在一个或多个无线信道上无线传输给无线视频装置，例如，视频装置110和移动视频装置112。视频内容108可包括电影、电视节目、商业广告或其他广告、教育内容、视频游戏内容、商业信息或其他节目内容，并且可选地包括与这种节目内容有关的附加数据，包括但不限于数字版权管理数据、控制数据、节目信息、附加图形数据和与节目内容相关的可传输的其他数据。视频内容108可包括具有或不具有相关音频内容的视频。视频内容108可作为广播视频、流媒体视频、视频点播和准视频点播节目和/或其他格式发送。网络104可为将视频内容108从多个视频源(包括视频源102)向广泛地理区域内的多个无线接入装置和(可选的)有线装置分配的专用视频分配网络，例如，直接广播卫星网络或有线电视网络。可替代地，网络104可为包括通用网络的一个或多个分段的异构网络，该通用网络例如为因特网、城域网、广域网、局域网或其它网络，以及(可选的)其他网络，例如，因特网协议(IP)电视网络。在给定网络的各个部分，视频内容108可根据各种公认协议作为模拟和/或数字信号传输。无线接入装置106可包括在无线局域网(WLAN)(例如，802. 11a，b，g，n、WIMAX或其他WLAN网络)、或蜂窝网络(例如，UMTS, EDGE、3G、4G或其他蜂窝数据网络)上向一个或多个视频用户提供视频内容108的基站或接入点。另外，无线接入装置106可包括家庭网关、专用视频分配网络内的视频分配点，或用于将视频内容108单独地或与其他数据、信号或服务一起无线传输给视频装置110和/或移动视频装置112的其他无线网关。移动视频装置112可包括可看视频的无线智能手机或能显示视频内容的其他手持通信装置。视频装置110包括可为移动式或非移动式的其他视频显示装置，包括与无线接收器耦合的电视机、能通过无线数据卡、无线调谐器、WLAN调制解调器或其他无线链路进行无线连接的计算机，或能单独或与其他装置一起从无线接入装置106接收视频内容108并为用户显示和/或存储视频内容108的装置。网络104、无线接入装置106、视频装置110和/或移动视频装置112包括本发明的一个或多个特征，下文将结合图2至图5对这些特征进行详细说明。图2为示出根据本发明实施方式的通过无线接入装置进行视频流编码和通信的功能框图。如图所示，编码器数据率(encoder rate，编码器速率)自适应功能或层200与编码器204 —起，或作为编码器204的一部分由无线接入装置106用于在无线信道226上向视频装置110/移动视频装置112提供编码视频流202。一般来说，当考虑视频数据以无线方式从一个位置或子系统向另一个位置或子系统传输的通信系统时，视频数据编码可被视为在无线信道226的发送侧进行，视频数据解码一般可被视为在无线信道226的接收侧进行。在所示实施方式中，视频内容由视频源102提供给无线接入装置106，以进行编码 (或进一步编码或转码)和传输。视频内容108可通过各种手段(means) /网络，例如，上述手段/网络向无线接入装置106传输。在一实施方式中，视频源102包括通过标准化互连线/接口 212与无线接入装置106耦合的游戏机、电缆或卫星机顶盒、媒体服务器等。标准化互连线/接口 212可包括，例如，音频/视频电缆，例如，HDMI电缆(这种情况下，无线接入装置106可为无线电子狗(dongle)的形式)、能传输未压缩、标准或高清视频内容的高带宽无线链路(例如，符合WiGig或WirelessHD的链路)，或这些技术的各种组合。无线接入装置106包括接收视频内容并对其编码的视频编码器204，用于在无线信道226上(以编码视频流202的形式)由网络接口 206进行传输。如以下参照图3更详细地描述的，编码器数据率自适应层200与视频编码器204通信，包括用于自适应地改变视频编码器204的编码比特率和/或其他运行参数的信号。编码器数据率自适应层200还能从网络接口 206接收信息。这种信息可用于由编码器数据率自适应层200根据本发明生成变化状态下无线信道226的吞吐量估值。来自编码器204的编码视频内容提供给网络接口 206，以向视频装置110/移动视频装置112 (下文统称为，或可替代地称为视频装置110)传输。在所公开的实施方式中，网络接口 206包括媒体访问控制(MAC)层208和物理层(PHY)210电路或功能。MAC 208的主要用途在于分配无线信道226的带宽，并在多个视频装置110/112等共享信道时协调访问。除了其他功能，PHY 210建立和终止与无线信道226的连接。在所公开的实施方式中，PHY210生成并在无线信道226上传输包含编码视频流202的调制射频信号。如上文，MAC 208和PHY 210可根据各种基于分组的通信协议，例如，符合IEEE 802. 11的网络而运行。在所示视频装置110中，网络接口 214 (在无线信道202上)接收包含编码视频流202的射频信号。PHY 218与MAC 216协作，随后对这些射频信号进行解调和降频转换，以提取编码视频流202。随后，解码器220对来自所提取的视频流202的视频数据进行操作，以生成解码视频流，用于在视频显示器222上显示。可使用可选的互连线/接口 224 (包括，例如，上文公开的与互连线/接口 212有关的各个实施方式)为例如高清电视或投影系统提供解码视频内容。在这样的实施方式以及其他实施方式中，视频显示器222可为视频装置110的一部分或为与其分离的部件。进一步地，视频装置110可作为其他(移动)视频装置的中继器。
所公开的实施方式中的网络接口 214还为无线接入装置106提供各种传输，包括，例如，根据确认(ACK/NACK)协议232的信令、与PHY 218的运行有关的状态信息(例如，错误校正之前的误码率，或信噪比(SNR))，以及解码器排队信息234。这种接收器信息/反馈230可与发送侧信道吞吐量指标302 —起用于生成各种运行状态下的当前和/或预期信道吞吐量的估值。在下文中，术语“ACK”、“确认(acknowledgement)”和“BA”均意味着包括ACK或BA (块确认)及等同物。例如，即使仅特别提及ACK或BA的其中之一，这些实施方式也可同样适用于ACK或BA任何其中之一及等同物。根据本发明的视频编码的优点之一可为大大降低无线接入装置106接收的NACK的数量。但是，应注意的是，例如在ACK是无线信道226接收侧的成功错误校正的结果时，ACK可不提供信道状态的即时指标。视频编码器204和编码器数 据率自适应层200可在硬件、软件或固件中实施。在特定实施方式中，视频编码器204和编码器数据率自适应层200可利用一个或多个微处理器、微型计算机、中央处理器、现场可编程逻辑器件、状态机、逻辑电路、模拟电路、数字电路和/或基于存储模块中存储的操作指令操作信号(模拟和/或数字)的任何装置来实施。视频编码器204或编码器数据率自适应层200执行的功能、步骤和过程可分到不同装置中，以提供更快计算速度和/或效率。相关存储模块可为单个存储装置或多个存储装置。这种存储装置可为只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、闪存、高速缓存和/或存储数字信息的任何装置。应注意的是，当视频编码器204和/或编码器数据率自适应层200通过状态机、模拟电路、数字电路和/或逻辑电路实施其一个或多个功能时，存储对应操作指令的存储模块可嵌入包括状态机、模拟电路、数字电路和/或逻辑电路的电路中，或设于其外部。进一步地，在无线接入装置106和视频装置110/移动视频装置112中，可对其中的各个部件、块、功能块、电路等进行任何期望的集成或组合，可替代地，只要不脱离本发明的范围和主旨，也可进行其他分界和分组。例如，网络接口 206内的所有部件都可包括在第一处理模块或集成电路中，网络接口 214内的所有部件都可包括在第二处理模块或集成电路中。同样，尽管被示为与视频源102分开，但编码器204和编码器数据率自适应层200也可结合到视频源102内或网络100的其他网络单元内。进一步，编码器数据率自适应层200可整体或部分地结合到编码器204内。图3为示出根据本发明实施方式的信道吞吐量估计和编码器比特率调整的功能框图。在所公开的实施方式中，编码器数据率自适应层200进行操作，以响应于基于至少一个吞吐量指标302的无线信道吞吐量估值而自适应地对编码器204的编码参数进行改变。信道状态预测估值和自适应视频编码的结合提高了错误隐藏、错误恢复、满足无线等待时间要求的能力，以及例如在用于分组网络传输的实时视频编码期间的带宽利用。如上，基于分组的网络可提供高吞吐量，但通常无法保证“有噪”信道状态下同时实现低传输延迟、恒定吞吐量和低程度网络数据丢失。信道状态可受到多种因素影响，包括信号强度、模式噪声(例如，微波爆发)、其他载体的干扰，以及特定节点上的网络拥堵。瞬时脉冲噪声还可对无线信道的可用带宽产生短期不利影响。实际上，有利地，应解决这种脉冲噪声，以将编码参数的不必要调整降到最少。术语“信道吞吐量”在本文中一般用于指代无线信道226上的平均有效比特率(包括链路层协议开销)。对于实时流，例如，实时视频流，相关吞吐量值可能会受到等待时间的限制(有效同步吞吐量)，并且其典型值小于总吞吐量。吞吐量一般以比特/秒(bps)或兆比特/秒(Mbps)为测量单位，但也可采用数据包/秒或数据包/时间间隔。许多因素(一般由吞吐量指标302和接收器信息330表示)可对信道吞吐量产生影响并/或可根据本发明用于生成信道吞吐量的指标。这些因素包括PHY特性(例如，工作频率/频段)、所选调制编码方案(MCS)、MAC协议数据单元(MPDU)的尺寸和包聚合的使用、传输协议的被支持PHY数据率、信道带宽(例如，20/40MHZ )、保护间隔(GI)、相关传输确认策略(例如，普通ACK/NACK、B-ACK (块确认)或聚合确认、No-ACK)、编码流内的平均数据量(例如，MPDU)、信道负荷、传输流的数量等。这些信道/传输特性可进一步包括原始误码率、误包率、功率模式信息、信噪比(SNR)、包重传率，以及各种接收参数或描述射频信道向视频装置110有效发送编码视频流202的能力的其他量度。根据本发明各个实施方式的信道吞吐量估计可利用上述信道特征的一个或多个指标。使用相对较大数量的指标可增加信道吞吐量估计模型的精度。在所示编码器数据率自适应层200中，各个吞吐量指标302由信道吞吐量估计300功能进行聚集和分析。信道吞吐量估计300利用接收的吞吐量指标302生成信道吞吐量估值。这些估值可包括，例如，多个被支持PHY数据率(PHY率)的预期可支持吞吐量，或基于 吞吐量指标302的变化而修改的给定PHY率的吞吐量估值。来自信道吞吐量估计300处理的输出被提供给编码器比特率调整304功能，用于自适应地改变编码器204的一个或多个编码参数(例如，比特率)。吞吐量指标302可包括与信道带宽/GI 314、确认策略参数316、打包器参数318、信道负荷320、来自例如多变量公用滤波器的增益估值322等中的一个或多个相关的状态信息。尽管有用估计可通过利用相对较小数量的输入(例如，如上文所列出的)而实现，但使用大量输入通常可增加模型的精度。所示吞吐量指标302 —般可从网络接口 206本身获得，但根据特定实施方式的信道估计也可利用各种接收器信息/反馈330。例如，信道吞吐量估计300处理中可使用来自接收装置(例如，视频装置110或移动视频装置112)的原始误码率信息或其他短期反馈。来自接收装置的信息例如可在周期动作帧内或通过其他帧类型/子类型进行传输。在图3所示的实施方式中，可选地包括了平均排队延迟监控器312，以将来自MAC数据队列310的传输队列延迟信息提供给编码器比特率调整器304。参照图5至图9的示例性实施方式将会理解，传输队列延迟信息可单独使用，或与吞吐量指标302、接收器信息/反馈330、估计吞吐量表306和/或PHY率308 —起使用，以自适应地调整编码器204的一个或多个编码参数(例如，比特率)。根据所示实施方式的编码器比特率调整器304可利用信道吞吐量估计300处理生成的一个或多个估计吞吐量表306。示例性估计吞吐量表306 (表I)如下所示。在该实施方式中，为无线接入装置106支持的多种调制和编码方案(MCS)计算估计目标吞吐率(Tr)0被支持的MCS可包括由给定通信标准(例如，IEEE 802. Iln)规定的所有或一部分MCS0与特定MCS对应的估计Tr的值一般反映了无线信道226的吞吐率的估计上限，为了减敏(desensitization)的目的,可能会降低,一般小于相关关联的最大PHY率。Tr值可受至眵个吞吐量指标302的影响，包括但不限于，信道带宽、ACK策略、聚合参数、信道负荷(可能包括相关BSS测量的信道负荷)等。
权利要求
1.一种用于对无线信道上传输的视频数据进行自适应编码的方法，包括 接收无线信道的可用吞吐量的至少一个发送侧指标； 基于所述指标生成所述无线信道的未来吞吐量的估值；并且 响应于所述估值来改变至少一个编码参数。
2.根据权利要求I所述的方法，其中，所述编码参数为编码器比特率。
3.根据权利要求I所述的方法，其中，所述无线信道的可用吞吐量的指标包括信道带宽信息、确认策略参数、打包器参数、信道负荷信息和信道增益估值中的至少一个。
4.根据权利要求3所述的方法，其中，生成所述无线信道的未来吞吐量的估值包括为多个被支持的调制和编码方案(MCS)中的每个生成所述无线信道的吞吐量的估值，每个MCS具有相关联的PHY数据率。
5.根据权利要求4所述的方法，其中，为多个被支持的MCS中的每个生成所述无线信道的吞吐量的估值由至少一个所述指标的变化触发。
6.根据权利要求4所述的方法，其中，生成所述无线信道的未来吞吐量的估值包括生成用于至少一个MCS/PHY数据率的目标编码器比特率。
7.根据权利要求6所述的方法，其中，改变至少一个编码参数的步骤包括当所述无线信道正在使用或即将使用所述至少一个MCS/PHY数据率时，将当前编码器比特率与至少一个MCS/PHY数据率的目标编码器比特率相比较。
8.根据权利要求7所述的方法，进一步包括如果当前编码器比特率大于目标编码器比特率，降低当前编码器比特率，或者，如果当前编码器比特率小于目标编码器比特率，提高当前编码器比特率。
9.根据权利要求I所述的方法，其中，基于所述发送侧指标生成所述无线信道的未来吞吐量的估值的步骤还利用来自接收所述无线信道上的编码视频数据的装置的反馈信息。
10.根据权利要求I所述的方法，进一步包括 识别所述至少一个编码参数的新的或未决改变；并且 利用所述至少一个编码参数的改变来调度所述视频数据的编码的转换，所述转换包括修改所述视频数据的编码和/或传输，以减轻改变的视觉影响。
11.根据权利要求10所述的方法，其中，所述转换包括修改帧内编码或帧间编码的使用。
12.一种用于对无线信道上传输的视频流进行自适应编码的方法，包括 以第一 PHY数据率接收所述无线信道的可用吞吐量的至少一个发送侧指标； 利用所接收的指标生成第二 PHY数据率下的所述无线信道的吞吐量的估值； 识别所述第二 PHY数据率下运行的无线信道的转换或未决转换；并且 基于所述估值改变所述视频流的编码参数。
13.根据权利要求10所述的方法，其中，所述编码参数为编码器比特率。
14.根据权利要求13所述的方法，其中，所述视频流的所述编码比特率的改变先于以所述第二 PHY数据率进行视频流传输。
15.根据权利要求12所述的方法，其中，所述无线信道的可用吞吐量的至少一个发送侧指标包括信道带宽信息、确认策略参数、打包器参数、信道负荷信息和信道增益估值中的至少一个。
16.根据权利要求15所述的方法，其中，利用所接收的指标生成所述第二PHY数据率下的所述无线信道的吞吐量的估值包括生成用于所述第二 PHY数据率的目标编码器比特率，并且 其中，改变所述视频流的编码参数的步骤包括当所述无线信道正在使用或即将使用所述第二 PHY数据率时，将当前编码器比特率与目标编码器比特率相比较，如果所述当前编码器比特率大于所述目标编码器比特率，则降低所述当前编码器比特率。
17.—种设备,包括 用于支持无线信道上的视频流传输的网络接口； 用于对提供给所述网络接口的视频流进行编码的编码器；以及 能够用于自适应地调节所述编码器的编码比特率的编码器比 特率自适应电路，其中，所述编码比特率基于通过无线信道吞吐量的至少一个发送侧指标获得的无线信道吞吐量的估值来调整。
18.根据权利要求17所述的设备，其中，无线信道吞吐量的至少一个发送侧指标包括信道带宽信息、确认策略参数、打包器参数、信道负荷信息和信道增益估值中的至少一个。
19.根据权利要求18所述的设备，其中，无线信道吞吐量的估值还通过来自接收所述无线信道上的编码视频数据的装置的反馈信息而获得，所述反馈信息包括误码率或信噪比数据中的至少一个。
20.根据权利要求17所述的设备，其中，无线信道吞吐量的估值用于生成目标编码器比特率，自适应地调节所述编码器的编码比特率包括将当前编码器比特率与所述目标编码器比特率相比较，如果所述当前编码器比特率大于所述目标编码器比特率，降低所述当前编码器比特率。
21.根据权利要求17所述的设备，其中，所述设备包括无线电子狗，所述设备还包括用于向用于编码的所述编码器提供视频流数据的标准化音频/视频接口。
22.根据权利要求21所述的设备，其中，所述标准化音频/视频接口符合HDMI标准。
全文摘要
本发明提供了基于预测的无线信道状态的自适应视频编码。基于视频传输无线信道的可用吞吐量的多个发送侧指标中的至少一个，编码器速率自适应机制生成不同工作条件下无线信道的可支持吞吐量的估值。随后基于所估计的吞吐量值改变编码参数，例如编码器比特率。在一个示例中，发送侧吞吐量指标用于生成视频传输中可使用的多个潜在PHY数据率/信道MCS选择的目标编码器比特率。在预计到或者紧接着一个这种PHY数据率/MCS选择的转换，根据相关联的目标比特率改变编码器比特率。在另一模式中，平均传输队列等待时间信息用于进一步调整编码器比特率。
文档编号H04N21/2381GK102811367SQ201210177969
公开日2012年12月5日 申请日期2012年5月31日 优先权日2011年5月31日
发明者佩尤施·阿加瓦尔, 詹姆斯·F·多尔蒂三世, 亚桑塔·N·拉贾克鲁纳纳亚克, 亚历山大·G·麦克尼斯, 詹姆斯·D·贝内特 申请人:美国博通公司