可缩放视频编码的制作方法

专利名称：可缩放视频编码的制作方法
技术领域：
本发明涉及视频编码领域。更具体地，本发明涉及一种将基本层划分成帧内编码
区域和帧间编码区域、独立地建立层间预测以及组合预测以给出用来对增强层宏块进行编 码的相对预测的系统和方法。
背景技术：
这一节旨在于提供在权利要求书中记载的本发明的背景或者上下文。这里的描述 可以包括能够探求的概念，但是并非必然是先前已经构思或者探求的概念。因此，除非这里 另有指明，在这一节中描述的内容不是本申请中的说明书和权利要求书的现有技术，也不 因为包含于这一节中而被承认是现有技术。 视频编码标准包括ITU-T H. 261、IS0/IEC MPEG-1 Visual、ITU_TH. 262或者ISO/ IEC MPEG-2 Visual、 ITU-T H. 263、 IS0/IEC MPEG-4Visual和ITU-T H. 264(也称为ISO/ IEC MPEG-4 AVC)。此外，关于新视频编码标准的开发目前正在付之努力。在开发中的一个 此类标准是作为附录G(先前为附录F)而有望成为对H. 264/AVC标准的可縮放扩展的可縮 放视频编码(SVC)标准。(也应当理解SVC可以最终出现在最后标准的不同附录中。)另 一此类的努力涉及到开发中国视频编码标准。 附录G引入包括如下情况的称为扩展的空间可縮放性的特征，在这些情况中没有 维持基本层宏块和增强宏块的边缘对准。跨不同层的对准的宏块边缘的空间縮放比l或者 2被认为是空间可縮放性的一种特殊情况。 如这里所用的那样，术语"增强层"是指与一些较低质量的重建相比进行不同编码 的层。增强层的目的在于当添加到较低质量的重建时，信号质量应当提高或者"增强"。另 外，术语"基本层"既适用于使用现有视频编码算法而编码的非可縮放基本层也适用于相对 于其对后续增强层进行编码的重建增强层。 在SVC中，可以在多层中对视频序列进行编码，而各层是按某一空间分辨率或者 时间分辨率或者按某一质量级或者三者的某种组合对视频序列的一个表示。可以按预期空 间分辨率、时间分辨率、某一质量级或者这些分辨率的某种组合对可縮放视频位流的一部 分进行提取和解码。可縮放视频位流包含不可縮放基本层和一个或者多个增强层。
在SVC编码中，由于编解码器是基于层方式以实现空间可縮放性，所以编码器提 供为各空间层生成较低分辨率的信号的下采样滤波器级。在它的基础版本中，下采样比等 于2(基本层分辨率是它的空间增强层的空间分辨率的一半)。扩展的空间可縮放性(ESS) 通过用不同于1或者2的下采样比使基本层成为它的增强层的修剪版本、由此实现相继空 间层之间的广义关系来概括这一概念。较低空间层的画面可以代表较高分辨率的画面的修 剪区域，而在相继空间层之间的关系无需为二元的(dyadic)。限定修剪窗口的几何参数以 及下采样比可以在序列级加以限定或者在画面级演变。 ESS可能造成如下情形，在该情形中，在上采样过程之后没有维持基本层宏块 (MB)和增强层MB的边缘对准。当用采样比1或者2执行空间縮放并且跨不同层对准MB边缘时，视之为空间可縮放性的一种特殊情况。 例如，当利用二元分辨率縮放(S卩，按2的幂縮放分辨率)时，可以维持MB的边缘 对准。在图1中图示了这一例子，其中半分辨率的帧(即，基本层帧100)与上采样的全分辨 率版本(即，增强层帧104)关联。示出了包括基本层帧100的至少一部分的MB 102。"维 持"在基本层帧100中所见的MB 102的边界，从而即使在进行上采样以给出增强层104之 后，边界仍然准确地包围四个全分辨率MB，g卩，MB 106、 MB 108、 MB 110和MB 112。换而言 之，四个增强层MB 106、108、110和112的边缘准确地对应于MB 102的上采样边界。重要的 是，覆盖各增强层MB( S卩，MB 106、MB 108、MB IIO禾PMB 112)的仅有基本层MB是MB 102。 因此，其他基本层MB对于为MB 106、 MB 108、 MB 110和MB 112形成预测不是必需的。
图2图示了縮放因子为1. 5的非二元可縮放性场景。在这一场景中，基本层200 的基本层MB( S卩，MB 202和MB 204)在较高分辨率的增强层206中所示将从16X 16上采样 成24X24。示出了 (由虚线勾勒的)增强层MB 208将由两个不同上采样MB( S卩，MB 202 和MB 204)覆盖。因此，需要两个基本层MB( S卩，MB 202和MB 204)以便为增强层MB 208 形成预测。应当注意，视縮放因子而定，单个增强层MB可以由多达四个基本层MB覆盖。在 H. 264/AVC标准的附录G的当前草案中，即使可能需要数个基本层宏块以形成预测，仍然可 以相对于基本层对增强层宏块进行编码。 在附录G的当前草案中，有可能的是即使可能需要数个基本层MB以形成预测，仍 然相对于关联的基本层帧对增强层MB进行编码。由于编码效率与预测准确率密切相关，所 以希望形成增强层MB的准确预测以提高编码效率。

发明内容
本发明的各种实施例包括一种用于在增强层宏块由至少一个帧内编码基本层宏 块和至少一个帧间编码基本层宏块覆盖时，预测增强层宏块的系统和方法。在本发明的一 个实施例中，基本层帧划分成帧内编码区域和帧间编码区域，此后独立地建立预测，然后组 合预测以给出用来在可縮放位流中对增强层块进行编码的预测。在本发明的一个可选实施 例中，解码器对包括增强层宏块的可縮放位流进行解码，其中增强层宏块包括根据帧内编 码基本层宏块和帧间编码基本层宏块导出的独立建立的预测。在本发明的又一实施例中， 根据虚拟基本层宏块创建用于增强层宏块的预测值。执行进一步检验以查看可能已经用来 导出虚拟基本层宏块的任何帧内编码基本层宏块是否覆盖增强层宏块的至少一部分。如果 存在帧内编码基本层宏块，则来自帧内编码基本层宏块的重建和上采样值用来替换针对增 强层宏块由帧内编码基本层宏块覆盖的部分的虚拟基本层宏块预测。 通过允许通过增强层宏块的两个不同部分的关联的帧内编码基本层宏块和帧间 编码基本层宏块来预测该两个不同部分，可以获得更准确预测。此外，还提高编码效率。
各种实施例也提供一种进一步提高针对ESS视频编码的预测效率的系统和方法， 从而提高视觉质量和编码效率。当将虚拟基本层宏块划分成帧内编码区域和帧间编码区域 时，独立地建立预测，并且组合预测以给出当前增强层宏块的预测。在这一情况下，在当前 增强层宏块的预测中，在帧内编码区域与帧间编码区域之间可能存在清晰边界(或者像素 值的不连续)。这样的边界可能不仅影响编码视频的视觉质量，而且由于边界(即图像边缘 区域) 一般包含对于压縮而言欠友好的更多高频成分的事实而不利于编码效率。在本发明
6的各种实施例中，提供用于平滑边界效应的方法。在一个实施例中，跨帧内编码区域与帧间 编码区域之间的边界执行滤波操作。 在另一实施例中，对于由来自基本层的帧内MB和帧间MB覆盖的增强层宏块，先将 整个宏块视为仅由来自基本层的帧间MB覆盖，并且可以相应地获得第一层间预测。对于帧 内编码区域，然后可以使用来自基本层的重建和上采样帧内MB来导出第二预测。然后在第 一预测与第二预测之间在帧内编码区域中执行混合(blending)操作，从而可以平滑在帧 内编码区域与帧间编码区域之间的边界效应。在又一实施例中，将帧内编码区域的边界舍 入(round)成最近编码块(例如4X4i央)边界。然后单独地为帧内编码区域和帧间编码 区域获得层间预测。在这一情况下，由于事实上在帧内编码区域与帧间编码区域之间的边 界与编码块边界对准，所以可以通过对各编码块边界执行的环路滤波操作来平滑掉边界效 应。 本发明的这些和其他优点及特征及其操作的组织和方式将从结合附图进行的以 下具体描述中变得清楚，在附图中相似元件在下文描述的若干附图中通篇地具有相似标号。


图1是能够在本发明的各种实施例中执行的二元分辨率縮放的示意图； 图2是能够在本发明的各种实施例中执行的非二元分辨率的示意图； 图3是本发明可以实施于其中的系统的概况图； 图4是可以在本发明的实施中使用的移动设备的透视图； 图5是图4的移动设备的电路的示意图； 图6是示出了在常规上采样与本发明的各种实施例利用的残差预测之间的区别 的示意图；以及 图7是示出了具有帧内编码区域和帧间编码区域二者的示例增强层宏块的表示 图。
具体实施例方式
根据本发明，当增强层MB由至少包括帧内编码MB和帧间编码MB的多个基本层MB 覆盖时，增强层MB由来自基本层帧的帧内编码MB覆盖的区域使用重建和上采样的基本层 帧用于预测。此外，残差预测(下文描述)用来为增强层MB的由来自基本层帧的帧间编码 MB覆盖的剩余区域形成预测。应当注意术语MB是指由所选宏块模式指定的块数目并且该 数目可以是一或者更多。 图3示出了用于与本发明一起使用的通用多媒体通信系统。如图3中所示，数据源 300在模拟、未压縮数字或者压縮数字格式或者这些格式的任何组合中提供源信号。编码 器310将源信号编码成编码的媒体位流。编码器310可以能够对多个媒体类型如音频和视 频进行编码，或者可能需要多个编码器310以对不同媒体类型的源信号进行编码。编码器 310也可以获得合成产生的输入如图形和文字，或者它可以能够产生合成媒体的编码位流。 在下文中仅考虑一个媒体类型的一个编码的媒体位流的处理以简化描述。然而，应当注意， 实时广播服务通常包括数个流(通常为至少一个音频、视频和文字字幕流)。也应当注意，
7该系统可以包括多个编码器，但是在下文中考虑仅一个编码器310以简化描述而不失一般 性。 编码的媒体位流传送到储存器320。储存器320可以包括用以存储编码的媒体 位流的任何类型的海量存储器。储存器320中的编码的媒体位流的格式可以是初等独立 (self-contained)位流格式，或者一个或者多个编码的媒体位流可以封装到容器文件中。 一些系统"实况"操作，即省略储存器并且将编码的媒体位流从编码器310直接地传送到发 送器330。编码的媒体位流然后按需传送到也称为服务器的发送器330。在发送中使用的 格式可以是初等独立位流格式、分组流格式，或者一个或者多个编码的媒体位流可以封装 到容器文件中。编码器310、储存器320和发送器330可以驻留于同一物理设备中或者它们 可以包含于单独设备中。编码器310和发送器330可以操作实况实时内容，在该情况下，编 码的媒体位流通常不是持久存储的而是在内容编码器310中和/或在发送器330中缓存短 暂时间段，以平滑掉处理延迟、传送延迟和编码媒体位速率的变化。 发送器330使用通信协议栈来发送编码的媒体位流。该栈可以包括但不限于实时 传送协议(RTP)、用户数据报协议(UDP)和网际协议(IP)。当通信协议栈面向分组时，发送 器330将编码的媒体位流封装成分组。例如，当使用RTP时，发送器330根据RTP净荷格式 将编码的媒体位流封装成RTP分组。通常，各媒体类型具有专用RTP净荷格式。同样应当 注意，系统可以包含多个发送器330，但是为求简明，以下描述仅考虑一个发送器330。
发送器330可以或者可以不通过通信网络连接到网关340。网关340可以执行不 同类型的功能，比如根据一个通信协议栈的分组流向另一通信协议栈的转译、数据流的合 并和拆分以及根据下行链路和/或接收器能力的数据流操控(比如根据主导的下行链路网 络条件来控制转发的流的位速率)。网关340的例子包括多点会议控制单元(MCU)、在电 路交换与分组交换视频电话之间的网关、蜂窝一键通(PoC)服务器、数字视频广播-手持 (DVB-H)系统中的IP封装器或者将广播发送本地转发到归属无线网络的机顶盒。当使用 RTP时，网关340称为RTP混合器并且充当RTP连接的端点。 该系统包括通常能够接收、解调发送的信号并且将该信号解封装成编码的媒体位 流的一个或者多个接收器350。编码的媒体位流通常由解码器360进一步处理，该解码器的 输出是一个或者多个未压縮媒体流。最后，表现器370可以例如用扬声器或者显示器再现 未压縮媒体流。接收器350、解码器360和表现器370可以驻留于同一物理设备中或者它们 可以包含于单独设备中。 应当理解，虽然这里包含的文字和例子可能具体地描述一种编码过程，但是本领 域技术人员将容易理解，相同概念和原理也适用于对应解码过程并且反之亦然。应当注意， 可以从位于实质上任何类型的网络内的远程设备接收将要解码的位流。此外，可以从本地 硬件或软件接收位流。 就位速率、解码复杂性和画面尺寸而言的可縮放性对于异构和易出错的环境而言 是合乎需要的性质。希望具有这一性质以便应对如下限制，这些限制比如是对位速率、显示 分辨率、网络吞吐量和接收设备中的计算能力的约束。 本发明的通信设备可以使用各种传输技术来通信，包括但不限于码分多址 (CDMA)、全球移动通信系统(GSM)、通用移动电信系统(UMTS)、时分多址(TDMA)、频分多址 (FDMA)、传输控制协议/网际协议(TCP/IP)、短消息接发服务(SMS)、多媒体消息接发服务
8(匪S)、电子邮件、即时消息接发服务(IMS)、蓝牙、IEEE802. 11等。通信设备可以使用包括 但不限于无线电、红外线、激光、线缆连接等的各种介质来通信。应当注意，可以使用任何常 用编程语言如C/C++或者汇编语言直接用软件实施本发明的各种实施例。
图4和图5示出了本发明可以实施于其中的一个有代表性的移动电话12。然而应 当理解，本发明并不限于一个特定类型的移动设备12或者其他电子设备。图4和图5中所 示一些或者所有特征可以并入图3中所示系统中可以利用的任何或者所有设备中。
图4和图5的移动电话12包括外壳30、液晶显示器形式的显示器32、小键盘34、 麦克风36、耳机38、电池40、红外线端口42、天线44、根据本发明一个实施例的UICC形式的 智能卡46、读卡器48、无线电接口电路52、编解码器电路54、控制器56和存储器58。独立 电路和元件都是在本领域中、例如在诺基亚移动电话范围中众所周知的类型。
如上文讨论的那样，根据H.264/AVC的附录G的当前草案，对来自基本层的帧内编 码MB完全地进行解码和重建，从而它们可以常规地加以上采样并且用来直接地预测关联 的增强层MB。然而，对于层间预测，没有对来自基本层的帧间编码MB完全地进行解码和重 建。代之以仅对各基本层帧间编码MB的预测残差进行解码，并且该预测残差可以用来预测 增强层预测残差。对基本层帧间编码MB没有进行运动补偿以预测增强层。这一过程成为 "残差预测"。对于帧间编码MB，基本层运动矢量也被上采样并且用来预测增强层运动矢量。
在图6中图示了在常规上采样与残差预测之间的区别。各增强层MB( S卩，MB E、MB F、MB G和MB H)分别具有仅一个基本层MB (即MB A、MB B、MB C和MB D)。假设基本层MB D是帧内编码的，增强层MB H可以采用MB D的完全重建和上采样版本作为预测，并且它被 编码为在记作O(H)的原始MB H与根据基本层MB D的预测之间的残差。使用"U"表明上 采样功能而"R"表明解码和重建功能，可以用O(H)-U(R(D))代表残差。
对照而言，假设MB C是帧间编码的。如果相对于用PAC代表的根据A的预测对 MB C进行编码，则根据残差预测，用P^代表基于E对G的预测。因此，MB G可以编码为 0(G)-PE<rU(0(C)-PAC)。这里，U(O(C)-PJ简单地是根据从位流解码的MB C的上采样残差。 应当注意，减法器(图3中未示出)可以通过从输入信号路径上的输入MB减去预测信号路 径上的预测MB来生成残差信号或者残差MB。 这一编码结构补充单环解码，S卩，希望无论将要解码哪一层都仅针对一层执行复 杂的运动补偿运算。换而言之，为了针对增强层形成层间预测，无需在关联的基本层进行运 动补偿。这意味着没有完全地重建基本层中的帧间编码MB，因此对于层间预测没有完全重 建的值可用。再次参照图6，R(C)在对G进行解码时不可用。因此，编码O(G)-U(R(C))不 是一种选择。 在实践中，可以用自适应方式执行上文提到的残差预测。当基本层残差无助于对 某一MB进行解码时，可以用传统方式进行预测。以图6中的MB G为例，不使用基本层残差， 可以将MB G编码为0(G)-P『在这一情况下，上采样的基本层运动矢量仍然可以用来预测 增强层运动矢量。在以下描述中，术语残差预测是指这一自适应方式。
如上文讨论的那样，对于扩展的空间可縮放性(ESS)，单个增强层MB可以由多达 四个基本层MB覆盖。此外，并非所有基本层MB必然是同一类型。例如，回到图2，MB 202可 以是帧间预测的(即，"帧间编码MB")而MB 204可以是帧内预测的(即，"帧内编码MB")。 在这一例子中，层间预测实现如下在H. 264/AVC视频编码标准的附录G的当前草案中，当增强层MB与基本层MB没有边缘对准时，对于各增强层MB，基于覆盖增强层MB的基本层MB 来导出虚拟基本层MB。虚拟基本层MB的类型、MB模式和运动矢量都基于覆盖当前增强层 MB的基本层MB来确定。根据上述过程，基于虚拟基本层MB为当前增强层MB形成层间预 测，就如同虚拟基本层MB是用于当前增强层MB的仅有基本层MB。 应当注意，在这一情况下，如何形成虚拟基本层MB(即，确定它的类型、模式、运动 矢量等)可能极大地影响为给定的增强层MB而形成的层间预测的质量。结果，虚拟基本层 MB的形成也影响编码效率。 根据H. 264/AVC视频编码标准的附录G的当前草案，假设覆盖给定增强层MB的至 少一个基本层MB是帧间编码的，将指定虚拟基本层MB类型为帧间编码。在这一情况下，在 形成层间预测时仅执行残差预测。当覆盖给定增强层MB的所有基本层MB是帧内编码时， 将虚拟基本层MB的类型指定为帧内编码。 这一方式的实际结果是一些帧内编码MB将被视为帧间编码。在参照图2的上例 中，如果MB 202是帧间编码MB而MB 204是帧内编码MB，则当为MB 208形成预测时，MB 202 和MB 204 二者均将被视为帧间编码MB。这一方式的基本问题在于对于MB由基本层帧内 编码MB覆盖的区域，忽略替代预测，S卩，重建的基本层的上采样版本。在图2的例子中，在 形成MB 208的预测时即使MB 204的上采样版本可用也仍然将忽略它。
同时，由于MB 204没有运动矢量，所以必须为MB 208的由MB204覆盖的区域导出 运动矢量，然后获得针对该区域的残差预测。这样的运动矢量的导出是基于MB 204在基本 层200的邻近运动矢量。问题在于如果MB 204是帧内编码的，则这样的导出运动矢量常 常没有很好地适合于MB 204。因此，当使用这样的运动矢量时，为增强层206形成的预测也 是质量欠佳。 由于根据帧内编码基本层MB的重建和上采样值有可能是比对应残差预测更好的
预测，所以排除上采样基本层在统计上恶化增强层的预测，这导致编码效率下降。 为了在增强层MB和基本层MB没有边缘对准时为增强层MB形成层间预测，可以利
用的一种更准确方法是执行基于像素的预测。具体而言，增强层MB中的各像素具有来自基
本层的覆盖它的一个MB。如果基本层MB是帧内编码MB，则当前像素的预测是来自基本层
的对应重建和上采样像素值。如果基本层MB是帧间编码MB，则MB的覆盖给定像素的运动
矢量被认为是用于该给定像素的基本层运动矢量，并且可以执行残差预测以获得用于该给
定像素的预测值。然而，此类方法的问题在于它具有高的复杂度，因此并不实用。 如上文说明的那样，在H. 264/AVC视频编码标准的附录G的当前草案中，当增强层
MB和基本层MB没有边缘对准时，基于覆盖增强层MB的基本层MB来导出虚拟基本层MB。虚
拟基本层MB的类型、MB模式和运动矢量全部基于这些基本层MB来确定。然后，可以基于
虚拟基本层MB为增强层MB获得预测。 具有此类虚拟基本层MB的一个动机在于能够使用基于一些限定MB模式的标准运 动补偿过程。MB模式指定如何将MB进一步划分成其大小范围从16X 16降至4X4像素的 块。各块中的像素共享共有运动矢量。由于虚拟基本层MB的定义与常规MB没有不同，所 以标准运动补偿过程可以应用于获得预测。这样的方法具有相对低的复杂度。然而，它由 于各块中的像素必须共享共有运动矢量的事实而没有基于像素的预测那么准确。更重要的 是，它推断虚拟基本层MB内的像素必须共享同一预测类型，S卩，全部是帧间预测或者全部
10是帧内预测。 根据本发明的各种实施例，仍然维持虚拟基本层MB的概念。因此，预测是基于如 下虚拟基本层MB，其用于增强层MB的由来自基本层的帧间编码MB覆盖的区域。对于增强 层MB的由来自基本层的帧内编码MB覆盖的区域，该预测是基于来自基本层的对应重建和 上采样值。 回到图2，假定MB 202是帧间编码的，MB 204是帧内编码的，而MB 208由MB 202
和MB 204 二者覆盖。根据本发明的各种实施例，用帧间编码MB类型形成虚拟基本层MB。 然后执行残差预测以获得如上所述预测。然而，由于MB 208的右部分由来自基本层200的 帧内编码MB 204覆盖，所以根据本发明的各种实施例，用于MB 208的这一部分的预测值是 来自MB 204的对应重建和上采样值。 因此在实践中，可以先基于导出的虚拟基本层MB执行常规预测。然后，执行进一 步检验以查看给定增强层MB的任何一个或者多个区域是否由来自基本层的帧内编码MB覆 盖。如果存在任何这样的一个或者多个区域，则用来自基本层的对应重建和上采样值取代 区域中的预测值。然后使用这一修改的预测作为针对给定增强层MB的预测。
应当注意在实践中，本发明的替代实施例是可能的。参照上例，可以针对MB 208 的左部分而不是针对整个MB 208实现基于虚拟基本层MB的第一预测。在这一情况下，省 略针对MB 208的右部分的运动补偿。以这一方式实施本发明的一个实施例可以节省计算 复杂度。 本发明的一个特定实施例涉及到使用滤波操作以减轻在帧内编码区域与帧间编 码区域之间的任何边界效应。 为了减轻任何这样的边界效应，沿着与边界垂直的方向在边界周围执行滤波操 作。具体而言，使用低通滤波器，并且在边界的各侧上的多个像素位置处执行操作。在图 7中示出这个过程的例子。如这一附图中所示，水平地定位并且用虚线来表示在"帧内区 域"610与"帧间区域"620之间的边界600。在这一情况下，在边缘附近的像素位置沿着竖 直方向执行低通滤波。例如，如果数目选择为2，则在与边界600的距离在两个像素内的各 像素位置，沿着与边界600垂直的方向执行低通滤波操作。滤波器可以包括一维或者二维 滤波器。只要滤波操作具备跨边界的低通滤波特征，就可以平滑边界600。此类滤波器的一 个例子是具有三个滤波器抽头-{0. 25， 0. 50， 0. 25}-的一维FIR(有限冲激响应)滤波器。
给定沿着滤波方向的三个连续样本In—p In和In+1，滤波操作可以表达为
I， n = f (In—p In， In+1) = 0. 25*1^+0. 5*In+0. 25*In+1
在这一表达式中，I' n是在滤波操作之后的样本值。 应当注意，也可以针对上述滤波操作以自适应方式执行滤波器选择。例如，可以根 据像素相对于边界的位置来选择不同滤波器。对于接近边界的像素位置可以使用较短的滤 波器，而对于离边界较远的像素位置可以使用相对较长的滤波器。除此之外，也可以基于诸 如为帧间编码区域导出的运动矢量、在帧内编码区域与帧间编码区域之间的像素值梯度等 的其他因素选择不同滤波器。 在本发明的另一实施例中，利用在为帧内编码区域610和帧间编码区域620获得 的预测之间的混合操作来平滑掉边界效应。根据这一实施例，先将整个宏块视为仅由来自 基本层的帧间MB覆盖，并且可以相应地获得第一层间预测P"对于帧内编码区域610，然
11后使用来自基本层的重建和上采样帧内MB来导出第二预测&。最后，在第一预测与第二预 测之间在帧内编码区域610中执行混合操作。可以将混合操作解释成表达如下的加权平均 操作 P(i，j) = w(i， j)氺Pji， j) + (li(i， j))*P2(i， j) 在上述方程中，(i， j)代表像素在宏块内的位置坐标。可以针对在不同位置的像 素，在混合操作中应用不同加权因子。例如，对于在帧内区域内部、但是与在帧内编码区域 与帧间编码区域620之间的边界600接近的像素位置，可以使用相对高的加权因子w，从而 将混合结果朝向Pi加权更多。另一方面，对于在帧内区域内部、但是远离这一边界600的像
素位置，可以使用低加权因子W，从而将混合结果朝向为帧内编码区域导出的P2加权更多。
作为这一混合操作的结果，在帧内编码区域610与帧间编码区域620之间的边界600将被 展开，从而有效地平滑边界600。 在本发明的又一实施例中，将帧内编码区域610的边界600舍入成最近编码块边 界600(例如4X4块)边界600。然后单独地为帧内编码区域610和帧间编码区域620获 得层间预测。在这一情况下，由于在帧内编码区域610与帧间编码区域620之间的边界600 与编码块边界600对准的事实，所以可以经由对各编码块边界执行的环路滤波操作来平滑 掉边界效应。 以关于上述第二实施例描述的方式相似的方式，先将整个宏块视为仅由来自基本 层的帧间MB覆盖，并且可以相应地获得第一层间预测P^对于帧内编码区域610，然后可 以使用来自基本层的重建和上采样帧内MB来导出第二预测P2。 作为将帧内编码区域610舍入成最近编码块边界600的操作结果，帧内编码区域 610根据编码块内由帧内编码区域覆盖的面积百分比可以收縮或者扩展。例如，在舍入操 作之前，如果帧内编码区域610覆盖编码块面积的多于50%，则扩展该编码块内的帧内编 码区域610，从而它覆盖整个编码块。在这一情况下，针对编码块的层间预测来自P2的扩展 版本。否则，将在该编码块内收縮帧内编码区域610，从而在帧间编码区域620中覆盖整个 编码块。在这一情况下，针对编码块的层间预测来自Pp为了扩展帧内编码区域610，可以 使用本领域中已知的各种外推方法。这些外推方法可以包括线性或者非线性方法。应当注 意，在确定帧内编码区域是应当收縮还是扩展时，50%仅用作为例子。在实践中，可以改变 这一百分比的值。例如，也可以使用值O。在这一情况下，只要帧内编码区域覆盖某一编码 块，它将被扩展以覆盖整个编码块，并且将使用P2作为针对这一编码块的层间预测。
在方法步骤的一般背景下描述本发明，在一个实施例中可以通过程序产品来实施 这些方法步骤，该程序产品包括在联网环境中由计算机执行的计算机可执行指令如程序代 码。 一般而言，程序模块包括执行特定任务或者实施特定抽象数据类型的例程、程序、对象、 组件、数据结构等。计算机可执行指令、关联数据结构和程序模块代表用于执行这里公开的 方法步骤的程序代码的例子。这样的可执行指令或者关联数据结构的特定序列代表用于实 施在这样的步骤中描述的功能的对应动作的例子。 可以用标准编程技术实现本发明的软件和网络实施，这些编程技术具有用以实现 各种数据库搜索步骤、相关步骤、比较步骤和判决步骤的基于规则的逻辑和其他逻辑。也应 当注意，如这里和在权利要求书中使用的用语"模块"旨在于涵盖使用一行或者多行软件代 码的实施和/或硬件实施和/或用于接收人工输入的设备。
已经出于图示和描述的目的而呈现本发明实施例的前文描述。本意并非穷举本发 明或者将本发明限制于公开的精确形式，并且修改和变化根据上述教导是可能的或者可以 从本发明的实践中加以获悉。选择和描述实施例是为了说明本发明的原理及其实际应用以 使本领域技术人员能够在各种实施例中以及通过与构思的特定用途相适应的各种修改来 利用本发明。
权利要求
一种对代表可缩放位流内视频帧的至少一部分的增强层宏块进行编码的方法，所述方法包括通过根据第一组基本层宏块执行残差预测，为所述增强层宏块的第一部分形成第一预测值；通过根据第二组基本层宏块导出重建和上采样值，为所述增强层宏块的第二部分形成第二预测值；以及利用所述第一预测值和第二预测值的组合对所述增强层宏块进行编码。
2. 根据权利要求1所述的方法，其中至少所述第一组基本层宏块覆盖所述增强层宏块 的所述第一部分，而至少所述第二组基本层宏块覆盖所述增强层宏块的所述第二部分。
3. 根据权利要求1所述的方法，其中所述第一组基本层宏块是帧间编码的，而所述第 二组基本层宏块是帧内编码的。
4. 根据权利要求1所述的方法，其中根据所述第一组基本层宏块和第二组基本层宏块 二者执行所述残差预测，从而为所述增强层宏块的所述第一部分和第二部分二者形成所述 第一预测值。
5. 根据权利要求4所述的方法，其中在为所述第一组基本层宏块和第二组基本层宏块 二者执行所述残差预测之后，根据所述第二组基本层宏块来导出所述重建和上采样值作为 第二预测，所述第二预测值仅针对所述增强层宏块的所述第二部分取代所述第一预测值。
6. 根据权利要求1-5中任一项所述的方法，还包括对在所述增强层宏块的所述第一 部分与所述第二部分之间的边界执行滤波操作。
7. 根据权利要求6所述的方法，其中将所有基本层宏块视为用于导出所述重建和上采 样值的帧间编码基本层宏块以形成用于整个增强层宏块的第一预测值，以及其中所述滤波 操作包括在所述第一预测值与所述第二预测值之间的混合操作。
8. 根据权利要求7所述的方法，其中所述混合操作包括加权平均操作。
9. 根据权利要求6所述的方法，还包括在导出所述重建和上采样值之前，将来自所述 基本层的所述第二组帧内编码宏块的边界调整到在所述增强层的最近编码块边界，从而所 述导出的第二预测覆盖其边界与在所述增强层的编码块边界对准的区域。
10. 根据权利要求9所述的方法，其中所述第二组帧内编码宏块的所述边界的调整是 基于在所述增强层的编码块由来自所述基本层的所述第二组帧内编码宏块覆盖的面积百 分比。
11. 一种在计算机可读介质中实施的计算机程序产品，包括配置用以执行根据权利要 求i-io中的任一权利要求所述的方法的计算机代码。
12. —种编码装置，包括 处理器；以及存储器单元，以操作方式连接到所述处理器并且包括用于通过根据第一组基本层宏块执行残差预测，为增强层宏块的第一部分形成第一预 测值的计算机代码；用于通过根据第二组基本层宏块导出重建和上采样值，为所述增强层宏块的第二部分 形成第二预测值的计算机代码；以及用于利用所述第一预测值和第二预测值的组合对所述增强层宏块进行编码的计算机代码。
13. 根据权利要求12所述的编码装置，其中至少所述第一组基本层宏块覆盖所述增强 层宏块的所述第一部分，而至少所述第二组基本层宏块覆盖所述增强层宏块的所述第二部 分。
14. 根据权利要求12所述的编码装置，其中所述第一组基本层宏块是帧间编码的，而 所述第二组基本层宏块是帧内编码的。
15. 根据权利要求12所述的编码装置，其中根据所述第一组基本层宏块和第二组基本 层宏块二者执行所述残差预测，从而为所述增强层宏块的所述第一部分和第二部分二者形 成所述第一预测值。
16. 根据权利要求15所述的编码装置，其中在为所述第一组基本层宏块和第二组基本 层宏块二者执行所述残差预测之后，根据所述第二组基本层宏块来导出所述重建和上采样 值作为第二预测，所述第二预测值仅针对所述增强层宏块的所述第二部分取代所述第一预 测值。
17. 根据权利要求12-16中的任一权利要求所述的编码装置，其中所述存储器单元还 包括用于对在所述增强层宏块的所述第一部分与所述第二部分之间的边界执行滤波操作 的计算机代码。
18. 根据权利要求17所述的编码装置，其中将所有基本层宏块视为用于导出所述重建 和上采样值的帧间编码基本层宏块以形成用于整个增强层宏块的第一预测值，以及其中所 述滤波操作包括在所述第一预测值与所述第二预测值之间的混合操作。
19. 根据权利要求18所述的编码装置，其中所述混合操作包括加权平均操作。
20. 根据权利要求17所述的编码装置，还包括在导出所述重建和上采样值之前，将来 自所述基本层的所述第二组帧内编码宏块的边界调整到在所述增强层的最近编码块边界， 从而所述导出的第二预测覆盖其边界与在所述增强层的编码块边界对准的区域。
21. 根据权利要求20所述的编码装置，其中所述第二组帧内编码宏块的所述边界的调 整是基于在所述增强层的编码块由来自所述基本层的所述第二组帧内编码宏块覆盖的面 积百分比。
22. —种设备，包括用于通过根据第一组基本层宏块执行残差预测，为增强层宏块的第一部分形成第一预 测值的装置；用于通过根据第二组基本层宏块导出重建和上采样值，为所述增强层宏块的第二部分 形成第二预测值的装置；以及用于利用所述第一预测值和第二预测值的组合对所述增强层宏块进行编码的装置。
23. 根据权利要求22所述的设备，还包括用于对在所述增强层宏块的所述第一部分与 所述第二部分之间的边界执行滤波操作的装置。
24. —种对视频内容进行解码的方法，包括接收可縮放位流，所述可縮放位流包括代表视频帧的至少一部分的增强层宏块； 通过根据第一组基本层宏块执行残差预测，为所述增强层宏块的第一部分导出第一预 测值；为所述增强层宏块的第二部分导出根据第二组基本层宏块的重建和上采样值而形成的第二预测值；以及 >利用所述第一预测值和第二预测值的组合对所述增强层宏块进行解码。
25. 根据权利要求24所述的方法，其中至少所述第一组基本层宏块覆盖所述增强层宏 块的所述第一部分，而至少所述第二组基本层宏块覆盖所述增强层宏块的所述第二部分。
26. 根据权利要求24所述的方法，其中所述第一组基本层宏块是帧间编码的，而所述 第二组基本层宏块是帧内编码的。
27. 根据权利要求24-26中的任一权利要求所述的方法，还包括对在所述增强层宏块 的所述第一部分和第二部分之间的边界执行滤波操作。
28. —种在计算机可读介质中实施的计算机程序产品，包括配置用以执行权利要求 24-27中的任一权利要求所述的方法的计算机代码。
29. —种解码装置，包括 处理器；以及存储器单元，以操作方式连接到所述处理器并且包括用于接收可縮放位流的计算机代码，所述可縮放位流包括代表视频帧的至少一部分的 增强层宏块；用于通过根据第一组基本层宏块执行残差预测，为所述增强层宏块的第一部分导出第 一预测值的计算机代码；用于为所述增强层宏块的第二部分导出根据第二组基本层宏块的重建和上采样值而 形成的第二预测值的计算机代码；以及用于利用所述第一预测值和第二预测值的组合对所述增强层宏块进行解码的计算机 代码。
30. 根据权利要求29所述的解码装置，其中至少所述第一组基本层宏块覆盖所述增强 层宏块的所述第一部分，而至少所述第二组基本层宏块覆盖所述增强层宏块的所述第二部 分。
31. 根据权利要求29所述的解码装置，其中所述第一组基本层宏块是帧间编码的，而 所述第二组基本层宏块是帧内编码的。
32. 根据权利要求29-31中的任一权利要求所述的解码装置，其中在所述帧间编码基 本层宏块与所述帧内编码基本层宏块之间的边界已经经过滤波操作。
33. —种设备，包括用于接收可縮放位流的装置，所述可縮放位流包括代表视频帧的至少一部分的增强层 宏块；用于通过根据第一组基本层宏块执行残差预测，为所述增强层宏块的第一部分导出第 一预测值的装置；用于为所述增强层宏块的第二部分导出根据第二组基本层宏块的重建和上采样值而 形成的第二预测值的装置；以及用于利用所述第一预测值和第二预测值的组合对所述增强层宏块进行解码的装置。
34. 根据权利要求34所述的设备，其中在所述帧间编码基本层宏块与所述帧内编码基 本层宏块之间的边界已经经过滤波操作。
全文摘要
一种用于预测增强层宏块的系统和方法。基本层帧划分成帧内编码区域和帧间编码区域。如果增强层宏块的任何部分由帧内编码基本层宏块和帧间编码基本层宏块二者覆盖，则独立地建立利用帧内编码宏块和帧间编码宏块的预测以生成至少两个预测值。然后组合至少两个预测值以给出用来对增强层块进行编码的预测。各种实施例用以在针对扩展的空间可缩放性的层间预测内平滑在帧内编码区域与帧间编码区域之间的边界效应。
文档编号H04N7/26GK101755458SQ200780031559
公开日2010年6月23日 申请日期2007年7月10日 优先权日2006年7月11日
发明者J·里奇, 王祥林 申请人:诺基亚公司