具有精细粒度空间可缩放性的视频编码的制作方法

专利名称：具有精细粒度空间可缩放性的视频编码的制作方法
技术领域：
本发明涉及视频，且更具体来说，涉及数字视频的编码。
背景技术：
数字视频能力可包含于各种各样的装置中，包括数字电视、数字直播系统、无线 通信装置、个人数字助理(PDA)、膝上型计算机、台式计算机、数码相机、数字记 录装置、蜂窝式或卫星无线电电话、及类似装置。在有效创建、修改、传输、存储、 记录及播放运动视频序列方面，数字视频装置可提供胜过模拟视频系统的显著改善。
精细粒度可縮放性(FGS)通常是指可任意截断视频位流而在既定位速率范围内 实现合理视频质量降级的能力。经FGS编码的视频位流包括具有指定质量的基础层及 一个或多个链接到所述基础层的增强层。所述增强层包括用以细化所述基础层质量的 额外数据。随着经由一个或多个增强层接收及解码FGS位流越多，所述经解码视频的 质量会改善。

发明内容
一般来说，本发明是关于使用通用精细粒度可縮放性(FGS)途径而支持空间可 縮放性的视频编码技术。根据本发明，可通过以通用FGS格式发送空间可縮放增强层 实现各种程度的空间可缩放性。可将所述空间可縮放性层编码为FGS增强层而非离散 增强层，从而允许具有连续增强的视频质量的空间可缩放性。
可通过一个或多个特征补充所述视频编码技术以降低否则由于部分解码所致而 出现的误差传播。举例来说，所述视频编码技术可应用用于帧内预测的漏预测方案以 降低漂移误差，用于块内的特殊DC模式以降低空间误差传播，及应用针对帧内预测 仅使用基础层内的像素的约束条件。
重构所述空间可缩放性增强层所需的系数及语法要素可嵌入通用FGS格式中。经
由增强层所接收的额外位允许以提高的空间分辨率及跨不同空间分辨率的连续改善的 视频质量重构经解码视频。可在任一点任意地截断空间可縮放增强位流以符合网络或 信道条件，或符合解码器能力。
在一个实施例中，本发明提供一种视频编码方法，其包含解码精细粒度可縮放 性(FGS)基础层以重构定义处于第一空间分辨率的视频的基础层视频块；至少部分 地解码一个或多个FGS增强层以重构定义处于大于或等于所述第一空间分辨率的第 二空间分辨率的视频的基础层视频块；及基于由所述基础层视频块形成的第一预测块 与由所述增强层视频块中的相邻像素形成的第二预测块的经加权和预测帧内编码视频
块(intra-coded video block)。在某些实施例中，所述第二空间分辨率大于所述第一空 间分辨率，且所述方法进一步包含对所述基础层视频块进行上采样(upsampling)， 在这种情况下所述第一预测块是由经上采样的基础层视频块形成。
在另一个实施例中，本发明提供一种视频编码装置，其包括解码器，所述解码器 解码精细粒度可縮放性(FGS)基础层以重构定义处于第一空间分辨率的视频的基础 层视频块，至少部分地解码一个或多个FGS增强层以重构定义处于大于或等于所述第 一空间分辨率的第二空间分辨率的视频的增强层视频块，并基于由所述基础层视频块 形成的第一预测块与由所述增强层视频块中的相邻像素形成的第二预测块来预测帧内 编码的视频块。在某些实施例中，所述第二空间分辨率大于所述第一空间分辨率，且 所述解码器对所述基础层视频块进行上采样，在这种情况下所述第一预测块是由经上 采样的基础层视频块形成。
在再一个实施例中，本发明提供一种方法，其包含解码精细粒度可縮放性(FGS)
基础层，其包括定义处于第一空间分辨率的视频信息的基础层视频块；至少部分地解 码一个或多个FGS增强层，其包括定义处于大于所述第一空间分辨率的第二空间分辨 率的视频信息的增强层视频块；及在不使用从相同层中的相同帧推导出的视频信息的 情况下预测帧内编码的视频块。
在另一个实施例中，本发明提供一种装置，其包含解码器，所述解码器解码精细
粒度可縮放性(FGS)基础层，其包括定义处于第一空间分辨率的视频信息的基础层 视频块；至少部分地解码一个或多个FGS增强层，其包括定义处于大于所述第一空间 分辨率的第二空间分辨率的视频信息的增强层视频块；及在不使用从相同层中的相同
帧推导出的视频信息的情况下预测帧内编码的视频块。
在另一个实施例中，本发明提供一种方法，其包含解码精细粒度可縮放性(FGS) 基础层，其包括定义处于第一空间分辨率的视频信息的基础层视频块；解码一个或多 个FGS增强层，其包括定义处于大于所述第一空间分辨率的第二空间分辨率的视频信 息的增强层视频块；及使用特殊DC模式解码所述FGS增强层中的某些块，在所述特 殊DC模式中从编码器及解码器两者已知的默认值中预测DC系数且在没有从相邻块 计算出的预测的情况下解码AC系数。
在另一个实施例中，本发明提供一种装置，其包含解码器，所述解码器解码精细
粒度可縮放性(FGS)基础层，其包括定义处于第一空间分辨率的视频信息的基础层 视频块；解码一个或多个FGS增强层，其包括定义处于大于所述第一空间分辨率的第 二空间分辨率的视频信息的增强层视频块；及使用特殊DC模式解码所述FGS增强层 中的某些块，在所述特殊DC模式中从编码器及解码器两者己知的默认值中预测DC 系数且在没有从相邻块计算出的预测的情况下解码AC系数。
可以硬件、软件、固件或其任一组合实施本发明中所阐述的技术。如果以软件实 施，则所述软件可在例如数字信号处理器(DSP)等处理器中执行。最初可将执行所 述技术的软件存储在计算机可读媒体中并将其载入处理器并执行。因此，本发明还预 期一种计算机可读媒体，其包含指令以实施用于使用通用FGS途径实现空间可縮放性
的技术。
本发明的一个或多个实施例的细节陈述于随附图式及下文说明中。根据本说明、 附图且根据权利要求书，将明了本发明的其他特点、目的及优点。


图1是图解说明视频编码及解码系统的框图。
图2是图解说明视频位流的多层FGS编码的图式。
图3是进一步详细图解说明图1的系统的框图，其包括基础层及增强层编码器及 解码器。
图4是图解说明视频帧的FGS编码中所使用的经z字形块的图式。
图5是图解说明以z字形顺序所布置的不同视频块的FGS层中的语法要素及系数
的实例性编码顺序的图式。
图6是图解说明以传输顺序针对不同视频块所布置的FGS层中的语法要素及系数
的实例性编码顺序的图式。
图7A是图解说明实例性多层空间可缩放性位流的图式。 图7B是图解说明图7A的空间可縮放性位流的速率-失真性能的图式。 图8A是图解说明因编码器及解码器中使用不同参考信号所致的漂移误差问题
的图式。
图8B是图解说明用以削弱图8A中所示的漂移误差问题的根据基础层的部分预 测的图式。
图9是图解说明由相邻块的部分解码所致的漂移误差的图式。
图IO是图解说明用以削弱帧内编码块中的漂移误差的漏预测技术的图式。
图11是图解说明如图10中所示的漏预测技术的操作的流程图。
图12是图解说明将特殊DC模式应用于视频块的图式。
图13是图解说明针对不同帧内预测模式使用图12的特殊DC模式的图式。
图14是图解说明根据基础层中的帧的帧内预测的图式。
图15是图解说明在16乘16帧内预测模式下宏块中的卢马(luma)DC块的图式。
具体实施例方式
图1是图解说明视频编码及解码系统10的框图。系统IO经配置以应用通过使用 通过精细粒度可縮放性(FGS)途径而支持空间可縮放性的视频编码技术。如图1中 所示，系统10包括源装置12，其经由信道16将经编码视频传输到接收装置14。源装 置12可包括视频捕获装置18、视频编码器20及传输器22。接收装置14可包括接收 器24、视频解码器26及视频显示装置28。
在系统10中，可通过以通用FGS格式发送空间可缩放增强层(而非依赖于解码 离散增强层)来实现各种程度的空间可縮放性。基础层载送具有最低质量等级的视频 序列。增强层载送额外位流以支持更高的质量等级。此外，根据本发明，由一个或多 个增强层所载送的所述额外位流支持提高的空间可縮放性。
视频编码器20及视频解码器26经配置以提供可任意被截断的空间可縮放增强位 流。经由一个或多个增强层所接收的额外位允许以提高的空间分辨率及跨不同空间分 辨率的连续改善的视频质量重构经解码视频。
如将阐述，系统10可应用各种方案以降低可由增强层的部分解码所致的漂移误 差。重构所述空间可縮放性增强层所需的系数及语法要素可嵌入通用FGS格式中。通 过通用FGS格式及合适的漂移误差控制方案，可依据系统条件在连续质量改善或逐渐 质量降级的情况下提高或降低空间分辨率。
系统10可避免使用离散增强层，所述离散增强层必须被整体编码以实现空间可 缩放性。然而，在某些实施例中，系统10可经配置以支持在选择的基础上使用通用 FGS途径或离散增强层来支持空间可縮放性。
在图1的实例中，通信信道16可包含任一无线或有线通信媒体，例如射频(RF) 频谱或一个或多个物理传输线路，或无线及有线媒体的任一组合。信道16可形成基于 包的网络的一部分，例如局域网络、广域网络或全球网络(例如，因特网)。 一般来 说，通信信道16表示任一合适的通信媒体或不同通信媒体的集合以从源装置12到接 收装置14传输视频数据。
源装置12可以是能够编码并传输视频数据的任一数字视频装置。视频捕获装置 18捕获视频序列并将所捕获的序列存储于存储器(未显示)中以供视频编码器20存 取。视频捕获装置18可以是摄像机、视频档案或视频转换器，所述视频转换器将模拟 视频数据转换为数字视频数据，例如从电视、光盘录像机(video disc-recorder)、卡 带式录像机(video cassette recorder)、便携式摄像机或其他视频装置，在所有情况下 视频编码器20均编码所捕获的视频以有效地传输到接收装置14。
源装置12可经配置以经由通信信道16传输存档或实时视频序列。对于实时视频 序列来说，源装置12及接收装置14可经配置以支持实时双向视频电话(VT)及/或
实时单向视频流。对于非实时视频流，源装置12及接收装置14可支持诸如视频片段 重放或视频邮件等应用且包括适当的控制媒体，例如播放、暂停、前进及后退按钮。
视频编码器20及解码器26可包括适合于编码由视频捕获装置18所获得的视频 的各种硬件、软件及/或固件。视频编码器18可包括一个或多个数字信号处理器(DSP)， 其执行用于视频编码的可编程软件模块。可提供相关联的存储器及逻辑电路以支持 DSP控制所述视频编码过程。在某些实施例中，视频编码器18可形成组合视频编码 器-解码器(CODEC)的一部分。
视频编码器20及视频解码器26可经配置以应用一种或多种编码技术，例如一般 来说符合MPEG-1、 MPEG-2、 MPEG-4、 ITU-T H.263或ITU-T H.264标准或其他标准 的技术。作为特定实施例，视频编码器20及解码器26可符合ITU-T H，264/MPEG-4 部分IO，也就是高级视频编码(AVC)，数字视频编码标准，其是由ITU-T视频编 码专家组(VCEG)同ISO/IEC运动图像专家组(MPEG)作为称为联合视频组(JVT)的集 体合作成果的产品所制定。在技术上讲ITU-T H.264标准及ISO/TEC MPEG-4部分10 标准是相同的。
当前，联合视频组(JVT)正从事于H.264/AVC的可縮放视频编码(SVC)扩展 部分，H.264/AVC及正展开的SVC扩展部分两者的标准规范均是呈联合草案(JD) 的形式。由JVT所创建的联合可縮放视频模型(JSVM)可构建供可縮放视频中使用 的工具，且可同系统IO—起用于本发明中所述的各种编码任务。JSVM支持各种可縮 放特征。可在所述联合草案中找到关于精细粒度SNR可縮放性(FGS)编码的详细信 息。然而，出于说明的目的，本文将阐述FGS的某些基本概念及独特特性。
视频序列包括一系列视频帧。视频编码器20操作单个视频帧内的像素块以编码 所述视频数据。所述视频块可具有固定或变化的大小，且可根据特定编码标准在大小 上不同。作为实例，ITU-T H.264标准支持各种块大小的帧内预测(例如16乘16、 8 乘8、 4乘4的卢马分量及8x8色度分量)以及各种块大小的帧间预测(例如16乘 16、 16乘8、 8乘16、 8乘8、 8乘4及4乘4的卢马分量及相应縮放大小的色度分量)。
较小的视频块可提供更佳的分辨率，且可用于定位包括较高细节等级的视频帧的位置。 在所述预测之后，可对所述8x8剩余块或4x4剩余块实施变换，且如果使用16x16帧 内预测模式则可针对色度分量或卢马分量将额外变换应用于所述4x4块的DC系数。
进一步参考图1，传输器22可包括适当的调制解调器及驱动器电路以经由信道 16传输经编码视频，信道16可以是有线或无线，或包括有线及无线媒体的组合。对 于无线应用来说，传输器22包括RF电路以传输载送所述经编码视频数据的无线数据。 在某些实施例中，源装置12可采用以下形式 一个或多个服务器、工作站、台式计算 机、移动计算机、个人数字助理(PDA)、无线电话、卫星电话或其他有线或无线通 信装置。
在接收装置14中，视频解码器26可同源装置12的视频编码器20 —样形成 CODEC的一部分。接收装置14可采用任一数字视频装置或能够接收并解码视频数据
的装置的组合的形式，例如一个或多个工作站、台式计算机、移动计算机、个人数字 助理(PDA)、无线电话、卫星电话或其他有线或无线通信装置。
同传输器22 —样，接收器24可包括适当的调制解调器及驱动器电路以经由信道 16接收经编码视频，且在无线应用中可包括RF电路以接收载送所述经编码视频数据 的无线数据。在某些实施例中，源装置12及接收装置14各自可包括互逆传输及接收 电路以便各自可用作经由信道16所传输的经编码视频或其他信息的源装置及接收装 置两者。在这种情况中，源装置12及接收装置14两者均可编码、传输、接收并解码 视频序列。
显示装置28可以是用于将视频呈现给用户的任一合适的装置，例如LCD或等离 子平板显示器、阴极射线管显示器或任一其他显示器。此外，可将显示装置28与接收 装置14集成或将其提供为经由有线或无线连接耦合到接收装置14的分立装置。显示 装置28还可用作接收装置14的用户接口的一部分。源装置12也可包括显示装置以允 许査看所接收视频及与源装置12的用户交互作用。
编码器20及解码器26经配置以支持精细粒度可縮放性(FGS) 。 FGS允许在某 一位速率范围内几乎任意地截断位流。将一种形式的FGS应用于信号噪声比(SNR) 可縮放性。常见情况包括用具有某一质量等级的基础层及以相同分辨率向所述基础层 提供细化的一个或多个FGS增强层来编码视频位流。例如，在以公用中间格式 (common intermediate format) (CIF)分辨率编码基础层的情况下，通过FGS增强层 传输额外位流改善所述GIF分辨率视频的质量(例如，SNR)。
根据本发明，开发FGS以经由根据通用FGS途径所传输的一个或多个增强层来 支持空间可縮放性。举例来说，可通过一个或多个FGS增强层增大以四分之一公用中 间格式(quarter common intermediate format) (QCIF)分辨率所编码的基础层来提高 所述视频的空间分辨率，例如从QCIF分辨率到CIF分辨率。所述空间可縮放性FGS 增强层还可包括足以提高QCIF及/或CIF分辨率的视频的质量的额外位流。因此，本 发明所述的通用FGS途径支持空间可缩放性，但还可支持SNR可缩放性。特别的， 编码器20及解码器26经配置以减轻可因一个或多个增强层的部分解码所致的漂移误 差。
图2是图解说明视频位流的多层式FGS编码的图式。如图2中所示，对视频位流 的FGS编码产生基础层30及一个或多个增强层32A-32N (统称为层32)。基础层30 包括一系列帧36A-36N，所述帧在既定位速率下以最小质量等级来编码所述视频位流。 每一增强层32提供额外的视频位流信息，解码器26可使用所述额外的视频位流信息 逐渐地提高基础层30所提供的初始质量。由解码器26处理的增强层32的数量取决于 (例如)在既定信道条件或其他限制下由源装置14传输的增强层的数量，及由解码器 26处理的所接收的增强层的数量。
一般来说，根据本发明，每一由解码器22所处理的各自增强层32A-32N或其部 分可在SNR及/或空间分辨率方面使自基础层30获得的视频的质量递增地提高。并非
同离散增强层一样整体处理每一增强层32A-32N，本发明希望系统10允许使用通用 FGS途径来编码、传输及处理空间可縮放性增强层。以此方式，可以以精细粒度来縮 放空间分辨率，从而在部分解码空间增强层时提供连续之质量改善。如将阐述，部分 解码可造成误差传播问题，所述问题可通过使用本发明中还提供的一个或多个方案来 解决。
图3是进一步详细图解说明图1的系统10的框图，其包括基础层及增强层编码 器及解码器。特定来说，在图3的实例中，视频编码器20包括基础层编码器38及增 强层编码器40。视频解码器26包括基础层解码器42及增强层解码器44。装置12及 14在其他方面通常与图1 一致。此外，源装置12及接收装置14可各自包括互逆传输 /接收及编码/解码组件。然而，同图1一样，位易于图解说明起见，图3呈现一个装置 12作为源/编码装置及另一个装置14作为接收/解码装置。
基础层编码器38编码至少一部分的从摄像机18所获得的视频位流以提供在既定 位速率下提供最小质量等级及/或最小空间大小。增强层编码器40编码所述视频位流 的额外部分以产生增强层，如果被解码则所述增强层提供额外质量及/或允许一个或多 个更大空间格式。在随着其被解码而可提供逐渐提高的质量的意义上，所述增强层可 分等级。举例来说，解码所有的增强层将产生最高质量及最大空间大小，而仅解码第
一增强层将相对于仅解码基础层产生逐渐提高的质量。
所述增强层可允许在增加的图像帧质量的情况从第一大小到第二大小的空间可 縮放性。或者，在某些实施例中，所述增强层可允许从第一大小到第二大小、从所述 第二大小到第三大小及(可能)从所述第三大小到一个或多个更大大小的空间可縮放 性。举例来说，所述增强层可允许仅从QCIF到CIF，或仅从CIF到VGS (视频图形 阵列)或仅从VGA到SVGA (超级VGS)縮放视频帧或序列。或者，所述增强层可 允许从QCIF到CIF，从CIF到VGA及从VGA到SVGA縮放视频。尽管为图解说明 的目的而提及QCIF、 CIF、 VGA及SVGA,但其他空间大小及格式也可能作为替代或 附加。
在操作中，基础层解码器42解码经由信道16所接收的基础层以产生由摄像机18 所获得视频位流的一部分来呈现于显示装置28上。增强层解码器44通过解码一个或 多个增强层(如果可用)来提高经解码视频的质量。此外，由接收装置14所接收的增 强层的数量可取决于信道条件或其他限制。另外，由增强层解码器44所处理的接收的 增强层数量可取决于解码器限制。 一般来说，所述基础层结合所选择数量的增强层的 编码及解码允许所解码视频的SNR质量的递增改善。
除SNR可縮放性外，还希望提供空间可缩放性。根据本发明，系统10经配置以 经由通用FGS编码途径支持空间可缩放性。如将阐述，系统10可部分通过循环交错 不同视频块的经编码系数及语法要素以保证多层FGS编码视频中每一增强层均匀地 提高基础层的视频质量。
部分解码以经由FGS实现空间可縮放性可产生误差。出于这一原因，系统10可
应用一种或多种方法以抑制误差传播，包括帧内预测中的漏预测以减少漂移，用于块 内的特殊DC模式以减少误差传播及针对帧间预测仅使用基础层内的像素的约束条 件。系统IO可发送阐述应如何预测增强层的语法要素，例如其是帧间预测还是帧内预
测及如何分割所述块。系统10还可在选择的基础上支持FGS空间可縮放性或离散空 间可縮放性。换句话说，系统10可支持FGS空间可縮放性及经由离散增强层的可縮 放性并基于网络条件、信道条件、解码器能力或其他考虑在其间转换。
图4是图解说明视频帧的FGS编码中所使用的z字形扫描块的图式。在图4的实 例中，假设块46A、 46B及46C是视频帧的增强层中的前三个块。在此实例中，每一 块46A、 46B、 46C均是4乘4系数块。以变换域绘示块46A、 46B及46C。因此，块 46A、 46B、 46C中的每一数或变量均是要通过无损耗熵编码过程编码的量化系数。例 如，如块46A中的参考编号41所指示，具有以字母"S"开始的标号的系数均是非零 有效系数。因块46A在FGS SNR可縮放性增强层中，针对块中每一系数，在所述基
础层中均存在对应系数。
对于非零有效系数，其值为非零且其对应基础层系数为零。举例来说，系数"S0，1" 对应于块"0"中z字形扫描索引为"1"的非零有效系数。标为"0"的系数位零系数 且其对应基础层系数同样为零。例如，如块46A中的参考编号43所指示，具有以字 母"R"开始的标号的系数是具有非零(也就是，有效)对应基础层系数的细化系数。 举例来说，系数"R2，2"是块"2"中z字形扫描索引位"2"的细化系数。在分类增 强层系数时，通常会使用有效性映射。所述映射会指示在基础层中已变为有效的系数 的位置。在增强层中，所述位置处的系数是改善系数。
如本文所述，可将增强层编码器40看作编码所述基础层中所使用的熵编码器(例 如诸如ITU-T H.264标准所预期的熵编码器)的扩展。特定来说，增强层中所使用的 块分割、变换及量化类似于所述基础层中所使用的块分割、变换及量化。为更加有效 地编码所述零，可使用诸如编码块旗标(CBF)及块结束(EOB)的语法要素。在所 述基础层编码中也可使用类似的语法要素。对于每一块均发送一次CBF，且所述CBF 指示所述块中存在非零有效系数。如果所述CBF为O，则不存在非零有效系数，否则 存在至少一个有效系数。所述EOB旗标用于指示刚刚所编码的非零系数是否是所述扫
描顺序中的最后一个非零有效系数。
基础层编码器38与增强层编码器40之间的一个区别是在所述FGS层及编码顺序
中细化系数与其他系数的分离。在所述基础层中，在编码下一块之间完全地编码一块。 然而，根据本发明的实施例，增强层编码器40的一个特征是将来自不同块的系数彼此 交错。将所述块的系数循环编码。在每一循环中，仅编码来自既定块的某些系数。以 此方式，增强层编码器40保证每当截断所述位流时对视频质量的改善更均匀。
图5是图解说明以z字形顺序所布置的不同视频块46A、 46B、 46C的语法要素 及系数的实例性编码顺序的图式。图6图解说明用于传输语法要素的实例性编码顺序， 其中以z字形顺序水平地布置来自每一块的系数。在图5及6中，每一系数由一个块
来代表。在图5及6的实例中，在单个循环中，对于指定块，至多编码一个非零系数， 且所述循环索引正好与z字形扫描索引相同。然而，依据设计考虑，也可不同地定义 所述循环索引且可编码多于一个的非零系数。图5中的每一循环对应于以图4的z字 形顺序从一个系数转换到另一个系数的既定箭头。
如图4中所示，对于循环0，针对每一块46A、 46B、 46B均发送一次CBF，且 所述CBF指示所述块中存在非零有效系数。举例来说，CBF0/1对应于第一块0，且其 指示所述块中存在非零有效系数。另外，在循环O中发送零系数"O"及来自块O的非 零系数"S0,1"(其对应于块"0"中Z字形扫描索引为"1"的非零有效系数)。然 而，CBF1/0对应于第二块1且指示所述块中不存在任何非零有效系数。因此，在随后 循环不针对块1发送任何系数。循环0进一步包括CBF2/1 (其指示块2包括非零有效 系数(S2，0))及所述系数S2，0自身。
循环1包括用于块2的E0B旗标(EOB2/0)，其指示循环0中刚刚所编码的非 零有效系数(其是S2，0)并非所述扫描顺序中的最后非零有效系数，在剩余循环中， 块的编码继续跟随所述扫描z字形顺序，且适当地包括诸如CBF及EOB等语法要素。 图4、 5及6的实例是关于视频帧的增强层中的前三个4x4块。然而，图4-6中所图解 说明的通用方案可应用于具有更大大小以及更大块数量的块。
图6是图解说明以传输顺序针对不同视频块所布置的语法要素及系数的编码顺序 的图式。图6中的编码顺序等同于图5中的编码顺序，只是语法要素及系数经布置以 便水平地列出既定循环中所发送的语法要素及系数。在图6的图式中，以递增循环索 引顺序从上到下发送所述语法要素及系数，且通过每一循环将其从左到右发送。
举例来说，循环0针对第一块显示CBF0/1,后面是零系数，后面是SO,l， SO，l 对应于块"0"中z字形扫描索引位"1"的非零有效系数。循环0进一步包括CBF1/0 (其指示块1中的非零有效系数)及CBF2/1及S2，0，所述CBF2/1及S2,0指示并提 供块2的非零有效系数。所述过程以所述Z字形扫描次序继续进行循环1-15，其中每 一循环均对应于图4中的一个箭头转换。
空间可縮放性允许视频解码器26通过解码来自可縮放视频位流的增强层位流而 重构并显示具有更高空间分辨率(例如，GIF而非四分之一公用中间格式(QCIF)) 的视频信号。图4-6中的语法要素及系数的实例性顺序支持使用用于空间可縮放性及 FGS SNR可縮放性两者的通用FGS格式。解码所述基础层位流允许解码器26获得较 低空间分辨率视频，而解码一个或多个增强层允许改善所述基础层空间分辨率的SNR 及/或将空间分辨率提高到更大格式。
图7A是图解说明包括空间可縮放性增强层位流的多层位流的图式。图7B是图 解说明图7A的空间可缩放性位流的速率-失真(R-D)性能的图式。图7A及7B提供 空间可縮放性及FGS SNR可缩放性两者的实例。解码基础层45产生图7A的位流1 ， 其允许解码器26获得处于最小质量(SNR)水平的相对低的空间分辨率视频(例如， 30帧每秒(fps)的QCIF空间分辨率)。将图7A中的位流2提供于第一FGS增强层
位流47中，其将所述QCIF视频质量(SNR)改善达某一量(例如，3dB)。
增强层49的解码提供支持空间可缩放性的额外位流3。解码图7A的增强层49 中的位流3允许解码器26获得更高空间分辨率视频(例如，以30 fps的CIF空间分辨 率)。增强层51提供也具有FGSSNR可縮放性的额外位流4。增强层51的解码进一 步改善CIF视频质量但不影响所得视频的空间分辨率。如图7A中所示，基础层45、 增强层47、增强层49及增强层51分别需要96千位每秒(kbps) 、 192 kbps、 384 kbps 及512kbps的信道带宽以进行完全传输。在所述实例中，增强层的位速率包括所有较 低层的位速率。举例来说，层47的192 kbps的位速率包括层45的96 kbps。同样地， 层49的384位速率包括层47的192 kbps位速率及层45的96 kbps位速率。
根据本发明，系统IO经配置以支持通用精细粒度可缩放性(FGS)。在此意义上， 系统10提供优于其中仅通过发送离散增强层实现空间可縮放性的其他系统的改善。通 过FGS而非整体处理离散增强层，可能在几乎任一点截断空间可缩放增强层。因此， 通过FGS，解码器26可提高视频帧的空间分辨率而无需语法分析和解码整个增强层 位流。然而,系统10进一步实施一个或多个方案以降低由于部分解码所致的误差传播。
图7B显示不同位速率及空间分辨率的以分贝(dB)为单位的峰值信号噪声比 (PSNR)。特定来说，图7B显示CIF及QCIF速率-失真(RD)曲线。在图7B的实 例中，在位速率转变方面所述CIF及QCIF速率-失真曲线是不连贯的。图7B中的参 考编号53识别QCIF SNR可縮放性路径，而参考编号55识别CIF SNR可縮放性路径。 参考编号57显示QCIF与CIF之间的渐进且大致连续的FGS空间可縮放性路径，而 参考编号59显示不连贯离散增强层空间可縮放性路径。
在参考图7A中所示的层的情况下，图7B中的符号指示用于将SNR及/或空间可 縮放性从一点增加到另一点的基础层及增强层的组合。举例来说，"仅1"指示仅解 码图7A的基础层位流以产生具有最小SNR质量的QCIF视频帧。符号"l+部分2" 指示解码所述基础层位流及所述第一增强层位流的一部分两者来产生具有提高的 SNR质量的QCIF视频帧，其中"1+2"指示完全解码所述基础层位流及所述第一增 强层位流两者以实现提高的SNR质量。符号"l+2+部分3"识别根据本发明通过使用 通用FGS途径解码增强层3允许从QCIF到CIF的空间可縮放性路径。
如本发明中所述，系统10通过以FGS格式发送空间可縮放增强层为空间分辨率 提高提供通用FGS。这一途径允许在任一点截断空间可縮放性增强位流一适合某一网 络/信道条件及/或解码器能力。以此方式，更好的网络/信道条件及/或具有更高能力的 解码器将能够重构具有更高空间分辨率及连续改善的视频质量的视频，同事接受并解 码更多位。使用用于空间可縮放性的通用FGS途径提供超过完全解码离散增强层的显 著改善。
通过用于空间分辨率提高的通用FGS，在位速率转变方面具有不同空间分辨率的 视频的RD曲线将连接在一起。以此方式，用于空间分辨率提高的通用FGS在不同空 间分辨率视频(例如QCIF53及CIF55)之间提供具有大致连续RD曲线57 (而非不
连贯RD曲线，例如曲线59)的连续改善的视频质量。特定来说，请注意，QCIFSNR 曲线53上的点1+2 (其指示完全解码图7A的所述基础层及第一增强层)与离散空间 增强层曲线59上的点l+3 (其指示完全解码图7A的基础层及第二增强层)之间的间 隙。
作为实例，参考图7A的图式及图7B的相关联曲线图，假设希望产生CIF视频 而非有基础层1提供的QCIF视频。然而，进一步假设信道条件将不支持完全传输并 解码离散增强层49所需的384千位每秒(kbps)速率。在此情况中，可将FGS增强 层47截断为可接受水平以获得具有小于384kbps的位速率的CIF视频。虽然这允许 288kbps (其中发送0%的位流2)与384kbps (其中发送100%的位流2)之间的连续 质量改善，但如图7B中的曲线59所指示(l+部分2+3)所指示，所述位流截断的RD 性能可能是次优。在这种情况中，l+部分2+3表示完全解码基础层l，部分解码FGS 增强层2及完全解码离散增强层3。这种RD性能并不合乎需要。允许通用FGS，而 非完全地解码离散增强层3，连接两个空间分辨率的RD性能曲线将从曲线59 (l+部 分2+3)改善为曲线57 (l+2+部分3，"新截断路径")，其大致跨QCIF曲线53与 CIF曲线55之间的整个空间尺度。
因此，为避免不同空间分辨率视频之间的不连贯RD曲线及/或避免较不合乎需要 的编码性能，系统10经配置以提供用于空间分辨率提高的通用FGS。为使用具有良 好编码性能的通用FGS实现空间可縮放性，单独或组合地应用一个或多个唯一编码方 案以抑制误差传播，部分解码增强层以支持FGS空间可縮放性可产生显著误差传播。 本发明中所述的额外方案可有效抑制否则将由于使用通用FGS所导致的误差传播以 实现具有连续提高的视频质量的空间可縮放性。
举例来说，在一个实施例中，系统10在帧内预测中应用漏预测方案以减少漂移， 用于块内的特殊DC模式以减少空间误差传播，及/或针对帧内预测仅使用所述基础层 内的像素的约束条件。此外，系统IO可发送阐述应如何预测增强层的语法要素，例如 其是帧间预测还是帧内预测及如何分割所述块。在某些实施例中，系统io还在选择基 础上支持FGS空间可縮放性或离散空间可縮放性。下文将进一步详细阐述所述额外误 差消除方案中的每一者。
FGS层位流可仅含有量化剩余变换系数而无模式及运动信息。为使用FGS实现 空间可缩放性，还应发送模式及运动信息。这可通过使用类似于针对离散增强层所定 义语法的语法来实现。针对宏块模式，可支持内部(I)模式(I—NxN、 1—16x16)、 BL (基础层)内部模式及(P或B)间模式。所述LBL模式是层间纹理预测模式。 在此模式中，从基础层中重构的像素预测增强层中的像素块。如果所述增强层的分辨 率不同于所述基础层的分辨率，则应正确地将所述基础层重构像素上采样为所述增强 层分辨率。如果所述增强层的分辨率与所述基础层一样，则不需要上采样所述基础层
重构像素以实现所述漏预测技术。而是，可在不上采样的情况下完成所述漏预测。在 需要上采样的情况中，可将各种插值技术中的任一者用于上采样。对于运动向量及参
考图像索引来说，可将其从所述基础层位流推导出或细化或直接地在增强层位流进行 发送。
图8A是图解说明由于部分解码FGS增强层而在编码器及解码器中使用不同参考 帧所致的漂移问题的图式。图8B是图解说明从基础层部分预测(也就是漏预测)以 削弱图8A中所示的漂移问题的图式。部分解码所述FGS位流(也就是位流截断)可 导致漂移问题。特定来说，当解码器26使用部分接收的增强层位流来重构宏块且稍后 在帧间预测中使用相同宏块时，在所述编码器与解码器之间存在失配，如图8A中所 示。根据本发明，漏预测可至少部分减轻所述漂移问题。如图8B中所示，在漏预测 中，部分有所述FGS增强层(例如，按因数a，其中0<="<7)及部分由所述基础 层(例如，按因数l-a)形成所述预测信号。因为始终完全接收所述基础层信号，由于 部分解码所述增强层所致的任何误差E将被消弱因数V切变成c^E、 a2*￡、 a3*￡, 且在后续帧中阐述。
图9是图解说明由部分解码相邻像素所致的漂移误差的图式。图10是图解说明 通过使用所述漏预测方案来削弱漂移误差的相邻像素的形成的图式。系统10可经配置 以将漏预测扩展到宏块内以及宏块间。在图9的实例中，参考编号50指示当前L4x4 块，参考编号52指示编码器侧的预测中所使用的相邻像素，且参考编号54指示使用 部分解码的解码器侧的预测中所使用的相邻像素。对于帧内预测，从相邻先前所解码
块的边缘像素预测块像素。部分解码增强层块导致解码器针对视频块的帧内预测所使 用的相邻像素将不同于由所述解码器所使用的相邻像素，从而导致漂移误差。
图9显示漏预测方案的(I) —4x4内部对角模式的实例。在图9的实例中，针对 当前块50，部分解码表示相邻块的增强层位导致解码器侧的1—4x4对角模式中所使用 的相邻像素54将不同于编码器侧所使用的相邻像素52。换句话说，当解码器仅部分 解码所述增强层位时在解码器及编码器处预测既定块50所使用的相邻像素可以是不 同于的。因此，改变了所预测的4x4块，从而导致重构块的漂移误差。当在所述解码 器侧将当前块50中的像素用于预测下一块时所述漂移误差将再次传播到相邻4x4块， 从而导致潜在严重误差传播。
为削弱漏问题，图IO图解说明漏预测技术的应用，其中4x4预测块58是由增强 层相邻像素54所构造的预测块及上采样基础层预测块56的经加权平均值(其中加权 因数为a)。用于形成所述预测块的上采样基础层像素是对应于待预测实际块的像素。 用于形成由所述增强层所构造的预测块的像素是来自先前所解码块沿待预测实际块的 边缘的相邻像素。在解码器侧，所得预测块58中的像素值是由所述增强层视频块的相 邻像素值所构造的预测块乘以因数a与由上采样基础层预测块56所构造的预测块乘以 因数l-a的和。
在每一情况中，将来自增强层预测块的相邻像素结合上采样基础层预测块用于预 测帧内块。对于增强层来说，不接收所有块，从而导致仅部分解码。对于所述基础层， 接收所有块，但其分辨率低于所述增强层。增强层预测块的相邻像素与上采样基础层
预测块的经加权平均值用于减少重构块中的漂移误差58，并减轻在空间FGS编码中 因部分解码增强层所呈现的潜在问题。
因此，在所述漏预测方案中，将由增强层相邻像素形成的预测块及由上采样基础 层像素形成的预测块加权以产生供编码中使用的实际预测块。所述基础层像素的上采 样以与增强层预测块相同的分辨率提供基础层预测块。然而，在某些实施例中，如果 所述基础层及增强层具有相同分辨率，则不需要上采样所述基础层，而是可在无上采 样的情况下实施漏预测。如果由增强层所定义视频的分辨率大于由基础层所定义视频 的分辨率，则实施基础层像素的上采样。尽管将4x4内预测用作图9及10中的实例， 但可将所述漏预测方案应用于其他帧内预测类型，例如8x8内或16x16内卢马样本的 预测或色度帧内预测。在图10的实例中，解码器26应用漏预测以用权重a来加权由 增强层相邻像素构造的预测块并用权重l-a加权上采样基础层预测块来产生削弱漂移 误差的预测块。然而，可使用其他因数或加权(包括更复杂的加权函数)以减少漂移 误差，例如如下文所述。
如图9及10中所示，对帧内编码块的漏预测会抑制误差传播并促进通用FGS技 术中的质量改善。当部分解码所述位流时，可使用其他技术。如果对于某些块来说， 在某一点未接收有效量的增强层，则相邻预测将比所述基础层预测差。可使计算所述 预测值中所使用的加权因子(其是由相邻像素所构造的预测值与基础层预测值之间的 经加权平均值)变为动态可调。所述加权因子的值可取决于所解码位流的量。如果所 解码位流越多，则由相邻像素所构造的预测值的加权因子可越大。当解码整个增强层 时所使用的加权因子也可以是内容相依。举例来说，应用于帧内预测的加权因子值可 取决于如何预测所述基础层。
图11是图解说明如图10中所示的漏预测技术的操作的图式。如图11中所示， 解码器26解码所述FGS基础层以重构基础层视频块(57)，且至少部分解码一个或 多个FGS增强层以重构增强层视频块(59)。因可以仅部分解码所述FGS增强层， 解码器26针对帧内编码块的解码应用漏预测技术。出于此原因，依靠来自部分解码增 强层的相邻像素重构帧内编码预测块将产生由于使用编码器及解码器侧上的不同像素 的可能性所致的显著漂移误差。
为实施所述漏预测技术，在一个实例性实施例中，解码器26对所述基础层像素 (61)进行上采样并由经上采样的基础层像素(63)形成第一预测块。如果所述增强 层分辨率大于所述基础层分辨率，则可将所述基础层像素上采样到所述增强层的分辨 率，从而产生对应于要预测的帧内编码块的分辨率的预测块。如果所述增强层及所述 基础层的分辨率相等，则不需要对所述基础层像素进行上采样。而是，可在由未经上 采样的基础层像素形成的预测块的基础上进行所述漏预测技术。相应地，对所述基础 层像素的上釆样是可选的且在所述增强层分辨率大于所述基础层分辨率时应用。通过 进一步参考图1，解码器26还从对应增强层视频块(65)的相邻像素形成第二预测块。 特定来说，解码器26选择邻近待预测帧内编码块的所解码增强层中的像素。使用所述
第一及第二预测块，解码器26预测帧内编码块(67)。
具体来说，如图ll的实例中所示，解码器26基于由上采样基础层像素产生的第 一预测块及由增强层块(67)中的相邻像素产生的第二预测块的经加权和预测所述帧 内块。以此方式，通过组合基础层及增强层像素，解码器26减少否则可由于所述增强 层的部分解码所致的漂移误差的量。所述漏预测技术可应用于视频片段中的某些或所 有帧内编码块。在每一情况中，选择增强层相邻像素及基础层像素的不同组合以对应 于待预测的帧内编码块。
除漏预测外，用于空间可縮放性的通用FGS途径可提供用于帧内宏块的特殊DC 模式以防止空间误差传播。甚至在使用基础层信息的漏预测的情况下，所述漂移误差 仍可随着距误差源点的距离增加而累积。DC系数通常是指块的左上角中的系数，且 其被以从相邻块所推导出的预测而编码。
为减轻空间误差传播，系统10可经配置以提供用于通用FGS的特殊DC模式。 所有帧内宏块类型(包括L4x4、 I—8x8及I—16x16)可使用这一特殊DC模式。当使用 所述特殊DC模式时，从编码器及解码器两者已知的默认值而非从相邻块中的信息推 导出的任一值中预测所述NxN块(N=4、 8或16)的DC系数，且在无任何预测的情 况下编码所述AC系数。因此，所述特殊DC模式避免从相邻块推导值而是依靠预定 默认值。在本发明中，所述特殊DC模式用于控制误差传播，且甚至在所有所需相邻 块均可用于帧内预测的情况下仍可使用所述特殊DC模式。编码所述DC值所需的位 数量取决于量化参数。 一旦确定所述位数量，则可使用固定长度编码来编码所述DC 值。也可使用其他可变长度的代码来编码所述DC值。
图12是图解说明视频块的特殊DC模式的应用的图式。特定来说，作为实例图 12显示使用4x4块的1—4x4特殊DC模式的编码。对于图12的实例来说，I_8x8特殊 DC模式类似于1—4x4特殊DC模式，只是使用8x8块变换且从8x8块计算所述DC系 数。对于I」6xl6特殊DC模式，可使用ITU-T H.264中所定义的变换策略且所述DC 系数是在应用哈达马变换之后的块94中的DC系数，例如如图15中所示。
可通过所编码位流将所述特殊DC模式作为额外模式(也就是除其他已建立帧内 预测模式之外)发送。举例来说，在ITU-T R264标准中，已存在9个所属技术领域 的技术人员已知的1—4x4预测模式。如果所述特殊DC模式是额外模式，则其可以是 第十个模式。对于I—16x16宏块来说，所述特殊DC模式可以是第五模式。根据替代 实施方案，所述特殊DC模式可代替已建立的模式。作为另一替代，在可由所述位流 推导出的特定条件下所述特殊DC模式可代替原始DC模式。
如图12中所示，编码器20应用特殊DC模式以编码1—4x4块60。编码器20对 块60应用4x4块转换61，且通过预测器70应用DC系数预测62，预测器70产生编 码器及解码器两者均已知的默认DC系数值。编码器20在DC预测后对所转换块应用 量化63，且然后应用熵编码器61以产生将要传输的经编码块。 一逆过程用于重构所 述块。举例来说，解码器26应用熵解码器65及去量化66,随后是使用由默认DC系
数预测器70产生的值的逆DC系数值预测67。因此，编码器20及解码器26各自可 包括用作默认DC系数预测器70的功能单元以产生编码器及解码器两者均已知的默认 DC系数值。在逆DC预测67之后，解码器26实施4x4块逆转换以产生所预测块69。 也可通过从所述块中的所有像素减去预测值而在像素域中等效地实施DC系数预测。
图13是图解说明针对不同帧内预测模式使用所述特殊DC模式的图式。某些系 统具有单环路解码选项。举例来说，位流可具有两个具有不同分辨率的层。如果用户 仅关注高分辨率视频，且所述位流支持单回路解码，则仅需要于高分辨率层处实施运 动补偿。这通过强制实施某些预测约束条件来实现。举例来说， 一个约束条件可要求 不能从相邻帧间宏块预测帧内宏块，且仅在以正常帧内模式或BL内模式编码所述基 础层时可将所述BL(基础层)内模式用于增强层中，以便可重构所述基础层中的宏块 并用于预测，而无需实施任一运动补偿。
当使用单回路解码且不帧内编码相应基础层宏块时，不能使用漏预测，这是因为 不存在可用的基础层像素。在这种情况下，为限制来自空间相邻的误差传播，当将所 述增强层宏块信令位I_4x4时，在一个实施例中，可推断七个边界4x4块呈特殊DC 模式。在单回路解码中，当增强层宏块在帧内时，推断边界块(图13中的暗块72) 呈特殊DC模式。非边界块74仍可在上文所呈现正确误差控制方案下使用任一帧内预 测模式。
类似地，当将增强层宏块信令为I一8x8时，则推断三个边界8x8块76呈特殊DC 模式，同时块78可在上文所呈现的正确误差控制方案下使用任一帧内预测模式。如由 参考编号80所指示，当增强层宏块是IJ6xl6时，可推断使用特殊DC模式。请注意， 在图13中各个宏块中的其他非边界4x4或8x8块74、78仍可使用其他帧内预测模式。 在另一个实施例中，任一位置处的块可以是DC模式且可明确地信令所述模式。
图14是图解说明来自基础层中的帧82的帧内预测的图式。图14显示上采样基 础层的帧82中的块84以产生上采样块86。上采样块86用于预测增强层的帧90中的 待编码块88。如图14中所示，也可将约束条件应用于所述增强层中以不使用层内帧 内预测。在一个实施例中，举例来说，可强制实施一个约束条件以便不由来自与待预 测块相同层内的相同帧的像素(或从所述像素推导出的其他信息)形成所述预测。换 句话说，不使用从与所述待预测块相同层及相同帧所获得的像素或其他信息来预测增 强层中的块。在这种情况下，通过来自基础层中的帧或其他已编码帧或两者的组合的 像素(或从所述像素推导出的其他信息)形成所述预测。以此方式，解码器26可应用 针对帧内预测仅使用所述基础层中的像素的约束条件。基础层中的帧82可具有相同分
辨率或不同分辨率。
为支持使用通用FGS的空间可縮放性，可在经编码位流中传输各种宏块语法要素 以信令解码器应如何预测增强层中的每一宏块。所述语法要素可包括诸如将要帧间或
帧内预测宏块的信息。如果帧间预测所述宏块，则还应传输诸如如何分割宏块及每一 分区的运动向量及参考帧索引的信息。如果帧内预测宏块，则可从基础层中的相同时
间位置处的帧或相同层中的相同帧发送诸如帧内预测模式的额外信息。
可以以不同方式实现语法要素的传输。在一个实施例中，在传输任一纹理信息之 前传输帧或片段的所有语法要素，所述纹理信息是与转换系数有关的信息。在另一个 实施例中，可将所述语法要素与所述纹理信息交错。然而，所编码位流仍可通常符合 所述FGS格式，从而避免完全地重设计所述编码技术的结构及格式。
在H.264实施方案中，宏块可以呈B片段(也就是，使用过去片段、未来片段或 两者的双向或双预测编码片段)中的直接模式。B片段可形成视频帧的一部分或覆盖 整个视频帧。当宏块呈B片段中的直接模式时，从已编码的信息推导出这一宏块的运 动向量及参考帧索引。所述用于推导出所述运动向量及参考帧索引的信息是来自相同 帧且有时可来自所述参考帧。如果宏块(MB)呈空间直接模式，可从相邻MB的运 动向量推导出每一分区的运动向量。然而，也可通过参考帧中的共定位块的运动向量 限制每一所推导出的运动向量。在所述时间直接模式中，可基于当前帧与其参考帧之 间的时间关系从参考帧中的共定位块的运动向量推导出运动向量。
与依赖参考帧的信息推导出运动向量有关的一个问题是在解码器26中可截断所 述参考帧。因此，可用于解码器20的信息不可用于解码器26。运动向量的不正确重 构通常导致大的误差。在一个实施例中，在将增强层编码于B片段中且不通过来自参 考帧的任一信息限制所推导出的运动向量时将仅使用空间直接模式。换句话说，如果 将增强层编码于双预测(B)片段中，则解码器26仅应用修改的空间直接模式，其不 使用来自所述参考帧的任一信息。
在一个实施例中，因此增强层呈现更高空间分辨率，在用于FGS系数编码过程中 之前可上采样来自所述基础层的有效性映射。在另一个实施例中，可在编码所述空间 增强层处的FGS位流之前清除所述有效性映射。在这种情况下，没有系数被编码为具 有提高的空间分辨率的FGS增强层中的细化系数。因此，重置来自所述基础层的有效 性映射，且仅将系数解码为所述增强层中的一者或多者中的零系数或不具有细化系数 的非零有效系数。
在某些系统中，可需要在选择基础上除FGS空间增强层外保留编码离散空间增强 层的能力。举例来说，复杂性考虑可保证相同系统中离散空间增强层的选择。在这种 情况下，系统10可经配置以支持与离散空间增强层的相容性。如果可以可靠地递送所 述增强层，则使用离散空间增强层编码可提供更高编码性能。可在所传输位流中信令 离散空间增强层编码的选择。举例来说，所述位流可包括指示针对所述位流支持离散 空间增强层编码还是FGS空间增强层编码的信息，如本文所述。 一个实例是将新旗标 引入可缩放片段标头中以指示是否在所述片段中使用FGS编码。
图15是图解说明，具有16乘16帧内预测模式的宏块中卢马DC块的图式。对 16x16内部宏块92，可对卢马DC系数进行哈达马(Hadamard)变换。如图15中所示， 如果使用16x16帧内模式预测宏块，则将卢马预测剩余首先转换为16个4x4块，且 16个块的DC系数形成另一个4x4块94。在本发明中将这一额外4x4块称作16x16内
部DC块。根据ITU-T H.264独立于所述AC块编码所述DC块。对于ITU-T H.264来
说，所述这一分立的额外实施复杂性最小。然而，因其特定设计如果在FGS编码器中 独立地编码则实施复杂性的影响将更大。
因此，在FGS编码中，尽管对DC系数实施额外转换，但仍不独立地编码所述 DC系数。对于常规FGS来说这可能不成问题，其仅支持对相同分辨率的视频的细化。 然而，针对偏好16x16帧内预测的某些视频内容来说其可显著地影响经由通用FGS的 空间可缩放性的性能。 一种在不引入过多复杂性的情况下提供FGS空间可縮放性的途 径是以在ITU-T H.26基础层中编码的方式编码16x16内部DC块。举例来说， 一旦遇 到所述16x16内部DC块的第一系数，则在编码任一其他系数之前编码整个块。
本发明阐述用于使用通用FGS编码的空间可縮放性的技术。使用通用FGS格式 允许视频编码器实现跨不同空间分辨率的连续质量改善。如本发明中所述，用于使用 通用FGS的空间可縮放性的技术可利用数种不同方案来支持具有可接受的性能及复 杂性的空间可縮放性。举例来说，所述技术可并入用以抑制由于部分解码所致的误差 传播的方案，其包括使用由增强层相邻像素形成的预测值及上采样基础层预测值的经 加权平均值的帧内编码宏块的漏预测，在部分解码中预测源的自适应性切换，及停止 由于剩余漂移误差所致的空间误差传播的特殊DC模式。
在某些实施例中，可强制实施约束条件以便不通过来自相同层中的相同帧的像素 或从所述像素推导出的其他信息形成预测来简化所述设计。此外，如果将增强层编码 于B片段中则可仅使用空间直接模式，且不通过来自所述参考帧的任一信息限制所推 导出的运动向量。作为另一特征，可将来自基础层图像的有效性映射上采样并用于增 强层剩余的FGS编码中以改善编码性能。另外，所述空间增强层中的系数可未编码任 何细化系数。同样，可将特殊1位语法添加于所述可縮放片段标头以信令所述解码器 所述空间可縮放性层是使用FGS编码还是用作离散空间增强层。
本发明中所述的技术可实施于硬件、软件、固件或其任一组合中。特定来说，如 本文所述，可通过各种硬件、软件及固件组件中的任一者来实现编码或解码器。举例 来说，所述技术的各个方面可实施于一个或多个微处理器、数字信号处理器(DSP)、 专用集成电路(ASIC)、现场可编程门阵列(PPGA)或其他等效集成或离散逻辑电 路以及所述组件的任一组合中。术语"处理器"或"处理电路"通常是指单独或与其 他逻辑电路组合的前述逻辑电路中的任一者或任一其他等效电路。在某些实施例中， 可将本文所述的功能性提供于专用软件模块中或经配置以进行编码及解码的硬件单元 中，或并入组合视频编码器-解码器(CODEC)中。
如果实施于软件中，则所述技术可部分地通过一种计算机可读媒体来实现，所述 计算机可读媒体包含在由处理器执行时可实施上文所述的功能中的一者或多者的程序 代码或指令。存储所述程序代码或指令的计算机可读媒体可包含随机存取存储器，例 如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取 存储器(NVRAM)、电可擦可编程只读存储器(EEPRQM)、快闪存储器、磁性或
光学数据存储媒体或所述存储器或存储媒体的任一组合。
本文已阐述本发明的各种实施例。所述及其它实施例均在随附权利要求书的范围内。
权利要求
1、一种视频编码方法，其包含对精细粒度可缩放性(FGS)基础层进行解码以重构定义处于第一空间分辨率的视频的基础层视频块；至少部分地对一个或多个FGS增强层进行解码以重构定义处于大于或等于所述第一空间分辨率的第二空间分辨率的视频的增强层视频块；及基于由所述基础层视频块形成的第一预测块及由所述增强层视频块中的相邻像素形成的第二预测块的经加权和来预测帧内编码视频块。
2、 如权利要求1所述的方法，其中所述第二空间分辨率大于所述第一空间分辨率，所述方法进一步包含对所述基础层视频块进行上采样，且其中所述第一预测块由 所述经上采样的基础层视频块形成。
3、 如权利要求2所述的方法，其进一步包含基于所述经解码的FGS基础层及所 述至少部分经解码的FGS增强层产生处于所述第二空间分辨率的视频。
4、 如权利要求2所述的方法，其中所述FGS基础层以第一质量等级定义所述视 频，且所述FGS增强层中的至少一者以大于所述第一质量等级的第二质量等级定义所 述视频。
5、 如权利要求4所述的方法，其进一步包含基于所述经解码的FGS基础层及所 述至少部分经解码的FGS增强层产生处于所述第二质量等级的视频。
6、 如权利要求4所述的方法，其进一步包含基于所述经解码的FGS基础层及所 述至少部分经解码的FGS增强层产生处于所述第二空间分辨率的视频，且基于所述经 解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二质量等级 的视频。
7、 如权利要求2所述的方法，其进一步包含在不使用从与所述各个帧内编码视 频块相同层内的相同帧推导出的视频信息的情况下预测所述帧内编码视频块。
8、 如权利要求2所述的方法，其进一步包含仅使用来自所述基础层的像素预测 所述帧内编码视频块。
9、 如权利要求2所述的方法，其进一步包含使用特殊DC模式对所述FGS增强 层中的块进行解码，在所述特殊DC模式中从编码器及解码器两者已知的默认值中预 测DC系数且在没有从相邻块计算出的预测的情况下对AC系数进行解码。
10、 如权利要求2所述的方法，其进一步包含如果将增强层编码在双预测(B) 片段中，则仅将经修改的空间直接模式应用于所述增强层，所述经修改的空间直接模 式不使用来自参考帧的信息。
11、 如权利要求2所述的方法，其进一步包含对来自所述基础层的有效性映射进 行上釆样，并使用所述经上采样的有效性映射来对所述增强层中的一者或多者进行解 码。
12、 如权利要求1所述的方法，其进一步包含重置来自所述基础层的有效性映射， 并将系数仅解码为所述增强层中的一者或多者内的零系数或不具有细化系数的非零有 效系数。
13、 如权利要求2所述的方法，其进一步包含借助所述增强层中的至少一者接收 1位语法要素以发信号通知针对空间可缩放性使用FGS编码。
14、 一种视频编码装置，其包括解码器，所述解码器对精细粒度可縮放性(FGS) 基础层进行解码以重构定义处于第一空间分辨率的视频的基础层视频块，至少部分地 对一个或多个FGS增强层进行解码以重构定义处于大于或等于所述第一空间分辨率 的第二空间分辨率的视频的增强层视频块，并基于由所述基础层视频块形成的第一预 测块及由所述增强层视频块中的相邻像素形成的第二预测块的经加权和来预测帧内编 码视频块。
15、 如权利要求14所述的装置，其中所述第二空间分辨率大于所述第一空间分 辨率，所述解码器对所述基础层视频块进行上采样，且其中所述第一预测块是由所述 经上采样的基础层视频块形成。
16、 如权利要求15所述的装置，其中所述解码器基于所述经解码的FGS基础层 及所述至少部分经解码的FGS增强层产生处于所述第二空间分辨率的视频。
17、 如权利要求15所述的装置，其中所述FGS基础层以第一质量等级定义所述 视频，且所述FGS增强层中的至少一者以大于所述第一质量等级的第二质量等级定义 所述视频。
18、 如权利要求17所述的装置，其中所述解码器基于所述经解码的FGS基础层 及所述至少部分经解码的FGS增强层产生处于所述第二质量等级的视频。
19、 如权利要求17所述的装置，其中所述解码器基于所述经解码的FGS基础层 及所述至少部分经解码的FGS增强层产生处于所述第二空间分辨率的视频，且基于所 述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二质量 等级的视频。
20、 如权利要求17所述的装置，其中所述解码器在不使用从与所述各个帧内编 码视频块相同层中的相同帧推导出的视频信息的情况下预测所述帧内编码视频块。
21、 如权利要求15所述的装置，其中所述解码器仅使用来自所述基础层的像素 预测所述帧内编码视频块。
22、 如权利要求15所述的装置，其中所述解码器使用特殊DC模式对所述FGS 增强层中的块进行解码，在所述特殊DC模式中从编码器及解码器两者均已知的默认 值中预测DC系数，且在没有从相邻块计算出的预测的情况下对AC系数进行解码。
23、 如权利要求15所述的装置，其中如果将增强层编码在双预测(B)片段中， 则所述解码器仅将空间直接模式应用于所述增强层，而不使用来自参考帧的信息。
24、 如权利要求15所述的装置，其中所述解码器对来自所述基础层的有效性映 射进行上采样，并使用所述经上采样的有效性映射来对所述增强层中的一者或多者进 行解码。
25、 如权利要求14所述的装置，其中所述解码器重置来自所述基础层的有效性 映射，并将系数仅解码为所述增强层中的一者或多者内的零系数或不具有细化系数的 非零有效系数。
26、 如权利要求15所述的装置，其中所述解码器借助所述增强层中的至少一者 接收1位语法要素以发信号通知针对空间可縮放性使用FGS编码。
27、 一种计算机可读媒体，其包含致使处理器执行如下操作的指令 对精细粒度可缩放性(FGS)基础层进行解码以重构定义处于第一空间分辨率的视频的基础层视频块；至少部分地对一个或多个FGS增强层进行解码以重构定义处于大于或等于所述 第一空间分辨率的第二空间分辨率的视频的增强层视频块；及基于由所述基础层视频块形成的第一预测块及由所述增强层视频块中的相邻像 素形成的第二预测块的经加权和来预测帧内编码视频块。
28、 如权利要求27所述的计算机可读媒体，其中所述第二空间分辨率大于所述 第一空间分辨率，所述指令进一步致使所述处理器对所述基础层视频块进行上采样， 且其中所述第一预测块是由所述经上采样的基础层视频块形成。
29、 如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器基于 所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二空 间分辨率的视频。
30、 如权利要求29所述的计算机可读媒体，其中所述FGS基础层以第一质量等 级定义所述视频，且所述FGS增强层中的至少一者以大于所述第一质量等级的第二质 量等级定义所述视频。
31、 如权利要求30所述的计算机可读媒体，其中所述指令致使所述处理器基于 所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二质 量等级的视频。
32、 如权利要求30所述的计算机可读媒体，其中所述指令致使所述处理器基于 所述经解码的FGS基础层及所述至少部分经解码的FGS增强层产生处于所述第二空 间分辨率的视频，且基于所述经解码的FGS基础层及所述至少部分经解码的FGS增 强层产生处于所述第二质量等级的视频。
33、 如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器在不 使用从与所述各个帧内编码块相同层内的相同帧推导出的视频信息的情况下预测所述 帧内编码视频块。
34、 如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器仅使 用来自所述基础层的像素预测所述帧内编码视频块。
35、 如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器使用特殊DC模式对所述FGS增强层中的块进行解码，在所述特殊DC模式中从编码器及 解码器两者均已知的默认值中预测DC系数，且在没有从相邻块计算出的预测的情况 下对AC系数进行解码。
36、 如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器在将 增强层编码在双预测(B)片段中的情况下仅将空间直接模式应用于所述增强层，而 不使用来自参考帧的信息。
37、 如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器对来 自所述基础层的有效性映射进行上采样，并使用所述经上采样的有效性映射来对所述 增强层中的一者或多者进行解码。
38、 如权利要求27所述的计算机可读媒体，其中所述指令致使所述处理器重置 来自所述基础层的有效性映射，并将系数仅解码为所述增强层中的一者或多者内的零 系数或不具有细化系数的非零有效系数。
39、 如权利要求28所述的计算机可读媒体，其中所述指令致使所述处理器借助 所述增强层中的至少一者接收1位语法要素以发信号通知针对空间可缩放性使用FGS 编码。
40、 一种方法，其包含对精细粒度可縮放性(FGS)基础层进行解码，所述精细粒度可缩放性(FGS) 基础层包括定义处于第一空间分辨率的视频信息的基础层视频块；至少部分地对一个或多个FGS增强层进行解码，所述一个或多个FGS增强层包 括定义处于大于所述第一空间分辨率的第二空间分辨率的视频信息的增强层视频块； 及在不使用从与所述各个帧内编码视频块相同层内的相同帧所推导出的视频信息 的情况下预测帧内编码视频块。
41、 如权利要求40所述的计算机可读媒体，其进一步包含仅使用来自所述基础层的像素预测所述帧内编码视频块。
42、 如权利要求40所述的方法，其进一步包含使用特殊DC模式对所述FGS增 强层中的块进行解码，在所述特殊DC模式中从编码器及解码器两者均己知的默认值 中预测DC系数，且在没有从相邻块计算出的预测的情况下对AC系数进行解码。
43、 如权利要求40所述的方法，其进一步包含如果将增强层编码在双预测(B) 片段中，则仅将空间直接模式应用于所述增强层，而不使用来自参考帧的信息。
44、 如权利要求40所述的方法，其进一步包含对来自所述基础层的有效性映射 进行上采样，并使用所述经上采样的有效性映射来对所述增强层中的一者或多者进行 解码。
45、 如权利要求40所述的方法，其进一步包含重置来自所述基础层的有效性映 射，并将系数仅解码为所述增强层中的一者或多者内的零系数或不具有细化系数的非 零有效系数。
46、 一种装置，其包含解码器，所述解码器对包括定义处于第一空间分辨率的视 频信息的基础层视频块的精细粒度可縮放性(FGS)基础层进行解码，至少部分地对 包括定义处于大于所述第一空间分辨率的第二空间分辨率的视频信息的增强层视频块 的一个或多个FGS增强层进行解码，并在不使用从与所述各个帧内编码视频块相同层 内的相同帧所推导出的视频信息的情况下预测帧内编码视频块。
47、 如权利要求46所述的装置，其中所述解码器仅使用来自所述基础层的像素 预测所述帧内编码视频块。
48、 如权利要求46所述的装置，其中所述解码器使用特殊DC模式对所述FGS 增强层中的块进行解码，在所述特殊DC模式中从编码器及解码器两者均已知的默认 值中预测DC系数，且在没有从相邻块计算出的预测的情况下对AC系数进行解码。
49、 如权利要求46所述的装置，其中如果将增强层编码在双预测(B)片段中， 则所述解码器仅将空间直接模式应用于所述增强层，而不使用来自参考帧的信息。
50、 如权利要求46所述的装置，其中所述解码器对来自所述基础层的有效性映 射进行上采样，并使用所述经上采样的有效性映射来对所述增强层中的一者或多者进 行解码。
51、 如权利要求46所述的装置，其中所述解码器重置来自所述基础层的有效性 映射，并将系数仅解码为所述增强层中的一者或多者内的零系数或不具有细化系数的 非零有效系数。
52、 一种方法，其包含对精细粒度可縮放性(FGS)基础层进行解码，所述精细粒度可縮放性(FGS) 基础层包括定义处于第一空间分辨率的视频信息的基础层视频块；对一个或多个FGS增强层进行解码，所述一个或多个FGS增强层包括定义处于 大于所述第一空间分辨率的第二空间分辨率的视频信息的增强层视频块；及使用特殊DC模式对所述FGS增强层中的所述块中的每一者进行解码，在所述特 殊DC模式中从编码器及解码器两者均已知的默认值中预测DC系数，且在没有从相 邻块计算出的预测的情况下对AC系数进行解码。
53、 如权利要求52所述的方法，其中所述FGS基础层以第一质量等级定义所述 视频信息，且所述FGS增强层中的至少一者以大于所述第一质量等级的第二质量等级 定义所述视频信息。
54、 如权利要求52所述的方法，其进一步包含借助所述增强层中的至少一者接 收1位语法要素以发信号通知针对空间可縮放性使用FGS编码。
55、 一种装置，其包含解码器，所述解码器对包括定义处于第一空间分辨率的视 频信息的基础层视频块的精细粒度可縮放性(FGS)基础层进行解码，对包括定义处 于大于所述第一空间分辨率的第二空间分辨率的视频信息的增强层视频块的一个或多 个FGS增强层进行解码，并使用特殊DC模式对所述FGS增强层中的所述块中的每一 者进行解码，在所述特殊DC模式中从编码器及解码器两者均已知的默认值中预测DC 系数，且在没有从相邻块计算出的预测的情况下对AC系数进行解码。
56、 如权利要求55所述的装置，其中所述FGS基础层以第一质量等级定义所述 视频信息，且所述FGS增强层中的至少一者以大于所述第一质量等级的第二质量等级 定义所述视频信息。
57、 如权利要求55所述的装置，其进一步包含借助所述增强层中的至少一者接 收1位语法要素以发信号通知针对空间可縮放性使用FGS编码。
全文摘要
本发明针对使用通用精细粒度可缩放性(FGS)途径支持空间可缩放性的视频编码技术。通过以通用FGS格式发送空间可缩放增强层，可实现各种程度的空间可缩放性。可任意地截断空间可缩放性增强位流以符合网络条件、信道条件及/或解码器能力。可将用于空间可缩放性的编码系数及语法要素嵌入通用FGS格式中。对于良好网络或信道条件及/或增强的解码器能力来说，经由一个或多个增强层所接收的额外位允许以提高的空间分辨率及跨不同空间分辨率的连续改善的视频质量重构经编码视频。所述技术允许将空间可缩放性层编码为FGS层，而非离散层，从而允许任意可缩放性。所述技术可包括用以抑制原本由于部分解码可能会出现的误差传播的特征。
文档编号H04N7/68GK101366283SQ200780002001
公开日2009年2月11日 申请日期2007年1月11日 优先权日2006年1月11日
发明者琰 叶, 鲍易亮 申请人:高通股份有限公司