用于层间残余视频编码和解码的跳过模式的制作方法

专利名称：用于层间残余视频编码和解码的跳过模式的制作方法
用于层间残余视频编码和解码的跳过模式背景工程师使用压缩(也叫做“编码”)来降低数字视频的比特率。压缩通过将视频转 换为较低的比特率形式来降低存储和传输视频的成本。解压缩(也叫做“解码”)从压缩形 式重构原始视频的版本。“编解码器”是编码器/解码器系统。当视频编码器将视频转换为较低的比特率形式时，视频编码器会降低压缩视频的 质量以降低比特率。通过有选择地去除视频中的细节，编码器使视频更简单且更容易压缩， 但是经压缩的视频不太忠实于原始视频。除了此基本质量/比特率折衷以外，视频的比特 率还取决于视频的内容(例如，复杂性)和视频的格式。视频信息是根据不同设备和应用的不同格式来组织的。视频格式的属性可包括颜 色空间、色度采样速率、采样深度、空间分辨率和时间分辨率。通常，质量和比特率直接对于 空间分辨率(例如，图像中的细节)和时间分辨率(例如，每秒图像数)而变化，更高的分 辨率会导致更高的质量和更高的比特率。在视频编码和解码应用中，常见的颜色空间包括YUV和YCbCr。Y表示视频的亮度 (Iuma)通道，而U和V或Cb和Cr表示视频的颜色(色度)通道。除了 YUV和YCbCr以夕卜， 许多其他颜色空间将视频组织为一个亮度通道和多个色度通道。色度采样速率是指视频的 色度通道相对于亮度通道的采样速率。视频图像的每一个图像元素(“像素”)都包括一个或多个采样，而每一个采样用 一个或多个比特以数字方式表示。通过使用更高的采样深度，可以取得采样采样值的更大 的精确度，或可以捕捉更宽的色域。例如，12比特采样值比10比特采样值或8比特采样值 具有更多可能的值。作为此更高的质量的折衷，更高的采样深度趋向于增大编码和解码应 用的比特率。可缩放的视频编码和解码便于将视频传送到具有不同能力的设备。典型的可缩放 的视频编码器将视频拆分为一个基层和一个或多个增强层。基层单独提供用于以较低的分 辨率重构的视频的版本，可以添加增强层，以提供将提高视频质量的额外信息。某些可缩放 的编码器和解码器依赖于视频的时域可缩放性。其他常见的可缩放的编码/解码方案涉及 对于空间分辨率或者视频的整体编码质量的可缩放性。当已编码的视频的比特流缺乏某一宏块的数据时，许多现有的可缩放的视频编码 器和解码器对于该宏块使用跳过模式。宏块是图像中采样的一种布置，通常在不同的通道 中被组织为一组采样块。跳过的宏块的定义取决于编码器和解码器。一些可缩放的视频编 码器和解码器还允许整个图像在比特流中被跳过。尽管在许多情况下现有可缩放的视频编 码器和解码器中的跳过模式提供可接受的性能，但是，它们没有下面所描述的技术和工具 的好处和优点。概述概括地说，详细描述呈现了用于对层间残余视频进行编码和解码中的跳过模式的 技术和工具。在许多编码和解码情况中，使用跳过模式通过有效地表示层间残余视频中的 共同的值模式来帮助改善品质和/或缩小比特率。
根据此处所描述的技术和工具的第一方面，诸如编码器或解码器之类的工具处理 层间残余视频的当前图像的多个宏块。对于跳过的当前宏块，该工具从多种可用跳过模式 中选定一种跳过模式，并对当前宏块使用所选跳过模式。例如，在编码过程中，编码器对层间残余视频进行编码以产生增强层比特流的一 部分。对于跳过的当前宏块，编码器从多种可用跳过模式中选定一种跳过模式，并使用所选 跳过模式对当前宏块进行编码。编码器评估编码的结果并判断当前宏块是否应该被跳过。 在作出跳过/不跳过的判决之后，编码器在增强层比特流中用信号通知宏块跳过信息以表 明跳过/不跳过的判决。或者，在解码过程中，解码器接收增强层比特流的一部分，并解码 层间残余视频。解码器解析表明当前宏块是否要被跳过的宏块跳过信息。当要跳过当前宏 块时，解码器从多种可用跳过模式中选定一种跳过模式，并使用所选跳过模式来解码当前 宏块。该工具可以使用推导规则来为当前跳过的宏块选定一种跳过模式。例如，该工具 为图像中的一个或多个上下文宏块中的每一个确定上下文信息(诸如宏块类型)，然后基 于上下文信息为当前跳过的宏块确定跳过模式。或者，该工具根据上下文宏块是否使用运 动补偿来选定跳过模式。可另选地，该工具使用另一推导规则。多种可用跳过模式可包括帧内跳过模式(根据该模式，被跳过的宏块被赋予了定 义的帧内跳过值，并且不使用运动补偿)和预测运动跳过模式(根据该模式，被跳过的宏块 被赋予了来自带有预测运动的运动补偿的值)。可另选地，多种可用跳过模式包括用于跳过 的宏块的其他和/或额外的跳过模式。根据此处所描述的技术和工具的第二方面，诸如编码器或解码器之类的工具处理 层间残余视频的当前帧内编码图像的多个宏块。作为处理的一部分，工具为跳过的当前宏 块选定和使用帧内跳过模式，将定义的帧内跳过值赋给当前宏块。层间残余视频的已编码 数据的比特流包括表明当前帧内编码图像的哪些宏块被跳过的宏块跳过信息。根据此处所描述的技术和工具的第三方面，诸如编码器或解码器之类的工具处理 层间残余视频的多个通道。对于多个通道的每一个，工具判断是否跳过层间残余视频的通 道。如果是，则工具将该通道作为跳过的通道来处理。否则，工具将通道作为编码的通道来 处理。层间残余视频的已编码数据的比特流包括表明哪些通道被跳过的通道跳过信息。例如，编码器对层间残余视频进行编码以产生层间残余视频的已编码数据的比特 流的一部分。作为编码的一部分，编码器为层间残余视频的多个通道的每一个判断是否跳 过该通道。在比特流中，编码器用信号通知表明多个通道中的哪些通道被跳过的通道跳过 信息。或者，对应的解码器接收层间残余视频的已编码数据的比特流的一部分，并解码层间 残余视频。作为解码的一部分，解码器从比特流解析表明多个通道中哪些是跳过的通道跳 过信息，并逐通道地判断是否要跳过相应的通道。对于多个通道的每一个，通道跳过信息可包括表明是否要跳过通道的代码。或者， 通道跳过信息包括代码，该代码表明当前图像中的给定通道(a)使用零跳过值跳过，(b) 通过从参考图像复制对应的通道的值来跳过，或(c)不被跳过。或者，通道跳过信息包括表 明其他和/或更多的通道跳过选项的代码。通过下面的结合附图对本发明进行的详细描述，本发明的前述和其他目标、特点 和优点将变得更加显而易见。提供本概述是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征， 也不旨在用于限定所要求保护的主题的范围。附图简述

图1是其中可以实现所描述的若干技术和工具的合适的计算环境的框图。图2是其中可以实现所描述的若干技术的可缩放的视频编码工具的框图。图3是其中可以实现所描述的若干技术的可缩放的视频解码工具的框图。图4是用于在可缩放的视频编码或解码过程中选定层间残余视频的被跳过的宏 块的跳过模式的一般化技术的流程图。图5是示出用于推导层间残余视频中被跳过的宏块的跳过模式的示例规则的图
7J\ ο图6是示出用于层间残余视频的被跳过的宏块的示例跳过模式的导出的图示。图7是示出根据帧内跳过模式和预测运动跳过模式重构被跳过的宏块的图示。图8是用于用选定的用于被跳过的宏块的跳过模式编码层间残余视频的示例技 术的流程图。图9是用于用选定的用于被跳过的宏块的跳过模式解码层间残余视频的示例技 术的流程图。图10是用于判断层间残余视频的各个通道的跳过/非跳过状态的一般化技术的 流程图。图11是示出用于图像的通道的示例跳过模式的图示。图12是用于编码具有跳过的通道的层间残余视频的示例技术的流程图。图13是用于解码具有跳过的通道的层间残余视频的示例技术的流程图。详细描述本申请涉及用于对层间残余视频进行编码和解码中的跳过模式的技术和工具。具 体而言，跳过模式通过允许宏块跳过模式用于帧内编码的层间残余视频内容，通过在用于 层间残余视频内容的不同的宏块跳过模式之间切换，和/或通过使用用于层间残余视频内 容的通道跳过模式来帮助提高对层间残余视频进行编码的效率。例如，在一些可缩放的视频编码和解码情况下，基层编码器以比输入视频低的采 样深度和色度采样速率(例如，带有8比特采样的4:2:0视频)对基层视频进行编码。通 常，基层编码还产生失真。表示输入视频和基层视频的重构版本之间区别的层间残余视频 包括关于更高的采样深度、更高的色度采样速率和/或更高的编码质量(例如，带有10比 特采样的4:2:2视频)的细节。增强层编码器对层间残余视频进行编码。通过使用有效的 跳过模式以表示层间残余视频中的共同的值模式，增强层编码器提高了速率失真性能。增强层编码器可以使用宏块跳过模式。例如，虽然许多视频编码器对于帧间编码 的视频内容具有宏块跳过模式(根据这些模式，被跳过的宏块使用预测的运动)，但是，在 某些实施例中，增强层编码器对于帧内编码的层间残余视频内容使用跳过模式。帧内跳过 模式解释帧内编码的内容的共同的值模式(例如，具有全部零值的宏块)。作为另一个示 例，在某些实施例中，当对层间残余视频内容进行编码时增强层编码器在多种可用宏块跳 过模式之间进行选择。以此方式，编码器可以通过在跳过模式之间切换来适应视频内容中 的变化。当编码器和解码器在编码和解码过程中根据可用的上下文选定跳过模式时，与在比特流中用信号通知跳过模式相关联的比特率开销就能得到避免。增强层编码器也可以使用通道跳过模式。例如，在某些实施例中，增强层编码器为 层间残余视频内容的各个通道使用跳过模式。利用将被跳过的通道中的值替换为零值(或 将导致被跳过的通道的零值重构的值)的通道跳过模式，编码器可以有效地解决一个通道 (例如，当基层编码质量较高时的亮度通道)几乎没有或没有有意义的信息而一个或多个 其他通道(例如，色度通道)具有有效值的情况。利用对于被跳过的通道中的值重复来自 另一个图像的值的通道跳过模式，编码器可以有效地解决一个通道中的值不会在图像与图 像之间显著变化而另一个通道中的值却会显著变化的情况。通过对于各个通道用信号通知 通道跳过信息，编码器提高了速率失真性能。此处所描述的实现方式可能有各种不同的替代方案。通过改变流程图所示出的阶 段的顺序，通过拆分、重复或省略某些阶段等等，可以改变参考流程图所描述的某些技术。 跳过模式的不同方面可以组合或单独地使用。不同的实施例实现一个或多个所描述的跳过 模式。此处所描述的一些技术和工具解决背景中指出的一个或多个问题。通常，给定的 技术/工具不会解决所有这样的问题。相反地，鉴于编码时间、编码资源、解码时间、解码资 源、可用的比特率和/或质量中的约束和折衷，给定技术/工具会提高对于特定实现或情况 的性能。I.计算环境图1示出了其中可以实现所描述的若干技术和工具的合适的计算环境(100)的一 般化示例。操作环境(100)不旨在对使用范围或功能提出任何限制，因为技术和工具可以 在各种通用或专用计算环境中实现。参考图1，计算环境(100)包括至少一个处理单元(110)和存储器(120)。在图1 中，此最基本配置(130)包括在虚线内。处理单元(110)执行计算机可执行指令，并可以是 现实的或虚拟的处理器。在多处理系统中，多个处理单元执行计算机可执行指令以提高处 理能力。存储器(120)可以是易失性存储器(例如，寄存器、高速缓存、RAM)、非易失性存储 器(例如，R0M、EEPR0M、闪存等等)，或两者的某种组合。存储器(120)存储实现层间残余 视频编码和/或解码的所描述的跳过模式中的一个或多个的软件(180)。计算环境可以具有附加特征。例如，计算环境(100)包括存储器(140)、一个或多 个输入设备(150)、一个或多个输出设备(160)，以及一个或多个通信连接(170)。诸如总 线、控制器或网络之类的互连机制(未示出)将计算环境(100)的组件互连在一起。通常， 操作系统软件(未示出)为在计算环境(100)中执行的其他软件提供操作环境，并协调计 算环境(100)的各组件的活动。存储设备(140)可以是可移动或不可移动的，并包括磁盘、磁带或磁带盒、 CD-ROM、DVD，或能用于存储信息且可以在计算环境(100)内被访问的任何其他介质。存储 设备(140)存储用于实现层间残余视频编码和/或解码的跳过模式的软件(180)的指令。输入设备(150)可以是诸如键盘、鼠标、笔或轨迹球之类的触摸输入设备、语音输 入设备、扫描设备、或向计算环境(100)提供输入的另一设备。对于音频或视频编码，输入 设备(150)可以是声卡、视频卡、TV调谐器卡，或接受模拟或数字形式的音频或视频输入的 类似的设备，或将音频或视频采样读取到计算环境(100)中的CD-ROM或CD-RW。输出设备(160)可以是显示器、打印机、扬声器、CD-写入器，或从计算环境(100)提供输出的另一设备。通信连接(170)允许通过通信介质与另一个计算实体进行通信。通信介质在已调 数据信号中传送诸如计算机可执行指令、音频或视频输入或输出之类的信息或其他数据。 已调制数据信号是以在信号中编码信息的方式来设置或改变其一个或多个特征的信号。作 为示例而非限制，通信介质包括利用电气、光学、射频(RF)、红外线、声音或其他载体实现的 有线或无线技术。可以在计算机可读介质的一般上下文中来描述技术和工具。计算机可读介质是可 以在计算环境内被访问的任何可用介质。作为示例而非限制，对于计算环境(100)，计算机 可读介质包括存储器(120)、存储设备(140)、通信介质，以及上面各项中的任何项的组合。可以在诸如在目标实际或虚拟处理器上的计算环境中执行的诸如程序模块中所 包括的那些计算机可执行指令之类的计算机可执行指令的一般上下文中来描述技术和工 具。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对 象、类、组件、数据结构等等。程序模块的功能可以按需在各个实施例中进行组合或在程序 模块之间拆分。程序模块的计算机可执行指令可以在本地或分布式计算环境内执行。为了演示，详细描述使用诸如“选择”和“重构”之类的术语来描述计算环境中的 计算机操作。这些术语是对于由计算机执行的操作的高级抽象，不应该与人执行的动作相 混淆。与这些术语相对应的实际计算机操作随着实现不同而不同。II. 一般化编码工具图2是可以用来实现某些所描述的技术的一般化的可缩放的视频编码工具(200) 的框图。编码工具(200)接收包括输入图像O02)的视频图像序列，并产生基层比特流 (248)和一个或多个增强层比特流098)。对于基层，输出比特流的格式可以是Windows Media Video 格式、SMPTE 421-M 格式、MPEG-x 格式(例如，MPEG-U MPEG-2 或 MPEG-4)、 H. 26x格式(例如，H. ^1、H. ^2、H. 263或H.洸4)，或其他格式。对于增强层，输出比特流 的格式可以与基层比特流相同，或者是另一种格式。工具(200)处理视频图像。术语“图像”一般是指源、编码的或重构的图像数据。 对于逐行扫描视频，图像是逐行扫描视频帧。对于隔行扫描视频，取决于上下文，图像可以 是指隔行扫描视频帧，上半帧，或下半帧。输入图像(20 具有采样深度、色度采样速率和/或比基层编码器(220)接受的 分辨率更高的分辨率的空间分辨率。例如，基层编码器(220)被配置成利用8比特采样和 4:2:0色度采样速率来编码视频图像，而输入图像(20 具有10比特采样和4:2:2色度采 样速率，或具有比8比特4:2:0更高的分辨率的另一种格式。可另选地，基层编码器(220) 接受10比特采样、12比特采样或带有某种其他采样深度的采样，或者基层编码器(220)接 受4 2 2视频、4 4 4视频或具有某种其他色度采样速率的视频。编码工具(200)包括接受输入视频图像(20 并向基层编码器(220)输出基层 视频的第一缩放器004)。第一缩放器(204)可以降采样或以其他方式缩放输入视频图像 (202)，以例如降低采样深度、空间分辨率和/或色度采样分辨率。或者，对于输入视频图像 (202)的这些属性中的一个或多个，第一缩放器(204)根本不改变输入视频图像002)。基层编码器(220)对基层视频进行编码，并输出基层比特流(248)。另外，基层编码器(220)使输入到逆缩放器052)的重构的基层视频可用。作为编码的一部分，基层编 码器(220)通常产生输入图像O02)的重构的版本。例如，基层编码器(220)解码并缓冲 重构的基层图像，用于以后的运动补偿。如此，可以从基层编码器O20)中获得重构的版 本，供在可缩放的编码中进行进一步的处理。(可另选地，编码工具O00)中的基层解码器 (未示出)对基层比特流048)进行解码，以产生重构的基层视频。)如果由于缩放而导致重构的基层视频具有与输入视频图像(202)不同的采样深 度、空间分辨率、色度采样速率等等，那么，逆缩放器(25 可以上采样或以其他方式逆缩 放重构的基层视频，以便它具有更高的采样深度、空间分辨率、色度采样速率等等(例如， 与输入视频图像(20 相同的采样深度、空间分辨率、色度采样速率等等)。逆缩放器(252) 还可以自适应地过滤重构的基层视频，以去除某些类型的伪像。另外，为在缩放过程中补偿 色调映射，逆缩放器(25 可以以相同采样深度或更高的采样深度执行逆色调映射(例如， 从一个色域到另一色域)。缩放和编码输入视频的步骤通常会在输入视频和重构的基层视频之间造成某些 数据损失。一般而言，层间残余视频表示重构的基层视频和输入视频之间的差异(但不一 定是所有差异)。在图2的工具(200)中，微分器从输入视频的对应的采样减去重构的基层 视频的采样，以产生此层间残余视频。在微分器之前，可以另外过滤输入视频。第二缩放器 (254)缩放层间残余视频，以便输入到增强层视频编码器040)。例如，第二缩放器(254) 重新映射层间残余视频的采样值，以便采样值具有便于利用增强层视频编码器(MO)进行 有效压缩的分布。增强层编码器(MO)压缩层间残余视频，并产生增强层比特流(四8)。层间残余 视频中的在一给定时间的“图像”表示输入视频图像和重构的基层视频图像之间的差异，但 是，仍通过示例增强层视频编码器(MO)来编码为图像。编码器(MO)压缩层间残余视频 的帧间编码的、预测的图像和层间残余视频的帧内编码的图像。为了演示，图2示出了用于 通过编码器(MO)的帧内编码的内容的路径和用于帧间编码的预测的内容的路径。许多增 强层编码器(MO)的组件被用于压缩帧内编码的内容和帧间编码的预测的内容。通过那些 组件执行的确切操作可以依据正在被压缩的信息的类型而变化。一般而言，在增强层编码器Q40)内，帧间编码的预测的内容(作为图像)根据先 前重构的内容的预测(作为一个或多个其他图像，这些图像通常被称为参考图像或锚)来 表示。例如，在某一给定时间的内容被作为逐行扫描的P帧或B帧，隔行扫描P半帧或B半 帧，或隔行扫描的P帧或B帧编码。在编码器O40)内，预测残余是预测的信息和对应的原 始增强层视频之间的差异。如果层间残余视频056)内容被是作为预测的图像编码的，运动估计器(258)估 计宏块或层间残余视频图像的其他采样集相对于一个或多个参考图像的运动，参考图像表 示先前重构的层间残余视频内容。图像存储(264)缓存重构的层间残余视频066)作为一 个或多个参考图像。当使用多个参考图像时，这多个参考图像可以来自于不同的时间方向 或相同的时间方向。运动估计器(258)输出诸如运动矢量信息之类的运动信息060)。当形成经运动补偿的当前图像068)时，运动补偿器( 将运动矢量应用到重 构的层间残余视频内容066)(存为参考图像)。在经运动补偿的层间残余视频068)的 块和原始层间残余视频056)的对应的块之间的差异(如果有的话)是该块的预测残余(270)。在稍后对层间残余视频的重构过程中，重构的预测残余被添加到经运动补偿的层间 残余视频068)，以获得更接近于原始层间残余视频056)的重构的内容。然而，在有损压 缩中，一些信息仍会从原始层间残余视频056)中丢失。可另选地，运动估计器和运动补偿 器应用另一种类型的运动估计/补偿。频率变换器(观0)将空间域视频信息转换为频率域(即频谱变换)数据。对于基 于块的视频内容，频率变换器(观0)对采样块或预测残余数据应用DCT、DCT的变体、或其他 前向块变换，产生频率变换系数块。频率变换器(观0)可以应用8X8，8X4，4X8，4X4或 其他大小的频率变换。然后，量化器( 接着量化变换系数块。量化器082)以逐图像地、逐宏块地或 其他方式空间变化的步长对频谱数据应用非均勻的标量量化。另外，在某些情况下，量化器 在层间残余视频图像的多个颜色通道之间改变量化。量化器( 还可以应用另一种类型 的量化，例如，对于至少某些频谱数据系数应用均勻或自适应量化，或在不使用频率变换的 编码器系统中直接量化空间域数据。当重构的层间残余视频图像被随后的运动估计/补偿所需要时，逆量化器(四0) 对已量化的频谱数据系数执行逆量化。逆频率变换器( 执行逆频率转换，产生重构的 预测残余的块(对于预测的层间残余视频内容)或采样(对于帧内编码层间残余视频内 容)。如果层间残余视频(256)是经运动补偿预测的，则将重构的预测残余添加到运动补偿 的预测器068)，以形成重构的层间残余视频。图像存储(沈4)缓存重构的层间残余视频， 用于随后的运动补偿的预测。熵编码器(观4)压缩量化器082)的输出以及某些辅助信息(例如，量化参数 值)。典型的熵编码技术包括算术编码、差分编码、霍夫曼编码、游程长度编码、LZ编码、词 典编码，和以上的组合。熵编码器(观4)通常针对不同种类的信息使用不同的编码技术，并 可以从某一编码技术内的多个代码表中选择。当增强层编码器(MO)对层间残余视频执行帧内压缩时，编码器把它帧内压缩为 帧内编码的图像，没有运动补偿。层间残余视频(256)被直接提供到频率变换器080)、量 化器082)以及熵编码器084)，并作为编码视频输出。帧内编码的层间残余视频的重构版 本可以被缓存，以用于随后的对其他层间残余视频的运动补偿。在某些实施例中，增强层编码器(MO)对于层间残余视频056)的图像中的被跳 过的宏块使用跳过模式。例如，对于层间残余视频056)中的帧间编码的图像中的被跳过 的宏块，编码器(MO)在使用帧内跳过模式和使用预测运动跳过模式之间切换。对于帧内 跳过模式，编码器(MO)对于被跳过的宏块使用定义的帧内跳过值。定义的帧内跳过值可 以简单地是零。或者，如果在编码之前重新映射层间残余视频的值(以及在解码之后逆向 重新映射)，可以如此选择定义的帧内跳过值使得帧内跳过的宏块将在值的逆向重新映射 之后具有零值。对于预测运动跳过模式，编码器(MO)预测被跳过的宏块的运动，并利用运 动补偿器(26 确定用于被跳过的宏块的运动补偿的预测。对于层间残余视频056)的帧 内编码的图像中的被跳过的宏块，编码器O40)可以使用帧内跳过模式。在增强层比特流 (298)中，编码器(MO)用信号通知宏块的跳过/非跳过状态。编码器(MO)可用信号通知 被跳过的宏块的所选跳过模式，或编码器(MO)和对应的解码器可以导出所选跳过模式而 无需显式地用信号通知。示例宏块跳过模式和推导规则的细节在下面给出。或者，编码器(240)对于被跳过的宏块使用其他和/或额外的跳过模式。在某些实施例中，增强层编码器(MO)对于层间残余视频056)的图像中的被跳 过的通道使用跳过模式。例如，对于层间残余视频056)的图像中的被跳过的通道，编码器 (240)在使用零跳过模式和复制跳过模式之间切换。对于零跳过模式，编码器(MO)对于被 跳过的通道使用定义的零跳过值。定义的零跳过值可以简单地是零。或者，如果在编码之 前重新映射层间残余视频的值(以及在解码之后逆向重新映射)，可以如此选择定义的零 跳过值，以便零跳过的通道将在值的逆向重新映射之后具有零值。对于复制跳过模式，编码 器(MO)使用图像存储(264)中的参考图像的对应的通道的值。编码器(MO)在增强层比 特流098)中用信号通知通道的跳过模式。示例通道跳过模式的细节在下面给出。或者， 编码器(MO)对于被跳过的通道使用其他和/或额外的跳过模式。控制器(四4)接收来自诸如运动估计器(258)、频率变换器(观0)、量化器(观2)、 逆量化器(四0)和熵编码器(观4)之类的各种模块的输入。控制器(四4)评估编码过程中 的中间结果，例如，设置量化步长和执行速率失真性能分析，并对宏块和/或通道作出跳过 模式判决。控制器(四4)与其他模块一起协作，以设置和改变编码过程中的编码参数。当 控制器(四4)评估不同的编码参数选择时，控制器(四4)可以反复执行某些阶段以评估不 同的参数设置，或者控制器(四4)可以联合地评估不同的编码参数。要评估的编码参数决 策的树，以及对应的编码的定时，随着实现不同而不同。在某些实施例中，控制器(四4)还 从编码会话向导界面、从另一编码器应用接口，或其他源接收输入，以使用特定规则指定要 编码的视频。虽然图2示出了单一增强层编码器040)，但是，层间残余视频本身可以被分离成 多层残余视频，用于用单独的残余编码器来进行编码。例如，分解器使用小波分解或另一种 合适的分解机制来将层间残余视频拆分为色度高通残余层和采样深度残余层，然后，由色 度高通编码器和采样深度残余编码器分别对它们进行编码，以产生两个单独的增强层比特 流。编码工具O00)的第二控制器(未示出)从工具O00)的各种模块接收输入，并 评估编码过程中的中间结果。控制器与各模块一起协作，以设置和改变编码过程中的编码 参数。所示出的工具O00)内的各模块之间的关系表示一般的信息流；为简单起见，未 示出其他关系。具体而言，图2 —般未示出辅助信息。这样的辅助信息，一旦被最终形成， 就在输出比特流或辅助通道中发送。可缩放的视频编码工具的具体实施例通常使用工具 (200)的变体或补充版本。取决于实现和所希望的压缩类型，可以添加、省略模块，拆分成多 个模块，与其他模块相结合，和/或替换为类似的模块。在替换实施例中，带有不同的模块 和/或模块的其他配置的可缩放的视频编码工具执行所描述的用于利用跳过模式编码层 间残余视频的技术中的一个或多个。III. 一般化解码工具图3是可以用来实现某些所描述的技术的一般化的可缩放的视频解码工具(300) 的框图。解码工具(300)接收压缩视频信息的一个或多个比特流(包括不同的层的比特 流)，并产生重构的视频(398)。对于基层视频，基层比特流(302)的格式可以是Windows Media Video 格式、SMPTE 421-M 格式、MPEG—x 格式(例如，MPEG-U MPEG—2 或 MPEG-4)、H. 26x格式(例如，H. 261、H. 262、H. 263或H. 264)，或其他格式。对于层间残余视频，增强 层比特流(304)的格式可以与基层比特流(30 相同，或者它可以是另一种格式。解码工具(300)包括接收基层比特流(30 并将重构的基层视频输出到第一逆缩 放器(35 的基层解码器(320)。如果重构的基层视频具有与输出视频不同的采样深度、空 间分辨率、色度采样速率等等(由于编码过程中的缩放引起)，那么第一逆缩放器(352)上 采样或以其他方式逆向缩放重构的基层视频，以便它具有更高的采样深度、空间分辨率、色 度采样速率等等(例如，与输出视频(398)相同的采样深度、空间分辨率、色度采样速率等 等)。第一逆缩放器(35 还可以自适应地过滤重构的基层视频，以去除某些类型的伪像， 并且它可以以相同采样深度或更高的采样深度执行逆色调映射。解码工具(300)还包括用于接收增强层比特流(304)并将经过解码的层间残余视 频输出到第二逆缩放器(354)的增强层解码器(340)。在增强层解码器(340)中，熵解码器 (384)用于解码通过熵编码而被编码的比特流的元素。逆量化器(390)对熵解码器(384) 的一些输出应用逆量化。一般而言，逆量化器(390)用于反转在编码过程中应用的量化。逆频率变换器(392)接受逆量化器(390)的输出。逆频率变换器(392)用于通过 对逆量化器(390)的输出应用逆DCT，逆DCT的变体或其他逆块变换，来产生空间域值的块。 逆频率变换器(39 对于预测残余输出重构的值(370)(在帧间编码的层间残余视频内容 的情况下)或采样(在帧内编码的层间残余视频内容的情况下)。运动补偿器(36 对图像存储(364)中缓冲的先前重构的层间残余视频应用基于 运动矢量信息(360)的运动，并输出经运动补偿预测的层间残余视频(368)。在对帧间编码 的层间残余视频的解码中，经运动补偿预测的层间残余视频(368)与预测残余(370)组合， 以形成重构的层间残余视频(366)。通过图像存储(364)缓存重构的层间残余视频(用于 随后的运动补偿)，并将其从增强层解码器(340)输出到第二逆缩放器(3M)。通过使用帧内解码，解码器(340)还对帧内编码的层间残余视频进行解码。在该 情况下，熵解码器(384)、逆量化器(390)、以及逆频率变换器(39 如前所述地那样操作， 产生层间残余视频的采样，绕过了运动补偿。重构的层间残余视频(366)缓存在图像存储 (364)中，用于未来的运动补偿。在某些实施例中，增强层解码器(340)对于层间残余视频的图像中的被跳过的宏 块使用跳过模式。例如，解码器(340)解析来自增强层比特流(304)的宏块的跳过/非跳 过状态信息。对于层间残余视频中的帧间编码的图像中的被跳过的宏块，解码器(340)在 使用帧内跳过模式和使用预测运动跳过模式之间切换。对于帧内跳过模式，解码器(340) 对于被跳过的宏块使用定义的帧内跳过值(例如，零或在逆重新映射之后导致零值的另一 个选定的值)。对于预测运动跳过模式，解码器(340)预测被跳过的宏块的运动，用运动补 偿器(36 确定用于被跳过的宏块的运动补偿预测。对于层间残余视频的帧内编码图像中 的被跳过的宏块，解码器(340)可以使用帧内跳过模式。解码器(340)可以解析来自比特 流(304)的指出对于被跳过的宏块的跳过模式的信息，或者解码器(340)可以导出跳过模 式而无需显式地用信号通知。示例宏块跳过模式和推导规则的细节在下文给出。或者，解 码器(340)对于被跳过的宏块使用其他和/或额外的跳过模式。在某些实施例中，增强层解码器(340)对于层间残余视频的图像中的被跳过的通 道使用跳过模式。例如，解码器(340)解析来自增强层比特流(304)的指出通道的跳过模式的信息。例如，对于层间残余视频的图像中的被跳过的通道，解码器(340)在使用零跳过 模式和复制跳过模式之间切换。对于零跳过模式，解码器(340)对于被跳过的通道使用定 义的零跳过值(例如，零或在逆向重新映射之后导致零值的另一个选定的值)。对于复制跳 过模式，解码器(340)使用图像存储(364)中的参考图像的对应的通道的值。示例通道跳 过模式的细节在下文给出。或者，解码器(340)对于被跳过的通道使用其他和/或额外的 跳过模式。虽然图3示出了单一增强层解码器(340)，但是，层间残余视频本身可以被分离成 多层(表示为多个增强层比特流)，用于利用单独的增强层解码器进行解码。给定的解码 系统包括一个或多个单独的残余解码器，用于对多个增强层比特流中的一个或多个进行解码。在某些情况下，增强层比特流中的一个或多个不存在。例如，如果比特流在传输过 程中或在存储介质上损坏，可能会发生这种情况。或者，对于某些类型的播放设备或某些解 码情况，由发射器或由解码工具(300)有选择地丢弃增强层比特流，以便降低比特率或降 低解码复杂性。第二逆缩放器(354)逆缩放层间残余视频。例如，第二逆缩放器(354)重新映射层 间残余视频的采样值，以反转在编码过程中执行的映射。解码工具(300)将由第一逆缩放 器(352)输出的重构的基层视频与从第二逆缩放器(354)输出的重构的层间残余视频(如 果存在的话)组合起来，以产生重构的视频(398)供输出。如果在编码过程中通过小波分解 或另一种机制分离层间残余视频的各层，则解码工具(300)可以在将所产生的层间残余视 频与重构的基层视频组合之前通过使用小波合成或另一种机制将重构的残余层组合起来。所示出的解码工具(300)内的各模块之间的关系表示解码工具(300)中的一般的 信息流；为简单起见，未示出其他关系。视频解码工具的具体实施例通常使用一般化的解码 工具的变体或补充版本。取决于实现和所希望的解压缩的类型，可以添加、省略解码工具的 模块，拆分成多个模块，与其他模块相结合，和/或替换为类似的模块。在替换实施例中，带 有不同的模块和/或模块的其他配置的解码工具执行所描述的用于利用跳过模式解码层 间残余视频的技术中的一个或多个。IV. m^mU^mMmmmmi的宏^跳过樽式在某些实施例中，编码器和解码器使用宏块跳过模式，这些模式有效地表示在某 些类型的层间残余视频内容中共同的值模式。具体而言，示例宏块跳过模式解释帧内编码 的层间残余视频中的共同的模式，并为不同的跳过模式提供不同的运动补偿预测选项。A.用于诜择宏块跳过樽式的一般化技术图4示出了用于在编码或解码过程中选择宏块跳过模式的一般化技术(400)。诸 如图2的可缩放的视频编码工具(200)中的增强层编码器O40)、图3的可缩放的视频解码 工具(300)中的增强层解码器(340)之类的工具，或其他工具执行技术000)。开始时，工具选择010)当前被跳过的宏块的跳过模式。示例选择规则和跳过模 式在下文给出。或者，工具对于层间残余视频使用其他和/或额外的跳过模式或使用另一 种跳过模式选择规则。然后，工具对于当前被跳过的宏块使用(420)所选跳过模式。图4示出了对于单个被跳过的宏块进行的跳过模式选择过程。工具对于诸如层间 残余视频的帧间编码的图像之类的图像中的每一个被跳过的宏块重复技术G00)。图8示出了一个示例编码技术(800)，该技术将图4的选择技术(400)包括在更大的编码过程中， 该过程包括为图像中的宏块确定跳过/非跳过状态。图9示出了包括图4的选择技术(400) 的示例解码技术(900)。或者，工具使用选择技术(400)作为另一个过程的一部分。B.示例宏块跳过樽式和推导规则在许多编码和解码情况中，层间残余视频的大量的宏块是帧内编码的。除了帧内 编码的图像(其只包括帧内编码的内容)以外，帧间编码的图像可包括帧内编码的区域。那 些使用预测的运动的被跳过的宏块的常规定义对于帧内编码的内容不是特别有用的。此处 所描述的宏块跳过模式的示例实现包括帧内跳过模式，该模式用于层间残余视频的帧内编 码的图像或帧间编码的图像中的帧内编码的宏块。帧内跳过模式提供对帧内编码的图像或 区域的全部零宏块进行编码的有效的方式。示例实现还包括预测运动跳过模式，该模式用于层间残余视频的帧间编码的图像 中的帧间编码的宏块。预测运动跳过模式提供对在均勻或几乎均勻运动的区域中的被跳过 的宏块进行编码的有效方式。通过在帧内跳过模式和预测运动跳过模式之间进行切换，可 以有效地处理具有帧内编码的区域和运动预测的区域的混合的图像。图5示出了示例跳过模式推导规则(500)，而图6示出了将规则(500)应用于层间 残余视频的当前图像中的一组宏块的示例应用(600)。根据规则(500)，编码器或解码器依 据两个上下文宏块(当前被跳过的宏块上面的宏块MBt。p和当前被跳过的宏块左边的宏块 MBleft)的上下文信息，为当前被跳过的宏块MBeiment选择跳过模式。如果上部邻居MBt。p和 左侧邻居MBlrft两者都是经运动补偿的(两者都有宏块类型P)，MB。umnt的跳过模式使用运 动补偿(它对于被跳过的宏块具有类型P)。否则，MBcmrent的跳过模式不使用运动补偿(它 对于被跳过的宏块具有类型I)。不管怎样，当前被跳过的宏块MBeurrait在比特流中缺乏残 余数据。根据推导规则(500)的简单的“和/或”变化，如果MBtt51^MBleft 二者之一是经运动 补偿的(类型P)，或者如果两者都是经运动补偿的(类型P)，则当前被跳过的宏块MBcmrait 的跳过模式使用运动补偿(它对于被跳过的宏块具有类型P)。否则，MB。umnt的跳过模式不 使用运动补偿(它对于被跳过的宏块具有类型I)。这个“和/或”变化导致更多使用预测 运动跳过模式的被跳过的宏块。图6部分地示出了层间残余视频的当前图像的宏块。跳过的(S)宏块散落在I宏 块和P宏块之中。编码器或解码器遵循光栅扫描模式，以为被跳过的宏块选择跳过模式，沿 着一行宏块从左到右进行，从图像的顶行到底行。应用如图5所示的推导规则(500)，第二 行中间的被跳过的宏块使用预测运动跳过模式(示为$)，而在第二行结尾处的被跳过的宏 块使用帧内跳过模式(示为S1)。(应用“和/或”变化，第二行结尾处的被跳过的宏块将使 用预测运动跳过模式。)在第三行，两个被跳过的宏块都使用预测运动跳过模式，该模式示 出了将跳过模式指定到被跳过的宏块的级联效应。如果没有上下文宏块可用(例如，因为 当前被跳过的宏块位于顶行或左列)，取决于实现方式，对于推导规则(500)，不可用的上 下文宏块可以被设置为I，或者，编码器和解码器可以使用忽略不可用的上下文宏块的一不 同的推导规则。可另选地，编码器和解码器使用另一推导规则。例如，编码器和解码器使用考虑图 像中的更多或更少的上下文宏块，或考虑关于图像中的块或其他区域的上下文信息的推导规则。或者，编码器和解码器考虑除宏块类型以外的上下文信息或者上下文宏块是否使用 运动补偿。或者，编码器和解码器根本不使用推导规则一编码器评估不同的可能的跳过模 式，并在比特流中用信号通知对于给定宏块要使用哪一种跳过模式。如果当前被跳过的宏块MBeunent使用运动补偿，编码器和解码器可以通过计算由 诸如上部邻居MBt。p和左侧的邻居MBleft之类的邻居使用的运动矢量的分量方式的中值来预 测其运动。其运动矢量被考虑的邻居可以与在跳过模式选择中所考虑的邻居相同，或它们 可以是不同的邻居组。运动预测对于当前被跳过的宏块MBcmrent产生运动矢量，该运动矢量 又可以在确定图像中的稍后的被跳过的宏块的运动矢量时使用。或者，编码器和解码器基 于对编码器和解码器可用的运动信息，以某种其他方法为当前被跳过的宏块确定运动。图7示出了根据帧内跳过模式和预测运动跳过模式对被跳过的宏块重构。解码器 使用重构的基层视频的当前图像(750)，层间残余视频的当前图像(710)和层间残余视频 的参考图像(730)，来重构重构的图像的宏块。在重构的图像(770)中，为在层间残余视频的当前图像(710)中利用帧内跳过模 式(示为类型S1)重构与被跳过的宏块相对应的宏块，解码器使用了重构的基层视频的当 前图像(750)的对应的宏块。在层间残余视频的当前图像(710)中，在重构之后帧内跳过的 宏块具有零值一它没有运动补偿预测和残余值。在一些实现中，增强层解码器将层间残余 视频的当前图像(710)中的帧内跳过的宏块的值设置为已定义的零值。在其他实现中，增 强层解码器将当前图像(710)中的帧内跳过的宏块的值设置为另一个定义值，以便当前图 像(710)中的帧内跳过的宏块将在逆向重新映射之后具有零值。(假设在重构之后层间残 余视频中的帧内跳过的宏块的采样值为零。如果增强层解码器简单地将采样值设置为零， 则逆向重新映射可能改变采样值以具有非零的值。因此，基于重新映射和逆向重新映射中 所使用的参数，增强层解码器将帧内跳过的宏块的值设置为一个在逆向重新映射之后将是 零的值。)为在层间残余视频的当前图像(710)中利用预测运动跳过模式(示为类型。重 构与被跳过的宏块相对应的宏块，解码器按照三个相邻宏块的运动矢量的中值来预测被跳 过的宏块的运动矢量，然后，使用该运动矢量来从层间残余视频的参考图像(730)确定运 动补偿预测。被跳过的宏块没有残余值，但是解码器将来自参考图像(730)的运动补偿预 测与重构的基层视频的当前图像(750)的对应的宏块组合起来。C.用于在编码过程中选择宏块跳过模式的示例技术图8示出了用于在编码过程中选择宏块跳过模式的技术(800)。诸如图2的可缩 放的视频编码工具O00)中的增强层编码器(MO)之类的编码器或其他编码器执行技术 (800)。编码器设置(810)当前宏块的跳过/非跳过状态，并评估是否使用该状态。编码 器检查(820)当前宏块是否要被跳过，如果不，将当前宏块编码(830)为非跳过。如果要跳 过当前宏块，则编码器为当前宏块选择(840)跳过模式，并使用所选跳过模式对当前宏块 进行编码(850)。例如，编码器使用被跳过的宏块预测运动来计算用于当前宏块的运动补偿 预测(对于预测运动跳过模式)，或使用被跳过的宏块的定义的帧内跳过值(对于帧内跳过 模式)。然后，编码器检查(870)当前宏块编码是否完成。对于给定的宏块，编码器可以通过以不同的方式实际对宏块进行编码并评估结果，或者通过估计以不同的方式对宏块进行 编码的效率，来检查编码宏块的一种或多种方式。一般而言，如果宏块是利用所选模式跳过 的，编码器可以考虑对质量(例如，就失真而言)和/或比特率(例如，就对于用信号通知跳 过信息的成本而言)的影响，如果宏块是以不同的质量级别编码的，它可以考虑对质量(例 如，就失真而言)和/或比特率(例如，就用信号通知运动矢量信息、残余信息等等的成本 而言)的影响。当编码器处理完当前宏块时，编码器在比特流中用信号通知(880)当前宏块的跳 过/非跳过状态。例如，编码器在比特流中在宏块级用信号通知当前宏块的跳过比特。对 于非跳过宏块，编码器用信号通知跳过比特和宏块类型以及用于宏块的编码数据。或者，编 码器使用另一个机制来用信号通知跳过/非跳过状态信息。例如，在找到非跳过宏块之后， 编码器用信号通知一个skip_rUn代码来表明非跳过宏块之前的一个或多个被跳过的宏块 的串。编码器继续(890)利用图像中的下一宏块作为当前宏块，直到图像的宏块都已经 被编码。编码器可以逐图像地或按照某种其他方式(例如，逐片地)重复技术(800)。P. ffl輔麵·禾白憾献图9示出了用于在解码过程中选择宏块跳过模式的技术(900)。诸如图3的可缩 放的视频解码工具(300)中的增强层解码器(340)之类的解码器或其他解码器执行技术 (900)。开始时，解码器获取(910)当前宏块的跳过/非跳过状态。例如，解码器解析来自 比特流的对图像的一个或多个宏块的跳过/非跳过状态信息。解码器检查(920)当前宏 块是否是跳过的，如果不，则将当前宏块解码(930)为非跳过的。例如，解码器使用运动补 偿、残余值的重构等等，来重构当前宏块。如果当前宏块是跳过的，则解码器为当前宏块选 择(940)跳过模式，并使用所选跳过模式对当前宏块进行解码(950)。例如，解码器使用被 跳过的宏块的预测运动来计算用于当前宏块的运动补偿预测(对于预测运动跳过模式)， 或使用被跳过的宏块的定义的帧内跳过值(对于帧内跳过模式)。解码器继续(990)利用图像中的下一宏块作为当前宏块，直到图像的宏块都已经 被解码。解码器可以逐图像地或按照某种其他方式(例如，逐片地地)重复技术(900)。V.用于层间残余视频编码和解码的通道跳过模式在某些实施例中，编码器和解码器使用通道跳过模式，这些模式有效地表示在某 些类型的层间残余视频内容中共同的值模式。具体而言，示例通道跳过模式解决了其中在 图像的一个或两个通道中图像的有效值是隔离的并且剩余通道缺乏有意义的信息的情况。 示例通道跳过模式还解决其中给定通道的值在图像与图像之间没有很大变化的情况。A.用于确定跳过/非跳过通道的一般化技术图10示出了用于确定层间残余视频的各个通道的跳过/非跳过状态的一般化技 术(1000)。诸如图2的可缩放的视频编码工具O00)中的增强层编码器O40)、图3的可 缩放的视频解码工具(300)中的增强层解码器(340)之类的工具，或其他工具执行技术 (1000)。工具判断(1020)是否要跳过当前通道。如果是，则工具将通道作为跳过的通道来 处理(1050)。例如，工具从多种可用通道跳过模式中选择一个通道跳过模式，并且在通道的编码或重构中使用所选通道跳过模式。示例通道跳过模式的细节在下文给出。或者，工具 使用其他和/或更多的通道跳过模式。如果不跳过通道，则工具将通道作为编码的通道来 处理(1030)。例如，在编码或解码过程中，工具将层间残余视频的通道中的采样值的块作为 普通的块来处理。图10示出了对于单个通道的通道跳过判断过程。工具对于层间残余视频的图 像以逐通道的方式重复技术(1000)。图12示出了包括一般化技术(1000)的示例编码技 术(1200)，而图13示出了包括技术(1000)的示例解码技术(1300)。或者，工具使用技术 (1000)作为另一个过程的一部分。B.示例通道跳过樽式在许多编码和解码情况下，层间残余视频的图像中的有效值被集中在一个或两个 通道，而其他通道主要包括零值。例如，当基层视频被以高质量编码时，图像的亮度通道可 以主要拥有零值，而色度通道包括色度采样速率残余信息的有效值。示例实现对于通道包 括零跳过模式。根据零跳过模式，单个被跳过的通道的采样值被编码并重构为定义的零跳 过值。在层间残余视频中的的另一个共同的模式中，一个通道的值在图像到图像之间是 相对一致的。例如，当基层视频被以低质量编码时，在低运动场景中，给定通道的值在从图 像倒图像之间可以是一致的。示例实现对于通道包括复制跳过模式。根据复制跳过模式， 当前图像中的单个被跳过的通道的采样值是从层间残余视频的参考图像中的对应的通道 复制的。图11示出了层间残余视频的当前图像的当前通道(1110)的示例跳过模式。当 前通道(1110)是U通道，但是，也可以是亮度通道或其他色度通道。如果不跳过当前通道 (1110)，则对于编码和解码，通道(1110)被拆分成块。如果在零跳过模式下跳过当前通道 (1110)，则利用定义的零跳过值的采样编码和重构通道(1110)。在一些实现中，增强层解码 器将层间残余视频的零跳过通道的值设置为定义的零值。在其他实现中，增强层解码器将 零跳过通道的值设置为另一个定义值，以便零跳过通道在逆向重新映射之后具有零值。(假 设层间残余视频中的零跳过通道的采样值在重构之后为零。如果增强层解码器简单地将采 样值设置为零，则逆向重新映射可能改变采样值以具有非零的值。因此，基于重新映射和逆 向重新映射中所使用的参数，增强层解码器将零跳过通道的值设置为在逆向重新映射之后 将是零的值。)如果在复制跳过模式下跳过当前通道(1110)，则将来自参考图像(1130)的对应 的通道的采样值复制到当前通道。编码器在比特流中用信号通知通道的跳过/非跳过状态，而解码器解析来自比特 流的该信息。例如，在图像头部中，编码器在比特流中用信号通知三个比特，表明三个通道 Y、U和V中的哪些是跳过的。
权利要求
1.一种处理层间残余视频的方法，所述方法包括 处理所述层间残余视频的当前图像的多个宏块； 输出所述处理的结果；其特征在于，对于所述多个宏块中被跳过的当前宏块，所述处理包括 为被跳过的当前宏块选择(410)跳过模式，其中所述跳过模式是从多个可用跳过模式 中选出的；以及对所述被跳过的当前宏块，使用(420)所选的跳过模式；以及 其中，层间残余视频的已编码数据的比特流包括宏块跳过信息，表明所述多个宏块中 哪些宏块被跳过。
2.如权利要求1所述的方法，其特征在于，所述多个可用跳过模式包括帧内跳过模式 和预测运动跳过模式。
3.如权利要求2所述的方法，其特征在于，用于所述当前宏块的所选跳过模式是帧内 跳过模式，并且其中，对所述当前宏块使用所述帧内跳过模式包括将定义的帧内跳过值赋 予所述当前宏块。
4.如权利要求2所述的方法，其特征在于，用于所述当前宏块的所选跳过模式是预测 运动跳过模式，并且其中，对所述当前宏块使用所述预测运动跳过模式包括将来自所述层 间残余视频的参考图像的运动补偿预测的值赋予所述当前宏块。
5.如权利要求1所述的方法，其特征在于 为被跳过的当前宏块选择跳过模式包括确定所述当前图像中在所述被跳过的当前宏块周围的一个或多个上下文宏块中的每 一个上下文宏块的上下文信息；以及基于所述一个或多个上下文宏块的上下文信息，确定所述跳过模式；以及 所述层间残余视频的已编码数据的比特流缺乏表明所述多个宏块中的那些被跳过的 宏块的所选跳过模式的信息。
6.如权利要求5所述的方法，其特征在于，所述上下文信息是宏块类型。
7.如权利要求1所述的方法，其特征在于为被跳过的当前宏块选择跳过模式包括，取决于所述当前图像中的上下文宏块是否使 用运动补偿，在第一和第二跳过模式之间进行选择；以及对所述第一跳过模式的使用包括根据从所述一个或多个上下文宏块的运动信息导出 的运动来执行运动补偿；以及对所述第二跳过模式的使用包括无运动补偿。
8.如权利要求1所述的方法，其特征在于，还包括编码所述层间残余视频以产生所述比特流的至少一部分，其中，所述编码包括所述处 理所述层间残余视频的所述多个宏块，并且，其中，所述处理的结果是所述比特流的所述至 少一部分。
9.如权利要求8所述的方法，其特征在于，对于被跳过的当前宏块，所述处理包括就速率失真性能而言，评估在所述编码过程中对被跳过的当前宏块使用所选跳过模式 的结果；以及判断当前宏块被跳过。
10.如权利要求8所述的方法，其特征在于，所述当前图像有多个通道，并且，作为对所 述当前图像的所述编码的一部分，所述方法还包括以逐通道的方式判断是否要跳过所述当前图像的所述多个通道；以及在所述比特流中，用信号通知表明所述多个通道中的哪些被跳过的通道跳过信息。
11.如权利要求1所述的方法，其特征在于，还包括 接收所述比特流的至少一部分；使用所述比特流的所述至少一部分解码所述层间残余视频，其中，所述解码包括处理 所述层间残余视频的所述多个宏块，并且其中，所述处理的结果是已解码的层间残余视频； 以及将所述已解码的层间残余视频与重构的基层视频组合，以产生重构的视频供输出。
12.如权利要求11所述的方法，其特征在于，所述当前图像有多个通道，并且其中，作 为对于所述当前图像的解码的一部分，所述方法还包括从所述比特流解析表明所述多个通道中的哪些被跳过的通道跳过信息；以及 以逐通道的方式判断是否要跳过所述当前图像的所述多个通道。
13.存储了用于使计算机系统执行一种方法的计算机软件的一个或多个计算机可读存 储介质，所述方法包括处理层间残余视频的当前图像的多个宏块；以及 输出所述处理的结果；其特征在于，所述当前图像是帧内编码图像，并且，对于所述多个宏块中被跳过的当前 宏块，所述处理包括对被跳过的当前宏块，选择帧内跳过模式；以及对被跳过的当前宏块，使用所述帧内跳过模式，包括将定义的帧内跳过值赋予被跳过 的当前宏块；以及其中，所述层间残余视频的已编码数据的比特流包括宏块跳过信息，表明当前帧内编 码图像的多个宏块中哪些被跳过。
14.如权利要求13所述的一个或多个计算机可读存储介质，其特征在于，以使得所述 当前帧内编码图像的任何帧内跳过的宏块用零值重构的方式来选择所述定义的帧内跳过 值，所述方法还包括接收所述比特流的至少一部分；使用所述比特流的所述至少一部分解码所述层间残余视频，其中，所述解码包括处理 所述多个宏块，并且其中，所述处理的结果是已解码的层间残余视频；以及将所述已解码的层间残余视频与重构的基层视频组合，以产生重构的视频供输出。
15.一种处理层间残余视频的方法，所述方法包括 处理所述层间残余视频的多个通道；以及 输出所述处理的结果；其特征在于，对于所述多个通道中的每一个通道，所述处理包括 判断(1020)是否要跳过所述层间残余视频的所述通道； 如果所述通道被跳过，则作为跳过的通道来处理(1040)所述通道；以及 如果所述通道不被跳过，则作为编码的通道来处理所述通道(1030)；其中，所述层间残余视频的已编码数据的比特流包括通道跳过信息，表明所述多个通 道中的哪些被跳过。
16.如权利要求15所述的方法，其特征在于，所述判断还包括，对于所述多个通道中的 被跳过的一个通道，从多个可用通道跳过模式中选择一个通道跳过模式，并且其中，所述通 道跳过信息还表明所选通道跳过模式。
17.如权利要求15所述的方法，其特征在于，对于当前图像中的所述多个通道中的每 一个，所述通道跳过信息包括一个代码，所述代码指示出该通道(a)使用定义的零跳过值 被跳过，(b)通过从参考图像复制对应的通道的值被跳过，或(C)不被跳过。
18.如权利要求15所述的方法，其特征在于，对于当前图像中的所述多个通道中的每 一个，所述通道跳过信息包括单比特码，所述单比特码表明该通道被跳过还是不被跳过。
19.如权利要求15所述的方法，其特征在于，还包括编码所述层间残余视频以产生所述比特流的至少一部分，其中，所述编码包括处理所 述层间残余视频的所述多个通道，并且其中，所述处理的结果是所述比特流的所述至少一 部分。
20.如权利要求15所述的方法，其特征在于，还包括接收所述比特流的所述至少一部分；使用所述比特流的所述至少一部分解码所述层间残余视频，其中，所述解码包括处理 所述层间残余视频的所述多个通道，并且其中，所述处理的结果是已解码的层间残余视频； 以及将所述已解码的层间残余视频与重构的基层视频组合，以产生重构的视频供输出。
全文摘要
描述了用于对层间残余视频进行编码和解码中的跳过模式的技术和工具。例如，编码器编码层间残余视频的图像的多个宏块。对于被跳过的当前宏块，编码器从多种可用跳过模式中选定一种跳过模式，并在编码当前宏块时使用所选跳过模式。跳过模式可包括帧内跳过模式和预测运动跳过模式。对于当前宏块，对应的解码器在解码过程中选定和使用用于当前宏块的跳过模式。作为另一个示例，编码器编码层间残余视频的图像的多个通道。对于每一个通道，编码器判断是否要跳过该通道。编码器用信号通知通道跳过信息来表明哪些通道被跳过。对应的解码器解析通道跳过信息，并逐通道地判断是否要跳过相应的通道。
文档编号H04N7/32GK102144391SQ200980135105
公开日2011年8月3日 申请日期2009年8月17日 优先权日2008年9月5日
发明者C·图, C-L·林, S·孙, S·瑞古纳萨恩 申请人:微软公司