专利名称：用于高级视频编码的降低分辨率更新模式的制作方法
技术领域：
本发明一般涉及视频编码器和解码器，更具体地说，涉及用于高级视频编码的降低分辨率切片更新模式。
背景技术：
国际电信联盟电信委员会(ITU-T)H.264(或联合视频组(JVT)或活动图像专家组(MPEG)-4高级视频编码(AVC))标准已引入几种新特征，与较老的标准如MPEG-2/4和H.263相比，它在编码效率方面获得了相当大的改进。但是，虽然H.264包括了较老标准的大部分算法特征，但有些特征被放弃和/或不再使用了。这些特征之一就是在H.263中已存在的降低分辨率更新模式的考虑。这种模式提供了增加编码画面速率同时维持足够主观质量的机会。这是通过以降低的分辨率编码图像而使用高分辨率参考执行预测而做到的，它还允许以全分辨率来重新构建最终的图像。发现这种模式在H.263中很有用，特别是在序列中有剧烈运动时，因为它允许编码器维持高的帧速率(因此有改进的时间分辨率)，而同时在静止区域也维持高的分辨率和质量。
虽然以这种模式编码的比特流的语法和以全分辨率编码的比特流基本相同，但主要区别在于，如何解释比特流中的所有模式，以及在运动补偿后如何考虑和添加残差信息。更具体地说，和全分辨率编码的画面相比，这种模式的图像具有1/4数量的宏块，而运动矢量数据分别与全分辨率画面的块尺寸32×32和16×16而不是16×16和8×8相关联。另一方面，离散余弦变换(DCT)和纹理数据与降低分辨率图像的8×8块相关联，而为了产生最终的全图像呈现，要求有向上采样过程。
虽然这种过程可能导致客观质量的下降，但这不止从因模式、运动数据以及残差的减少数量(4)而需编码的比特减少得到补偿。这在非常低比特率时特别重要，此时模式和运动数据可能比残差多得多。与客观质量相比，主观质量受损也小得多。而且，这个过程在某种程度上可以看作类似于编码前在残差数据上应用低通滤波器，但其要求传输所有模式、运动数据以及滤波的残差，因此效率较低。这种概念从未引入到H.264中，所以在概念、方法学或语法方面都不被支持。
发明内容
本发明解决了现有技术的这些和其它缺点及不利，本发明针对开发和支持一种用于高级视频编码的降低分辨率切片更新模式。本文公开的降低分辨率切片更新模式特别适用于，但不限于，H.264(或JVT，或MPEG-4 AVC)。
按照本发明的一个方面，提供一种用于编码图像切片的视频信号数据的视频编码器。视频编码器包括切片预测残差向下采样器，用于在变换和量化预测残差之前向下采样至少部分图像切片的预测残差。
按照本发明的另一方面，提供了一种用于编码图像的视频信号数据的视频编码器。该视频编码器包括宏块排序部件和切片预测残差向下采样器。宏块排序部件用于将对应于图像的宏块排列成两个或更多个切片组。切片预测残差向下采样器用于在变换和量化预测残差之前，向下采样至少部分图像切片的预测残差。切片预测残差向下采样器还用于接收所述两个或更多个切片组中的至少一组进行向下采样。
按照本发明的又一方面，提供了一种用于解码图像切片的视频信号数据的视频解码器。该视频解码器包括预测残差向上采样器，用于向上采样图像切片的预测残差；以及加法器，用于将向上采样的预测残差加到预测的参考上。
按照本发明的再一方面，提供了一种用于编码图像切片的视频信号数据的方法，该方法包括在变换和量化预测残差之前向下采样图像切片的预测残差的步骤。
按照本发明的又一方面，提供了一种用于解码图像切片的视频信号数据的方法。该方法包括如下步骤向上采样图像切片的预测残差，以及将向上采样的预测残差加到预测的参考上。
本发明的这些和其它方面、特征和优点，从对示范实施例的以下详细说明中可一目了然，该说明应结合附图阅读。
按照以下示范附图可更好地理解本发明，附图包括图1示出按照本发明原理用于H.264的降低分辨率更新(RRU)模式中的示范宏块和子宏块分区图；图2示出按照本发明原理用于8×8内部预测的示范采样图；图3A和3B示出按照本发明原理分别用于块边界和用于内部位置的示范残差向上采样过程的图解；图4A和4B示出当direct_8×8_inference_flag分别设为0和设为1时，在当前切片为降低分辨率且第一列表1参考为全分辨率的情况下用于直接模式的运动继承图；图5示出按照本发明原理用于四分之一通用中间格式(QCIF)分辨率画面的分辨率扩展图；图6示出按照本发明原理的示范视频编码器的方框图；图7示出按照本发明原理的示范视频解码器的方框图；图8示出按照本发明原理的示范编码过程的流程图；以及图9示出按照本发明原理的示范解码过程的流程图。
具体实施例方式
本发明针对用于高级视频编码的降低分辨率切片更新模式。本发明利用目前由ITU-T H.263标准支持的降低分辨率更新(RRU)模式的概念，并允许将RRU模式引入并用于新的ITU-T H.264(MPEG-4AVC/JVT)视频编码标准中。这种模式提供了既增加编码画面速率又维持足够主观质量的机会。这是通过以降低的分辨率编码图像而使用高分辨率参考执行预测而做到的。它允许以全分辨率来重新构建最终图像，并具有好的质量，虽然编码图像所需的比特率已显著降低。考虑到H.264不支持RRU模式，本发明使用几种新的和独特的工具和概念来实现其RRU。例如，在开发用于H.264的RRU时，该概念必须作改动，使之适合新标准和/或其扩展的规范。这包括新的语法元素，以及对中间(inter)和内部(intra)预测模式作某些语义和编码器/解码器结构的更改。对H.264标准所支持的其它工具/特征例如基于宏块的自适应场/帧模式的影响，在本文中也要加以说明和解决。
以下紧接着的说明示出了本发明的原理。因此可以理解，业界技术人员将能够设计出虽未在本文中明确说明或示出但可实施本发明的原理并包括在其精神和范围之内的各种配置。
本文中所有实例和所引述的条件语言旨在教学目的，以帮助读者理解本发明的原理以及发明人为发展本领域所贡献的概念，并应解释为不限于所具体引述的实例和条件。
此外，本文中引用本发明原理、方面和实施例的所有陈述，以及其具体实例，均应包含其结构和概念二者的等效物。此外，这些等效物应包括目前已知的等效物以及在将来开发的等效物，即，能实现同样功能的所开发的任何元件，无论其结构如何。
因此，例如，业界技术人员会理解，本文示出的方框图代表能实施本发明原理的说明性电路的概念视图。同样，应理解，任何流程表、流程图、状态转换图、伪代码等等都代表各种过程，它们基本上可在计算机可读介质中被表示，并因此由计算机或处理器执行，不论这种计算机或处理器是否明确示出。
附图中所示各种元件的功能可通过使用专用硬件以及能够与适当软件关联而执行软件的硬件来提供。当由处理器提供时，这些功能可由单个专用处理器、单个共享处理器或多个单独处理器(其中一些可共享)来提供。另外，明确使用术语“处理器”或“控制器”不应理解为专指能执行软件的硬件，可以隐含但不限于数字信号处理器(DSP)硬件、用于储存软件的只读存储器(ROM)、随机存取存储器(RAM)以及非易失性存储器。
其它硬件，常规的和/或定制的，也可包括在内。同样，附图中所示的任何开关仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或甚至手动来实现，由实现员可选择的特定技术可从上下文中更具体地加以理解。
在本发明的权利要求书中，表述为用于执行指定功能的部件的任何元件应包含执行该项功能的任何途径，例如包括a)执行该项功能的电路元件组合，或b)任何形式的软件，所以包括固件、微代码等等，与用于执行该软件的适当电路组合，以执行此功能。由这些权利要求所定义的本发明归于以下事实由各种所述部件所提供的功能均以权利要求书所要求的方式组合和联系在一起。因此申请人将能够提供这些功能的任何部件认为是本文所示那些部件的等效物。
有利的是，本发明提供了一种用于在H.264中实现降低分辨率更新(RRU)模式的设备和方法。需对有关这种新模式的编解码器的某些方面进行考虑。具体地说，需要开发一个新的切片参数(reduced_resolution_update)，根据该参数，将当前切片再分为(RRUwidth*16)×(RRUheight*16)尺寸的宏块。和H.263中不同的是，RRUwidth不必等于RRUheight。可包括附加的切片参数，更具体地说，rru_width_scale＝RRUwidth以及rru_height_scale＝RRUheight，它允许以任何所需的比例水平或垂直地降低分辨率。表2示出了按照本发明原理考虑了降低分辨率更新(RRU)的H.264切片标题语法。
可能的选项例如包括按1水平和2垂直定标(宏块(MB)尺寸为16×32)、2垂直和1水平(MB尺寸32×16)或通常具有尺寸(rru_width_scale*16)×(rru_height_scale*16)的MB。
为了不失普遍性，所讨论的情况中RRUwidth＝RRUheight＝2且宏块尺寸为32×32。在这种情况下，所有宏块分区和子分区必须按2水平和2垂直定标。图1示出按照本发明原理在用于H.264的降低分辨率更新(RRU)模式中示范宏块分区100和子宏块分区150的图解。和H.263不同的是，在H.263中运动矢量数据必须除以2以符合标准规范，而在H.264中不必这样，且运动矢量数据可以用全分辨率/子像素(subpel)精确度编码。在这种模式中在P切片中被跳过的宏块被认为具有32×32的尺寸，而用于计算它们关联的运动数据的过程保持不变，虽然现在需要考虑32×32的邻居，而不是16×16的邻居。
本发明的另一关键区别在于，虽然是可选的，在H.264中纹理数据不必代表来自较低分辨率图像的信息。由于在H.264中的内部编码是通过考虑空间预测方法、使用4×4或16×16的块尺寸执行的，因此这可以扩展到8×8和32×32内部预测块尺寸，类似于中间预测模式。不过，预测模式仍然或多或少是相同的，虽然现在要用更多的采样来产生预测信号。图2示出了按照本发明原理用于8×8内部预测的示范采样200的图解。采样200包括采样C0-C15、X和R0-R7。例如，对于8×8垂直预测，现使用采样C0-C7，而DC预测是C0-C7和R0-R7的均值。而且，所有对角线预测还需要考虑采样C8-C15。类似的扩展可应用于32×32内部预测模式。
然后对残差数据进行向下采样，并使用在H.264中已可用的相同变换和量化过程进行编码。同样的过程应用于亮度和色度采样。在解码期间，残差数据需被向上采样。向下采样过程仅在编码器中进行，并因此不需标准化。向上采样过程必须在编码器和解码器中匹配，所以必须标准化。可以使用的可能向上采样方法包括但不限于零阶或一阶保持，或通过考虑类似于H.263中的策略。图3A和3B示出按照本发明原理分别用于块边界和内部位置的示范残差向上采样过程300和350的图解。在图3A中，块边缘上的向上采样过程仅使用块边界内的采样来计算向上采样值。在图3B中，在块内部之内，所有最邻近的位置都可用，所以使用基于采样的相对定位的内插，例如在二维上的双线性内插来计算向上采样值。
H.264也考虑了环内去块滤波器，加到4×4块边缘。由于目前该预测过程应用于8×8及以上的块尺寸，因此该过程也被修改，以考虑8×8块边缘。但应理解，有了本文提供的本发明内容，相关领域技术人员会按照本发明原理，在维持本发明精神的同时，考虑用于所采用的块边界的这些和其它尺寸。
同一画面中的不同切片可具有不同值reduced_resolution_update、rru_width_scale和rru_height_scale。由于环内去块滤波器加在切片边界上，因此切片边界每一侧的块可能以不同的分辨率被编码。在这种情况下，对于去块滤波器参数计算，应考虑以下情况在给定8×8边缘上两个相邻4×4正常块之间的最大量化参数(QP)值，同时去块强度现在基于两个块的非零系数的总数。
为了支持灵活宏块排序(FMO)，如画面参数集中num_slice_groups_minusl大于0所示，用降低分辨率更新模式，还有必要在画面参数集内传输一个名为reduced_resolution_update_enable的附加参数。表1示出按照本发明原理考虑了降低分辨率更新(RRU)的H.264画面参数语法。如果有FMO，且该参数未设定，则不允许使用降低分辨率模式来编码切片。另外，如果该参数已设定，则参数rru_max_width_scale和rru_max_height_scale也需被传送。需要这些参数来确保所提供的映像始终支持当前的降低分辨率宏块尺寸。这就是说，这些参数需要符合以下条件max_width_scale％rru_width_scale＝0，max_height_scale％rru_heigh_scale＝0，以及max_width_scale＞0，max_height_scale＞0。
被传送的FMO切片组映像对应于最低允许的降低分辨率，对应于rru_max_width_scale和rru_max_height_scale。注意，如果使用多个宏块分辨率，则rru_max_width_scale和rru_max_height_scale需是同一画面中所有可能分辨率的最小公倍数的倍数。
H.264中的直接模式会受到影响，取决于当前切片是否处于降低分辨率模式，或列表1参考是否处于降低分辨率模式，且当前切片不处于降低分辨率模式。对于直接模式情况，在当前画面为降低分辨率且参考画面为全分辨率时，当direct_8×8_inference_flag被启动时，借用目前在H.264中采用的类似方法。按照该方法，通过仅考虑8×8分区的对应角4×4块(角是基于块索引)来分配协同定位的分区。在我们的情况中，如果直接属于降低分辨率切片，则用于协同定位的分区的运动数据就好像direct_8×8_inference_flag被设为1那样被导出。这也可以看作是协同定位参考的运动场的向下采样。虽然并不是必要的，但如果direct_8×8_inference_flag在比特流中已经被设定，则该过程可用应用两次。该过程可以在图4A和4B中更清楚地看出，这两个图示出了当direct_8×8_inference_flag分别设为0和设为1时，在当前切片为降低分辨率且第一列表1参考为全分辨率的情况下用于直接模式的运动继承400的图解。对于当前切片不处于降低分辨率模式但其第一列表1参考处于降低分辨率模式的情况，则需要首先向上采样该降低分辨率参考的所有运动数据。可以使用零阶保持进行向上采样运动数据，这是复杂性最小的方法。其它滤波方法，例如类似于用于残差数据向上采样的过程，也可使用。
通过考虑这种模式，H.264的一些其它工具也受到影响。更具体地说，宏块自适应场帧模式(MB-AFF)现需要考虑使用32×64超宏块结构。在各个编码块残差上执行向上采样过程。如果场画面被编码，则将块编码为场残差，并因此在场中完成向上采样。同样，当使用MB-AFF时，各个块以场或帧模式编码，并且它们相应的残差分别在场或帧模式进行向上采样。
为了允许降低分辨率模式对于所有可能的分辨率都起作用，画面总是分别被垂直和水平扩展，以便总能被16*rru_height_scale和16*rru_width_scale除尽。对于rru_height_scale＝rru_width_scale＝2的实例，图像的原始分辨率为HR×VR，图像被填充到分辨率等于Hc×Vc，其中Hc＝((HR+31)/32)*32Vc＝((VR+31)/32)*32用于扩展图像分辨率的过程类似于目前H.264将画面尺寸扩展到可被16除尽所做的。图5示出了按照本发明原理用于四分之一通用中间格式(QCIF)分辨率画面500的分辨率扩展的图解。
用于QCIF分辨率画面的扩展亮度由下式给出RRRU(x，y)＝R(x′，y′)，式中x，y＝像素域中扩展的参考画面的空间坐标，x′，y′＝像素域中参考画面的空间坐标，RRRU(x，y)＝在(x，y)处扩展的参考画面的像素值，R(x′，y′)＝在(x′，y′)处参考画面的像素值，x′＝175，如果x＞175且x＜192＝x否则y′＝143，如果y＞143且y＜160
＝y否则类似方法用于扩展色度采样，但扩展到该尺寸的一半。
转向图6，示范视频编码器总体以参考编号600示出。编码器600的视频输入端在信号通信中与宏块排序器602的输入端连接。宏块排序器602的输出端在信号通信中与运动估计器605的第一输入端以及第一加法器610的第一输入端(非反相)连接。运动估计器605的第二输入端在信号通信中与画面参考存储器615的输出端连接。运动估计器605的输出端在信号通信中与运动补偿器620的第一输入端连接。运动补偿器620的第二输入端在信号通信中与画面参考存储器615的输出端连接。运动补偿器的输出端在信号通信中与第一加法器610的第二输入端(反相)、第二加法器625的第一输入端(非反相)以及可变长度编码器(VLC)695的第一输入端连接。第二加法器625的输出端在信号通信中与可选的时间处理器630的第一输入端连接。可选的时间处理器630的第二输入端在信号通信中与画面参考存储器615的另一输出端连接。可选的时间处理器630的输出端在信号通信中与环路滤波器635的输入端连接。环路滤波器635的输出端在信号通信中与画面参考存储器615的输入端连接。
第一加法器610的输出端在信号通信中与第一开关640的输入端连接。第一开关640的输出端能够在信号通信中与向下采样器645的输入端或与变换器650的输入端连接。向下采样器645的输出端在信号通信中与变换器650的输入端连接。变换器650的输出端在信号通信中与量化器655的输入端连接。量化器655的输出端在信号通信中与可变长度编码器695的输入端以及反向量化器660的输入端连接。反向量化器660的输出端在信号通信中与反向变换器665的输入端连接。反向变换器665的输出端在信号通信中与第二开关670的输入端连接。第二开关670的输出端能够在信号通信中与第二加法器625的第二输入端或与向上采样器675的输入端连接。向上采样器的输出端在信号通信中与第二加法器625的第二输入端连接。可变长度编码器695的输出端连接到编码器600的输出端。应指出，当第一开关640和第二开关670在信号通信中分别与向下采样器645和向上采样器675连接时，形成了从第一加法器610的输出端到运动补偿器620的第三输入端和到向上采样器675的输入端的信号通路。应理解，第一开关640可包括用于确定RRU模式的RRU模式确定部件。宏块排序器602将给定图像的宏块排列成切片组。
转向图7，示范视频解码器总体以参考编号700表示。解码器700的第一输入端在信号通信中与反向变换器/量化器710的输入端连接。反向变换器/量化器710的输出端在信号通信中与向上采样器715的输入端连接。向上采样器715的输出端在信号通信中与加法器720的第一输入端连接。加法器720的输出端在信号通信中与可选的空间-时间处理器725连接。空间-时间处理器的输出端在信号通信中与解码器700的输出端连接。如果没有采用空间-时间处理器725，解码器700的输出从加法器720的输出端出来。
解码器700的第二输入端在信号通信中与运动补偿器730的第一输入端连接。运动补偿器730的输出端在信号通信中与加法器720的第二输入端连接。加法器720用于组合向上采样的预测残差和预测的参考。运动补偿器730的第二输入端在信号通信中与参考缓冲器735的第一输出端连接。参考缓冲器735的第二输出端在信号通信中与空间-时间处理器725连接。参考缓冲器735的输入是解码器输出。反向变换器/量化器710输入残差比特流，并输出解码的残差。参考缓冲器735输出参考画面，且运动补偿器730输出运动补偿预测。
图7所示的解码器实现方案可以通过使用附加的处理元件，例如在编码器和解码器中的空间-时间分析，加以扩展和改进，这就允许我们去除一些通过残差向下采样和向上采样过程而引入的人为误差。
上述方法的一种改型是，允许不仅在切片级而且在宏块级使用降低分辨率。虽然这种方法可以有不同的改型，但一种方法是通过使用参考画面指示器来用信号通知分辨率改变。参考画面可与全分辨率或降低分辨率残差的传输隐式(例如奇/偶参考)或显示地(例如通过切片参数中的传输表)相关联。如果一个32×32宏块是使用降低残差编码的，则单一的编码块模式(cbp)与16个降低分辨率块的变换系数相关联，并被传输。否则，4个cbp(或单个的组合cbp)需被传输，它与64个全分辨率块相关联。注意，为使这种方法起作用，在此宏块中的所有块需以同样的分辨率被编码。这个方法要求传输一个附加表，它会提供有关定标的或不是当前参考的信息，包括定标参数，类似于目前针对加权预测所做的。
转向图8，示范视频编码过程总体以参考编号800表示。过程800包括开始框805，它将控制传送到循环限制框810。循环限制框810开始一个对于图像中当前块的循环，并将控制传送到功能框815。功能框815形成当前块的运动补偿预测，并将控制传送到功能框820。功能框820从当前宏块中减去运动补偿预测，以形成预测残差，并将控制传送到功能框825。功能框825向下采样预测残差，并将控制传送到功能框830。功能框830变换和量化向下采样的预测残差，并将控制传送到功能框835。功能框835反向变换和量化预测残差，以形成编码的预测残差，并将控制传送到功能框840。功能框840向上采样编码的预测残差，并将控制传送到功能框845。功能框845将向上采样的编码残差加到预测上，以形成编码的画面块，并将控制传送到结束循环框850。结束循环框850结束该循环，并将控制传送到结束框855。
转向图9，示范视频解码过程总体以参考编号900表示。解码过程900包括开始框905，它将控制传送到循环限制框910。循环限制框910开始一个对于图像中当前块的循环，并将控制传送到功能框915。功能框915对编码残差进行熵解码，并将控制传送到功能框920。功能框920反向变换和量化解码的残差，以形成编码残差，并将控制传送到功能框925。功能框925向上采样编码残差，并将控制传送到功能框930。功能框930将向上采样的编码残差加到预测上，以形成编码的画面块，并将控制传送到循环限制框935。循环限制框935结束该循环，并将控制传送到结束框940。
对于本发明的这些和其它特征和优点，相关领域的技术人员基于本文的内容就很容易弄清。应理解，本文的内容可以用各种形式的硬件、软件、固件、专用处理器或它们的组合来实现。
更优选的是，本发明的内容作为硬件和软件的组合来实现。此外，软件优选实现为在程序储存单元上切实实施的应用程序。应用程序可以上载到包括任何适用体系结构的机器上，并由其执行。优选的是，该机器在计算机平台上实现，该计算机平台具有诸如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)以及输入/输出(I/O)接口等硬件。计算机平台还可包括操作系统和微指令代码。本文所述的各种过程和功能可以是微指令代码的一部分，或应用程序的一部分，或它们的任何组合，可以由CPU执行。此外，可将各种其它的外设单元连接到计算机平台，例如附加的数据储存单元以及打印单元。
还应理解，由于附图中所示的一些组成系统组件和方法优选以软件来实现，因此系统组件或过程功能框之间的实际连接可能根据对本发明的编程方式而有所不同。有了本文的所述内容，相关领域的技术人员就能够想出本发明的这些和类似实现方案或配置。
虽然已结合附图对说明性实施例作了说明，但应理解，本发明并不局限于这些实施例，在不背离本发明的范围或精神的前提下，相关领域的技术人员可以在这些实施例中进行各种改变和修改。所有这些改变和修改应包括在所附权利要求书中阐述的本发明的范围之内。
表1
表权利要求
1.一种用于编码图像切片的视频信号数据的视频编码器(600)，包括切片预测残差向下采样器(645)，适合于选择性地与变换器(650)的输入端连接；量化器(655)，与所述变换器(645)的输出端连接；以及熵编码器(695)，与所述量化器(655)的输出端连接，其中所述切片预测残差向下采样器(645)用于在变换和量化所述预测残差之前，向下采样至少部分所述图像切片的预测残差。
2.如权利要求1所述的视频编码器，其中所述图像切片包括符合国际电信联盟电信委员会(ITU-T)H.264标准的视频数据。
3.如权利要求1所述的视频编码器，其中所述切片预测残差向下采样器(645)对所述预测残差的水平方向和垂直方向施加不同的向下采样操作。
4.如权利要求1所述的视频编码器，其中在所述切片预测残差向下采样器中所使用的向下采样分辨率由所述图像切片中的参数发信号通知。
5.如权利要求1所述的视频编码器，其中所述图像切片被分成图像块，且在所述图像块的内部预测之后形成预测残差。
6.如权利要求5所述的视频编码器，其中使用8×8和32×32预测模式之一执行所述内部预测。
7.如权利要求1所述的视频编码器，其中所述图像切片被分成图像块，且在所述图像块的中间预测之后形成预测残差。
8.如权利要求1所述的视频编码器，其中所述切片预测残差向下采样器(645)仅对所述预测残差的水平方向和垂直方向之一施加向下采样操作。
9.如权利要求1所述的视频编码器，其中所述图像切片被分成宏块，且为各个宏块编码的参考索引对应于该各个宏块的所述预测残差是否将被向下采样。
10.如权利要求1所述的视频编码器，其中所述视频信号数据对应于隔行画面，所述图像切片被分成图像块，且所述切片预测残差向下采样器(645)以与所编码图像块的当前模式相同的模式之一向下采样所述预测残差，所述相同的模式是场模式和帧模式之一。
11.一种用于编码图像的视频信号数据的视频编码器，所述视频编码器包括宏块排序部件(602)，用于将对应于所述图像的宏块排列成至少两个切片组；以及切片预测残差向下采样器(645)，用于在变换和量化所述预测残差之前，向下采样至少部分图像切片的预测残差，其中所述切片预测残差向下采样器用来接收至少一个所述切片组进行向下采样。
12.一种用于解码图像切片的视频信号数据的视频解码器，所述视频解码器包括预测残差向上采样器(715)，用于向上采样所述图像切片的预测残差；以及组合器(720)，用于组合向上采样的预测残差和预测的参考。
13.如权利要求12所述的视频解码器，其中所述图像切片包括符合国际电信联盟电信委员会(ITU-T)H.264标准的视频数据。
14.如权利要求12所述的视频解码器，其中所述图像切片被分成宏块，且所述视频解码器还包括降低分辨率更新(RRU)模式确定部件，所述模式确定部件在信号通信中与预测残差向上采样器连接，并对宏块级的参考索引作出响应，以确定所述视频解码器是否处于RRU模式，并且其中当前宏块的预测残差由所述预测残差向上采样器进行向上采样，以解码所述当前宏块。
15.如权利要求12所述的视频解码器，其中所述切片预测残差向上采样器(715)对所述预测残差的水平方向和垂直方向施加不同的向上采样操作。
16.如权利要求12所述的视频解码器，其中在所述切片预测残差向上采样器中所使用的向上采样分辨率由所述图像切片中的参数发信号通知。
17.如权利要求12所述的视频解码器，其中所述图像切片被分成图像块，且在所述图像块的内部预测之后形成所述预测残差。
18.如权利要求17所述的视频解码器，其中使用8×8和32×32预测模式之一执行所述内部预测。
19.如权利要求12所述的视频解码器，其中所述图像切片被分成图像块，且在所述图像块的中间预测之后形成所述预测残差。
20.如权利要求12所述的视频解码器，其中所述切片预测残差向上采样器(715)仅对所述预测残差的水平方向和垂直方向之一施加向上采样操作。
21.如权利要求12所述的视频解码器，其中所述图像切片被分成宏块，且为各个宏块编码的参考索引对应于该各个宏块的所述预测残差是否将被向上采样。
22.如权利要求12所述的视频解码器，其中所述视频信号数据对应于隔行画面，所述图像切片被分成图像块，且所述切片预测残差向上采样器(715)以与所编码图像块的当前模式相同的模式之一向上采样所述预测残差，所述相同的模式是场模式和帧模式之一。
23.一种用于编码图像切片的视频信号数据的方法，所述方法包括以下步骤向下采样(825)所述图像切片的预测残差；变换(830)所述预测残差；以及量化(830)所述预测残差，其中所述向下采样(825)的步骤在所述变换或量化步骤之前执行。
24.如权利要求23所述的方法，其中所述图像切片包括符合国际电信联盟电信委员会(ITU-T)H.264标准的视频数据。
25.如权利要求23所述的方法，其中所述向下采样步骤(825)包括以下步骤之一分别对所述预测残差的水平方向和垂直方向施加不同的向下采样操作；或仅对所述水平方向和所述垂直方向之一施加向下采样操作。
26.如权利要求23所述的方法，其中用于所述向下采样步骤的向下采样分辨率由所述图像切片中的参数发信号通知。
27.如权利要求23所述的方法，其中所述图像切片被分成图像块，且在所述图像块的内部预测之后形成所述预测残差。
28.如权利要求27所述的方法，其中使用8×8和32×32预测模式之一执行所述内部预测。
29.如权利要求23所述的方法，其中所述图像切片被分成图像块，且在所述图像块的中间预测之后形成所述预测残差。
30.如权利要求29所述的方法，其中使用32×32宏块和32×32、32×16、16×32和16×16宏块分区或16×16、16×8、8×16和8×8子宏块分区执行所述中间预测。
31.如权利要求23所述的方法，其中所述图像切片被分成宏块，且所述方法还包括如下步骤确定是否将基于为各个宏块编码的参考索引对该各个宏块的所述预测残差进行向下采样，所述参考索引对应于该各个宏块的所述预测残差是否将被向下采样。
32.如权利要求23所述的方法，其中所述图像切片被分成宏块，且所述方法还包括如下步骤响应于画面参数集中的参数，灵活地排序所述宏块。
33.如权利要求23所述的方法，其中所述视频信号数据对应于隔行画面，所述图像切片被分成图像块，且所述向下采样步骤(825)以与所述图像块的当前模式相同的模式之一向下采样所述预测残差，所述相同的模式是场模式和帧模式之一。
34.一种用于解码图像切片的视频信号数据的方法，所述方法包括以下步骤向上采样(925)所述图像切片的预测残差；以及组合(930)向上采样的预测残差与预测的参考。
35.如权利要求34所述的方法，其中所述图像切片包括符合国际电信联盟电信委员会(ITU-T)H.264标准的视频数据。
36.如权利要求34所述的方法，其中所述图像切片被分成宏块，且所述方法还包括如下步骤对宏块级的参考索引作出响应，确定所述视频解码器是否处于降低分辨率更新(RRU)模式，并且其中所述向上采样步骤包括如下步骤向上采样当前宏块的预测残差，以解码所述当前宏块。
37.如权利要求34所述的方法，其中所述向上采样步骤(925)包括以下步骤之一分别对所述预测残差的水平方向和垂直方向施加不同的向上采样操作；或仅对所述水平方向和所述垂直方向之一施加向上采样操作。
38.如权利要求34所述的方法，其中用于所述向上采样步骤的向上采样分辨率由所述图像切片中的参数发信号通知。
39.如权利要求34所述的方法，其中所述图像切片被分成图像块，且在所述图像块的内部预测之后形成所述预测残差。
40.如权利要求39所述的方法，其中使用8×8和32×32预测模式之一执行所述内部预测。
41.如权利要求34所述的方法，其中所述图像切片被分成图像块，且在所述图像块的中间预测之后形成所述预测残差。
42.如权利要求41所述的方法，其中使用32×32宏块和32×32、32×16、16×32和16×16宏块分区或16×16、16×8、8×16和8×8子宏块分区执行所述中间预测。
43.如权利要求34所述的方法，其中所述图像切片被分成宏块，且所述方法还包括如下步骤确定是否将基于为各个宏块编码的参考索引对该各个宏块的所述预测残差进行向上采样，所述参考索引对应于该各个宏块的所述预测残差是否将被向上采样。
44.如权利要求34所述的方法，其中所述视频信号数据对应于隔行画面，所述图像切片被分成图像块，且所述向上采样步骤以与所述图像块的当前模式相同的模式之一向上采样所述预测残差，所述相同的模式是场模式和帧模式之一。
全文摘要
提供了用于为图像切片分别编码和解码视频信号数据的视频编码器、视频解码器以及相应的编码和解码方法。视频编码器包括切片预测残差向下采样器(645)，用于在变换和量化预测残差之前向下采样至少部分图像切片的预测残差。视频解码器包括预测残差向上采样器(715)，用于向上采样图像切片的预测残差。
文档编号H04N7/46GK1973546SQ200580014022
公开日2007年5月30日 申请日期2005年3月1日 优先权日2004年3月9日
发明者A·图拉皮斯, J·M·博伊斯 申请人:汤姆森研究基金公司