专利名称：用于对视频图像的块进行解码的方法
技术领域：
本发明涉及一种对视频数据进行解码的方法，更具体地，涉及在
向外矢量(outgoing vector)的情况下对帧间模式的预测窗进行重构的 方法。
背景技术：
本发明涉及视频数据压缩领域。视频压縮标准H264或MPEG4 第10部分，以及其他压縮标准(如MPEG2)，依赖于参考图像，根 据参考图像来恢复用于实现当前图像的重构的预测值。当然，先前已 经对这些参考图像进行了解码并将其存储在例如DDR RAM (双数据 率随机存取存储器)类型的存储器中。通过对相对于参考图像中的区 域的差值进行编码，这实现了根据先前解码的图像来对图像进行编码。 在流中，仅将这种差值(称为残差)与用于标识参考图像的元素(refldx 索引)以及运动矢量的分量MVx和MVy—起传送，使得能够找到该 参考图像中要考虑的区域。
图1示意了要解码的图像与先前解码的参考图像之伺的依赖关 系，图l示出了图像序列中的视频图像的接续，根据显示顺序示出了 MPEG标准中定义的I、 P或B类型的图像。在本示例中，图像P4的 解码依赖于图像INTRAIo，该图像是可以自主方式解码的，因此不依 赖于参考图像。因此，在对图像P4进行解码期间，解码器搜索图像Io 的区域，所述图像IQ的区域将用作对当前图像P4的区域进行解码的预 测值。由于在流中传送的运动矢量，将指示每个区域。
解码后的图像=预测的图像+流中传送的残差
类似地，根据图像Io和P4来对双向类型的图像B (B2)进行解码。
以自主方式来解码I类型的图像，即它不依赖于参考图像。对于 每个宏块，根据其在相同图像中的直接相邻宏块来对其进行解码。根据先前解码的一个或n个参考图像来对P类型的图像进行解
码，但是，该图像的每个块仅需要一个预测值来进行解码，该预测值 由运动矢量定义，即每块只有一个运动矢量指向给定参考图像。
根据先前解码的一个或n个参考图像来对B类型的图像进行解 码，但是，该图像的每个块需要2个预测值来进行解码，即每块2个 运动矢量指向l或2个给定参考图像。然后，通过对从与这些运动矢 量相关的信息中获取的2个预测值进行加权平均来获得将被添加至残 差的最终预测值。
图2示出了用于使用H264或MPEG4第10部分标准的编码器的、 针对大小为16行乘16个采样的宏块的不同可能的分区和子分区。第 一行与16X16大小的宏块分别被水平和垂直切割为两个16X8和8X 16大小的分区或子宏块以及切割为4个8X8大小的子宏块相对应。 第二行与针对8X8大小的子宏块以较低级切割的这些相同块或子分 区相对应。根据要处理的宏块的类型，在P类型图像的情况下，每个 分区或子分区与指向参考图像的矢量相关联。在B类型图像的情况下， 每个分区或子分区与指向1或2个参考图像的1或2个矢量相关联。
图3示意了在16X16分区的情况下，根据参考图像索引refldx 和运动矢量对用于当前图像n (标记为1)中的当前宏块(标记为2) 的先前图像n-l (标记为3)中的预测值(标记为4)进行的搜索。
在H264标准的情况下，流中传送的矢量具有1/4像素分辨率，因 此需要针对亮度来实现对.1/4像素的插值，以确定最终亮度预测值。 这些矢量指示了要进行插值的区域的左上边缘。
如果要进行插值的区域保持在参考图像之内，则在参考图像中确 定该区域不引起特别的问题。然而，H264标准在向外矢量的流中实现 要发送的参考图像。每次矢量所指向的区域不完全位于图像内时，解 码器应当从对参考图像外的该区域进行重构开始，然后将其提供用于 插值过程。
该约束的结果是，根据运动矢量所定义的预测窗的性质，根据其 是否从参考图像"向外"，即是否部分在参考图像之外，来以不同方式 处理包括获取要插值的区域的阶段。按照现有技术已知的方式，在向外的窗的情况下，预测值构造过 程在于对位于参考图像边界处的像素进行垂直、水平或斜向复制，以 得到插值过程的输入区域。以下给出了一些示例，针对分别指向右侧 和底部的水平和垂直轴，在参考图像的左上角中标记了坐标-
-具有坐标(X， -2)(0<^<图像宽度)的向外矢量的情况
在该示例中，预测窗中的前两个16像素行不属于参考图像。必须 根据属于该图像的上边缘的第3行来对它们进行重构复制该第3行。
如果矢量向外至图像底部的水平边界以下，则操作也与上述相同。 在这种情况下，将最后的像素行向底部进行垂直复制，以得到最终预 测值。
-具有坐标(-7, y)((Ky〈图像高度)的向外矢量的情况
在该示例中，预测窗中的前7个16像素列不属于参考图像。必须
根据属于参考图像的左边缘的第8列来对它们进行重构复制该第8列。
现有技术中用于构造预测值的一种方案在于，将参考图像存储在 存储器中，其周围环绕有冠部(crown)。图4示出了这种方案。放大 了用于存储的参考图像7，参考图像7具有冠部5，冠部5与图像边缘 处的像素6的重新拷贝相对应。该冠部具有例如1个宏块(即16个采 样)的"厚度"。
在存储器大小方面，该方案的成本很高。例如，对于高请晰度图 像(按照4:2:0标准具有1920X1080的分辨率)，这种备份所需的存 储器大小为380个宏块，或大约160K字节，并且这是对每个参考图 像而言。由于H264标准需要存储4个参考图像，因此该备份所需的 存储器大小在600K字节数量级，尤其对于嵌入式系统而言，这是非 常不利的。
此外，在计算插值矢量之前，应当以系统方式实现对该冠部的重 构。然而，对于大多数图像，运动矢量使用图像内的预测窗，则不需 要进行该重构。然而，该重构在执行循环次数方面的成本是不可忽略 的。这是不应丢失任何循环的实时视频解码系统的一个重要方面。
类似地，由于与该拷贝冠部相关的约束，解码电路结构显得更为复杂。该冠部的使用对于除了与插值计算相关的模块之外的模块有所 影响。因此，用于显示解码后的图像的模块(该模块直接连接至
DDRAM存储器以搜索要显示的区域)应当能够显示不带冠部的这些 图像。
发明内容
本发明的一个目的是克服上述缺点。本发明的目的是提供一种用 于对视频图像的块进行解码的方法，所述块是根据预测模式来进行编 码的，所述模式对与当前块和预测块或预测值之差相对应的残差块进 行编码，所述预测块或预测值在参考图像中的位置由运动矢量定义，
所述方法的特征在于其执行以下步骤
-根据与所述运动矢量相关的预测窗是完全还是部分位于所述参 考图像中来确定所述预测窗的类型是向内的还是向外的，
-如果所述预测窗是向外类型的，则对于尺寸至少等于所述预 测窗尺寸并被放置为包括所述预测窗在内的预测缓冲区，使用所述参 考图像中与预测区共有的像素来对其进行填充，并且通过拷贝所述像 素中位于所述图像边缘的像素来填充其余部分，
-根据位于所述预测窗中的缓冲区中的像素来计算所述预测值。
根据具体实施例，根据所述运动矢量的初始坐标、所述运动矢量 的分量以及所述运动矢量所分配的块的尺寸来定义预测窗的类型。
根据具体实施例，所述预测值的计算包括在所述预测窗中进行像 素插值的步骤。
根据具体实施例，所述缓冲区由4个块组成，其中一块由与所述 预测窗所属的参考图像块的像素共同的像素形成，其他3块通过拷贝 所述参考图像块中位于所述图像边缘处的像素来获得。这3块之一可 以通过拷贝图像角部的单个像素来获得。
根据具体实施例，图像块是宏块、宏块分区或宏块子分区。插值 区域的大小取决于所述运动矢量所分配的宏块分区或子分区的大小。
根据具体实施例，所述方法使用MPEG4标准。
本发明还涉及一种用于实现所述方法的解码设备，包括压缩数据处理电路；存储器，连接至所述处理电路，所述解码设备的特征在 于当预测窗是向外类型时，所述存储器创建预测缓冲区，所述预测 缓冲区由属于参考图像的预测窗像素和所述预测窗中在所述图像边缘 处的像素的拷贝而形成。
由于本发明，仅在预测窗向外的情况下执行预测值构造。这是一 种对由所述矢量唯一指向的区域相对应的预测窗的几乎实时的"运行
中(on-the-fly)"重构。
因此，由于对存储器空间的要求降低，减小了解码器的实现成本。 在参考图像的存储区的级别上，没有潜在不必要的存储器消耗(例如 当没有向外矢量时)。
本发明提高了效率，减少了操作时间。仅在需要重构要插值的预 测区时才产生机器循环的消耗。
本方案不涉及其他解码电路模块。不需要修改显示模块来指示有 效数据区。
参考附图，通过作为非限制性示例提供的以下描述，本发明的其 他具体特征和优点将变得显而易见，附图中
图1示出了图像序列中I、 P和B类型的图像的接续，
图2示出了被划分为分区和子分区的宏块，
图3示出了参考图像中的预测值，
图4示出了根据现有技术的参考图像的预测冠部，
图5示出了根据本发明的方法的流程图，
图6示出了在图像顶部的向外矢量的预测窗的示例，
图7示出了在图像左侧的向外矢量的预测窗的示例，
图8示出了向外伸出至图像左上角的向外矢量的预测窗的示例，
图9示出了图像角部的预测窗的详细视图，
图IO示出了解码设备。
具体实施方式
图5示出了根据本发明的方法的流程图。描述了用于对P类型图像 中的帧间类型的宏块或块进行解码的不同步骤。
针对当前图像中的当前宏块的每个分区，该处理过程接收与分区
大小、所分配的运动矢量、其坐标MVx、 MVy、对应参考图像、refldx 索引相关的信息。
第一步骤(标记为8)使用该信息来确定运动矢量是否是参考图像 的向外矢量，即当运动矢量的第一端位于当前图像的当前块或分区 的布置的块的左上角处时，运动矢量的第二端的坐标中是否至少一个 为负，或者其横坐标和/或纵坐标是否分别具有比图像的右边缘处像素 的横坐标和图像底边缘处像素的纵坐标更大的值。这是在标准帧中， 即原点在图像的左上角处，并且轴朝向右下方。
如果确定结果为否，则下一步骤是步骤9，步骤9以标准方式实现 在参考图像中直接获取预测窗。
如果确定结果为是，则下一步骤是步骤IO，步骤10实现从参考图 像中获取相关像素，然后，步骤ll实现了预测窗的重构。因此，使用 从参考图像中获取的像素来填充该窗，并且使用位于图像边缘的像素 的拷贝来填充缺少的像素。以后针对给出角部的不同情况来解释这种 拷贝。
步骤9或步骤11之后的步骤是步骤12，步骤12实现了根据获取的 并可能是重构出的预测窗来进行l/4像素的插值。根据该预测窗或插值 窗来创建该插值过程的输入区域，该输入区域在于通过拷贝窗边缘处 的像素来加宽预测窗。例如，对于使用具有5个系数的滤波器进行的二 维滤波，针对插值的预测窗加宽在于增加5个列和行，其中2列在窗的 左侧，3列在右侧，2行在顶部，3行在底部。H264标准所推荐的用于 1/4像素插值的滤波器具有6个系数1、 -5、 20、 20、 -5、 1。为了计算 尺寸为4X4的子分区预测值，这需要9X9大小的输入区域，并且针对 尺寸为8X8的子分区，需要13X13大小的输入区域。
更一般地，可以根据所使用的插值滤波器和插值窗的大小来定义 插值过程的输入区域。因此，为了计算nXn大小的块的预测值，具有p 个系数的数字滤波器需要至少在水平和垂直插值方向上尺寸为n+(p-l)的输入区域或处理区域
插值后获得的预测值具有与当前图像的当前分区相同的尺寸。 接下来的步骤13通过将解码后的残差与预测值相加来实现分区
重构，以提供解码或重构的分区。
图6示出了对向外矢量的端点具有等于-2的负纵坐标的预测窗进
行填充的情况。
在参考图像14中，根据运动矢量来移动当前图像的当前块的布置
的块，以提供"移动后的"块或预测窗15，移动后的块或预测窗15位
于图像的上边缘，部分在图像之外。在该图的右侧部分，该预测窗的
放大示出了2个上部行位于图像之外，与运动矢量端点的坐标相符。如 箭头17所示，通过对图像边缘处的像素16进行垂直拷贝来填充这些行。
图7示出了向外矢量的端点具有等于-7的负横坐标的情况。"移动 后的"块或预测窗15位于参考图像14的左边缘处，部分在图像之外。 在该图的右侧部分，该预测窗的放大示出了7个左侧的列位于图像之 外，与运动矢量端点的坐标相符。如箭头17所示，通过对图像边缘处 的像素16进行水平拷贝来填充这些列。
图8示出了向外矢量的端点具有等于-7的负横坐标并且其负纵坐 标等于-2的情况。"移动后的"块或预测窗15位于参考图像14的左上边 缘处，部分在图像之外。在该图的右侧部分，该预测窗的放大示出了2 个上部行和7个左侧的列位于图像之外，与运动矢量端点的坐标相符。 通过在图像边缘处进行垂直和水平拷贝来填充这些行和列。通过拷贝 属于图像的角部处的像素，获得位于角部的、没有水平或垂直对应像 素的14个像素。箭头17指示了这些拷贝。
为了实现重构预测窗的步骤，在向外预测窗的情况下，该方法使 用系统的DDRAM存储器中的单一区域。当窗是"向外"类型时，对 区域或预测缓冲存储器进行填充，该存储器区域具有2宏块X2宏块的 大小，将预测窗包含在内。在步骤11中，使用参考图像中其像素位于 预测窗中的宏块像素来填充预测缓冲区，并且通过对属于参考图像的 存储宏块并位于要扩大的图像边缘的像素进行拷贝来填充其余宏块。 在仅涉及参考图像的一个宏块的情况下，如果该宏块不是角宏块，则除该第一宏块之外，仅在缓冲区中存储第二宏块就足够了，所述第二 宏块是位于存储的第一宏块的图像边缘处的行或列的拷贝。
图9示意了在向外矢量的端点具有负的水平和垂直坐标(例如左
上角-7和-2)的情况下的该重构步骤。运动矢量的端点定义了预测窗 15的位置，标识其像素属于该预测窗15的参考像素宏块18并将其存储 在DDRAM存储器中。如箭头17所示，将该宏块15中在图像边缘处的 像素拷贝至存储器中，以产生三个宏块19、 20和21。角部宏块21是位 于图像左上角的唯一像素的拷贝。通过从32X32像素大小的区域中提 取与运动矢量所定义的预测窗15相对应的16X16像素区域来获得要进 行插值的区域。
在该示例中，预测窗部分地位于参考图像的左上宏块上。因此， 使用该宏块来将预测缓冲区初始化为DDRAM中该32X32区域的右下宏块。
本发明还涉及一种用于对视频流进行解码的、实现上述解码方法 设备。图10示出了这种设备。
处理器22处理解码器内部总线上的交换。该总线通过矩形访问模 块24连接至DDRAM类型的存储器(标记为25)，该存储器存储参考图 像。该存储包含与解码器重构的图像相关的视频数据，其中包含参考 图像(也是要显示的图像)。矩形访问模块实现了只能获取图像中的一 个区域，例如实现插值过程之前的参考图像中的预测值。显示模块26 连接至总线，并且例如根据指示要显示的区域的起始处的指针和根据 要显示的图像格式来处理该视频数据，以使其与观看图像期间所用的 显示器兼容。
协处理器23连接至协处理器22并连接至总线，协处理器23也可以 用于实现在像素上规则实现的一些任务的加速，例如如插值、像素 传播等功能的加速。
主处理器22以标准方式来实现图像解码操作，如可变长度解码、
反余弦变换、反量化、图像重构、运动补偿、帧内或帧间预测、插值、 DDRAM存储器中数据存储的管理、显示模块控制等等。
当窗是"向外"类型时，通过存储参考图像中其像素属于预测窗的宏块来初始化DDRAM存储器中的区域。该协处理器通过沿着合适 方向扩大该初始化部分来填充32X32像素区域的其余部分。要进行插 值的重构区域是32X32区域中的16X 16子部分。
当窗是"向外"的并且在预测值(仅一部分)在参考图像中的情 况下，矩形访问模块允许读取来自预测缓冲区中的预测或插值窗的像 素，因此这些像素包括来自参考图像的像素，而对于参考图像外的部 分，也包括通过拷贝参考图像边缘处的像素而获得的像素。
上述示例基于16X16像素大小的预测窗。自然地，这些预测窗可
以具有宏块分区或子分区的大小。预测缓冲区可以与预测窗的大小相 关，并因此在运动矢量与宏块分区或子分区相关的情况下具有4个分区
或子分区的尺寸。如果预测窗像素仅属于参考图像中不在角部的一个 宏块，则可以将该预测缓冲区减小至该宏块或减小至通过重复参考图 像中在图像边缘的宏块的像素行而构造的第二宏块。如果预测窗像素 仅属于参考图像中不在图像角部的一块，则可以将该预测缓冲区减小 至该块或减小至通过重复参考图像中在图像边缘的块的像素行而构造 的第二块。
仅针对向外矢量给出了一些示例。自然地，本发明还涉及在图像 内的运动矢量，但是对于这种矢量，预测窗部分地位于参考图像之外。
这些示例基于16X 16像素大小的插值窗。在不背离本发明范围的 情况下，可以管理更大的插值窗。
权利要求
1.一种用于对视频图像的块进行解码的方法，所述块是根据预测模式来进行编码的，所述模式对与当前块和预测块或预测值之差相对应的残差块进行编码，所述预测块或预测值在参考图像中的位置由运动矢量定义，所述方法的特征在于执行以下步骤-根据与所述运动矢量相关的预测窗(15)是完全还是部分位于所述参考图像(14)中来确定(8)所述预测窗(15)的类型是非向外的还是向外的，-如果所述预测窗是向外类型的，则对于尺寸至少等于所述预测窗尺寸并被放置为包括所述预测窗在内的预测缓冲区，使用所述参考图像中与预测区(18)共有的像素(10)来对其进行填充，并且通过拷贝(11)所述像素中位于所述图像边缘的像素来填充其余部分(19、20、21)，-根据位于所述预测窗(15)中的缓冲区中的像素(11)来计算所述预测值。
2. 如权利要求1所述的方法，其特征在于，根据所述运动矢量的 初始坐标、所述运动矢量的分量以及所述运动矢量所分配的块的尺寸 来定义所述预测窗的类型。
3. 如权利要求l所述的方法，其特征在于，所述预测值的计算包 括在所述预测窗中进行像素插值(12)的步骤。
4. 如权利要求l所述的方法，其特征在于，所述缓冲区由4个块 (18、 19、 20、 21)组成，其中一块由与所述预测窗像素所属的参考图像块(18)的像素共同的像素形成，其他3块(19、 20、 21)通过 拷贝所述参考图像块中位于所述图像边缘处的像素来获得。
5. 如权利要求4所述的方法，其特征在于，所述3块之一可以通 过拷贝所述图像角部的单个像素来获得。
6. 如权利要求l所述的方法，其特征在于，图像块是宏块、宏块 分区或宏块子分区。
7. 如权利要求6所述的方法，其特征在于，插值区域的大小取决 于所述运动矢量所分配的宏块分区或子分区的大小。
8. 如权利要求1所述的方法，其特征在于，所述方法使用MPEG4 标准。
9. 一种用于实现根据权利要求1所述的方法的解码设备，包括 压縮数据处理电路(22);存储器(25)，连接至所述处理电路，所述 解码设备的特征在于当预测窗是向外类型时，所述存储器包括缓冲的预测区，所述预测区由属于参考图像的预测窗像素和所述预测窗中 在所述图像边缘处的像素的拷贝而形成。
全文摘要
本发明提供了一种用于对视频图像的块进行解码的方法，该方法的特征在于包括以下步骤根据与运动矢量相关的预测窗(15)是完全还是部分位于参考图像(14)中来确定(8)所述预测窗(15)的类型是非向外的还是向外的；如果所述预测窗是向外类型的，则对于尺寸至少等于所述预测窗尺寸并被放置为包括所述预测窗在内的预测缓冲区，使用所述参考图像中与预测区(18)共有的像素(10)来对其进行填充，并且通过拷贝(11)所述像素中位于所述图像边缘的像素来填充其余部分(19、20、21)；根据位于所述预测窗(15)中的缓冲区中的像素(11)来计算所述预测值。本申请涉及H264或MPEG4第10部分格式的压缩。
文档编号H04N7/50GK101563927SQ200780046851
公开日2009年10月21日 申请日期2007年12月20日 优先权日2006年12月21日
发明者塞巴斯蒂安·弗拉勒, 西尔万·法布雷, 费雷德里克·帕基耶 申请人:汤姆森许可贸易公司