专利名称：使用加权预测的视频编码和解码方法及其设备的制作方法
技术领域：
符合本发明的方法和设备涉及使用加权预测的视频编码和解码，更具体地，涉及这样的使用加权预测的视频编码和解码，其可以通过将当前块的预测图像乘以特定的缩放(scaling)因子来生成加权预测图像、并通过对从当前块中减去该加权预测图像而获得的残余信号进行编码，而减少残余信号量。
背景技术：
随着信息和通信技术的发展，除文本和语音通信之外，多媒体通信正在递增。现有的以文本为中心的通信系统不能满足消费者的多样化需求，并因此可容纳诸如文本、图像、音乐以及其它的各种形式信息的多媒体服务正在递增。由于多媒体数据很大，所以分别需要大容量存储介质来存储多媒体数据并需要宽带宽来传送该多媒体数据。因此，需要压缩编码技术来传送包括文本、图像、和音频数据的多媒体数据。
数据压缩的基本原理是去除数据冗余。可通过去除诸如图像中的相同颜色或对象的重复之类的空间冗余、诸如运动图像帧中的相邻帧的极小改变或音频中连续的声音重复之类的时间冗余、以及考虑人类对高频的敏感度的视觉/知觉冗余，来压缩数据。在一般的视频编码方法中，通过基于运动补偿的时间滤波来去除时间冗余，并通过空间变换来去除空间冗余。
图1是图示了在传统的视频编码方法中的预测的视图。
现有的视频编解码器(诸如MPEG-4和H.264编解码器)通过基于运动补偿来去除相邻帧之间的相似性来提高压缩效率。通常，在时间上位于当前帧110之前的参考帧中进行的相似图像预测被称为正向预测120，而在时间上位于当前帧之后的参考帧中进行的相似图像预测被称为反向预测130。使用正向参考帧和反向参考帧二者进行的时间预测被称为双向预测140。
现有的单层视频编解码器可通过从如上所述的各种模式之中选择最佳模式并使用该最佳模式进行编码来改善其效率。另一方面，诸如H.264可缩放扩展的多层视频编解码器(或MPEG可缩放视频编码)使用另一种预测方法，即基础层(base layer)预测方法，以便去除层之间的相似性。也就是说，视频编解码器使用在处于与基础层图像中目前正被编码的块相同的时间位置处的帧中的图像来执行图像预测。在这个情况中，如果各个层具有不同的分辨率，则视频编解码器在对基础层图像进行上采样、并使基础层图像的分辨率与当前层的分辨率匹配之后，执行时间预测。
尽管可存在几个理由用于选择预测模式，但是可以对各个预测方法执行直接编码，以选择具有较低成本的方法。可以以各种方式来定义成本C，并且如方程(1)所示基于速率失真(rate-distortion)来计算代表性成本。这里，E表示在原始信号和通过对已编码的比特进行解码而恢复的信号之间的差异，而B表示执行各个方法所需要的比特数。此外，λ表示可以调整E和B的反射(reflection)速率的拉格朗日(Lagrangian)系数。
C=E+λB (1)
发明内容
技术问题 在许多专利文献中公开了使用时间预测的传统视频编码方法。例如，韩国专利未审查公开No.2004-047977公开了空间上的可缩放压缩，并具体地公开了这样的视频编码方法，其包括基于已向上缩放(up-scaled)的基础层与增强层之间的和来计算各个帧的运动矢量。
然而，除基础层预测之外，传统的视频编码方法具有它们从不使用大量的基础层信息的问题。
技术方案 本发明提供了一种使用加权预测的视频编码和解码方法以及用于其的设备，其可以通过减少要被压缩的当前块和预测图像的错误来提高视频编码的效率。
本发明还提供了一种使用加权预测的视频编码和解码方法以及用于其的设备，其可以通过在生成预测图像时使用基础层信息来提高视频编码的效率。
根据本发明的一方面，提供了一种视频编码方法，包括为当前块生成预测图像；生成用于使当前块和预测图像之间的差异最小化的、作为预测图像的缩放因子的加权预测因子；通过将预测图像乘以加权预测因子来生成加权预测图像；以及对通过从当前块中减去加权预测图像而生成的残余信号进行编码。
根据本发明的又一方面，提供了一种多层视频编码方法，其包括为当前块生成预测图像；生成用于使当前块和预测图像之间的差异最小化的、作为预测图像的缩放因子的加权预测因子；通过将预测图像乘以加权预测因子来生成加权预测图像；选择在预测图像和加权预测图像之中的、提高当前块的压缩性能的图像；对通过从当前块中减去所选择的图像而生成的残余信号进行编码；以及根据选择结果将指明是否使用加权预测图像的信息插入到当前块中。
根据本发明的又一方面，提供了一种多层视频解码方法，其包括从比特流中恢复要被恢复的当前块的残余信号；从比特流中恢复当前块的预测图像；通过将预测图像乘以加权预测因子来生成加权预测图像；以及通过将残余信号与加权预测图像相加来恢复当前块；其中所述加权预测因子是用于使当前块和预测图像之间的差异最小化的、预测图像的缩放因子。
根据本发明的又一方面，提供了一种多媒体视频编码器，其包括用于为当前块生成预测图像的装置；用于生成加权预测因子的装置，所述加权预测因子是用于使当前块和预测图像之间的差异最小化的、预测图像的缩放因子；用于通过将预测图像乘以加权预测因子来生成加权预测图像的装置；以及用于对通过从当前块中减去加权预测图像而生成的残余信号进行编码的装置。
根据本发明的又一方面，提供了一种多层视频编码器，其包括用于为当前块生成预测图像的装置；用于生成加权预测因子的装置，所述加权预测因子是用于使当前块和预测图像之间的差异最小化的、预测图像的缩放因子；用于通过将预测图像乘以加权预测因子来生成加权预测图像的装置；用于选择在预测图像和加权预测图像之中的、提高当前块的压缩性能的图像的装置；用于对通过从当前块中减去所选择的图像而生成的残余信号进行编码的装置；以及用于将根据选择结果指明是否使用加权预测图像的信息插入到当前块中的装置。
根据本发明的又一方面，提供了一种多层视频解码器，其包括用于从比特流中恢复要被恢复的当前块的残余信号的装置；用于从比特流中恢复当前块的预测图像的装置；用于通过将预测图像乘以加权预测因子来生成加权预测图像的装置；以及用于通过将残余信号与加权预测图像相加来恢复当前块的装置；其中所述加权预测因子是用于使当前块和预测图像之间的差异最小化的、预测图像的缩放因子。
根据接下来结合附图对示范实施例的详细描述，本发明的上面和其它方面将更明显，其中 图1是图示了传统视频编码方法中的预测的视图； 图2图示了根据本发明示范实施例的加权预测的构思的视图； 图3是图示了根据本发明示范实施例的又一加权预测的构思的视图； 图4是图示了根据本发明示范实施例的使用加权预测的视频编码处理的流程图； 图5是图示了根据本发明又一示范实施例的使用加权预测的视频编码处理的流程图； 图6是图示了根据本发明又一示范实施例的使用加权预测的视频编码处理的流程图； 图7是图示了根据本发明示范实施例的视频解码处理的流程图； 图8是图示了与图5的视频编码处理对应的视频解码处理的流程图； 图9是图示了与图6的视频编码处理对应的视频解码处理的流程图； 图10是图示了用于选择性地执行传统预测和根据本发明示范实施例的加权预测的的数据结构的视图； 图11是图示了根据本发明示范实施例的编码器的构造的框图； 图12是图示了与图11的编码器对应的解码器的构造的框图； 图13是图示了根据本发明又一示范实施例的编码器的构造的框图； 图14是图示了与图1 3的编码器对应的解码器的构造的框图； 图15是图示了根据本发明又一示范实施例的使用加权预测的视频编码器构造的框图；以及 图16是图示了与图15的编码器对应的解码器的构造的框图。
具体实施例方式 下文中，将参考附图详细描述本发明的示范实施例。通过参考将结合附图详细描述的示范实施例，本发明的所述方面和特征以及用于实现这些方面和特征的方法将变得明显。然而，本发明不限于下文中公开的示范实施例，而是可以以各种形式实现。提供在描述中定义的内容(诸如详细的构造和元件)，以有助于本领域的普通技术人员全面理解本发明，并且本发明仅限定在所附权利要求的范围内。在本发明的整个描述中，在各个图中，相同的附图标记用于相同的元件。
在接下来的描述中，假设块包括宏块以及该宏块的再分单元，并且所有操作以块为单位执行。此外，利用如上面参考图1描述的传统时间预测方法生成的图像被表述为预测图像。提供该定义有助于理解本发明，但是本发明不限于这样的定义。
在根据本发明示范实施例的视频编码方法中，没有按照原状使用预测图像，而是在计算用于最佳地预测要被压缩的当前块的缩放因子之后，通过将预测图像乘以该缩放因子来预测当前块。在接下来的描述中，为了说明方便，用加权预测表示通过将预测图像乘以缩放因子进行的当前块预测，并且用加权预测图像表示通过将预测图像乘以缩放因子获得的值。此外，用加权的预测因子表示所述缩放因子。提供这些定义以有助于理解本发明，但是本发明不限于这些定义。
现在将说明根据本发明示范实施例的用于计算加权预测因子的方法。
假设当前块的像素值表述为x(i，j)，而预测图像的像素值表述为y(i，j)。在通过如图1所示的传统方法执行预测的情况中，当前块和预测图像之间的均方误差E表述为如下的方程(2)。
E＝∑{x(i，j)-y(i，j)｝2……(2) 在根据本发明示范实施例的预测方法的情况中，使用通过将预测图像的像素值y(i，j)乘以加权预测因子α获得的加权预测图像的像素值α×y(i，j)，代替预测图像的像素值y(i，j)，并因此当前块和预测图像之间的均方误差E表述为如下的方程(3)。
E＝∑{x(i，j)-αy(i，j)｝2……(3) 为了使方程(3)中的均方误差E最小化，通过将方程(3)相对于α执行偏微分、并将所述偏微分的结果设置为等于零，而获得方程(4)。
根据方程(4)，获得如下面方程(5)所示的α。
在方程(5)中，x(i，j)和y(i，j)处于互相关形式。在本发明的示范实施例中，编码器根据方程(5)为当前帧中的每个块计算α，并将所计算的α传送到解码器方。解码器通过将所恢复的预测图像乘以从编码器接收的α，而恢复加权预测图像，并通过将所恢复的残余信号与加权预测图像相加，来恢复对应的块。
在本发明的又一示范实施例中，为了计算加权预测因子α，使用处于与当前块相同的时间位置处的基础层图像的像素值z(i，j)来代替原始帧块的像素值x(i，j)，并因此不需要单独传送α。在这个情况中，使用方程(5)计算α 如果使用方程(6)计算α，则解码器可以识别基础层图像的像素值z(i，j)以及预测图像的像素值y(i，j)，并因此可以在没有单独从编码器接收α的情况下重新计算α。图2示出了根据本发明示范实施例的加权预测的构思。
编码器通过使用存在于当前帧的相同层中的正向参考帧图像220、反向参考帧图像230、以及基础层帧图像240中的至少一个，来生成关于要被压缩的当前帧的当前块2 10的预测图像250。编码器根据方程(6)计算根据本发明示范实施例的α(260)，并通过将预测图像250乘以α生成加权预测图像(270)。然后，编码器通过从当前块210中减去加权预测图像而获得残余信号，并在将已编码的残余信号传送到解码器方之前编码该残余信号。
在视频编解码器根据已通过量化恢复的值而生成预测图像的像素值y(i，i)(即视频编解码器使用闭环)的情况下，可以仅使用如上面参考图2描述的方法来充分地执行视频编码和解码。然而，在视频编解码器生成与还没有量化的原始帧的值对应的预测图像的像素值y(i，j)(即视频编解码器使用开环)的情况下，在编码器方中的预测信号的值y(i，j)可以不同于在解码器方中的那些值，并且这可导致由编码器计算的α完全不同于由解码器计算的α。在这个情况中，编码器和解码器可以利用相同的α，通过使用基础层信息而不是方程(6)中的预测信号y(i，j)，来执行视频编码和解码。
图3从概念上示出了使用基础层信息而不是预测信号y(i，j)来计算加权预测因子α的处理。
编码器通过使用存在于与当前帧相同的层中的正向参考帧图像320、反向参考帧图像330、以及基础层帧图像340中的至少一个，来生成关于要被压缩的当前帧的当前块3 10的预测图像350。编码器以与方程(6)类似的方式计算加权预测因子α(390)。这里，用由基础层信息生成的基础层预测图像的像素值u(i，i)来替换当前块的预测图像350的像素值y(i，j)。基础层预测图像的像素值u(i，i)如下获得。
如果根据当前层的正向参考帧图像320或反向参考帧330中的至少一个，来生成预测图像350，则编码器从处于与当前块相同的时间位置处的基础层图像340的正向帧或反向帧中搜索基础层参考图像360和370，其中图像360和370用与当前块的运动矢量325和335相同的运动矢量365和375来指明。此时，如果根据基础层图像340生成预测图像350，则编码器使用基础层图像340的像素值作为预测图像350的像素值y(i，j)，或者在基础层的分辨率低于当前层的分辨率时执行基础层图像的上采样。如果使用新生成的基础层预测图像380的像素值u(i，j)，则如方程(7)所示计算根据本发明示范实施例的加权预测因子α。
编码器通过将预测图像350乘以α而生成加权预测图像(395)。然后，编码器通过从当前块310中减去加权预测图像而获得残余信号，对残余信号进行编码，并将已编码的残余信号传送到解码器方。
如果当前层的原始帧类似于基础层帧，并且如果基础层帧的质量高于预定水平，则上面参考图2和3描述的示范实施例是有用的，但是如果基础层帧的质量大大降低并因此原始帧和基础层帧之间的差异很大，则其是无用的。在这个情况中，可以选择性地执行传统预测方法，而不使用加权预测因子。后面将结合图10说明该选择的具体情况。
图4是图示了根据本发明示范实施例的使用加权预测的视频编码处理的流程图。
参考图4，编码器根据如上面参考图1描述的传统预测方法来生成当前块的预测图像(S410)。然后，如在用方程(5)至(7)描述的示范实施例中那样，编码器计算作为使当前块和预测图像之间的差异最小化的缩放因子的加权预测因子(S420)。编码器通过将预测图像乘以加权预测因子来生成用于执行更准确预测的加权预测图像(S430)，通过从当前块中减去加权预测图像生成残余信号(S440)，并然后编码残余信号(S450)。
图5是图示了根据本发明又一示范实施例的使用加权预测的视频编码处理的流程图。
参考图5，为了计算如上面参考图2描述的加权预测因子α，使用处于与当前块相同的时间位置处的基础层图像的像素值z(i，j)来代替原始帧的当前块的像素值x(i，i)，并因此不需要单独传送加权预测因子α。为此，根据本发明示范实施例的编码器根据上面参考图1描述的传统预测方法来生成要被压缩的当前块的预测图像(S510)，并使用处于与当前帧相同的时间位置处的基础层帧的对应图像的像素值z(i，j)、以及预测图像的像素值y(i，j)，来计算加权预测因子α(S520)。在本发明的示范实施例中，在方程(6)中表述了用于计算加权预测因子α的方法示例。编码器通过将预测图像乘以加权预测因子来生成用于更准确预测的加权预测图像(S530)，通过从当前块中减去加权预测图像来生成残余信号(S540)，并然后编码残余信号(S550)。
图6是图示了根据本发明又一示范实施例的使用加权预测的视频编码处理的流程图。
如上面参考图3描述的，在视频编解码器中，在编码器方的预测信号的值y(i，j)由于漂移误差(drift error)而变得不同于解码器方的所述值，并因此如果按照原状使用如图5中图示的视频编码方法，则在解码器中计算的加权预测因子α变得不同于在编码器中计算的加权预测因子α。因此，在由解码器方恢复的视频块的值中出现错误。根据本发明示范实施例的视频编码方法如下执行加权预测因子α的计算。
编码器根据上面参考图1描述的传统预测方法来生成当前块的预测图像(S610)。如果使用当前层的正向帧或反向帧中的至少一个来生成要被压缩的当前块的预测图像(S620中为“是”)，则编码器从处于与当前块相同时间位置处的基础层图像的正向帧或反向帧中搜索由作为与当前块的运动矢量相同的运动矢量所指明的区域，并使用与生成预测图像的方法相同的方法来生成基础层预测图像(S630)。然后，编码器使用与当前块对应的基础层图像和基础层预测图像，根据方程(7)计算加权预测因子α(S640)。相反，如果根据基础层图像生成当前块的预测图像(S620中为“否”)，则与当前块对应的基础层图像变成基础层预测图像，并在方程(7)中使用值z(i，j)代替u(i，j)(S635)。
编码器通过将预测图像乘以加权预测因子来生成用于执行更准确预测的加权预测图像(S650)，并然后对通过从当前块中减去加权预测图像而获得的残余信号进行编码(S660)。
图7是图示了根据本发明示范实施例的视频解码处理的流程图。
参考图7，根据本发明示范实施例的解码器从自编码器传送的比特流中恢复要被恢复的当前块的残余信号、以及该当前块的预测图像(S710)，并从比特流中提取由编码器生成并传送的加权预测因子(S720)。在本发明的示范实施例中，在编码器计算加权预测因子并将该加权预测因子插入到要传送的比特流中的情况下，可以使用该解码器。该解码器通过将所恢复的预测图像乘以所提取的加权预测因子来生成加权预测图像(S730)，并然后通过将所恢复的残余信号与加权预测图像相加来恢复当前块(S740)。
图8是图示了与图5的视频编码处理对应的视频解码处理的流程图。
参考图8，根据本发明示范实施例的解码器从比特流中恢复要被恢复的当前块的残余信号、以及该当前块的预测图像(S810)。该解码器生成用于使基础层帧的对应图像与所恢复的预测图像之间的差异最小化的加权预测因子，其中该基础层帧位于与当前块所处于的当前帧相同的时间位置中(S820)。此时，可以根据方程(6)计算加权预测因子。解码器通过将所恢复的预测图像乘以加权预测因子来生成加权预测图像(S830)，并通过将所恢复的残余信号与所述加权预测图像相加来恢复当前块(S840)。
图9是图示了与图6的视频编码处理对应的视频解码处理的流程图。
参考图9，根据本发明示范实施例的解码器从比特流中恢复要被恢复的当前块的残余信号、以及该当前块的预测图像(S910)。如果预测图像是从当前层的参考帧中生成的(S920中为“是”)，则解码器通过按照原状使用当前块的运动矢量而从与当前块对应的基础层图像的正向帧或反向帧中搜索基础层参考图像，并以与生成当前块的预测图像的方法相同的方式，通过使用所搜索的基础层参考图像来生成基础层预测图像(S930)。另一方面，如果预测图像不是从基础层帧中生成的(S920中为“否”)，则解码器通过按照原状使用当前块的基础层图像或者通过对基础层图像进行上采样来生成基础层预测图像(S935)。然后，解码器通过使用与当前块对应的基础层图像以及基础层预测图像，生成使当前块和预测图像之间的差异最小化的加权预测因子(S940)。也就是说，解码器根据上述的方程(7)，使用基础层图像的像素值z(i，j)以及基础层预测图像的像素值u(i，j)，来计算加权预测因子。解码器通过将所恢复的预测图像乘以加权预测因子来生成加权预测图像(S950)，并通过将所恢复的残余信号与加权预测图像相加来恢复当前块(S960)。
图10是图示了用于选择性地执行传统预测和根据本发明示范实施例的加权预测的数据结构的视图。
在基础层帧和当前帧之间没有显著差异、并且预测正好不是通过现有方法执行的情况中，上述方法是有效的。因此，也有可能选择性地使用现有的预测方法以及根据本发明的加权预测方法。为了选择性地使用现有的预测方法和加权预测方法，可以在比特流中插入用于指明是否使用加权预测方法的标记比特。
如图10所示，如果插入到比特流中的加权预测使用标记比特是“1”，则解码器使用加权预测方法，但是如果所述比特是“0”，则解码器使用现有的预测方法。在这个情况中，该加权预测使用标记比特值为可以辨别使用还是不使用加权预测方法的值，这就足够了。可以以帧或片(slice)为单位、或者以宏块为单位，来插入加权预测使用标记比特。另一方面，可以将标记比特插入到帧或片的报头以及宏块的报头二者中，并使用两个比特的组合来执行预测。例如，如果片报头的标记值是“0”，则可以对所有帧使用现有的预测方法，而如果标记值是“1”，则可以对所有帧使用加权预测方法。此外，如果片报头的标记值是“2”，则可以根据宏块的标记值来选择性地使用现有预测方法和加权预测方法。
另一方面，可以根据YUV颜色分量来选择性地使用现有预测方法和加权预测方法。在这个情况中，加权预测使用标记可包括三个比特，并且各个比特指明是否对颜色空间的各个分量使用加权预测。
还可以将如上所述使用加权预测进行视频编码的构思应用于残余预测。该残余预测是这样的技术，其中如果在多层结构中两层之间的运动矢量彼此类似，则在两个层中生成的残余信号彼此类似。如果假设当前层的原始信号是02，当前层的预测图像是P2，当前层的残余信号是R2，基础层的原始信号是O1，基础层的预测图像是P1，以及基础层的残余信号是R1，则各个层的残余信号表述如下。
R2＝O2-P2 R1＝O1-P1 在这个情况中，R1是在基础层中量化并编码的信号，而在当前层中，通过量化R2-R1而不是R2，来提高压缩效率。可通过确定是否将这个处理应用在宏块或子块的单元中，来倾向性地使用这个处理。
在使用加权预测进行视频编码的情况中，残余值是通过从原始信号中减去加权预测图像(而不是P1和P2)来获得的。因此，各个层的残余信号可表述为接下来的方程(8)和方程(9)。
R2=O2-P2……(8) R1＝O1-βP1……(9) 这里，α和β是各个层的块的加权预测因子。
在这个情况中，由于降低了R1和R2之间的相似性，所以残余预测的性能可能恶化。因此，使用O1、P1、α、和β生成与R2(而不是R2-R1)类似的信号，并对通过从该信号中减去R2获得的值进行编码。也就是说，如果与R2类似的信号是R1＇，则其可以表述为接下来的方程(10)。
R1′＝O1-αP1……(10) 然后，通过为P1而变换方程(9)并将变换结果代入方程(10)中，而获得方程(11)。
R1′＝O1-α(O1-R1)/β＝(1-α/β)O1+α/βR1……(11) 也就是说，代替编码R2-R1，而可以编码 R2-R1′＝R2-((1-α/β)O1+α/βR1) 在这个情况中，如果各个层的加权预测因子为全“1”，则使用现有预测方法而不是加权预测方法。
图11是图示了根据本发明示范实施例的视频编码器的构造的框图。
参考图11，尽管根据本发明示范实施例的视频编码器1100被构造为单层编码器，但是它也可以包括基础层编码器1110和增强层编码器1150。
增强层编码器1150可包括空间变换单元1152、量化单元1154、熵编码单元1156、运动估计单元1164、运动补偿单元1166、选择单元1168、加权预测因子生成单元1170、加权预测图像生成单元1172、去量化单元1158、以及逆空间变换单元1160。
选择单元1168从用于基础层预测、正向预测、反向预测、和双向预测的多个方法之中选择有益的预测方法。尽管可能优选地以宏块为单位执行这样的选择，但是也可以以帧或片为单位执行该选择。为此，选择单元1168从基础层编码器1110的上采样器1136接收对应的基础层帧，并从加法器1162中接收所恢复的帧。
加权预测因子生成单元1170接收原始帧和来自选择单元的预测帧，根据方程(5)生成加权预测因子，并将所生成的加权预测因子提供给加权预测图像生成单元1172和熵编码单元1156。
加权预测图像生成单元1172通过将运动补偿单元1166所提供的当前块的预测图像乘以从加权预测因子生成单元1170传输来的加权预测因子，来生成加权预测图像。
运动估计单元1164通过参考参考帧来执行在输入视频帧之中的当前帧的运动估计，并获得运动矢量。运动估计单元1164向熵编码单元1156发送运动数据，诸如作为运动估计结果获得的运动矢量、运动块大小、参考帧号、以及其它。
运动补偿单元减少输入视频帧的时间冗余。在这个情况中，运动补偿单元1166通过使用在运动估计单元1164中计算的运动矢量对参考帧执行运动补偿，而生成当前帧的时间预测帧。
减法器1174通过从当前帧减去所述时间预测帧，而去除视频的时间冗余。
空间变换单元1152使用支持空间缩放性的空间变换方法，来从已由减法器1174去除了时间冗余的帧中去除空间冗余。作为空间变换方法，可以使用离散余弦变换(DCT)、小波变换、或其它。
量化单元1154对通过空间变换单元1152获得的变换系数进行量化。量化意味着通过将变换系数划分为特定的部分，而将表述为实值的变换系数表达为离散值，并然后匹配所述离散值和特定的索引。
熵编码单元1156对量化单元1154所量化的变换系数、从运动估计单元1164提供的运动数据、以及从加权预测因子生成单元1170提供的加权预测因子执行无损编码，并生成输出比特流。可以使用算术编码或可变长度编码作为无损编码方法。
在视频编码器1100支持闭环视频编码以便减少在编码器方和解码器方之间出现的漂移误差的情况下，它还可包括去量化单元1158和逆空间变换单元1160。
去量化单元1158对量化单元1154所量化的系数执行去量化。该去量化处理对应于量化处理的逆处理。
逆空间变换单元1160对去量化的结果执行逆空间变换，并将逆空间变换的结果提供给加法器1162。
加法器1162通过将逆空间变换单元1160提供的残余帧与运动补偿单元1166所提供的并且存储在帧缓冲器(未示出)中的前一帧相加，来恢复视频帧，并将所恢复的视频帧作为参考帧提供给运动估计单元1164。
另一方面，基础层编码器1110可包括空间变换单元1112、量化单元1114、熵编码单元1116、运动估计单元1124、运动补偿单元1126、加权预测因子生成单元1128、加权预测图像生成单元1130、去量化单元1118、逆空间变换单元1120、下采样器1134、以及上采样器1136。尽管在本发明的示范实施例中，上采样器1136包括在基础层编码器1110中，但是它可以存在于视频编码器1100中的任何地方。
下采样器1134将原始输入帧下采样为基础层的分辨率。该下采样是在增强层的分辨率不同于基础层的分辨率的假设下执行的。如果两层的分辨率相同，则可以省略下采样处理。
如果需要，上采样器1136对从加法器1122输出的信号(即所恢复的视频帧)执行上采样，并将上采样后的视频帧提供给增强层编码器1150的选择单元1168。当然，如果增强层的分辨率与基础层的分辨率相同，则可以省略上采样处理。
空间变换单元1112、量化单元1114、熵编码单元1116、运动估计单元1164、运动补偿单元1166、加权预测因子生成单元1168、加权预测图像生成单元1170、去量化单元1118、以及逆空间变换单元1120的操作与增强层中的那些部件的操作相同，并因此省略其说明。
图12是图示了与图11的编码器对应的解码器的构造的框图。
参考图12，尽管根据本发明示范实施例的视频解码器1200可构造为单层解码器，但是它也可包括基础层解码器1210和增强层解码器1250。
增强层解码器1250包括熵解码单元1255、去量化单元1260、逆空间变换单元1265、运动补偿单元1270、以及加权预测图像生成单元1275。
熵解码单元1255通过执行作为熵编码的逆处理的无损解码，来提取加权预测因子、运动数据、和纹理数据。熵解码单元1255将所提取的纹理数据提供给去量化单元1260，将所提取的运动数据提供给运动补偿单元1270，并将加权预测因子提供给加权预测图像生成单元1275。
去量化单元1260对从熵解码单元1255传送的纹理数据执行去量化处理。该去量化处理用于搜索使从编码器方1100传输来的由特定索引表述的值匹配的量化系数。可从编码器方1100传输代表所述索引和量化系数之间的映射的表，或者该表可以由编码器和解码器预定。
逆空间变换单元1265在空间域中执行逆空间变换，并恢复通过对残余图像进行去量化生成的系数。例如，如果在视频编码器方已经利用小波变换方法对系数进行了空间变换，则逆空间变换单元1265将执行逆小波变换，然而，如果在视频编码器方已经利用DCT变换方法对系数进行了变换，则逆空间变换单元1265将执行逆DCT变换。
运动补偿单元1270使用从熵解码单元1255提供的运动数据对所恢复的视频帧执行运动补偿，并生成运动补偿后的帧。当然，可以仅仅在编码器方通过时间预测处理编码当前帧时，执行该运动补偿处理。
加权预测图像生成单元1275分别接收来自熵解码单元1255的加权预测因子、以及来自运动补偿单元1270或基础层上采样器1245的已恢复预测帧，并通过将预测帧乘以加权预测因子来生成加权预测图像。
当通过时间预测生成由逆空间变换单元恢复的残余图像时，加法器1280通过将残余图像与从加权预测图像生成单元1275提供的已运动补偿的帧相加，来恢复视频帧。
另一方面，基础层解码器1210可包括熵解码单元1215、去量化单元1220、逆空间变换单元1225、运动补偿单元1230、加权预测图像生成单元1235、以及上采样器1245。
上采样器1245将由基础层解码器1210恢复的基础层图像上采样到增强层的分辨率。如果基础层的分辨率与增强层的分辨率相同，则可以省略该上采样处理。
熵解码单元1215、去量化单元1220、逆空间变换单元1225、运动补偿单元1230、以及加权预测图像生成单元1235的操作与增强层中存在的这些部件的操作相同，并将省略其重复说明。
图13是图示了根据本发明又一示范实施例的编码器的构造的框图。
参考图13，根据本发明这个示范实施例的视频编码器执行如图5所示的编码方法，并可包括基础层编码器1310和增强层编码器1350。
增强层编码器1350可包括空间变换单元1352、量化单元1354、熵编码单元1356、运动估计单元1364、运动补偿单元1366、选择单元1368、加权预测因子生成单元1370、加权预测图像生成单元1372、去量化单元1358、和逆空间变换单元1360。
加权预测因子生成单元1370接收来自选择单元1368的当前块的预测图像、以及与来自基础层编码器1310的上采样器1332的当前块对应的基础层图像，并根据方程(6)计算加权预测因子α。加权预测图像生成单元1372通过将从运动补偿单元1366提供的当前块的预测图像乘以从加权预测因子生成单元1370传输的加权预测因子，来生成加权预测图像。
另一方面，基础层编码器1310可包括空间变换单元1312、量化单元1314、熵编码单元1316、运动估计单元1324、运动补偿单元1326、去量化单元1318、逆空间变换单元1320、下采样器1330、和上采样器1332。
如果需要，上采样器1136对从加法器1322输出的信号(即所恢复的视频帧)执行上采样，并将上采样后的视频帧提供给增强层编码器1350的选择单元1368和加权预测因子生成单元1370。当然，如果增强层的分辨率与基础层的分辨率相同，则可以省略上采样处理。
空间变换单元1312和1352、量化单元1314和1354、熵编码单元1316和1356、运动估计单元1324和1364、运动补偿单元1326和1366、加权预测图像生成单元1170、去量化单元1318和1358、以及逆空间变换单元1320和1360的操作与在如图11所示的编码器中存在的部件的操作相同，并将省略其重复说明。
图14是图示了与图13的编码器对应的解码器的构造的框图。
参考图14，根据本发明示范实施例的视频解码器1440可包括基础层解码器1410和增强层解码器1450。
增强层解码器1450包括熵解码单元1455、去量化单元1460、逆空间变换单元1465、运动补偿单元1470、加权预测因子生成单元1475、和加权预测图像生成单元1480。
加权预测因子生成单元1475以与图13所示的编码器的加权预测因子生成单元1370相同的方式计算加权预测因子。也就是说，加权预测因子生成单元1475接收来自运动补偿单元1470的已恢复预测图像、和与来自基础层解码器1410的上采样器1440的当前块对应的基础层图像，并根据方程(6)计算加权预测因子α。加权预测图像生成单元1480通过将从运动补偿单元1470经由加权预测因子生成单元1475传输的当前块的预测图像乘以从加权预测因子生成单元1475传输来的加权预测因子，来生成加权预测图像。
当通过时间预测生成逆空间变换单元1465所恢复的残余图像时，加法器1485通过将残余图像与加权预测图像生成单元1480所提供的加权预测图像相加，来恢复视频帧。
另一方面，基础层解码器1410可包括熵解码单元1415、去量化单元1420、逆空间变换单元1425、运动补偿单元1430、以及上采样器1440。
熵解码单元1415和1455、去量化单元1420和1460、逆空间变换单元1425和1465、运动补偿单元1430和1470、以及上采样器1440的操作与在如图12所示的视频解码器中存在的那些部件的操作相同，并将省略其重复说明。
图15是图示了根据本发明又一示范实施例的使用加权预测的视频编码器的构造的框图。
参考图15，根据本发明这个示范实施例的视频编码器1500执行如图6所示的编码方法。视频编码器1500简要包括基础层编码器1510和增强层编码器1550。
增强层编码器1550可包括空间变换单元1552、量化单元1554、熵编码单元1556、运动估计单元1560、运动补偿单元1562、选择单元1564、以及加权预测图像生成单元1566。
加权预测图像生成单元1566通过将从选择单元1564提供的当前块的预测图像乘以从基础层编码器1510的加权预测因子生成单元1520传输来的加权预测因子，来生成加权预测图像。
另一方面，基础层编码器1510可包括空间变换单元1522、量化单元1524、熵编码单元1526、运动估计单元1514、运动补偿单元1516、加权预测因子生成单元1520、下采样器1512、以及上采样器1528。尽管在本发明的示范实施例中，加权预测因子生成单元1520和上采样器1 528包括在基础层编码器1510中，但是它们可存在于视频编码器1500中的任意地方。
加权预测因子生成单元1520接收来自增强层编码器1550的运动估计单元1560的运动矢量，从下采样器1512提供的基础层帧中搜索基础层参考图像，并使用该基础层参考图像，以与在增强层中生成预测图像相同的方式，来生成基础层预测图像。加权预测因子生成单元1520根据方程(7)，使用基础层图像和基础层预测图像，来计算加权预测因子α，并将加权预测因子α提供给增强层编码器1550的加权预测图像生成单元1566。
空间变换单元1522和1552、量化单元1524和1554、熵编码单元1526和1556、运动估计单元1514和1560、运动补偿单元1516和1562、选择单元1564、下采样器1512、和上采样器1528的操作与在如图11所示的编码器的那些部件的操作相同，并将省略其重复说明。
图16是图示了与图15的编码器对应的解码器的构造的框图。
参考图16，根据本发明这个示范实施例的视频解码器1600可包括基础层解码器1610和增强层解码器1650。
增强层解码器1650包括熵解码单元1655、去量化单元1660、逆空间变换单元1665、运动补偿单元1670、和加权预测图像生成单元1675。
加权预测图像生成单元1675通过将从运动补偿单元1670提供的当前块的已恢复预测图像乘以从基础层解码器1610的加权预测因子生成单元1640传输来的加权预测因子，来生成加权预测图像。
当通过时间预测生成由逆空间变换单元恢复的残余图像时，加法器1680通过将残余图像与从加权预测图像生成单元1675提供的加权预测图像相加，来恢复视频帧。
另一方面，基础层解码器1610可包括熵解码单元1615、去量化单元1620、逆空间变换单元1625、运动补偿单元1635、加权预测因子生成单元1640、以及上采样器1645。
加权预测因子生成单元1640以与图15所示的编码器的加权预测因子生成单元1520相同的方式，来计算加权预测因子。也就是说，加权预测因子生成单元接收来自增强层解码器1650的熵解码单元1655的运动矢量，从自加法器1630提供的已恢复基础层帧中搜索基础层参考图像，并以与在增强层中生成预测图像相同的方式，使用基础层参考图像，来生成基础层预测图像。加权预测因子生成单元1640根据方程(7)，使用基础层图像和基础层预测图像，来计算加权预测因子α，并将所计算的加权预测因子α提供给增强层编码器1650的加权预测图像生成单元1675。
熵解码单元1615和1655、去量化单元1620和1660、逆空间变换单元1625和1665、运动补偿单元1635和1670、和上采样器1645的操作与在图12所示的视频解码器中存在的那些部件的操作相同，并因此省略其说明。
尽管举例说明了在图11到16中存在具有相同名称但具有不同附图标记的多个构成元件，但是对本领域的技术人员显而易见的是，单个构成元件可在基础层和增强层二者中工作。
可以将图11至16中图示的各个构成元件实施为诸如现场可编程门阵列(FPGA)和专用集成电路(ASIC)的硬件或软件。此外，可将所述构成元件构造为驻留在可寻址存储介质中、或者运行一个或多个处理器。可以通过再分构成元件来实现在构成元件中提供的功能，并且可以组合构成元件以及在构成元件中提供的功能，来执行特定的功能。此外，构成元件可以实现为运行系统中的一个或多个计算机。
工业实用性 如上所述，根据本发明的视频编码和解码方法可以产生以下效果中的至少一项。
第一，可通过减少在要被压缩的当前块和预测图像之间的错误，来提高视频编码的效率。
第二，在生成预测图像时，可使用基础层的信息来提高视频编码的效率。
已为了图示性目的而描述了本发明的示范实施例，并且本领域技术人员将理解可能进行各种修改、增加、和替换，而不脱离在所附权利要求中公开的本发明的范围和精神。
权利要求
1.一种视频编码方法，包括
为当前块生成预测图像；
生成用于缩放预测图像的加权预测因子；
通过将预测图像乘以加权预测因子，来生成加权预测图像；
通过从当前块中减去加权预测图像来生成残余信号；以及
对所述残余信号进行编码。
2.根据权利要求1的视频编码方法，其中所述生成加权预测因子的步骤包括使通过将当前块的像素值和预测图像的像素值乘以所述加权预测因子而获得的值的均方误差最小化。
3.根据权利要求1的视频编码方法，其中所述生成加权预测因子的步骤包括计算用于使在对应于当前块的基础层图像与预测图像之间的差异最小化的加权预测因子。
4.根据权利要求3的视频编码方法，其中该加权预测因子是根据下面的方程计算的
其中，y(i，j)表示预测图像的像素值，而z(i，j)表示基础层图像的像素值。
5.根据权利要求1的视频编码方法，其中所述生成加权预测因子的步骤包括
使用当前块的运动矢量，根据与当前块对应的基础层图像的基础层正向相邻帧或基础层反向相邻帧，而生成与当前块的预测图像对应的基础层预测图像；以及
计算用于使在与当前块对应的基础层图像与所述预测图像之间的差异最小化的加权预测因子。
6.根据权利要求5的视频编码方法，其中所述加权预测因子是根据下面的方程来计算的
其中，z(i，j)表示基础层图像的像素值，而u(i，j)表示基础层预测图像的像素值。
7.根据权利要求1的视频编码方法，其中对残余信号进行编码的步骤包括对在当前块的残余信号与通过从与当前块对应的基础层图像减去一值而获得的值之间的差异进行编码，其中所述被减去的值是通过将基础层图像的预测图像乘以加权预测因子而获得的。
8.一种视频编码方法，包括
为当前块生成预测图像；
生成用于缩放预测图像的加权预测因子；
通过将预测图像乘以加权预测因子来生成加权预测图像；
选择在预测图像和加权预测图像之中的、提高当前块的压缩性能的图像；
通过从当前块中减去所选择的图像，来生成残余信号；
对所述残余信号进行编码；以及
根据选择结果，将指明是否使用加权预测的信息插入到当前块中。
9.根据权利要求8的视频编码方法，其中所述选择提高当前块的压缩性能的图像的步骤包括选择在预测图像和加权预测图像之中的、具有小速率失真的图像。
10.根据权利要求8的视频编码方法，其中所述指明是否使用加权预测的信息被插入到片的报头或宏块的报头中的至少一个中。
11.根据权利要求8的视频编码方法，其中所述指明是否使用加权预测的信息指明是否对亮度分量和色度分量中的每一个使用加权预测。
12.一种视频解码方法，包括
从比特流中恢复要被恢复的当前块的预测图像；
从比特流中恢复当前块的残余信号；
通过将预测图像乘以加权预测因子，来生成加权预测图像；以及
通过将残余信号与加权预测图像相加，来恢复当前决。
13.根据权利要求12的视频解码方法，其中所述生成加权预测图像的步骤包括
从比特流中提取加权预测因子；以及
通过将预测图像乘以所提取的加权预测因子，来生成加权预测图像。
14.根据权利要求12的视频解码方法，其中所述生成加权预测图像的步骤包括
生成使在对应于当前块的基础层图像和所述预测图像之间的差异最小化的加权预测因子；以及
通过将预测图像乘以所生成的加权预测因子，来生成加权预测图像。
15.根据权利要求14的视频解码方法，其中该加权预测因子是根据下面的方程计算的
其中，y(i，j)表示预测图像的像素值，而z(i，j)表示基础层图像的像素值。
16.根据权利要求12的视频解码方法，其中所述生成加权预测图像的步骤包括
使用当前块的运动矢量，根据与当前块对应的基础层图像的基础层正向相邻帧或基础层反向相邻帧，而生成与当前块的预测图像对应的基础层预测图像；
生成用于使在对应于当前块的基础层图像与所述基础层预测图像之间的差异最小化的加权预测因子；以及
通过将预测图像乘以所生成的加权预测因子，来生成加权预测图像。
17.根据权利要求16的视频解码方法，其中所述生成加权预测因子的步骤包括根据以下方程计算加权预测因子
其中，z(i，j)表示基础层图像的像素值，而u(i，j)表示基础层预测图像的像素值。
18.根据权利要求12的视频解码方法，其中所述恢复残余信号的步骤包括
将通过从与当前块对应的基础层图像减去一值而获得的值与当前块的残余信号相加，其中所述被减去的值是通过将基础层图像的预测图像乘以加权预测因子而获得的。
19.一种视频编码器，包括
用于为当前块生成预测图像的装置；
用于生成对预测图像进行缩放的加权预测因子的装置；
用于通过将预测图像乘以加权预测因子来生成加权预测图像的装置；
用于通过从当前块中减去加权预测图像来生成残余信号的装置；以及
用于对所述残余信号进行编码的装置。
20.根据权利要求19的视频编码器，其中所述用于生成加权预测因子的装置使通过将当前块的像素值和预测图像的像素值乘以所述加权预测因子而获得的值的均方误差最小化。
21.根据权利要求19的视频编码器，其中所述用于生成加权预测因子的装置计算用于使在对应于当前块的基础层图像与预测图像之间的差异最小化的加权预测因子。
22.根据权利要求19的视频编码器，其中所述用于生成加权预测因子的装置包括
用于使用当前块的运动矢量、根据与当前块对应的基础层图像的基础层正向相邻帧或基础层反向相邻帧、而生成与当前块的预测图像对应的基础层预测图像的装置；以及
用于计算使在与当前块对应的基础层图像与所述预测图像之间的差异最小化的加权预测因子的装置。
23.根据权利要求19的视频编码器，其中所述用于对残余信号进行编码的装置对在当前块的残余信号与通过从与当前块对应的基础层图像减去一值而获得的值之间的差异进行编码，其中所述被减去的值是通过将基础层图像的预测图像乘以加权预测因子而获得的。
24.一种视频编码器，包括
用于为当前块生成预测图像的装置；
用于生成对预测图像进行缩放的加权预测因子的装置；
用于通过将预测图像乘以加权预测因子来生成加权预测图像的装置；
用于选择在预测图像和加权预测图像之中的、提高当前块的压缩性能的图像的装置；
用于通过从当前块中减去所选择的图像来生成残余信号的装置；
用于对所述残余信号进行编码的装置；以及
用于根据选择结果将指明是否使用加权预测的信息插入到当前块中的装置。
25.根据权利要求24的视频编码器，其中所述用于选择提高当前块的压缩性能的图像的装置选择在预测图像和加权预测图像之中的、具有小速率失真的图像。
26.根据权利要求24的视频编码器，其中所述指明是否使用加权预测的信息被插入到片的报头或宏块的报头中的至少一个中。
27.根据权利要求24的视频编码器，其中所述指明是否使用加权预测的信息指明是否对亮度分量和色度分量中的每一个使用加权预测。
28.一种视频解码器，包括
用于从比特流中恢复要恢复的当前块的预测图像的装置；
用于从比特流中恢复当前块的残余信号的装置；
用于通过将预测图像乘以加权预测因子来生成加权预测图像的装置；以及
用于通过将残余信号与加权预测图像相加来恢复当前块的装置。
29.根据权利要求28的视频解码器，其中所述用于生成加权预测图像的装置包括
用于从比特流中提取加权预测因子的装置；以及
用于通过将预测图像乘以所提取的加权预测因子来生成加权预测图像的装置。
30.根据权利要求28的视频解码器，其中所述用于生成加权预测图像的装置包括
用于生成使在对应于当前块的基础层图像和所述预测图像之间的差异最小化的加权预测因子；以及
用于通过将预测图像乘以所生成的加权预测因子来生成加权预测图像的装置。
31.根据权利要求28的视频解码器，其中所述用于生成加权预测图像的装置包括
用于使用当前块的运动矢量、根据与当前块对应的基础层图像的基础层正向相邻帧或基础层反向相邻帧、而生成与当前块的预测图像对应的基础层预测图像的装置；
用于生成使在对应于当前块的基础层图像与所述基础层预测图像之间的差异最小化的加权预测因子的装置；以及
用于通过将预测图像乘以所生成的加权预测因子来生成加权预测图像的装置。
32.根据权利要求28的视频解码器，其中所述用于恢复残余信号的装置将通过从与当前块对应的基础层图像减去一值而获得的值与当前块的残余信号相加，其中所述被减去的值是通过将基础层图像的预测图像乘以加权预测因子而获得的。
33.一种记录介质，其上记录有计算机可读程序，所述计算机可读程序用于执行包括以下步骤的视频编码方法
为当前块生成预测图像；
生成用于缩放预测图像的加权预测因子；
通过将预测图像乘以加权预测因子来生成加权预测图像；
通过从当前块中减去加权预测图像来生成残余信号；以及
对所述残余信号进行编码。
34.一种记录介质，其上记录有计算机可读程序，所述计算机可读程序用于执行包括以下步骤的视频编码方法
为当前块生成预测图像；
生成用于缩放预测图像的加权预测因子；
通过将预测图像乘以加权预测因子来生成加权预测图像；
选择在预测图像和加权预测图像之中的、提高当前决的压缩性能的图像；
通过从当前块中减去所选择的图像来生成残余信号；
对所述残余图像进行编码；以及
根据选择结果，将指明是否使用加权预测的信息插入到当前块中。
35.一种记录介质，其上记录有计算机可读程序，所述计算机可读程序用于执行包括以下步骤的视频解码方法
从比特流中恢复要被恢复的当前块的预测图像；
从比特流中恢复当前块的残余信号；
通过将预测图像乘以加权预测因子来生成加权预测图像；以及
通过将残余信号与加权预测图像相加，来恢复当前块。
全文摘要
提供了一种使用加权预测的视频编码和解码方法、以及用于其的设备。所述视频编码方法包括为当前块生成预测图像；生成用以使当前块和预测图像之间的差异最小化的、作为预测图像的缩放因子的加权预测因子；通过将预测图像乘以加权预测因子来生成加权预测图像；以及对通过从当前块中减去加权预测图像而生成的残余信号进行编码。
文档编号H04N7/32GK101147401SQ200680009688
公开日2008年3月19日 申请日期2006年3月23日 优先权日2005年3月25日
发明者韩宇镇, 李教爀 申请人:三星电子株式会社