专利名称：预测图像产生方法及设备和图像视频编/解码方法及设备的制作方法
技术领域：
本发明涉及彩色图像编码和/或解码，更具体地讲，涉及一种对所有彩色分量使用单一编码模式的图像和视频编码和解码方法以及设备。
背景技术：
通常，由装置获得的图像是RGB格式。然而，当这样获得的图像被压缩时，图像被转换为YCbCr图像格式。这时候，Y是单色并仅具有亮度分量，Cb和Cr具有色度分量。在RGB图像中，信息在R、G、和B数据之间均匀分布，但是在YCbCr图像格式中，信息集中在Y分量中，较少的信息在Cb和Cr分量中。因此，当以YCbCr图像格式执行压缩时，压缩效率得到提高。
由于YCbCr图像中的Y分量的统计特征与Cb和Cr分量的统计特征不同，所以，在传统的编码方法中，分别使用不同的方法来压缩Y分量以及Cb和Cr分量。例如，在最近标准化的由ISO/IEC MPEG和ITU-T VCEG的联合视频组提出的MPEG-4 AVC/H.264标准(″Text of ISO/IEC FDIS 14496-10Information Technology-Coding of audio-visual objects-Part 10AdvancedVideo Coding″，ISO/IEC JTC 1/SC 29/WG 11，N5555，March 2003)中，当Y分量作为视频信号中的帧内图像被编码时，沿着预测方向使用9种预测方法以4×4块为单位执行空间预测。此外，可沿着预测方向使用4种预测方法以16×16块为单位执行空间预测。然而，由于包括Cb和Cr分量的图像比包含Y分量的图像相对简单，所以当Cb和Cr分量作为视频信号中的帧内图像被编码时，使用4种预测方法沿着预测方向以8×8块为单位执行空间预测而与Y分量无关。
此外，当以帧间模式执行图像的编码时，通过使用6抽头滤波器扩展预测图像来精确地执行Y分量的运动补偿，而通过使用双线性滤波器扩展预测图像来执行Cb和Cr分量的运动补偿。因此，在传统的方法中，因为Y分量与Cb和Cr分量的统计特征彼此不同，所以对于Y分量与Cb和Cr分量使用不同的压缩方法。
然而，当RGB图像转换为YCbCr图像时，会发生诸如彩色失真的图像质量损失，因此，近期已经在研究RGB图像的直接编码方法。特别地，MPEG-4-AVC/H.264标准的保真度范围扩展标准支持RGB图像的直接编码。在这一新近采用的技术中，残余变换技术用于执行RGB图像中的空间或时间预测，在获得残余图像之后，在R、G、和B数据的每一个中存在的冗余信息被去除，从而在没有降低图像质量的情况下提高了编码效率。
当RGB图像被编码时，因为用于YCbCr的方法被不加改变地应用，所以如上所述，传统方法的编码效率被降低。因此，当RGB输入图像在RGB域中被编码而没有将所述图像转换为YCbCr图像时，需要通过根据RGB图像的统计特征执行空间预测和时间预测以在保持高图像质量的情况下提高编码效率的方法。
发明内容
本发明的另外的方面和/或优点将部分地在下面的描述中阐述，部分地通过所述描述将变得清楚，或者可通过本发明的实践得知。
本发明提供一种对所有彩色分量使用单一编码模式来产生空间预测图像的方法。
本发明还提供一种对所有彩色分量使用单一编码模式来产生时间预测图像的方法。
本发明还提供一种用于对所有彩色分量使用单一编码模式来产生预测图像的方法和设备。
本发明还提供一种使用单一编码模式的图像和视频编码方法和设备。
本发明还提供一种使用单一编码模式的图像和视频解码方法和设备。
根据本发明的一方面，提供一种空间预测图像产生方法，该方法包括对包括至少两个图像分量的原始图像中的每一图像分量应用同样的预测方向；和从空间上与当前帧的预定大小的像素块靠近的像素来获得空间预测图像。
像素块的大小可以是4×4，9种预测方向中的任何一种可以被确定为预测方向。
根据本发明的另一方面，提供一种时间预测图像产生方法，该方法包括对包括至少两个图像分量的原始图像中的每一图像分量应用同样的块大小、运动矢量、和运动插值方法；和从在每一图像分量的前一帧和当前帧之间以预定大小的块为单位估计运动来获得时间预测图像。
根据本发明的另一方面，提供一种预测图像产生方法，该方法包括对包括至少两个图像分量的原始图像中的每一图像分量应用同样的预测方向；从空间上与当前帧的预定大小的像素块靠近的像素来获得空间预测图像；对包括至少两个图像分量的原始图像中的每一图像分量应用同样的块大小、运动矢量、和运动插值方法；通过在每一图像分量的前一帧和当前帧之间以预定大小的块为单位估计运动来获得时间预测图像；使用空间预测图像和时间预测图像选择编码模式；和通过将选择的编码模式同样地应用于每一分量来产生预测图像。
在编码模式的选择中，可计算空间预测图像和时间预测图像的每一个的比特量和图像质量失真，可选择与最小总和对应的编码模式为编码模式，其中所述最小总和是通过累加空间预测图像和时间预测图像的每一个的比特量和图像质量失真获得的。
根据本发明的另一方面，提供一种预测图像产生设备，该设备包括空间预测图像产生单元，用于对包括至少两个图像分量的原始图像中的每一图像分量应用同样的预测方向，并从空间上与当前帧的预定大小的像素块靠近的像素来获得空间预测图像；时间预测图像产生单元，用于对包括至少两个图像分量的原始图像中的每一图像分量应用同样的块大小、运动矢量、和运动插值方法，并通过在每一图像分量的前一帧和当前帧之间以预定大小的块为单位估计运动来获得时间预测图像；编码模式选择单元，用于通过使用空间预测图像和时间预测图像选择编码模式；和单一模式预测图像产生单元，用于通过将在编码模式选择单元中选择的编码模式同样地应用于每一分量来产生预测图像。
编码模式选择单元可包括空间比特量/图像质量失真计算单元，用于计算空间预测图像的比特量和图像质量失真；时间比特量/图像质量失真计算单元，用于计算时间预测图像的比特量和图像质量失真；和性能比较单元，用于比较通过累加空间预测图像和时间预测图像的每一个的比特量和图像质量失真获得的值，并选择与较小的值对应的编码模式。
根据本发明的另一方面，提供了一种对所有彩色分量使用单一编码模式的图像编码设备，该设备包括预测图像产生单元，通过对包括至少两个图像分量的原始图像中的每个图像分量使用同样的编码模式来产生预测图像；残余产生单元，产生与原始图像和预测图像之间的差相应的残余；和编码单元，通过对残余数据编码来产生比特流。
所述预测图像产生单元可包括空间预测图像产生单元，当执行帧内方法时，对原始图像的每个图像分量从空间上与当前帧的像素块相邻的像素应用同样的预测方向来获得预测图像；时间预测图像产生单元，当执行帧间方法时，在原始图像的每个图像分量的前一帧和当前帧之间以同样大小的块为单位应用同样的运动估计和运动插值方法来获得预测图像；编码模式选择单元，通过使用空间预测图像和时间预测图像来选择编码模式；和单一模式预测图像产生单元，通过对彩色图像的每个分量同样地应用在编码模式选择单元中选择的编码模式来产生预测图像。
所述编码模式选择单元可包括空间比特量和/或图像质量失真计算单元，计算空间预测图像的比特量和图像质量的失真；时间比特量/图像质量失真计算单元，计算时间预测图像的比特量和图像质量的失真；和性能比较单元，比较通过累加空间预测图像和时间预测图像的每一个的比特量和/或图像质量失真获得的值，并选择与较小值相应的编码模式。
所述设备还可包括残余变换单元，所述残余变换单元通过使用图像分量的残余之间的相关来对残余产生单元产生的残余执行残余变换，其中，所述编码单元将每个图像分量的残余产生为比特流。
所述设备还可包括变换/量化单元，所述变换/量化单元以预定大小的块为单位对由残余变换单元变换的残余执行变换和量化，其中，所述编码单元将变换和量化的系数产生为比特流。
根据本发明的另一方法，提供了一种对所有彩色分量使用单一编码模式的图像编码方法，该方法包括通过对包括至少两个图像分量的原始图像中的每个图像分量使用同样的编码模式来产生预测图像；产生与原始图像和预测图像之间的差相应的残余；和通过对残余数据编码产生比特流。
所述产生预测图像的步骤可包括对于包括至少两个图像分量的原始图像的每个图像分量，通过从空间上与当前帧的像素块相邻的像素应用同样的预测方向来获得预测图像；通过对包括至少两个图像分量的原始图像中的每个图像分量应用同样的块大小、运动矢量和运动插值方法，并通过在每个图像分量的前一帧和当前帧之间以预定大小的块为单位估计运动，来获得预测图像；通过使用空间预测图像和时间预测图像来选择编码模式；和通过对彩色图像的每个分量同样地应用选择的编码模式来产生预测图像。
在选择编码模式的步骤中，空间预测图像和时间预测图像的每一个的比特量和/或图像质量的失真可被计算，与空间预测图像和时间预测图像的每一个的比特量和/或图像质量失真的最小总和相应的编码模式可被选择作为编码模式。
所述方法还可包括通过使用图像分量的残余之间的相关来对产生的残余执行残余变换，其中，在产生比特流的步骤中，将每个图像分量的变换的残余产生为比特流。
所述方法还可包括以预定大小的块为单位对变换的残余执行变换和量化，其中，在产生比特流的步骤中，变换和量化的系数的每一个被产生为比特流。
根据本发明的另一方面，提供一种对所有彩色分量使用单一编码模式的图像解码设备，包括数据恢复单元，当假设在包括至少两个图像分量的原始图像和在原始图像中的预测图像之间的差是残余时，通过从比特流解码残余信息来恢复残余信息；和预测补偿单元，通过将预测图像与恢复的残余数据相加来恢复图像，所述预测图像是通过应用同样的编码模式所产生。
预测补偿单元可包括空间预测补偿单元，当执行帧内方法时，通过将恢复的残余数据与预测图像相加来恢复图像，所述预测图像是通过对原始图像的每一图像分量从空间上与当前帧的像素块靠近的像素应用同样的预测方向来获得；和时间预测补偿单元，当执行帧间方法时，通过将恢复的残余数据与预测图像相加来恢复图像，所述预测图像是通过在原始图像的每一图像分量的前一帧和当前帧之间以同样大小的块为单位应用同样的运动估计和运动补偿方法来获得。
所述设备还可包括逆残余变换单元，如果在数据恢复单元中恢复的数据是残余变换的数据，则使用图像分量的残余之间的相关对残余变换的数据执行逆变换，其中，预测补偿单元通过将逆残余变换的残余与预测图像相加来执行预测补偿，所述预测图像是对每一图像分量使用同样的编码模式所产生。
所述设备还可包括逆量化/逆变换单元，如果在数据恢复单元中恢复的数据是变换和量化的残余数据，则以预定大小的块为单位对变换和量化的数据执行逆量化和逆变换，其中，预测补偿单元通过将逆量化和逆变换的残余与预测图像相加来执行预测补偿，所述预测图像是对每一图像分量使用同样的编码模式所产生。
根据本发明的另一方面，提供一种对所有彩色分量使用单一编码模式的图像解码方法，包括当假设在包括至少两个图像分量的原始图像和在原始图像中的预测图像之间的差是残余时，通过从比特流解码残余信息来恢复残余信息；和通过将预测图像与恢复的残余数据相加来恢复图像，所述预测图像是应用同样的编码模式所产生。
图像的恢复步骤可包括当执行帧内方法时，通过对原始图像的每一图像分量从空间上与当前帧的像素块靠近的像素应用同样的预测方向来获得预测图像；和当执行帧间方法时，通过在原始图像的每一图像分量的前一帧和当前帧之间以同样大小的块为单位应用同样的运动估计和运动补偿方法来获得预测图像。
所述方法还可包括使用图像分量的残余之间的相关对产生的残余执行逆变换，其中，通过将逆残余变换的残余与预测图像相加来恢复图像，所述预测图像是对每一图像分量使用同样的编码模式所产生。
所述方法还可包括以预定大小的块为单位对产生的残余执行逆量化和逆变换，其中，通过将逆量化和逆变换的残余与预测图像相加来恢复图像，所述预测图像是对每一图像分量使用同样的编码模式所产生。
根据本发明的另一方面，提供一种在其上实施用于执行所述方法的计算机程序的计算机可读记录介质。
通过下面结合附图进行的对实施例的描述，本发明的这些和/或其他方面和优点将会变得清楚和更加容易理解，其中图1是根据本发明实施例的在彩色分量中使用单一编码模式的预测图像产生设备的方框图；图2是根据本发明实施例的预测图像产生方法的流程图；图3是根据本发明实施例的在彩色分量中使用单一编码模式的图像和视频编码设备的方框图；图4是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频编码方法的流程图；
图5是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频解码设备的方框图；图6是根据本发明实施例的预测补偿单元的详细方框图；图7是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频解码方法的流程图；图8A和图8B示出根据本发明的用于空间预测的邻近像素的位置、将被预测的当前块的像素的位置和预测方向；图9示出根据本发明实施例的为了时间预测在ME/MC(运动估计/运动补偿)中划分宏块的方法；图10示出根据本发明实施例的使用6抽头滤波器的MC(运动补偿)插值方法；和图11示出根据本发明实施例的使用双线性滤波器的MC(运动补偿)插值方法。
具体实施例方式
现在将详细参照本发明的实施例，其示例在附图中示出，其中，相同的标号始终指的是相同的部件。下面描述实施例以通过参照附图解释本发明。
现在将参照附图更加全面地描述本发明，附图中示出本发明的示例性实施例。
图1是根据本发明实施例的在彩色分量中使用单一编码模式的预测图像产生设备的方框图。参照图1，该预测图像产生设备包括空间预测图像产生单元100、时间预测图像产生单元120、编码模式选择单元140、和单一模式预测图像产生单元160。
空间预测图像产生单元100对包括至少两个图像分量的原始图像中的每一图像分量应用(基本上)同样的预测方法，并从空间上与当前帧中的预定大小的像素块靠近的像素来产生空间预测图像。
时间预测图像产生单元120使用(基本上)同样的块大小和(基本上)同样的运动矢量，对包括至少两个图像分量的原始图像中的每一图像分量应用(基本上)同样的运动插值方法，并通过在每一图像分量的前一帧和当前帧之间以预定大小的块为单位估计运动来产生时间预测图像。
编码模式选择单元140基于空间预测图像和时间预测图像选择编码模式。编码模式选择单元140包括空间比特量/图像质量失真计算单元142、时间比特量/图像质量失真计算单元144、和性能比较单元146。
关于空间预测图像，空间比特量/图像质量失真计算单元142计算空间预测图像的比特量和图像质量失真。时间比特量/图像质量失真计算单元144计算时间预测图像的比特量和图像质量失真。性能比较单元146比较通过累加空间预测图像和时间预测图像的每一个的比特组成的数量和图像质量失真获得的值，并选择与较小的值对应的编码模式作为单一编码模式。
单一模式预测图像产生单元160通过将选择的编码模式应用于彩色图像的每一分量来产生预测图像。
图2是根据本发明实施例的预测图像产生方法的流程图。现在将简要地解释所述方法。在操作200中，通过对彩色图像的各个彩色分量应用使用同样的预测方向的方法，产生空间预测图像。此外，在操作220中，使用同样的块大小和同样的运动矢量，对原始图像中的每一彩色分量应用同样的运动插值方法，产生时间预测图像。在操作240中，计算产生的空间预测图像和时间预测图像的每一个的比特组成的数量和图像质量失真。在操作260中，通过比较计算的结果，选择产生具有最小的比特量和/或图像质量失真的图像的编码模式。在操作280中，通过应用选择的编码模式产生预测图像。
现在将参照图1和图2详细解释根据本发明实施例的在彩色分量中使用单一编码模式来产生预测图像的方法以及用于产生预测图像的设备的操作。
假设在用于使用单一编码模式产生预测图像的设备中输入的彩色图像Fn是RGB图像。以块为单位处理所述彩色图像。为了增加编码效率，使用采用时间预测的帧间方法和采用空间预测的帧内方法，在所述采用时间预测的帧间方法中，通过从前一预测图像F′n-1估计运动来执行预测；在所述采用空间预测的帧内方法中，在空间上靠近当前预测图像F′n的块中执行预测。这时候，选择多种编码模式中最有效的模式或相对有效的模式。
在空间预测模式中，即，在帧内模式中，对R、G、和B使用同样的预测模式来产生空间预测图像，增加了R、G、和B的残余之间的相关。
在时间预测中，即，在帧间模式中，同样的块大小和同样的运动矢量用于R、G、和B，并且当预测图像被扩展时，同样的滤波器用于插值，并且产生时间预测图像。
当使用空间预测方法时，确定哪一种采用的模式是最有效的或相对有效的。例如，在MPEG-4 AVC/H.264中，如图8A和8B所示，在每一4×4中使用9种预测方法执行预测。此外，使用16×16块大小和4种预测方法执行预测。这时候，通过对R、G、和B应用同样的预测方法来执行预测。计算作为以每一模式执行预测的结果获得的比特量和/或图像质量失真，并且选择具有通过累加比特量和/或失真获得的最小值的预测方法。这时候，可通过执行变换和量化，其后执行熵编码来计算比特量。为了确定图像质量失真，可使用原始图像和通过恢复图像获得的恢复图像之间的均方差D=Σi=0N(pi-qi)2······(1)]]>其中，D是图像质量失真的数值，p是当前图像的像素值，q是前一图像的像素值。此外，当累加图像质量失真和比特量时，为了对于所述两个比特量获得相同的单位，如下面的等式2所示，使用预定常数L＝D+λR......(2)这里，R是比特率，λ是预定常数。对于每一预测方法计算该值，并且选择具有最小L的预测方法。
在帧间方法中，块被分为如图9所示，并执行运动估计。这时候，使用与如上所述相同的方法，对每一预测方法计算L，并选择具有最小L的方法。应理解可仅使用任一个，即D、R或λR来选择预测方法。
这时候，对于R、G、和B分量的每一个应用同样的预测方法。此外，同样的运动矢量用于R、G、和B分量的每一个。此外，为了详述运动预测，使用插值和扩展预测图像的方法。在本发明的实施例中，可使用6抽头滤波器或双线性滤波器。
图9示出当前一帧的图像以垂直和水平方向被四倍插值以便插值和扩展预测图像时使用6抽头滤波器的块划分的示例。6抽头滤波器用于MPEG-4AVC/H.264标准中。在图10中，当像素A至像素U在前一帧中时，根据下面的方法执行1/4或1/2插值。
首先，根据下面的等式3和4，在垂直或水平方向的1/2像素位置的像素b和h的每一个分别被使用前一帧的6个邻近像素插值b1＝(E-5×F+20×G+20×H-5×I+J)h1＝(A-5×C+20×G+20×M-5×R+T)......(3)b＝Clip1((b1+16)＞＞5)
h＝Clip1((h1+16)＞＞5)......(4)这里，Clip1(x)将x截取到图像像素的比特范围之内。在8比特图像中，如果x小于0，则将x设置为0，如果x大于255，则将x设置为255。其它值保持为它们的原始值。用于插值的滤波器抽头是[1，-5，20，20，-5，1]，其是使用更多邻近像素的6抽头滤波器。
根据下面的等式5，在垂直和水平方向的1/2像素位置的像素j被使用在1/2像素位置的6个先前恢复的垂直或水平的邻近像素插值j1＝cc-5×dd+20×h1+20×m1-5×ee+ff或j1＝aa-5×bb+20×b1+20×s1-5×gg+hhj＝Clip1((j1+512)＞＞10)......(5)这里，邻近像素cc、dd、h1、m1、ee、和ff或aa、bb、b1、s1、gg、hh是通过等式3使用6抽头滤波器插值获得的中间结果。
类似地，根据等式4通过像素s1和m1恢复在1/2像素位置的像素s和m的值。根据下面的等式6，获得作为垂直方向或水平方向上两个邻近像素的平均值的在1/4像素位置的像素a、c、d、n、f、i、k、和qa＝(G+b+1)＞＞1c＝(H+b+1)＞＞1d＝(G+h+1)＞＞1n＝(M+h+1)＞＞1f＝(b+j+1)＞＞1i＝(h+j+1)＞＞1k＝(j+m+1)＞＞1q＝(j+s+1)＞＞1 ......(6)获得作为两个对角方向邻近像素的平均值的在1/4像素位置的e、g、p、和re＝(b+h+1)＞＞1g＝(b+m+1)＞＞1p＝(h+s+1)＞＞1
r＝(m+s+1)＞＞2 ......(7)图11示出当在垂直和水平方向上对前一帧的图像进行4倍插值以对预测图像进行插值和扩展时使用双线性插值方法的示例。该双线性插值方法被用在MPEG-4AVC/H.264标准中。
在前一帧的像素A、B、C和D中，根据下面的方程10来获得在1/4或1/2像素位置的像素a＝((4-dx)×(4-dy))×A+dx×(4-dy)×B+(4-dx)×dy×C+dx×dy×D+8)＞＞4...(10)这里，dx指的是A或C距a的水平距离，dy指的是A或B在垂直方向上距a的垂直距离。
该双线性插值方法比使用6抽头滤波器的方法使用更少的邻近像素和与将被插值的值接近的更多的邻近值。
根据本发明的一方面，对R、G和B分量应用同样的插值方法，以便R、G和B残余信号彼此相似。其结果是，增强了残余变换的效果。为了应用同样的插值方法，可对所有的R、G和B分量应用6抽头滤波器。另外，可对所有的R、G和B分量应用所述双线性方法。另外，可为每个块选择最佳方法，并可使用选择的方法对该块进行编码。因此，当通过对所有的R、G和B分量使用同样的预测方法并使用同样的插值方法执行了时空预测时，可增强R、G和B分量的残余之间的相关。
图8A示出用于空间预测的邻近像素的位置和当前块的像素的位置。该方法与MPEG-4 AVC/H.264标准编码方法中使用的方法相同。在图8A中，为了预测4×4块中的预测块数据Pa、Pb、...、Pq，使用被先前编码和恢复并与将被预测的块数据Pa、Pb、...、Pq空间邻近的像素值P0、P1、...、P12。图8B显示0至8的9个预测方向，可通过从空间邻近像素投影来使用所述9个预测方向以预测当前块。例如，在方向0的情况下，在垂直方向上邻近像素值P1、P2、P3和P4被投影，数据Pa、Pe、Pi和Pm被预测为像素值P1，数据Pb、Pf、Pj和Pn被预测为像素值P2，数据Pc、Pg、Pk和Po被预测为像素值P3，数据Pd、Ph、P1和Pq被预测为像素值P4。对于其它方向，以相同的方式通过投影来执行预测。
图9示出划分宏块的方法，所述宏块被用作用于图像的时间预测的运动的基本单位。该方法被用在MPEG-4 AVC/H.264标准编码方法中。参照图9，16×16宏块被分成包括16×16块、16×8块、8×16块和/或8×8块的多种大小的块，运动矢量被获得，并且图像值被进行时间预测。8×8块被再分成8×8块、8×4块、4×8块和/或4×4块，以便细微的运动可被准确检测。
如上所述，通过使用在空间预测图像产生单元100中产生的预测图像，空间比特量/图像质量失真计算单元142计算在帧内方法的每个模式下获得的比特量和/或图像质量的失真。另外，时间比特量/图像质量失真计算单元144计算在帧间方法的每个模式下获得的比特量和/或图像质量的失真。然后，性能比较单元146比较计算的值，并选择具有最高编码效率或相对高的编码效率的编码模式。单一模式预测图像产生单元160通过应用选择的编码模式来产生预测图像。
在上面所述的由编码模式选择单元140执行的具有最高编码效率的模式的选择中比特量和/或图像质量失真的计算和比较仅为本发明一个实施例的一部分。根据本发明其它实施例，可通过使用除比特量和/或图像质量失真之外的其它因素来选择具有最高编码效率的编码模式。
图3是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频编码设备的方框图。所述图像和视频编码设备包括预测图像产生单元300、残余产生单元310、变换/量化单元330、熵编码单元340、逆量化/逆变换单元350、逆残余变换单元360和预测补偿单元370。
预测图像产生单元300通过对包括至少两个图像分量的原始图像中的每个图像分量使用同样的编码模式来产生预测图像。预测图像产生单元300使用图1的根据本发明实施例的预测图像产生设备。因此，如图1所示，预测图像产生单元300可包括空间预测图像产生单元100、时间预测图像产生单元120、编码模式选择单元140和单一模式预测图像产生单元160。
残余产生单元310产生与原始图像和预测图像之间的差相应的残余。残余变换单元320通过使用图像分量的每个残余的相关对残余产生单元310中产生的残余执行残余变换。变换/量化单元330以预定大小的块为单位对由残余变换单元320变换的残余执行变换和量化。熵编码单元340对由变换/量化单元330变换和量化的数据执行熵编码，并产生比特流。
逆量化/逆变换单元350、逆残余变换单元360和预测补偿单元370对由变换/量化单元330变换和量化的数据分别执行逆量化/逆变换、逆残余变换和预测补偿，以产生当在预测图像产生单元300中产生预测图像时使用的当前帧的预测图像F′n和前一帧的预测图像F′n-1。
图4是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频编码方法的流程图。
首先，在操作400中，通过使用单一编码模式产生预测图像。操作400与上面参照图2描述的预测图像产生方法相同，更多的解释将被省略。然后，在操作420中，通过获得原始图像和预测图像之间的差，产生了残余，并对产生的残余进行变换。然后，在操作440中，执行诸如DCT变换的变换和量化，在操作460中，通过对变换和量化的数据进行熵编码，产生比特流。
根据本发明实施例的编码设备的输入彩色图像Fn是RGB图像，并以块为单位对该图像进行处理。为了提高编码效率，该编码设备应用使用时间预测的帧间方法和使用空间预测的帧内方法，在所述使用时间预测的帧间方法中，通过对先前预测图像F′n-1进行运动估计来执行预测，在所述使用空间预测的帧内方法中，在空间上邻近当前预测图像F′n的块中执行预测。此时，由编码模式选择单元140在多种编码模式之中选择最有效的模式。当选择了空间预测模式时，对所有R、G和B分量使用同样的预测模式，以便能够增强R、G和B分量的残余之间的相关。当时间预测被执行时，对R、G和B分量使用同样的块大小和同样的运动矢量，并且当预测图像被扩展时，对R、G和B分量的插值使用同样的滤波器。这里，如果根据选择的编码模式信息执行空间或时间预测编码，则可获得R、G和B分量的每个的残余信号。为了移除每个分量中的重叠信息，在每个分量之间执行残余变换。然后，为了以块为单位压缩每个分量，执行诸如离散余弦变换(DCT)或离散整数变换的变换，然后对变换的系数进行量化并进行熵编码以产生比特流。通过编码的逆处理恢复的图像被用于随后块的预测编码。
图5是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频解码设备的方框图。该图像和视频解码设备包括熵解码单元500、逆量化/逆变换单元520、逆残余变换单元540和预测补偿单元560。
熵解码单元500对比特流进行熵解码，逆量化/逆变换单元520以预定大小的块为单位对熵解码的数据执行逆量化和逆变换。
假设在包括至少两个图像分量的原始图像和该原始图像的预测图像之间的差是残余，则逆残余变换单元540使用在逆量化和逆变换的数据之间的关联，即图像分量的残余之间的关联，对变换的残余进行逆变换，由此恢复残余数据。
预测补偿单元560将预测图像与恢复的残余数据相加，并恢复图像，所述预测图像是对R、G和B分量的每个使用同样的编码模式所产生。
图6是预测补偿单元560的详细方框图。预测补偿单元560包括空间预测补偿单元600和时间预测补偿单元650。
在帧内方法中，对于原始图像的每一分量，空间预测补偿单元600将预测图像与恢复的残余数据相加，由此恢复图像，所述预测图像是从空间上与当前帧的像素块相邻的像素应用同样的预测方向所获得。
在帧间方法中，对于原始图像的每一分量，时间预测补偿单元650将预测图像与恢复的残余数据相加，由此恢复图像，所述预测图像是通过在前一帧和当前帧之间以同样大小的块为单位应用同样的运动估计和运动补偿方法所获得。
图7是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频解码方法的流程图。
假设在包括至少两个图像分量的原始图像和该原始图像的预测图像之间的差是残余，则从比特流来解码残余信息，并恢复残余信息。如果通过熵编码产生比特流，则在操作700，对所述比特流进行熵解码。然后，在操作720，以预定大小的块为单位对熵解码的数据进行逆量化和逆变换。在操作740，通过使用逆量化和逆变换的数据之间的关联，即图像分量的残余之间的关联，来对变换的残余进行逆变换并恢复残余数据。在操作760，通过将预测图像与每一图像分量的残余相加，来恢复图像，所述预测图像是对R、G和B分量中的每个使用同样的编码模式所产生。现在，将解释操作760的预测图像的获得。在帧内方法中，对于原始图像的每一分量，预测图像是通过从空间上与将被预测的当前帧的像素块相邻的像素应用同样的预测方向所获得。在帧间方法中，对于原始图像的每一分量，预测图像是通过在前一帧和当前帧之间以同样大小的块为单位应用同样的运动估计和运动补偿方法所获得。
通过以上参照图3和图4描述编码处理的逆过程，从压缩的比特流恢复图像。
由熵解码单元500、逆量化和逆变换单元520和逆残余变换单元540来处理压缩的数据，并获得R、G和B分量中的每个的残余信号。在帧间模式情况下，将每一分量的残余值与从先前预测的图像F’n-1预测的值相加，在帧内模式情况下，将每一分量的残余值与使用空间预测方法从空间邻近块值预测的值相加。使用所述残余值恢复图像。
本发明还可被实施为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质是可存储其后可由计算机系统读取的数据的任何数据存储装置。所述计算机可读记录介质的示例包括只读存储器(ROM)、随机访问存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。
根据本发明的对所有彩色分量使用单一编码模式的预测图像产生方法和设备，以及对所有彩色分量使用单一编码模式的图像和视频编码和/或解码方法和设备，当使用空间邻近像素或时间接近像素对彩色图像的彩色分量进行预测编码时，对每一彩色分量使用同样的预测方法。由此，彩色分量的预测误差信号之间的冗余信息增加，从而可提高编码效率。
例如，当使用RGB彩色图像，但是RGB输入图像不被变换成YCbCr图像而是直接在RGB域中被编码时，根据RGB图像的统计特征来执行空间预测和时间预测，由此在保持高图像质量的同时可提高编码效率。
此外，通过直接压缩可直接从装置获得而不用执行将RGB视频图像变换到YCbCr域中的传统的处理来获得的RGB视频图像，不存在图像质量的损失，诸如当将RGB域变换到YCbCr域中时发生的图像的失真，这是因为在RGB域中直接执行编码，。因此，本发明的方法和设备适于需要高质量图像信息的诸如数字电影和数字档案的应用。
尽管参照本发明的示例性实施例已经详细显示和描述了本发明，但本领域的普通技术人员应该理解，在不脱离由权利要求所限定的本发明的精神和范围的情况下，可在形式和细节上对其进行各种改变。所述实施例应该仅被理解为描述的意义，而不是限制的目的。因此，本发明的范围不是由本发明的详细的描述所限定，而是由权利要求所限定，并且落于所述范围内的所有不同将被理解为包括在本发明中。
权利要求
1.一种空间预测图像产生方法，该方法包括对包括至少两个图像分量的原始图像中的每一图像分量应用同样的预测方向；和从空间上与当前帧的预定大小的像素块靠近的像素来获得空间预测图像。
2.如权利要求1所述的方法，其中，像素块的大小可以是4×4，9种预测方向中的任何一种被确定为预测方向。
3.一种时间预测图像产生方法，该方法包括对包括至少两个图像分量的原始图像中的每一图像分量应用同样的块大小、运动矢量、和运动插值方法；和通过在每一图像分量的前一帧和当前帧之间以预定大小的块为单位估计运动来获得时间预测图像。
4.一种预测图像产生方法，该方法包括对在包括至少两个图像分量的原始图像中的每一图像分量应用同样的预测方向；从空间上与当前帧的预定大小的像素块靠近的像素来获得空间预测图像；对包括至少两个图像分量的原始图像中的每一图像分量应用同样的块大小、运动矢量、和运动插值方法；通过在每一图像分量的前一帧和当前帧之间以预定大小的块为单位估计运动来获得时间预测图像；使用空间预测图像和时间预测图像选择编码模式；和通过将选择的编码模式同样地应用于每一分量来产生预测图像。
5.如权利要求4所述的方法，其中，在编码模式的选择中，计算空间预测图像和时间预测图像的每一个的比特量和/或图像质量失真，选择与最小总和对应的编码模式为编码模式，其中所述最小总和是通过累加空间预测图像和时间预测图像的每一个的比特量和/或图像质量失真获得的。
6.一种预测图像产生设备，包括空间预测图像产生单元，对包括至少两个图像分量的原始图像中的每个图像分量应用同样的预测方向，并从空间上与当前帧的预定大小的像素块相邻的像素获得空间预测图像；时间预测图像产生单元，对包括至少两个图像分量的原始图像中的每个图像分量应用同样的块大小、运动矢量和运动插值方法，并通过在每个图像分量的前一帧和当前帧之间以预定大小的块为单位进行运动估计来获得时间预测图像；编码模式选择单元，通过使用空间预测图像和时间预测图像来选择编码模式；和单一模式预测图像产生单元，通过对每个分量同样地应用在编码模式选择单元中选择的编码模式来产生预测图像。
7.如权利要求6所述的设备，其中，所述编码模式选择单元包括空间比特量和/或图像质量失真计算单元，计算空间预测图像的比特量和/或图像质量的失真；时间比特量/图像质量失真计算单元，计算时间预测图像的比特量和图像质量的失真；和性能比较单元，比较通过累加空间预测图像和时间预测图像的每一个的比特量和/或图像质量失真获得的值，并选择与较小值相应的编码模式。
8.一种对所有彩色分量使用单一编码模式的图像编码设备，包括预测图像产生单元，通过对包括至少两个图像分量的原始图像中的每个图像分量使用同样的编码模式来产生预测图像；残余产生单元，产生与原始图像和预测图像之间的差相应的残余；和编码单元，通过对残余数据编码产生比特流。
9.如权利要求8所述的设备，其中，预测图像产生单元包括空间预测图像产生单元，通过当执行帧内方法时对原始图像的每个图像分量从空间上与当前帧的像素块相邻的像素应用同样的预测方向来获得预测图像；时间预测图像产生单元，通过当执行帧间方法时在原始图像的每个图像分量的前一帧和当前帧之间以同样大小的块为单位应用同样的运动估计运动插值方法来获得预测图像；编码模式选择单元，通过使用空间预测图像和时间预测图像来选择编码模式；和单一模式预测图像产生单元，通过对彩色图像的每个分量同样地应用在编码模式选择单元中选择的编码模式来产生预测图像。
10.如权利要求9所述的设备，其中，所述编码模式选择单元包括空间比特量和/或图像质量失真计算单元，计算空间预测图像的比特量和/或图像质量的失真；时间比特量和/或图像质量失真计算单元，计算时间预测图像的比特量和/或图像质量的失真；和性能比较单元，比较通过累加空间预测图像和时间预测图像的每一个的比特量和/或图像质量失真获得的值，并选择与较小值相应的编码模式。
11.如权利要求8所述的设备，还包括残余变换单元，通过使用图像分量的残余之间的相关来对残余产生单元产生的残余执行残余变换，其中，所述编码单元将每个图像分量的残余产生为比特流。
12.如权利要求11所述的设备，还包括变换/量化单元，以预定大小的块为单位对由残余变换单元变换的残余执行变换和量化，其中，所述编码单元将变换和量化的系数产生为比特流。
13.一种对所有彩色分量使用单一编码模式的图像编码方法，包括通过对包括至少两个图像分量的原始图像中的每个图像分量使用同样的编码模式来产生预测图像；产生与原始图像和预测图像之间的差相应的残余；和通过对残余数据编码产生比特流。
14.如权利要求13所述的方法，其中，所述产生预测图像的步骤包括对于包括至少两个图像分量的原始图像的每个图像分量，通过从空间上与当前帧的像素块相邻的像素应用同样的预测方向来获得预测图像；通过对包括至少两个图像分量的原始图像中的每个图像分量应用同样的块大小、运动矢量和运动插值方法，并通过在每个图像分量的前一帧和当前帧之间以预定大小的块为单位估计运动，来获得预测图像；通过使用空间预测图像和时间预测图像来选择编码模式；和通过对彩色图像的每个分量同样地应用选择的编码模式来产生预测图像。
15.如权利要求14所述的方法，其中，在选择编码模式的步骤中，空间预测图像和时间预测图像的每一个的比特量和/或图像质量的失真被计算，与空间预测图像和时间预测图像的每一个的比特量和/或图像质量失真的最小总和相应的编码模式被选择为编码模式。
16.如权利要求13所述的方法，还包括通过使用图像分量的残余之间的相关来对产生的残余执行残余变换，其中，在产生比特流的步骤中，将每个图像分量的变换的残余产生为比特流。
17.如权利要求16所述的方法，还包括以预定大小的块为单位对变换的残余执行变换和量化，其中，在产生比特流的步骤中，变换和量化的系数的每一个被产生为比特流。
18.一种对所有彩色分量使用单一编码模式的图像解码设备，包括数据恢复单元，当包括至少两个图像分量的原始图像和该原始图像的预测图像之间的差是残余时，通过对来自比特流的残余信息解码来恢复该残余信息；和预测补偿单元，通过将通过应用同样的编码模式产生的预测图像与恢复的残余数据相加来恢复图像。
19.如权利要求18所述的设备，其中，所述预测补偿单元包括空间预测补偿单元，当执行帧内方法时，通过将预测图像与所述恢复的残余数据相加来恢复图像，其中，所述预测图像通过对原始图像的每个图像分量从空间上与当前帧的像素块相邻的像素应用同样的预测方向而获得；和时间预测补偿单元，当执行帧间方法时，通过将所述恢复的残余数据和预测图像相加来恢复图像，其中，所述预测图像是通过在原始图像的每个图像分量的前一帧和当前帧之间以同样大小的块为单位应用同样的运动估计和运动插值方法而获得。
20.如权利要求18所述的设备，还包括逆残余变换单元，如果在数据恢复单元中恢复的数据是残余变换的数据，则使用图像分量的残余之间的关联对残余变换的数据执行逆变换，其中，预测补偿单元通过将逆残余变换的残余与预测图像相加来执行预测补偿，所述预测图像是对每一图像分量使用同样的编码模式所产生。
21.如权利要求18所述的设备，还包括逆量化/逆变换单元，如果在数据恢复单元中恢复的数据是变换和量化的残余数据，则以预定大小的块为单位对变换和量化的数据执行逆量化和逆变换，其中，预测补偿单元通过将逆量化和逆变换的残余与预测图像相加来执行预测补偿，所述预测图像是对每一图像分量使用同样的编码模式所产生。
22.一种对所有彩色分量使用单一编码模式的图像解码方法，包括当在包括至少两个图像分量的原始图像和在原始图像中的预测图像之间的差是残余时，通过从比特流解码残余信息来恢复残余信息；和通过将预测图像与恢复的残余数据相加来恢复图像，所述预测图像是应用同样的编码模式所产生。
23.如权利要求22所述的方法，其中，所述图像的恢复步骤包括当执行帧内方法时，通过对原始图像的每一图像分量从空间上与当前帧的像素块靠近的像素应用同样的预测方向来获得预测图像；和当执行帧间方法时，通过在原始图像的每一图像分量的前一帧和当前帧之间以同样大小的块为单位应用同样的运动估计和运动插值方法来获得预测图像。
24.如权利要求22所述的方法，还包括使用图像分量的残余之间的关联对产生的残余执行逆变换，其中，通过将逆残余变换的残余与预测图像相加来恢复图像，所述预测图像是对每一图像分量使用同样的编码模式所产生。
25.如权利要求22所述的方法，还包括以预定大小的块为单位对产生的残余执行逆量化和逆变换，其中，通过将逆量化和逆变换的残余与预测图像相加来恢复图像，所述预测图像是对每一图像分量使用同样的编码模式所产生。
26.一种用于具有至少两个图像分量的图像的预测图像产生方法，包括使用第一图像预测方法获得所述至少两个图像分量的第一预测图像；使用第二图像预测方法获得所述至少两个图像分量的第二预测图像；使用第一和第二预测图像选择编码模式；和通过将选择的编码模式应用到每一分量来产生预测图像。
27.如权利要求26所述的方法，其中，第一和第二图像预测方法中的一个是空间预测图像方法。
28.如权利要求26所述的方法，其中，第一和第二图像预测方法中的一个是时间预测图像方法。
29.如权利要求26所述的方法，其中，在编码模式的选择中，计算第一预测图像和第二预测图像中的每个的比特量和/或图像质量的失真，并且与通过将第一预测图像和第二预测图像的每个的比特量和/或图像质量的失真相加所获得的最小总和相应的编码模式被选择为编码模式。
30.一种预测图像产生设备，包括图像产生单元，产生至少两个图像分量的第一和第二预测图像；编码模式选择单元，通过使用第一和第二预测图像选择编码模式；和单一预测图像产生单元，通过对每一分量使用在编码模式选择单元中选择的编码模式来产生预测图像。
31.如权利要求30所述的设备，其中，图像产生单元包括空间预测图像部分；和时间预测图像产生部分。
32.如权利要求30所述的方法，其中，编码模式选择单元用于计算第一预测图像和第二预测图像的每个的比特量和/或图像质量的失真以及相应的编码模式，并选择具有通过累加第一预测图像和第二预测图像的每个的比特量和/或图像质量的失真所获得的最小总和的编码模式。
33.一种在其上实施用于执行权利要求1到5、13到17、和22到29的方法中的任意一个的计算机程序的计算机可读记录介质。
全文摘要
提供一种对所有彩色分量使用单一编码模式的预测图像产生方法和设备，以及图像和视频编码和解码方法和设备。预测图像产生设备包括空间预测图像产生单元，对包括至少两个图像分量的原始图像中的每一分量应用同样的预测方向，并从空间上与当前帧的预定大小的像素块靠近的像素来获得空间预测图像；时间预测图像产生单元，对每一图像分量应用同样的块大小、运动矢量、运动插值方法，在每一图像分量的前一帧和当前帧之间以预定大小的块为单位估计运动来获得时间预测图像；编码模式选择单元，选择编码模式；单一模式预测图像产生单元，将选择的模式应用于每一分量来产生预测图像。通过增加彩色分量的预测误差信号之间的信息冗余，提高编码效率。
文档编号H04N7/32GK1829328SQ200610058050
公开日2006年9月6日 申请日期2006年2月28日 优先权日2005年2月28日
发明者金祐湜, 金铉文, 赵大星, 帝弥撤·勃依诺 申请人:三星电子株式会社