预测图像产生方法及设备和图像视频编/解码方法及设备的制作方法

专利名称：预测图像产生方法及设备和图像视频编/解码方法及设备的制作方法
技术领域：
本发明涉及彩色图像编码和/或解码，更具体地讲，涉及一种对所有彩色分量使 用单一编码模式的图像和视频编码和解码方法以及设备。
背景技术：
通常，由装置获得的图像是RGB格式。然而，当这样获得的图像被压缩时，图像被 转换为YCbCr图像格式。这时候，Y是单色并仅具有亮度分量，Cb和Cr具有色度分量。在 RGB图像中，信息在R、G、和B数据之间均勻分布，但是在YCbCr图像格式中，信息集中在Y 分量中，较少的信息在Cb和Cr分量中。因此，当以YCbCr图像格式执行压缩时，压缩效率 得到提高。由于YCbCr图像中的Y分量的统计特征与Cb和Cr分量的统计特征不同，所以， 在传统的编码方法中，分别使用不同的方法来压缩Y分量以及Cb和Cr分量。例如，在最 近标准化的由IS0/IEC MPEG和ITU-T VCEG的联合视频组提出的MPEG-4 AVC/H. 264标准 (〃 Text of ISO/IEC FDIS 14496-10 :Information Technology-Coding of audio-visual objects-Part 10 =Advanced Video Coding"，IS0/IEC JTC 1/SC 29/WG 11, N5555,March 2003)中，当Y分量作为视频信号中的帧内图像被编码时，沿着预测方向使用9种预测方法 以4X4块为单位执行空间预测。此外，可沿着预测方向使用4种预测方法以16X16块为 单位执行空间预测。然而，由于包括Cb和Cr分量的图像比包含Y分量的图像相对简单，所 以当Cb和Cr分量作为视频信号中的帧内图像被编码时，使用4种预测方法沿着预测方向 以8X8块为单位执行空间预测而与Y分量无关。此外，当以帧间模式执行图像的编码时，通过使用6抽头滤波器扩展预测图像来 精确地执行Y分量的运动补偿，而通过使用双线性滤波器扩展预测图像来执行Cb和Cr分 量的运动补偿。因此，在传统的方法中，因为Y分量与Cb和Cr分量的统计特征彼此不同， 所以对于Y分量与Cb和Cr分量使用不同的压缩方法。然而，当RGB图像转换为YCbCr图像时，会发生诸如彩色失真的图像质量损失，因 此，近期已经在研究RGB图像的直接编码方法。特别地，MPEG-4-AVC/H.264标准的保真度 范围扩展标准支持RGB图像的直接编码。在这一新近采用的技术中，残余变换技术用于执 行RGB图像中的空间或时间预测，在获得残余图像之后，在R、G、和B数据的每一个中存在 的冗余信息被去除，从而在没有降低图像质量的情况下提高了编码效率。当RGB图像被编码时，因为用于YCbCr的方法被不加改变地应用，所以如上所述， 传统方法的编码效率被降低。因此，当RGB输入图像在RGB域中被编码而没有将所述图像 转换为YCbCr图像时，需要通过根据RGB图像的统计特征执行空间预测和时间预测以在保 持高图像质量的情况下提高编码效率的方法。

发明内容
本发明的另外的方面和/或优点将部分地在下面的描述中阐述，部分地通过所述 描述将变得清楚，或者可通过本发明的实践得知。本发明提供一种对所有彩色分量使用单一编码模式来产生空间预测图像的方法。本发明还提供一种对所有彩色分量使用单一编码模式来产生时间预测图像的方 法。本发明还提供一种用于对所有彩色分量使用单一编码模式来产生预测图像的方 法和设备。本发明还提供一种使用单一编码模式的图像和视频编码方法和设备。本发明还提供一种使用单一编码模式的图像和视频解码方法和设备。根据本发明的一方面，提供一种空间预测图像产生方法，该方法包括对包括至少 两个图像分量的原始图像中的每一图像分量应用同样的预测方向；和从空间上与当前帧的 预定大小的像素块靠近的像素来获得空间预测图像。像素块的大小可以是4X 4，9种预测方向中的任何一种可以被确定为预测方向。根据本发明的另一方面，提供一种时间预测图像产生方法，该方法包括对包括至 少两个图像分量的原始图像中的每一图像分量应用同样的块大小、运动矢量、和运动插值 方法；和从在每一图像分量的前一帧和当前帧之间以预定大小的块为单位估计运动来获得 时间预测图像。根据本发明的另一方面，提供一种预测图像产生方法，该方法包括对包括至少两 个图像分量的原始图像中的每一图像分量应用同样的预测方向；从空间上与当前帧的预定 大小的像素块靠近的像素来获得空间预测图像；对包括至少两个图像分量的原始图像中的 每一图像分量应用同样的块大小、运动矢量、和运动插值方法；通过在每一图像分量的前一 帧和当前帧之间以预定大小的块为单位估计运动来获得时间预测图像；使用空间预测图像 和时间预测图像选择编码模式；和通过将选择的编码模式同样地应用于每一分量来产生预 测图像。在编码模式的选择中，可计算空间预测图像和时间预测图像的每一个的比特量和 图像质量失真，可选择与最小总和对应的编码模式为编码模式，其中所述最小总和是通过 累加空间预测图像和时间预测图像的每一个的比特量和图像质量失真获得的。根据本发明的另一方面，提供一种预测图像产生设备，该设备包括空间预测图像 产生单元，用于对包括至少两个图像分量的原始图像中的每一图像分量应用同样的预测方 向，并从空间上与当前帧的预定大小的像素块靠近的像素来获得空间预测图像；时间预测 图像产生单元，用于对包括至少两个图像分量的原始图像中的每一图像分量应用同样的块 大小、运动矢量、和运动插值方法，并通过在每一图像分量的前一帧和当前帧之间以预定大 小的块为单位估计运动来获得时间预测图像；编码模式选择单元，用于通过使用空间预测 图像和时间预测图像选择编码模式；和单一模式预测图像产生单元，用于通过将在编码模 式选择单元中选择的编码模式同样地应用于每一分量来产生预测图像。编码模式选择单元可包括空间比特量/图像质量失真计算单元，用于计算空间 预测图像的比特量和图像质量失真；时间比特量/图像质量失真计算单元，用于计算时间预测图像的比特量和图像质量失真；和性能比较单元，用于比较通过累加空间预测图像和 时间预测图像的每一个的比特量和图像质量失真获得的值，并选择与较小的值对应的编码 模式。根据本发明的另一方面，提供了一种对所有彩色分量使用单一编码模式的图像编 码设备，该设备包括预测图像产生单元，通过对包括至少两个图像分量的原始图像中的每 个图像分量使用同样的编码模式来产生预测图像；残余产生单元，产生与原始图像和预测 图像之间的差相应的残余；和编码单元，通过对残余数据编码来产生比特流。所述预测图像产生单元可包括空间预测图像产生单元，当执行帧内方法时，对原 始图像的每个图像分量从空间上与当前帧的像素块相邻的像素应用同样的预测方向来获 得预测图像；时间预测图像产生单元，当执行帧间方法时，在原始图像的每个图像分量的前 一帧和当前帧之间以同样大小的块为单位应用同样的运动估计和运动插值方法来获得预 测图像；编码模式选择单元，通过使用空间预测图像和时间预测图像来选择编码模式；和 单一模式预测图像产生单元，通过对彩色图像的每个分量同样地应用在编码模式选择单元 中选择的编码模式来产生预测图像。所述编码模式选择单元可包括空间比特量和/或图像质量失真计算单元，计算 空间预测图像的比特量和图像质量的失真；时间比特量/图像质量失真计算单元，计算时 间预测图像的比特量和图像质量的失真；和性能比较单元，比较通过累加空间预测图像和 时间预测图像的每一个的比特量和/或图像质量失真获得的值，并选择与较小值相应的编 码模式。所述设备还可包括残余变换单元，所述残余变换单元通过使用图像分量的残余之 间的相关来对残余产生单元产生的残余执行残余变换，其中，所述编码单元将每个图像分 量的残余产生为比特流。所述设备还可包括变换/量化单元，所述变换/量化单元以预定大小的块为单位 对由残余变换单元变换的残余执行变换和量化，其中，所述编码单元将变换和量化的系数 产生为比特流。根据本发明的另一方法，提供了一种对所有彩色分量使用单一编码模式的图像编 码方法，该方法包括通过对包括至少两个图像分量的原始图像中的每个图像分量使用同 样的编码模式来产生预测图像；产生与原始图像和预测图像之间的差相应的残余；和通过 对残余数据编码产生比特流。所述产生预测图像的步骤可包括对于包括至少两个图像分量的原始图像的每个 图像分量，通过从空间上与当前帧的像素块相邻的像素应用同样的预测方向来获得预测图 像；通过对包括至少两个图像分量的原始图像中的每个图像分量应用同样的块大小、运动 矢量和运动插值方法，并通过在每个图像分量的前一帧和当前帧之间以预定大小的块为单 位估计运动，来获得预测图像；通过使用空间预测图像和时间预测图像来选择编码模式； 和通过对彩色图像的每个分量同样地应用选择的编码模式来产生预测图像。在选择编码模式的步骤中，空间预测图像和时间预测图像的每一个的比特量和/ 或图像质量的失真可被计算，与空间预测图像和时间预测图像的每一个的比特量和/或图 像质量失真的最小总和相应的编码模式可被选择作为编码模式。所述方法还可包括通过使用图像分量的残余之间的相关来对产生的残余执行残余变换，其中，在产生比特流的步骤中，将每个图像分量的变换的残余产生为比特流。所述方法还可包括以预定大小的块为单位对变换的残余执行变换和量化，其中， 在产生比特流的步骤中，变换和量化的系数的每一个被产生为比特流。根据本发明的另一方面，提供一种对所有彩色分量使用单一编码模式的图像解码 设备，包括数据恢复单元，当假设在包括至少两个图像分量的原始图像和在原始图像中的 预测图像之间的差是残余时，通过从比特流解码残余信息来恢复残余信息；和预测补偿单 元，通过将预测图像与恢复的残余数据相加来恢复图像，所述预测图像是通过应用同样的 编码模式所产生。预测补偿单元可包括空间预测补偿单元，当执行帧内方法时，通过将恢复的残余 数据与预测图像相加来恢复图像，所述预测图像是通过对原始图像的每一图像分量从空间 上与当前帧的像素块靠近的像素应用同样的预测方向来获得；和时间预测补偿单元，当执 行帧间方法时，通过将恢复的残余数据与预测图像相加来恢复图像，所述预测图像是通过 在原始图像的每一图像分量的前一帧和当前帧之间以同样大小的块为单位应用同样的运 动估计和运动补偿方法来获得。所述设备还可包括逆残余变换单元，如果在数据恢复单元中恢复的数据是残余变 换的数据，则使用图像分量的残余之间的相关对残余变换的数据执行逆变换，其中，预测补 偿单元通过将逆残余变换的残余与预测图像相加来执行预测补偿，所述预测图像是对每一 图像分量使用同样的编码模式所产生。所述设备还可包括逆量化/逆变换单元，如果在数据恢复单元中恢复的数据是变 换和量化的残余数据，则以预定大小的块为单位对变换和量化的数据执行逆量化和逆变 换，其中，预测补偿单元通过将逆量化和逆变换的残余与预测图像相加来执行预测补偿，所 述预测图像是对每一图像分量使用同样的编码模式所产生。根据本发明的另一方面，提供一种对所有彩色分量使用单一编码模式的图像解码 方法，包括当假设在包括至少两个图像分量的原始图像和在原始图像中的预测图像之间 的差是残余时，通过从比特流解码残余信息来恢复残余信息；和通过将预测图像与恢复的 残余数据相加来恢复图像，所述预测图像是应用同样的编码模式所产生。图像的恢复步骤可包括当执行帧内方法时，通过对原始图像的每一图像分量从 空间上与当前帧的像素块靠近的像素应用同样的预测方向来获得预测图像；和当执行帧间 方法时，通过在原始图像的每一图像分量的前一帧和当前帧之间以同样大小的块为单位应 用同样的运动估计和运动补偿方法来获得预测图像。所述方法还可包括使用图像分量的残余之间的相关对产生的残余执行逆变换，其 中，通过将逆残余变换的残余与预测图像相加来恢复图像，所述预测图像是对每一图像分 量使用同样的编码模式所产生。所述方法还可包括以预定大小的块为单位对产生的残余执行逆量化和逆变换，其 中，通过将逆量化和逆变换的残余与预测图像相加来恢复图像，所述预测图像是对每一图 像分量使用同样的编码模式所产生。根据本发明的另一方面，提供一种在其上实施用于执行所述方法的计算机程序的 计算机可读记录介质。


通过下面结合附图进行的对实施例的描述，本发明的这些和/或其他方面和优点 将会变得清楚和更加容易理解，其中图1是根据本发明实施例的在彩色分量中使用单一编码模式的预测图像产生设 备的方框图；图2是根据本发明实施例的预测图像产生方法的流程图；图3是根据本发明实施例的在彩色分量中使用单一编码模式的图像和视频编码 设备的方框图；图4是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频编 码方法的流程图；图5是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频解 码设备的方框图；图6是根据本发明实施例的预测补偿单元的详细方框图；图7是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频解 码方法的流程图；图8A和图8B示出根据本发明的用于空间预测的邻近像素的位置、将被预测的当 前块的像素的位置和预测方向；图9示出根据本发明实施例的为了时间预测在ME/MC(运动估计/运动补偿)中 划分宏块的方法；图10示出根据本发明实施例的使用6抽头滤波器的MC(运动补偿)插值方法；和图11示出根据本发明实施例的使用双线性滤波器的MC(运动补偿)插值方法。
具体实施例方式现在将详细参照本发明的实施例，其示例在附图中示出，其中，相同的标号始终指 的是相同的部件。下面描述实施例以通过参照附图解释本发明。现在将参照附图更加全面地描述本发明，附图中示出本发明的示例性实施例。图1是根据本发明实施例的在彩色分量中使用单一编码模式的预测图像产生设 备的方框图。参照图1，该预测图像产生设备包括空间预测图像产生单元100、时间预测图 像产生单元120、编码模式选择单元140、和单一模式预测图像产生单元160。空间预测图像产生单元100对包括至少两个图像分量的原始图像中的每一图像 分量应用(基本上)同样的预测方法，并从空间上与当前帧中的预定大小的像素块靠近的 像素来产生空间预测图像。时间预测图像产生单元120使用(基本上)同样的块大小和(基本上)同样的运 动矢量，对包括至少两个图像分量的原始图像中的每一图像分量应用(基本上)同样的运 动插值方法，并通过在每一图像分量的前一帧和当前帧之间以预定大小的块为单位估计运 动来产生时间预测图像。编码模式选择单元140基于空间预测图像和时间预测图像选择编码模式。编码模 式选择单元140包括空间比特量/图像质量失真计算单元142、时间比特量/图像质量失 真计算单元144、和性能比较单元146。
关于空间预测图像，空间比特量/图像质量失真计算单元142计算空间预测图像 的比特量和图像质量失真。时间比特量/图像质量失真计算单元144计算时间预测图像的 比特量和图像质量失真。性能比较单元146比较通过累加空间预测图像和时间预测图像的 每一个的比特组成的数量和图像质量失真获得的值，并选择与较小的值对应的编码模式作 为单一编码模式。单一模式预测图像产生单元160通过将选择的编码模式应用于彩色图像的每一 分量来产生预测图像。图2是根据本发明实施例的预测图像产生方法的流程图。现在将简要地解释所述 方法。在操作200中，通过对彩色图像的各个彩色分量应用使用同样的预测方向的方法，产 生空间预测图像。此外，在操作220中，使用同样的块大小和同样的运动矢量，对原始图像 中的每一彩色分量应用同样的运动插值方法，产生时间预测图像。在操作240中，计算产生 的空间预测图像和时间预测图像的每一个的比特组成的数量和图像质量失真。在操作260 中，通过比较计算的结果，选择产生具有最小的比特量和/或图像质量失真的图像的编码 模式。在操作280中，通过应用选择的编码模式产生预测图像。现在将参照图1和图2详细解释根据本发明实施例的在彩色分量中使用单一编码 模式来产生预测图像的方法以及用于产生预测图像的设备的操作。假设在用于使用单一编码模式产生预测图像的设备中输入的彩色图像Fn是RGB 图像。以块为单位处理所述彩色图像。为了增加编码效率，使用采用时间预测的帧间方 法和采用空间预测的帧内方法，在所述采用时间预测的帧间方法中，通过从前一预测图像 F' n-1估计运动来执行预测；在所述采用空间预测的帧内方法中，在空间上靠近当前预测 图像F' η的块中执行预测。这时候，选择多种编码模式中最有效的模式或相对有效的模 式。在空间预测模式中，S卩，在帧内模式中，对R、G、和B使用同样的预测模式来产生空 间预测图像，增加了 R、G、和B的残余之间的相关。在时间预测中，S卩，在帧间模式中，同样的块大小和同样的运动矢量用于R、G、和 B，并且当预测图像被扩展时，同样的滤波器用于插值，并且产生时间预测图像。当使用空间预测方法时，确定哪一种采用的模式是最有效的或相对有效的。例如， 在MPEG-4 AVC/H. 264中，如图8A和8B所示，在每一 4X 4中使用9种预测方法执行预测。 此外，使用16X16块大小和4种预测方法执行预测。这时候，通过对R、G、和B应用同样的 预测方法来执行预测。计算作为以每一模式执行预测的结果获得的比特量和/或图像质量 失真，并且选择具有通过累加比特量和/或失真获得的最小值的预测方法。这时候，可通过 执行变换和量化，其后执行熵编码来计算比特量。为了确定图像质量失真，可使用原始图像 和通过恢复图像获得的恢复图像之间的均方差
ND = Yj(Pi^qi)2……(1)
y=n
丨^^-- ■ A.· ·_L.其中，D是图像质量失真的数值，ρ是当前图像的像素值，q是前一图像的像素值。 此外，当累加图像质量失真和比特量时，为了对于所述两个比特量获得相同的单位，如下面 的等式2所示，使用预定常数L = D+ λ R......(2)
这里，R是比特率，λ是预定常数。对于每一预测方法计算该值，并且选择具有最 小L的预测方法。在帧间方法中，块被分为如图9所示，并执行运动估计。这时候，使用与如上所述 相同的方法，对每一预测方法计算L，并选择具有最小L的方法。应理解可仅使用任一个，即 D、R或λ R来选择预测方法。这时候，对于R、G、和B分量的每一个应用同样的预测方法。此外，同样的运动矢 量用于R、G、和B分量的每一个。此外，为了详述运动预测，使用插值和扩展预测图像的方 法。在本发明的实施例中，可使用6抽头滤波器或双线性滤波器。图9示出当前一帧的图像以垂直和水平方向被四倍插值以便插值和扩展预测图 像时使用6抽头滤波器的块划分的示例。6抽头滤波器用于MPEG-4AVC/H.264标准中。在 图10中，当像素A至像素U在前一帧中时，根据下面的方法执行1/4或1/2插值。首先，根据下面的等式3和4，在垂直或水平方向的1/2像素位置的像素b和h的 每一个分别被使用前一帧的6个邻近像素插值hi = (A-5XC+20XG+20XM-5XR+T)......(3)
bl = (E-5 XF+20 XG+20 XH-5 X I+J) hi = (A-5 X C+20 X G+20 XM-5 X R+T)., b = Clipl ((bl+16) >> 5) h = Clipl ((hl+16) >> 5)......(4)这里，Clipl (χ)将χ截取到图像像素的比特范围之内。在8比特图像中，如果χ 小于0，则将χ设置为0，如果χ大于255，则将χ设置为255。其它值保持为它们的原始值。 用于插值的滤波器抽头是[1，-5，20，20，-5，1]，其是使用更多邻近像素的6抽头滤波器。根据下面的等式5，在垂直和水平方向的1/2像素位置的像素j被使用在1/2像素 位置的6个先前恢复的垂直或水平的邻近像素插值jl = cc-5 X dd+20 X hl+20 X ml-5 X ee+f f或jl = aa-5Xbb+20Xb 1+20X s 1-5X gg+hhj = Clipl ((jl+512) >> 10) ......(5)这里，邻近像素(^、(1(1、111、1111、66、和 或33、油、131、8148、1111是通过等式3使 用6抽头滤波器插值获得的中间结果。类似地，根据等式4通过像素si和ml恢复在1/2像素位置的像素s和m的值。根 据下面的等式6，获得作为垂直方向或水平方向上两个邻近像素的平均值的在1/4像素位 置的像素 a、c、d、η、f、i、k、和 q
a = (G+b+1 c = (H+b+1 d = (G+h+1 η = (M+h+1 f = (b+j+1 i = (h+j+1 k = (j+m+1 q = (j+s+1
>> 1 >> 1 >> 1 >> 1 >> 1 >> 1 >> 1 >> 1
(6)
获得作为两个对角方向邻近像素的平均值的在1/4像素位置的e、g、ρ、和r e = (b+h+1) >> 1g = (b+m+1) >> 1ρ = (h+s+1) >> 1r = (m+s+1) >>2......(7)图11示出当在垂直和水平方向上对前一帧的图像进行4倍插值以对预测图像进 行插值和扩展时使用双线性插值方法的示例。该双线性插值方法被用在MPEG-4 AVC/H. 264 标准中。在前一帧的像素A、B、C和D中，根据下面的方程10来获得在1/4或1/2像素位置 的像素a = ((4-dx) X (4-dy)) XA+dxX (4-dy) XB+ (4_dx) XdyXC+dxXdyXD+8) >>4...(10)这里，dx指的是A或C距a的水平距离，dy指的是A或B在垂直方向上距a的垂
直距离。该双线性插值方法比使用6抽头滤波器的方法使用更少的邻近像素和与将被插 值的值接近的更多的邻近值。根据本发明的一方面，对R、G和B分量应用同样的插值方法，以便R、G和B残余信 号彼此相似。其结果是，增强了残余变换的效果。为了应用同样的插值方法，可对所有的R、 G和B分量应用6抽头滤波器。另外，可对所有的R、G和B分量应用所述双线性方法。另 外，可为每个块选择最佳方法，并可使用选择的方法对该块进行编码。因此，当通过对所有 的R、G和B分量使用同样的预测方法并使用同样的插值方法执行了时空预测时，可增强R、 G和B分量的残余之间的相关。图8A示出用于空间预测的邻近像素的位置和当前块的像素的位置。该方法与 MPEG-4 AVC/H. 264标准编码方法中使用的方法相同。在图8A中，为了预测4X4块中的预
测块数据Pa、Pb.....Pq，使用被先前编码和恢复并与将被预测的块数据Pa、Pb.....Pq空
间邻近的像素值P0、P1.....P12。图8B显示0至8的9个预测方向，可通过从空间邻近像
素投影来使用所述9个预测方向以预测当前块。例如，在方向0的情况下，在垂直方向上邻 近像素值P1、P2、P3和P4被投影，数据Pa.Pe.Pi和Pm被预测为像素值P1，数据Pb,Pf,Pj 和Pn被预测为像素值P2，数据Pc、Pg、Pk和Po被预测为像素值P3，数据Pd、Ph、Pl和Pq 被预测为像素值P4。对于其它方向，以相同的方式通过投影来执行预测。图9示出划分宏块的方法，所述宏块被用作用于图像的时间预测的运动的基本单 位。该方法被用在MPEG-4 AVC/H. 264标准编码方法中。参照图9，16X 16宏块被分成包括 16 X 16块、16 X 8块、8 X 16块和/或8 X 8块的多种大小的块，运动矢量被获得，并且图像值 被进行时间预测。8 X 8块被再分成8 X 8 ±夬、8 X 4 ±夬、4 X 8 ±夬和/或4 X 4 ±夬，以便细微的运 动可被准确检测。如上所述，通过使用在空间预测图像产生单元100中产生的预测图像，空间比特 量/图像质量失真计算单元142计算在帧内方法的每个模式下获得的比特量和/或图像质 量的失真。另外，时间比特量/图像质量失真计算单元144计算在帧间方法的每个模式下 获得的比特量和/或图像质量的失真。然后，性能比较单元146比较计算的值，并选择具有最高编码效率或相对高的编码效率的编码模式。单一模式预测图像产生单元160通过应用 选择的编码模式来产生预测图像。在上面所述的由编码模式选择单元140执行的具有最高编码效率的模式的选择 中比特量和/或图像质量失真的计算和比较仅为本发明一个实施例的一部分。根据本发明 其它实施例，可通过使用除比特量和/或图像质量失真之外的其它因素来选择具有最高编 码效率的编码模式。图3是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频编 码设备的方框图。所述图像和视频编码设备包括预测图像产生单元300、残余产生单元 310、变换/量化单元330、熵编码单元340、逆量化/逆变换单元350、逆残余变换单元360 和预测补偿单元370。预测图像产生单元300通过对包括至少两个图像分量的原始图像中的每个图像 分量使用同样的编码模式来产生预测图像。预测图像产生单元300使用图1的根据本发明 实施例的预测图像产生设备。因此，如图1所示，预测图像产生单元300可包括空间预测图 像产生单元100、时间预测图像产生单元120、编码模式选择单元140和单一模式预测图像 产生单元160。残余产生单元310产生与原始图像和预测图像之间的差相应的残余。残余变换单 元320通过使用图像分量的每个残余的相关对残余产生单元310中产生的残余执行残余变 换。变换/量化单元330以预定大小的块为单位对由残余变换单元320变换的残余执行变 换和量化。熵编码单元340对由变换/量化单元330变换和量化的数据执行熵编码，并产 生比特流。逆量化/逆变换单元350、逆残余变换单元360和预测补偿单元370对由变换/量 化单元330变换和量化的数据分别执行逆量化/逆变换、逆残余变换和预测补偿，以产生当 在预测图像产生单元300中产生预测图像时使用的当前帧的预测图像F' η和前一帧的预 测图像F' η-1。图4是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频编 码方法的流程图。首先，在操作400中，通过使用单一编码模式产生预测图像。操作400与上面参照 图2描述的预测图像产生方法相同，更多的解释将被省略。然后，在操作420中，通过获得 原始图像和预测图像之间的差，产生了残余，并对产生的残余进行变换。然后，在操作440 中，执行诸如DCT变换的变换和量化，在操作460中，通过对变换和量化的数据进行熵编码， 产生比特流。根据本发明实施例的编码设备的输入彩色图像Fn是RGB图像，并以块为单位对该 图像进行处理。为了提高编码效率，该编码设备应用使用时间预测的帧间方法和使用空间 预测的帧内方法，在所述使用时间预测的帧间方法中，通过对先前预测图像F' η-1进行运 动估计来执行预测，在所述使用空间预测的帧内方法中，在空间上邻近当前预测图像F' η 的块中执行预测。此时，由编码模式选择单元140在多种编码模式之中选择最有效的模式。当选择了空间预测模式时，对所有R、G和B分量使用同样的预测模式，以便能够增 强R、G和B分量的残余之间的相关。当时间预测被执行时，对R、G和B分量使用同样的块 大小和同样的运动矢量，并且当预测图像被扩展时，对R、G和B分量的插值使用同样的滤波器。这里，如果根据选择的编码模式信息执行空间或时间预测编码，则可获得R、G和B分量 的每个的残余信号。为了移除每个分量中的重叠信息，在每个分量之间执行残余变换。然 后，为了以块为单位压缩每个分量，执行诸如离散余弦变换(DCT)或离散整数变换的变换， 然后对变换的系数进行量化并进行熵编码以产生比特流。通过编码的逆处理恢复的图像被 用于随后块的预测编码。图5是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频解 码设备的方框图。该图像和视频解码设备包括熵解码单元500、逆量化/逆变换单元520、 逆残余变换单元540和预测补偿单元560。熵解码单元500对比特流进行熵解码，逆量化/逆变换单元520以预定大小的块 为单位对熵解码的数据执行逆量化和逆变换。假设在包括至少两个图像分量的原始图像和该原始图像的预测图像之间的差是 残余，则逆残余变换单元540使用在逆量化和逆变换的数据之间的关联，即图像分量的残 余之间的关联，对变换的残余进行逆变换，由此恢复残余数据。预测补偿单元560将预测图像与恢复的残余数据相加，并恢复图像，所述预测图 像是对R、G和B分量的每个使用同样的编码模式所产生。图6是预测补偿单元560的详细方框图。预测补偿单元560包括空间预测补偿 单元600和时间预测补偿单元650。在帧内方法中，对于原始图像的每一分量，空间预测补偿单元600将预测图像与 恢复的残余数据相加，由此恢复图像，所述预测图像是从空间上与当前帧的像素块相邻的 像素应用同样的预测方向所获得。在帧间方法中，对于原始图像的每一分量，时间预测补偿单元650将预测图像与 恢复的残余数据相加，由此恢复图像，所述预测图像是通过在前一帧和当前帧之间以同样 大小的块为单位应用同样的运动估计和运动补偿方法所获得。图7是根据本发明实施例的对所有彩色分量使用单一编码模式的图像和视频解 码方法的流程图。假设在包括至少两个图像分量的原始图像和该原始图像的预测图像之间的差是 残余，则从比特流来解码残余信息，并恢复残余信息。如果通过熵编码产生比特流，则在操 作700，对所述比特流进行熵解码。然后，在操作720，以预定大小的块为单位对熵解码的数 据进行逆量化和逆变换。在操作740，通过使用逆量化和逆变换的数据之间的关联，即图像 分量的残余之间的关联，来对变换的残余进行逆变换并恢复残余数据。在操作760，通过将 预测图像与每一图像分量的残余相加，来恢复图像，所述预测图像是对R、G和B分量中的每 个使用同样的编码模式所产生。现在，将解释操作760的预测图像的获得。在帧内方法中， 对于原始图像的每一分量，预测图像是通过从空间上与将被预测的当前帧的像素块相邻的 像素应用同样的预测方向所获得。在帧间方法中，对于原始图像的每一分量，预测图像是通 过在前一帧和当前帧之间以同样大小的块为单位应用同样的运动估计和运动补偿方法所 获得。通过以上参照图3和图4描述编码处理的逆过程，从压缩的比特流恢复图像。由熵解码单元500、逆量化和逆变换单元520和逆残余变换单元540来处理压缩的 数据，并获得R、G和B分量中的每个的残余信号。在帧间模式情况下，将每一分量的残余值与从先前预测的图像F’ n-1预测的值相加，在帧内模式情况下，将每一分量的残余值与使 用空间预测方法从空间邻近块值预测的值相加。使用所述残余值恢复图像。本发明还可被实施为计算机可读记录介质上的计算机可读代码。所述计算机可读 记录介质是可存储其后可由计算机系统读取的数据的任何数据存储装置。所述计算机可读 记录介质的示例包括只读存储器(ROM)、随机访问存储器(RAM)、CD-ROM、磁带、软盘和光 学数据存储装置。根据本发明的对所有彩色分量使用单一编码模式的预测图像产生方法和设备，以 及对所有彩色分量使用单一编码模式的图像和视频编码和/或解码方法和设备，当使用空 间邻近像素或时间接近像素对彩色图像的彩色分量进行预测编码时，对每一彩色分量使用 同样的预测方法。由此，彩色分量的预测误差信号之间的冗余信息增加，从而可提高编码效率。例如，当使用RGB彩色图像，但是RGB输入图像不被变换成YCbCr图像而是直接在 RGB域中被编码时，根据RGB图像的统计特征来执行空间预测和时间预测，由此在保持高图 像质量的同时可提高编码效率。此外，通过直接压缩可直接从装置获得而不用执行将RGB视频图像变换到YCbCr 域中的传统的处理来获得的RGB视频图像，不存在图像质量的损失，诸如当将RGB域变换到 YCbCr域中时发生的图像的失真，这是因为在RGB域中直接执行编码，。因此，本发明的方法 和设备适于需要高质量图像信息的诸如数字电影和数字档案的应用。尽管参照本发明的示例性实施例已经详细显示和描述了本发明，但本领域的普通 技术人员应该理解，在不脱离由权利要求所限定的本发明的精神和范围的情况下，可在形 式和细节上对其进行各种改变。所述实施例应该仅被理解为描述的意义，而不是限制的目 的。因此，本发明的范围不是由本发明的详细的描述所限定，而是由权利要求所限定，并且 落于所述范围内的所有不同将被理解为包括在本发明中。
权利要求
一种对所有彩色分量使用单一预测编码模式的图像编码设备，包括预测图像产生单元，通过对包括至少两个彩色分量的原始图像中的每个彩色分量使用同样的预测编码模式来产生预测图像；残余产生单元，产生与原始图像和预测图像之间的差相应的残余；和编码单元，通过对残余数据编码产生比特流。
2.如权利要求1所述的设备，其中，预测图像产生单元包括空间预测图像产生单元，当执行帧内方法时对原始图像的每个彩色分量，通过从空间 上与当前帧的像素块相邻的像素应用同样的预测方向来获得预测图像；时间预测图像产生单元，通过当执行帧间方法时在原始图像的每个彩色分量的前一帧 和当前帧之间以同样大小的块为单位应用同样的运动估计和运动插值方法来获得预测图 像；编码模式选择单元，通过使用空间预测图像和时间预测图像来选择预测编码模式；和 单一模式预测图像产生单元，通过对彩色图像的每个分量同样地应用在编码模式选择 单元中选择的预测编码模式来产生预测图像。
3.如权利要求2所述的设备，其中，所述编码模式选择单元包括空间比特量和/或图像质量失真计算单元，计算空间预测图像的比特量和/或图像质 量的失真；时间比特量和/或图像质量失真计算单元，计算时间预测图像的比特量和/或图像质 量的失真；和性能比较单元，比较通过累加空间预测图像和时间预测图像的每一个的比特量和/或 图像质量失真获得的值，并选择与较小值相应的预测编码模式。
4.如权利要求1所述的设备，还包括残余变换单元，通过使用彩色分量的残余之间的 相关来对残余产生单元产生的残余执行残余变换，其中，所述编码单元将每个彩色分量的残余产生为比特流。
5.如权利要求4所述的设备，还包括变换/量化单元，以预定大小的块为单位对由残 余变换单元变换的残余执行变换和量化，其中，所述编码单元将每一变换和量化的系数产生为比特流。
6.一种对所有彩色分量使用单一预测编码模式的图像编码方法，包括通过对包括至少两个彩色分量的原始图像中的每个彩色分量使用同样的预测编码模 式来产生预测图像；产生与原始图像和预测图像之间的差相应的残余；和 通过对残余数据编码产生比特流。
7.如权利要求6所述的方法，其中，所述产生预测图像的步骤包括对于包括至少两个彩色分量的原始图像的每个彩色分量，通过从空间上与当前帧的像 素块相邻的像素应用同样的预测方向来获得预测图像；通过对包括至少两个彩色分量的原始图像中的每个彩色分量应用同样的块大小、运动 矢量和运动插值方法，并通过在每个彩色分量的前一帧和当前帧之间以预定大小的块为单 位估计运动，来获得预测图像；通过使用空间预测图像和时间预测图像来选择预测编码模式；和通过对彩色图像的每个分量同样地应用选择的预测编码模式来产生预测图像。
8.如权利要求7所述的方法，其中，在选择预测编码模式的步骤中，空间预测图像和时 间预测图像的每一个的比特量和/或图像质量的失真被计算，与空间预测图像和时间预测 图像的每一个的比特量和/或图像质量失真的最小总和相应的预测编码模式被选择为预 测编码模式。
9.如权利要求6所述的方法，还包括通过使用彩色分量的残余之间的相关来对产生的 残余执行残余变换，其中，在产生比特流的步骤中，将每个彩色分量的变换的残余产生为比特流。
10.如权利要求9所述的方法，还包括以预定大小的块为单位对变换的残余执行变换 和量化， >其中，在产生比特流的步骤中，变换和量化的系数的每一个被产生为比特流。
11.一种用于具有至少两个彩色分量的图像的预测图像产生方法，包括使用第一图像预测方法获得所述至少两个彩色分量的第一预测图像；使用第二图像预测方法获得所述至少两个彩色分量的第二预测图像；使用第一和第二预测图像选择预测编码模式；和通过将选择的预测编码模式应用到每一分量来产生预测图像。
12.如权利要求11所述的方法，其中，第一和第二图像预测方法中的一个是空间预测 图像方法。
13.如权利要求11所述的方法，其中，第一和第二图像预测方法中的一个是时间预测 图像方法。
14.如权利要求11所述的方法，其中，在预测编码模式的选择中，计算第一预测图像和 第二预测图像中的每个的比特量和/或图像质量的失真，并且与通过累加第一预测图像和 第二预测图像的每个的比特量和/或图像质量的失真所获得的最小总和相应的预测编码 模式被选择为预测编码模式。
15.一种预测图像产生设备，包括图像产生单元，产生至少两个彩色分量的第一和第二预测图像；编码模式选择单元，通过使用第一和第二预测图像选择预测编码模式；和单一预测图像产生单元，通过对每一分量使用在编码模式选择单元中选择的预测编码 模式来产生预测图像。
16.如权利要求15所述的设备，其中，图像产生单元包括空间预测图像部分；和时间预测图像产生部分。
17.如权利要求15所述的方法，其中，编码模式选择单元用于计算第一预测图像和第 二预测图像的每个的比特量和/或图像质量的失真以及相应的预测编码模式，并选择具有 通过累加第一预测图像和第二预测图像的每个的比特量和/或图像质量的失真所获得的 最小总和的预测编码模式。
全文摘要
提供一种预测图像产生方法及设备和图像视频编/解码方法及设备。预测图像产生设备包括空间预测图像产生单元，对包括至少两个图像分量的原始图像中的每一分量应用同样的预测方向，并从空间上与当前帧的预定大小的像素块靠近的像素来获得空间预测图像；时间预测图像产生单元，对每一图像分量应用同样的块大小、运动矢量、运动插值方法，在每一图像分量的前一帧和当前帧之间以预定大小的块为单位估计运动来获得时间预测图像；编码模式选择单元，选择编码模式；单一模式预测图像产生单元，将选择的模式应用于每一分量来产生预测图像。通过增加彩色分量的预测误差信号之间的信息冗余，提高编码效率。
文档编号H04N7/36GK101945282SQ201010288370
公开日2011年1月12日 申请日期2006年2月28日 优先权日2005年2月28日
发明者帝弥撤·勃依诺, 赵大星, 金祐湜, 金铉文 申请人:三星电子株式会社