专利名称：影像编码装置、影像解码装置、影像编码方法及影像解码方法
技术领域：
本发明涉及影像压缩编码技术、压缩影像数据传送技术等中使用的影像编码装置、影像解码装置、影像编码方法及影像解码方法。
背景技术：
以往，在MPEG、ITU-T H. 26x等国际标准影像编码方式中，将输入影像帧分割成由 16X16像素块构成的宏块的单位而进行压缩处理。另一方面，近年来，期待如下技术对具有与HDTV (High Definition Television (高清晰度电视)，1920X1080像素)的4倍相当的空间分辨率的4KX2K像素的影像格式、进而相当于其4倍的8KX4K像素的影像格式、或者增加颜色信号的采样数来提高颜色再现性的4:4:4影像信号格式等高清晰/高质量影像进行压缩编码。在对这样的高清晰/高质量影像进行压缩编码的情况下，在16 X 16像素的宏块中无法进行充分利用了图像信号相关的编码，难以实现高的压缩率。为了对应于这样的课题，例如提出了如下技术将以往的16 X 16像素宏块的大小如非专利文献1那样扩展为32 X 32像素块，增大运动矢量的分配单位来削减预测所需的参数的符号量，或者增大预测误差信号的变换编码的块尺寸(block size)来有效地去除信号的像素间相关。图12是示出非专利文献1的编码装置的结构的框图。在非专利文献1的编码中， 首先，在块分割部1002中将成为编码对象的输入影像信号1001分割成宏块(与亮度信号相当且32像素X32线(line)的矩形块)的单位，并作为编码影像信号1003而输入到预测部1004。在预测部1004中，在帧内/帧间预测宏块内的各颜色分量的图像信号，得到预测误差信号1005。特别是，在帧间进行运动补偿预测的情况下，以宏块自身或者将宏块进一步细分而得到的子块为单位，搜索运动矢量，并根据运动矢量来生成运动补偿预测图像，取得与编码影像信号1003之间的差分，从而得到预测误差信号1005。另外，在非专利文献3中提出了如下方法针对以往的宏块，在将宏块的大小固定为16X16像素的状态下，使运动预测区域的分割形状多样化。压缩部1006针对预测误差信号1005，根据运动矢量的分配单位区域的大小，一边变更块尺寸一边实施DCT(离散余弦变换)处理而去除了信号相关之后，进行量化而得到压缩数据1007。压缩数据1007被可变长编码部1008熵编码后作为比特流1009而输出，并且被发送到局部解码部1010，得到解码预测误差信号1011。将该解码预测误差信号1011与预测误差信号1005的生成中使用的预测信号1012 进行相加后作为解码信号1013而输入到环路滤波器1014。解码信号1013在由环路滤波器1014实施了去除块失真的处理之后，作为用于生成以后的预测信号1012的参照图像信号1015而被保存到存储器1016中。另外，为了得到预测信号1012而在预测部1004中决定的预测信号生成用参数1017被发送到可变长编码部1008，复用到比特流1009而输出。此处，在预测信号生成用参数1017中，例如包括表示如何进行帧内的空间预测的帧内预测模式、表示帧间的运动量的运动矢量等信息。在以往的MPEG、ITU-T H. 26x等国际标准影像编码方式中采用16X 16像素块作为宏块尺寸，与此相对，在非专利文献1中，使用32X32像素块的宏块尺寸(超宏块SMB)。 图13示出针对每个MXM像素宏块进行运动补偿预测时的运动矢量分配区域的分割形状的样子，图13的(a)是非专利文献1的SMB,图13的(b)是以往的MPEG-4AVC/H. 264(参照非专利文献2、的宏块。将SMB设为像素数M = 32而增大每个运动矢量所覆盖的运动预测区域的面积，与此相对，以往的宏块使用了像素数M/2 = 16。由此，在SMB中作为画面整体所需的运动矢量的信息量与像素数M/2 = 16相比变少，所以可以抑制应作为比特流来传送的运动矢量符号量。另外，在非专利文献1中，在分割形状的尺寸大于(M/2) X (M/2)的情况下，将DCT 块尺寸设定为16X16像素，一并去除广泛的区域的图像间相关。由此，提高了预测误差信号的压缩效率。非专利文献1 :Siwei Ma and C. -C. Jay Kuo, “ High-definition Video Coding with Super-macroblocks" , Proc. SPIE, Vol. 6508,650816(2007)非专利文献2 :MPEG-4AVC(IS0/IEC 14496-10)/ITU-TH. 264 规格非专利文献 3 :S. Kondo and H. Sasai, " A Motion Compensation Technique using Sliced Blocks and its Application to Hybrid Video Coding" ,VCIP 2005,July 200
发明内容
如上所述，在非专利文献1的以往方式中，扩展宏块的大小，增大运动矢量的分配单位来削减预测所需的参数的符号量，或者去除信号的像素间相关来提高预测误差信号的压缩效率。另一方面，当应用大的DCT块尺寸时存在如下问题由于伴随着在表现变换系数时所需的有效位数的增加，所以导致系数表现比特数的增加。本发明是为了解决上述那样的问题而完成的，其目的在于提供一种实现安装负荷平衡良好且根据成为编码对象的影像信号的统计和局部性质更良好地去除信号相关来进行高效的信息压缩的影像编码方法、从而为了超高清晰影像信号的编码而提高了最佳性的影像编码装置及其方法、以及影像解码装置及其方法。本发明的影像编码装置具备块分割部，将所输入的运动图像信号的各帧分割为规定尺寸的宏块并作为宏块图像而输出；帧存储器，储存参照图像；帧间预测部，根据帧存储器的参照图像和宏块图像进行帧间预测来生成预测图像，并且将用于确定该帧间预测的方法的信息作为帧间预测信息而输出；预测部，从宏块图像减去预测图像，生成预测误差信号；下采样处理部，对预测误差信号进行下采样(down sampling)，生成缩小预测误差信号； 第一量化变换部，对缩小预测误差信号进行变换和量化，生成量化变换系数；第一逆量化变换部，对量化变换系数进行逆量化和逆变换，生成解码缩小预测误差信号；上采样处理部， 对解码缩小预测误差信号进行上采样(up sampling)，生成解码预测误差信号；加法部，将解码预测误差信号与预测图像进行相加而生成局部解码图像，并将该局部解码图像作为参照图像而输出到帧存储器；以及熵编码部，对量化变换系数和帧间预测信息进行熵编码，输出编码数据。本发明的影像解码装置具备熵解码部，对所输入的编码数据进行熵解码，输出该编码数据中包含的帧间预测信息以及量化变换系数；帧存储器，储存参照图像；第一逆量化变换部，对量化变换系数进行逆量化和逆变换，生成解码缩小预测误差信号；上采样处理部，对解码缩小预测误差信号进行上采样，生成解码预测误差信号；预测部，按照帧间预测信息，根据帧存储器的参照图像生成预测图像；以及加法部，将解码预测误差信号与预测图像进行相加而生成解码图像，并将该解码图像作为参照图像而输出到帧存储器。本发明的影像编码方法具备块分割步骤，将所输入的运动图像信号的各帧分割为规定尺寸的宏块并作为宏块图像而输出；帧间预测步骤，根据帧存储器中储存的参照图像和宏块图像进行帧间预测而生成预测图像，并且将用于确定该帧间预测的方法的信息作为帧间预测信息而输出；预测步骤，从宏块图像减去预测图像，生成预测误差信号；下采样处理步骤，对预测误差信号进行下采样，生成缩小预测误差信号；第一量化变换步骤，对缩小预测误差信号进行变换和量化，生成量化变换系数；第一逆量化变换步骤，对量化变换系数进行逆量化和逆变换，生成解码缩小预测误差信号；上采样处理步骤，对解码缩小预测误差信号进行上采样，生成解码预测误差信号；加法步骤，将解码预测误差信号与预测图像进行相加而生成局部解码图像，并将该局部解码图像作为参照图像而输出到帧存储器；以及熵编码步骤，对量化变换系数和帧间预测信息进行熵编码，输出编码数据。本发明的影像解码方法具备熵解码步骤，对所输入的编码数据进行熵解码，输出该编码数据中包含的帧间预测信息以及量化变换系数；第一逆量化变换步骤，对量化变换系数进行逆量化和逆变换，生成解码缩小预测误差信号；上采样处理步骤，对解码缩小预测误差信号进行上采样，生成解码预测误差信号；预测步骤，按照帧间预测信息，根据帧存储器中储存的参照图像生成预测图像；以及加法步骤，将解码预测误差信号与预测图像进行相加而生成解码图像，并将该解码图像作为参照图像而输出到帧存储器。根据本发明，对预测误差信号进行下采样以及变换和量化而生成量化变换系数， 并且对量化变换系数进行上采样以及逆量化和逆变换而生成解码预测误差信号，所以可以低成本地提供如下的影像编码装置及其方法、以及影像解码装置及其方法实现安装负荷平衡良好、且根据成为编码对象的影像信号的统计和局部性质更好地去除信号相关来进行高效的信息压缩的影像编码方法，为了 4:4:4格式的超高清晰影像信号的编码而提高了最适合性。
图1是示出本发明的实施方式1的影像编码装置以及影像解码装置为处理对象的 4:4:4格式的图。图2是示出实施方式1的影像编码装置的结构的框图。图3是示出图2所示的块分割部生成的基准块的说明图。图4是示出由图2所示的预测部按照基本块单位将运动预测单位块进行了分割的形状例的说明图。图5是示出图2所示的预测部的动作的流程图。图6是用于说明预测部的成本J的计算方法的图。
图7是示出预测部的运动预测模式mcjiiodel 4的预测矢量PMV的计算例的图。图8是示出图2所示的压缩部的内部结构的框图。图9是示出图2所示的局部解码部的内部结构的框图。图10是示出比特流的数据排列的说明图。图11是示出实施方式1的影像解码装置的结构的框图。图12是示出非专利文献1的编码装置的结构的框图。图13是示出在非专利文献1的编码装置中针对每个宏块进行运动补偿预测时的运动矢量分配区域的分割形状的样子的图。
具体实施例方式以下，为了更详细地说明本发明，按照附图来说明用于实施本发明的方式。实施方式1.在本实施方式中，关于进行以4 4 4格式输入的数字影像信号的压缩解压缩的影像编码装置以及影像解码装置，叙述适应于各颜色分量的信号的状态而进行运动补偿预测处理的影像编码装置以及影像解码装置。此处，图1示出实施方式1的影像编码装置以及影像解码装置作为输入所使用的 4:4:4格式。4:4:4格式如图1的(a)所示，是指构成彩色运动图像的3个信号分量C0、C1、 C2的像素数全部相同的格式。3个信号分量的颜色空间既可以是RGB或者XYZ，也可以是亮度和色差(YUV、YCbCr、或者YPbPr)。相对于4:4:4格式，图1的(b)所示的4:2:0格式是指，颜色空间是YUV、YCbCr或者YPbPr、且色差信号分量(例如如果是YCbCr则是Cb、Cr) 相对于亮度Y的像素数在水平W和垂直H分别成为二分之一的格式。在以下的说明中，特别是限定于4:4:4格式的颜色空间是YUV、YCbCr或者YPbPr、 且将各颜色分量视作与亮度分量相当而进行处理的方式，说明影像编码装置以及影像解码装置。但是，在以4:2:0格式的影像信号为对象的影像编码装置以及影像解码装置中，当然也可以对其亮度信号直接应用以下说明的动作。另外，针对4 2 0格式的色差信号，也可以通过使各自的尺寸成为一半来进行应用。1.影像编码装置图2是示出实施方式1的影像编码装置的结构的框图。图2所示的影像编码装置将4:4:4格式的输入影像帧分割为MmaxXMmax像素块(以下，称为“基准块”)，以该基准块为单位进行运动预测，对预测误差信号进行压缩编码。首先，成为编码对象的输入影像信号(运动图像信号)1在块分割部2中被分割成基准块(M像素XM线(line)的矩形块)的单位，作为编码信号(宏块图像)3输入到预测部4。图3示出块分割部2生成的基准块。如图3所示，基准块构成为将由MmaxXMmax像素构成的矩形的块进行汇总而得到的单位的基准块数据。按照帧或序列、或者GOP(Group Of Pictures,图片组)等的上位层数据等级，决定并编码基准块尺寸Mmax，这在后面详细进行叙述。另外，虽然也可以构成为在帧内变更基准块尺寸Mmax，但在该情况下，按照将切片等的多个宏块进行汇总而得到的单位，指定基准块尺寸Mmax。基准块数据进一步被分割为LiXMi像素块(i 颜色分量标识符)的“运动预测单位块”，以运动预测单位块为基础进行运动预测、编码。图3的(a)中的运动预测单位块的
8图案(pattern)是L0 = Mmax/2、M0 = Mmax/2，图3的(b)中的运动预测单位块的图案是L0 = Mmax/2、MQ = Mmax，图3的(a)、(b)都是L1 = M1 = L2 = M2 = Mmax0另外，在以下的说明中，关于4:4:4格式的各颜色分量的基准块，在3个颜色分量CO、Cl、C2中设为相同，在变更基准块的尺寸的情况下，关于3个颜色分量的全部，变更为同一基准块的尺寸。另外，也可以构成为关于运动预测单位块的尺寸LiJi的各个，可以针对颜色分量C0、C1、C2的每一个进行选择，能够按照序列、G0P、帧、基准块等单位进行变更。通过采用这样的结构，不用变更基准块尺寸，而可以根据每个颜色分量的信号的性质的差异，灵活地决定运动预测单位块尺寸。 另外，基准块的尺寸不会动态地变更，所以可以实现考虑了以基准块为单位的编码和解码处理的并行化和流水线化的有效的安装。在预测部(帧间预测部)4中，对基准块内的各颜色分量的图像信号进行运动补偿预测，生成预测信号(预测图像)12，并且从编码信号3减去存储器(帧存储器)16保持的参照图像信号而得到预测误差信号5。关于该预测部4的更详细的动作，将在后面叙述。压缩部6在对预测误差信号5实施DCT处理等变换处理而去除了信号相关之后，进行量化而得到预测误差压缩数据7。此时，在压缩部6中具有多个可以适用于预测误差信号5的变换处理的模式，从它们中选择最佳的模式进行编码处理，所选择的模式作为变换处理模式信息32而输出到可变长编码部8。另外，关于压缩部6的动作，由于是本实施方式1的影像编码装置的特征，所以在后面详细叙述。可变长编码部(熵编码部)8对预测误差压缩数据7进行熵编码而作为比特流9 输出。局部解码部10从预测误差压缩数据7得到解码预测误差信号11。该解码预测误差信号11与预测误差信号5的生成中使用的预测信号12在加法部中被加法而成为解码信号(局部解码图像)13，并被输入到环路滤波器14。另外，为了得到预测信号12而在预测部4中决定的预测信号生成用参数(帧间预测信息)17被发送到可变长编码部8，并作为比特流9输出。预测信号生成用参数17被发送到可变长编码部8，并作为比特流9输出。关于预测信号生成用参数17的内容，与预测部4的说明一起在后面详细叙述。环路滤波器14对重叠了伴随着压缩部6中的变换系数量化而产生的块失真的解码信号13，使用预测信号生成用参数17以及量化参数19进行块失真校正。在非专利文献1 3等的影像编码方式中，在将基准块作为宏块的情况下，一般采用一边按照宏块的单位来选择帧内编码、帧间预测编码一边进行编码的方法。这是因为，在帧间的运动预测不充分的情况下，在利用帧内的相关时，编码有时更高效。以下，在本实施方式1的影像编码装置中，在说明发明的要点时，在文中不会记载关于帧内编码的记述及其选择性使用，但只要没有特别说明，就可以选择性地使用以基准块为单位的帧内编码。在本实施方式1的影像编码装置中，也可以将基准块定义为宏块，但为了说明运动预测，在以后也使用基准块这样的用语。以下，说明本实施方式1的特征之一即预测部4的详细动作。本实施方式1的预测部4的特征是以下的2点。(1)基准块和运动预测单位块的尺寸与运动预测中使用的分割形状的连动适应化。(2)与各颜色分量的性质对应的运动预测模式、运动矢量的决定。
关于上述(1)，预测部4首先结合各颜色分量的信号的性质，将基准块分割为 LiXMi像素的运动预测单位块，进而将运动预测单位块分割为由IiXmi像素的组合构成的多个形状。然后，预测部4对各分割区域分别分配固有的运动矢量来进行预测，将预测效率最优良的形状选择为运动预测模式，使用作为其结果得到的运动矢量来进行针对各分割区域的运动预测，得到预测误差信号5。运动预测单位块内的分割形状采用由1 Xm像素组成的“基本块”的组合所构成的形状。在本实施方式1的影像编码装置中，在M与m、L与1之间设置“m = M/2”、“l = L/2” 这样的限制。图4示出根据这个条件决定的基本块的分割形状。图4是示出由预测部4按照基本块单位将运动预测单位块进行了分割的形状例的说明图。以下，在本实施方式1的影像编码装置中，图4所示的分割形状的图案(分割图案)针对3个颜色分量既可以是共同的，也可以独立地决定。另外，以下将该分割图案mcjiiodeO 7称为“运动预测模式”。在非专利文献1、2的影像编码方式中，运动预测应用区域的形状限定于矩形，无法使用图4那样的矩形以外的对角分割。与此相对，在本实施方式1中，通过使应用图4那样的运动预测的区域的形状多样化，从而在动物体的轮廓部分等在基准块内包括复杂的运动的情况下，可以按照比矩形分割还少的运动矢量个数来进行运动预测。非专利文献3针对以往的宏块公开了运动预测应用区域的分割形状的多样化方法。在该非专利文献3中， 通过进行宏块分割的线段与其块边界的交点位置来表现分割形状。但是，该方法是在使像素数M固定的状态下使基准块内的分割图案增加的方法，存在以下的问题。问题 1 用于对基准块的分割图案进行记述的符号量增加。通过允许成为Mmax mod m = 0 的任意的m，从而使基准块内的分割图案增加，需要将用于指定该图案的信息作为开销信息进行编码。分割图案越增加，产生某特定的分割图案的概率越分散，所以无法高效进行分割图案的熵编码，成为作为符号量的开销，作为总体编码的性能有极限。问题 2:由于分割图案增加，在编码时为了选择最佳的分割而所需的运算量增大。运动预测是占据编码处理负荷的大半的高负荷处理，在分割图案盲目地增加的算法中，不得不将影像编码装置设计成从其中仅验证并利用特定的分割图案。因此，影像编码装置有时无法最大限度地发挥算法具有的本来的性能。与此相对，在本实施方式1的影像编码装置中的图4的方法中，首先，通过1)可以根据编码的条件、影像信号的分辨率、性质而以帧等上位等级来变更Mmax的值、幻可以结合每个颜色分量Ci的特性而将MmaxXMmax的像素块分割成基本块LiXMi像素、幻将基本块的分割条件限定为满足成为“m = M/2”、“l = L/2”的限制的分割形状之后确保分割的变化的这3个办法，来解决上述问题。基本块的尺寸Mmax的值在帧、切片内不会局部地变更， 而仅能够在帧等级或者帧列(序列、G0P)等上位数据结构等级中变更。这个结构可以实现与基准块内包含的图像信号图案的意思的差异对应的适应化。例如，在小的分辨率(Video Graphics Array(视频图形阵列)，VGA等)的影像和大的分辨率(HDTV等)的影像中，相同的IaxXMfflax像素块内的信号图案所表现的意思不同。在预测同一被摄体的情况下，在小的分辨率的影像中，能捕捉与被摄体的构造接近的信号图案，但在大的分辨率的影像中，即使使用与小的分辨率时相同的块尺寸，也仅能捕捉被摄体的更局部的部位的信号图案。因此，在基准块的尺寸不依赖于分辨率而相同的情况下，随着分辨率变高，基准块内的信号图案的噪声分量的要素变大，可以提高作为图案匹配技术的运动预测的性能。因此，仅能够在上位数据结构等级中变更基准块尺寸Mmax的值，从而可以抑制基准块尺寸Mmax的值的信号传输所需的符号量，并且能够根据影像的分辨率、场景变换、画面整体的活动变化等状况，在运动预测的意义上使基准块中包含的信号图案最佳化。除了这个结构以外，还可以如图3那样针对每个颜色分量来变更运动预测单位块内的分割图案，从而可以根据各颜色分量的信号特性而使运动预测的处理单位最佳化。而且，通过向运动预测单位块内如图4那样提供分割图案的限定性自由度，可以抑制运动预测单位块内的分割图案表现所需的符号量，并且改善运动预测的整体的效率。另外，如果高效地进行以帧等级来决定基准块尺寸Iax的值的处理，则在以后可以将在基准块内应检查的分割图案的变化抑制得比现有技术少，可以减小编码处理的负荷。在决定基准块尺寸Mmax的值的方法中，例如有以下那样的方法。(1)根据编码对象影像的分辨率来决定。在同一 Mmax值的情况、分辨率大的情况下，基准块内的图像信号图案具有更接近噪声分量的含义，运动矢量难以捕捉图像信号图案。在这样的情况下增大L值，使得能够捕捉图像信号图案。(2)将帧间的差分值的大小视作活动，在活动大的情况下以小的Mmax值进行运动预测，在活动小的情况下以大的Mmax值进行运动预测。另外，根据编码对象影像的帧频 (frame rate)来决定此时的大小控制。帧频越高，帧间相关越大，运动矢量自身的动态范围变小，其符号量变小，所以考虑如下等的方法设定成即使活动稍微小也不使Iax值过大， 从而连细微的运动也可以预测。(3)通过加权来组合⑴和(2)的方法而进行判断。在决定了基准块尺寸Mmax的值之后，针对每个颜色分量，决定运动预测单位块的尺寸、M”例如，在输入影像信号1是在YUV(或者YCbCr等)的颜色空间中定义的信号的情况下，作为颜色信号的U/V分量与亮度信号Y分量相比，信号频带更窄。因此，块内分散与亮度相比变小。据此，考虑对于U/V分量的尺寸LpMi采用比亮度信号Y分量的尺寸‘ Mi更大的值这样的判断基准的例子(参照图3)。将作为进行这些判断的结果而得到的各块尺寸MmaxIiJi的值，作为基准块尺寸信息18而通知给块分割部2、预测部4、可变长编码部8。另外，如图3那样，如果针对Mmax将 L” Mi设定为通过简单的运算能够导出的值，则不用将L” Mi作为独立的值进行编码而对计算式的标识符进行编码即可，所以可以抑制基准块尺寸信息18所需的符号量。另外，在图2中虽然没有特别图示，但影像编码装置也可以构成为具备用于决定 Mfflax, Li^ Mi的值并通知给各部的基准块尺寸决定部，而决定基准块尺寸信息18。预测部4根据从基准块尺寸信息18导出的运动预测单位块尺寸L” Mi,执行使用图3、图4的分割图案的运动检测处理。图5是示出预测部4的动作的流程图。预测部4以 LiXMi像素的运动预测单位块为单位，对该帧的Ci分量进行运动预测。基本上，在该过程中，针对图4的mcjiiode 0 7的各个分割图案，在所指定的运动搜索范围中检测每个分割区域的最佳运动矢量，决定最终针对该运动预测单位块使用mcjiiode 0 7中的哪一个运动预测模式时预测效率最佳。利用根据运动预测单位块内的运动矢量的总符号量R、以及应用该运动矢量而从保存在存储器16内的参照图像所生成的预测信号12与输入影像信号1之间的预测误差量 D而导出的下述成本J，来定义预测效率。预测部4输出该成本J最小的运动预测模式和运
动矢量。J = D+λR(λ常数)⑴因此，预测部4首先针对各运动预测模式，进行成本J的计算(步骤STl)。在图6 中，以mcjiiode 5的情形为例来说明成本J的计算方法。此时，帧F(t)内的被预测对象的运动预测单位块由2个分割区域Bc^B1构成。另外，在存储器16内，保存有2个编码和局部解码完毕的参照图像F’(t-l)、F’(t-2)，可以使用这2个参照图像F’(t-l)、F’(t_2)对分割区域BpB1进行运动预测。在图6中，在分割区域~中，使用参照图像F’ (t-2)来检测运动矢量MVm(Bci),在分割区域B1中，使用参照图像F’ (t-Ι)来检测运动矢量MVw(B1)15 如果将B设为分割区域、将设为第η帧的画面内位置χ = (i，j)处的像素值、将ν设为运动矢量，则可以使用差分绝对值和(Sum of Absolute Difference，SAD)，利用下式(2) 来计算分割区域B的预测误差量D。
权利要求
1.一种影像编码装置，具备块分割部，将所输入的运动图像信号的各帧分割为规定尺寸的宏块并作为宏块图像而输出；帧存储器，储存参照图像；帧间预测部，根据所述帧存储器的参照图像和所述宏块图像进行帧间预测来生成预测图像，并且将用于确定该帧间预测的方法的信息作为帧间预测信息而输出； 预测部，从所述宏块图像减去所述预测图像，生成预测误差信号； 下采样处理部，对所述预测误差信号进行下采样，生成缩小预测误差信号； 第一量化变换部，对所述缩小预测误差信号进行变换和量化，生成量化变换系数； 第一逆量化变换部，对所述量化变换系数进行逆量化和逆变换，生成解码缩小预测误差信号；上采样处理部，对所述解码缩小预测误差信号进行上采样，生成解码预测误差信号； 加法部，将所述解码预测误差信号与所述预测图像进行相加而生成局部解码图像，并将该局部解码图像作为参照图像而输出到所述帧存储器；以及熵编码部，对所述量化变换系数和所述帧间预测信息进行熵编码，输出编码数据。
2.根据权利要求1所述的影像编码装置，其特征在于，具备第二量化变换部，不经由下采样处理部而对预测误差信号直接进行变换和量化，生成量化变换系数；第二逆量化变换部，不经由上采样处理部而对所述量化变换系数进行逆量化和逆变换，生成解码预测误差信号；以及变换选择用开关，用于选择是使用所述下采样处理部、第一量化变换部、第一逆量化变换部以及所述上采样处理部、还是使用所述第二量化变换部以及所述第二逆量化变换部， 其中，熵编码部把表示所述变换选择用开关的选择结果的变换处理模式信息加在一起进行熵编码。
3.一种影像解码装置，具备熵解码部，对所输入的编码数据进行熵解码，输出该编码数据中包含的帧间预测信息以及量化变换系数；帧存储器，储存参照图像；第一逆量化变换部，对所述量化变换系数进行逆量化和逆变换，生成解码缩小预测误差信号；上采样处理部，对所述解码缩小预测误差信号进行上采样，生成解码预测误差信号； 预测部，按照所述帧间预测信息，根据所述帧存储器的参照图像生成预测图像；以及加法部，将所述解码预测误差信号与所述预测图像进行相加而生成解码图像，并将该解码图像作为参照图像而输出到所述帧存储器。
4.根据权利要求3所述的影像解码装置，其特征在于，具备第二逆量化变换部，不经由上采样处理部而对量化变换系数进行逆量化和逆变换，生成解码预测误差信号；以及变换选择用开关，用于选择是使用第一逆量化变换部以及所述上采样处理部、还是使用所述第二逆量化变换部，其中，熵解码部把编码数据中包含的表示所述变换选择用开关的选择的变换处理模式信息加在一起进行熵解码，所述变换选择用开关根据所述变换处理模式信息而被切换。
5.一种影像编码方法，具备块分割步骤，将所输入的运动图像信号的各帧分割为规定尺寸的宏块并作为宏块图像而输出；帧间预测步骤，根据帧存储器中储存的参照图像和所述宏块图像进行帧间预测而生成预测图像，并且将用于确定该帧间预测的方法的信息作为帧间预测信息而输出； 预测步骤，从所述宏块图像减去所述预测图像，生成预测误差信号； 下采样处理步骤，对所述预测误差信号进行下采样，生成缩小预测误差信号； 第一量化变换步骤，对所述缩小预测误差信号进行变换和量化，生成量化变换系数； 第一逆量化变换步骤，对所述量化变换系数进行逆量化和逆变换，生成解码缩小预测误差信号；上采样处理步骤，对所述解码缩小预测误差信号进行上采样，生成解码预测误差信号；加法步骤，将所述解码预测误差信号与所述预测图像进行相加而生成局部解码图像， 并将该局部解码图像作为参照图像而输出到所述帧存储器；以及熵编码步骤，对所述量化变换系数和所述帧间预测信息进行熵编码，输出编码数据。
6.根据权利要求5所述的影像编码方法，其特征在于，具备变换选择步骤，选择是否经由下采样处理步骤以及上采样处理步骤； 第二量化变换步骤，在所述变换选择步骤中选择了不经由所述下采样处理步骤的情况下，对预测误差信号直接进行变换和量化，生成量化变换系数；以及第二逆量化变换步骤，在所述变换选择步骤中选择了不经由所述上采样处理步骤的情况下，对所述量化变换系数进行逆量化和逆变换，生成解码预测误差信号，其中，在所述变换选择步骤中选择了经由所述下采样处理步骤以及所述上采样处理步骤的情况下，进行所述下采样处理步骤、第一量化变换步骤、第一逆量化变换步骤以及所述上采样处理步骤，在所述变换选择步骤中选择了不经由所述下采样处理步骤以及所述上采样处理步骤的情况下，进行所述第二量化变换步骤以及所述第二逆量化变换步骤，在熵编码步骤中，把表示所述变换选择用步骤的选择结果的变换处理模式信息加在一起进行熵编码。
7.一种影像解码方法，具备熵解码步骤，对所输入的编码数据进行熵解码，输出该编码数据中包含的帧间预测信息以及量化变换系数；第一逆量化变换步骤，对所述量化变换系数进行逆量化和逆变换，生成解码缩小预测误差信号；上采样处理步骤，对所述解码缩小预测误差信号进行上采样，生成解码预测误差信号；预测步骤，按照所述帧间预测信息，根据帧存储器中储存的参照图像生成预测图像；以及加法步骤，将所述解码预测误差信号与所述预测图像进行相加而生成解码图像，并将该解码图像作为参照图像而输出到所述帧存储器。
8.根据权利要求7所述的影像解码方法，其特征在于，具备 变换选择步骤，选择是否经由上采样处理步骤；以及第二逆量化变换步骤，在所述变换选择步骤中选择了不经由所述上采样处理步骤的情况下，对量化变换系数进行逆量化和逆变换，生成解码预测误差信号，其中，在熵解码步骤中，把编码数据中包含的表示所述变换选择用步骤的选择的变换处理模式信息加在一起进行熵解码，在所述变换选择步骤中，根据所述变换处理模式信息选择了经由所述上采样处理步骤的情况下，进行第一逆量化变换步骤以及所述上采样处理步骤，在所述变换选择步骤中，根据所述变换处理模式信息选择了不经由所述上采样处理步骤的情况下，进行所述第二逆量化变换步骤。
9.根据权利要求2所述的影像编码装置，其特征在于，变换选择用开关通过比较试行经由第一量化变换部的编码单元与经由第二量化变换部的编码单元而得到的结果，选择编码效率高的编码单元。
10.根据权利要求6所述的影像编码方法，其特征在于，在变换选择步骤中，通过比较试行经由第一量化变换步骤的编码方法和经由第二量化变换步骤的编码方法而得到的结果，选择编码效率高的编码方法。
全文摘要
在影像编码装置的压缩部6中，变换处理决定部31选择是否在通过下采样处理部36对预测误差信号5进行缩小变换之后进行变换和量化，而生成量化系数数据7a、7b中的某一个。在生成了量化系数数据7b的情况下，继续通过局部解码部对量化系数数据7b进行逆量化和逆变换之后，通过上采样处理部进行扩大变换，生成解码预测误差信号。
文档编号H04N7/32GK102450018SQ20108002389
公开日2012年5月9日 申请日期2010年5月27日 优先权日2009年5月29日
发明者伊谷裕介, 关口俊一, 山岸秀一, 峯泽彰, 杉本和夫 申请人:三菱电机株式会社