运动图像解码方法与流程

本申请是申请日为2011年07月22日、申请号为201180072475.6(国际申请号为pct/jp2011/004129)、发明名称为“运动图像解码方法及图像编码方法”的发明专利申请的分案申请。

本发明涉及运动图像信号的编码技术。

背景技术：

在以itu－th.264为代表的运动图像编码方式中，将画面整体划分为16像素×16像素的称之为宏块的编码单位而进行编码。

在h.264中，对于编码对象的宏块，使用周边的像素及前后的图片(picture)决定对象宏块内的像素值的预测值，将编码对象像素与预测值的预测误差进行熵编码。

在上述宏块内的像素值的预测时，根据宏块内的图案，可以按照宏块选择根据周边像素预测的帧内预测、和根据前后的图片(picture)的像素预测的帧间预测。此外，可以分割为比16像素×16像素小的预测块而进行预测。

例如如图2所示，在h.264的帧内预测中，将16像素×16像素的宏块分割为16个4像素×4像素的预测块、对各个预测块以图2的索引0到8表示的9种朝向来复制周边像素，从而能够预测预测块内的像素。此外，如图3所示，通过不将宏块分割、而用16像素×16像素的预测块以该图中由索引0到3表示的4种朝向复制周边像素，能够预测预测块内的像素。

此外，关于h.264的帧间预测也同样，可以在宏块内分割为更小的预测块而对各个预测块设定运动矢量。例如如图4所示，在预测从过去的图片(picture)的运动的情况下，可以分割为16像素×16像素、16像素×8像素、8像素×16像素、8像素×8像素(在此情况下，可以再将各个预测块分割为8像素×4像素、4像素×8像素、4像素×4像素)的预测块，对这里的预测块分别设定不同的运动矢量。

通过如上述那样将宏块的内部分割为预测块、分别进行预测，当宏块内有不同的图案的边界时等，预测精度提高，带来压缩率的提高。

但是，在以h.264为代表的以往技术中，宏块的尺寸都限定为16像素×16像素，不能以比其大的单位或小的单位进行预测。

此外，由于帧内预测还是帧间预测的选择仅能够以宏块单位设定，所以仅能够以比16像素×16像素小的单位进行选择。

鉴于这样的问题，专利文献1能够将16像素×16像素的块按照4叉树构造(日文：4分木構造)分割为8像素×8像素、4像素×4像素、2像素×2像素的某种，能够根据这些块尺寸变更预测模式(专利文献1)。

在先技术文献

专利文献

专利文献1：特表2007－503784

发明的概要

发明所要解决的技术课题

在专利文献1所记载的运动图像编码技术中，在将编码单位块分割的情况下，进行以分割后的宏块为编码单位的预测处理。因此，如果根据4叉树构造的分割宏块的个数增加，则相应地预测信息的代码量增大，压缩率下降。

技术实现要素：

本发明是鉴于这样的状况而做出的，目的是提供一种削减用来记述宏块的预测信息的信息量的技术。

解决课题所采用的技术手段

在说明达到上述目的的手段之前，进行用语的定义。在本说明书中，为了与以往技术(h264avc等)的宏块区别而将能够进行预测模式的选择的块尺寸可变的块记作cu(codingunit，编码单元)。

作为用来达成上述课题的技术手段，通过以下这样达成：在编码侧对某个编码对象的cu进行预测处理时，能够选择是原样使用比编码对象cu大的上位的cu(以下记作母cu)的预测图像的一部分、还是对该编码对象cu分别进行预测处理。

并且，通过以下这样达成：将表示选择哪种的标志信息保存到编码流中，在解码侧，通过读取标志信息，在对某个编码对象的cu进行预测处理时，选择是原样使用比编码对象cu大的上位的cu(以下记作母cu)的预测图像的一部分、还是对该编码对象cu分别进行预测处理。

例如，在以往技术中，在将编码对象cu分割为cu1～cu4、但仅cu1预测误差较小、cu2～4的预测精度较低的情况下，使用cu的预测结果生成cu的预测图像，将作为cu的预测图像的一部分、相当于cu1的区域的图像抽取作为预测图像。通过这样，由于不再需要对于编码对象cu2～4的预测处理的信息，所以能够削减信息量。

在以往的技术中，在进行使用编码对象cu的编码的情况下，由于没有生成母cu的编码数据，所以即使是编码对象cu只要仅1个另外预测就可以的图像，也以各个cu单位进行预测。但是，如果如上述那样使用上位的cu的预测图像的一部分，则能够削减记述cu的预测处理的信息量，使压缩率提高。

根据本发明的一技术方案，一种运动图像解码方法，用于下述运动图像解码装置，该运动图像解码装置对输入的编码流进行可变长解码，并以编码单位进行逆量化、逆变换而成为预测差分图像，将上述预测差分图像与预测图像相加而输出运动图像，该运动图像解码方法的特征在于，在上述解码的编码流是以第1编码单位以及比上述第1编码单位尺寸更大且包含上述第1编码单位的上位的第2编码单位这两者的编码单位来编码的编码流的情况下，生成以上述第1编码单位生成的预测图像和以第2编码单位生成的预测图像，使用以上述第2编码单位生成的预测图像的一部分作为上述第1编码单位的预测图像，在生成上述第1编码单位的预测图像时，使用上述第2编码单位的解码处理后的图像。

根据本发明的一技术方案，一种运动图像解码方法，用于下述运动图像解码装置，该运动图像解码装置对输入的编码流进行可变长解码，并以编码单位进行逆量化、逆变换而成为预测差分图像，将上述预测差分图像与预测图像相加而输出运动图像，该运动图像解码方法的特征在于，在上述解码的编码流是以第1编码单位以及比上述第1编码单位尺寸更大且包含上述第1编码单位的上位的第2编码单位这两者的编码单位来编码的编码流的情况下，生成以上述第1编码单位生成的预测图像和以第2编码单位生成的预测图像，使用以上述第2编码单位生成的预测图像的一部分作为上述第1编码单位的预测图像，在生成上述第2编码单位的预测图像时，使用时间上不同的图片的图像。

根据本发明的一技术方案，一种运动图像解码方法，用于下述运动图像解码装置，该运动图像解码装置对输入的编码流进行可变长解码，并以编码单位进行逆量化、逆变换而成为预测差分图像，将上述预测差分图像与预测图像相加而输出运动图像，该运动图像解码方法的特征在于，在上述解码的编码流是以第1编码单位、比上述第1编码单位尺寸更大且包含上述第1编码单位的上位的第2编码单位、以及比上述第2编码单位尺寸更大且包含上述第2编码单位的上位的第3编码单位进行编码的编码流的情况下，生成以上述第1编码单位生成的预测图像和以第2编码单位生成的预测图像，使用以上述第2编码单位生成的预测图像的一部分作为上述第1编码单位的预测图像。

发明效果

根据本发明，在预测单位块的尺寸有多个、采用可变的cu的图像编码·解码方法中，通过削减记述cu的预测处理的信息量，能够使压缩率提高。

附图说明

图1是表示实施例1的图像编码装置的概略结构的图。

图2是用来说明以往技术的帧内预测处理的一例的图。

图3是用来说明以往技术的帧内预测处理的一例的图。

图4是用来说明以往技术的帧间预测处理的一例的图。

图5是用来说明cu分割的概念的图。

图6是用来说明4叉树构造的cu分割的一例的图。

图7是用来说明以往技术的cu分割的编码流内的句法的一例的图。

图8是用来说明本发明为有效的一例的图。

图9是用来说明实施例1的cu分割的一例的图。

图10是用来说明实施例1的cu分割的编码流内的句法的一例的图。

图11是用来说明实施例1的cu分割时的预测图像的合成的一例的图。

图12是用来说明实施例1的cu分割时的预测图像的合成的另一例的图。

图13是在实施例1的cu分割时的预测图像的合成处理中、用来说明帧内预测时的处理的图。

图14是表示实施例1的预测模式决定部的概略结构的图。

图15是表示实施例1的图像解码装置的概略结构的图。

图16是表示实施例1的预测选择部的概略结构的图。

具体实施方式

本发明当进行伴随着编码单位块(以下记作cu，codingunit)的扩大或缩小的编码时，通过将分割后的cu的预测处理使用分割前的母cu的预测图像，从而省略分割后的cu的预测处理，由此削减预测信息量。

以下，参照附图对实施例进行说明。但是，应注意本实施例不过是用来实现本发明的一例，不是限定本发明的技术范围的。此外，在各图中对于共通的结构赋予相同的标号。

实施例1

<图像编码装置的构成>

图1是表示实施例1的图像编码装置的概略结构的图。

在图1中，图像编码装置具有：cu分割部100，用于决定cu尺寸；差分器102，用于生成预测图像保存部107中所保存的预测图像与输入图像114的预测差分图像；变换部102，将上述预测差分图像进行dct等的正交变换；量化部103，将变换后的信号量化；以及可变长编码部104，将量化后的信号编码，该图像编码装置将编码流115输出。

本实施例的运动图像编码装置为了生成上述预测图像而具有两套预测处理系统。第1系统是基于帧间预测的，为了得到用于下个输入图像的参照图像，具有：逆量化部109，用于将由量化部103输出的量化信号逆量化；逆变换部108，将逆量化信号逆变换而得到预测差分图像；加法器111，将逆变换后的预测差分图像与来自预测图像保存部107的预测图像相加；以及解块处理部112，得到从相加后的图像除去块噪声后的参照图像。并且，具有保存得到的参照图像的参照图像保存部113、以及进行参照图像与输入图像114之间的运动预测的帧间预测部106。第2系统是基于帧内预测的，具有根据输入图像114进行画面内预测的帧内预测部105。

预测模式决定部110的处理在后面叙述，使用上述两套预测处理系统，即，使用来自帧间预测部106的帧间预测图像及来自帧内预测部105的画面内预测图像，决定被推测为预测效率最高的预测处理。这里，作为预测效率的指标，可以举出例如预测误差能量等，但作为其他指标，也可以考虑与附近的cu的预测方式(画面间预测还是画面内预测)的类似性等而选择预测图像(即预测方式)。

将用所决定的预测方法得到的预测图像保存到预测图像保存部113中，用于生成与输入图像114的预测差分图像。另外，将关于由预测模式决定部110选择的预测模式(即，帧间预测还是帧内预测、以及各自的情况下的预测单位块的尺寸)的信息向可变长编码部104发送，保存到编码流115的一部分中。

在本实施例中，在由预测模式决定部110决定的预测处理方面具有特征，但在预测处理的决定时，由于cu的分割模式是相关联的，所以以下对cu分割部的处理内容进行说明。

<cu分割部的处理内容(编码侧)>

以下，参照附图，对cu分割部100的处理内容详细地说明。

图5是说明cu的概念的图。在本实施例中，将与以往技术的宏块对应的编码处理单位块记作cu(codingunit)。在本实施例中对于cu假定以下这样的性质。但是，本实施例的应用并不限定于本假定。

(1)cu是正方形

(2)cu的最大尺寸和最小尺寸记载在编码流中、或被作为规格定义

(3)通过4叉树构造从最大cu到子cu分割层级地4分割

在图5中，将最大尺寸的cu记作lcu(largestcodingunit，最大编码单元)，将其尺寸(lcu的纵或横向的像素数)记作lcusize。另外，在本实施例中，lcusize设想为2的幂乘，但并不将本实施例的应用限定于2的幂乘。

如图5所示，将一个图片用lcu单位分割。将连续的lcu的集合定义为片段(slice)。该概念相当于以往技术的宏块。将各个lcu通过4叉树构造层级地4分割。

图6是表示由4叉树构造构成的cu分割的一例的图。如该图所示，lcu被分割为4个cu0、cu1、cu2、cu3。cu0不分割而最终确定为cu。cu1被4分割为cu10、cu11、cu12、cu13，cu2被4分割为cu20、cu21、cu22、cu23，cu3被4分割为cu30、cu31、cu32、cu33。在它们之中，cu11再被4分割为cu110、cu111、cu112、cu113，cu12被4分割为cu120、cu121、cu122、cu123，cu30被4分割为cu300、cu301、cu302、cu303，这些以外的cu最终被确定为cu。这样，从lcu层级地4分割，能够进行分割直到cu的尺寸成为最小尺寸。另外，在本说明书中，将分割cu1得到的cu10、cu11、cu12、cu13记作cu1的子cu。相反，将cu1记作cu10、cu11、cu12、cu13的母cu。

另外，所谓cu，是表示编码单位的，严格地讲是按照该cu进行预测处理和变换处理的，但在本说明书中记作母cu的情况下，附记为对于该cu根据需要而仅进行预测处理，不进行变换处理。

在上述4叉树构造的情况下，在最大尺寸/最小尺寸的比是2^n(2的n次幂)的情况下，通过如以往技术那样将是否将各个cu分割的标志用1bit表述，能够表述分割模式。

使用图7说明以往技术的cu的编码流的句法的一例。在该图中，函数coding_unit()表示(x0，y0)的像素位置及currcusize的尺寸的cu的编码句法。另外，picwidth是图片宽(像素数)，picheight是图片高(像素数)，mincusize是cu的最小尺寸。

split_flag是对于现cu、表示是将cu4分割(1)还是否(0)的1位的标志(l700)。

在split_flag是1的情况下，将现cu进行4分割。在此情况下，分割cu的尺寸splitcusize为现cu的尺寸currcusize的1/2，使横向的分割位置x1和纵向的分割位置y1分别设为x1＝x0+splitcusize，y1＝y0+splitcusize(l702)。并且，将4个分割cu(cu0～cu3)通过将coding_unit()递归地调用而保存(l703～l706)。在各个4个分割cu中也同样，通过split_flag指定是否进一步进行分割。这样的递归调用仅限于cu尺寸为mincusize以上时进行。

假如在split_flag是0的情况下，该cu确定为编码单位，保存作为编码的主要的处理的预测处理的信息(函数prediction_unit())(l707)、和预测误差的正交变换信息(函数transform_unit())(l708)。在本说明书中，关于正交变换处理，由于与本发明不直接相关，所以省略。

作为l707的预测处理的信息(prediction_unit())，例如保存上述是帧内预测还是帧间预测的识别码、是帧内预测的情况下表示其预测方向的信息(参照图2及图3)、是帧间预测的情况下cu内部的分割信息及运动矢量信息(参照图4)等。但是，在本发明中，并不限定于预测处理的方法及其信息的内容。

使cu的分割越细，能够以越细的尺寸进行预测处理，但由于需要相当于分割的cu数的预测信息，所以代码量增加。

所以，在本实施例中，通过在预测模式决定部110中具备母cu预测部1400，实现cu分割数增加时的预测信息的信息量削减。以下，对预测模式决定部110的处理内容进行说明。

<预测模式决定部的处理内容>

接着，对实施例1的预测模式决定部110的处理内容进行说明。

(1)处理整体的概要

图14是预测模式决定部110的结构图。

预测模式决定部110具有母cu预测部1400和预测成本比较部1401。关于母cu预测部1400如后述那样，将编码对象cu的母cu的预测图像保存，计算将现cu的预测处理用母cu的预测图像的一部分置换时的预测成本。

预测成本比较部1401将多个cu尺寸的多个帧内预测处理、帧间预测图像及来自上述母cu预测部1400的预测成本进行比较，决定预测成本为最小的预测处理，将通过该预测处理得到的预测图像保存至预测图像保存部107。另外，在本发明中预测成本的计算方法没有限定，例如也可以通过输入图像114与预测图像的绝对差的总和与预测信息所需要的总比特量的加权和等来定义。根据该定义，预测图像越接近于输入图像，进而预测信息所需要的比特量越少，则为编码效率越高的预测处理。

(2)母cu预测部的详细情况

在母cu预测部1400中，预先生成、保存编码对象cu的母cu的预测图像，计算将编码对象cu的预测处理用该母cu的预测图像的一部分置换的情况下的预测成本。关于这样的通过母cu的预测图像的置换为有效那样的场景，使用图8进行说明。

如图8所示，设想某个编码对象图片的编码对象的lcu(x)和其之前的图片的某个区域y的背景大致同样、仅在其内部中有运动的物体那样的情况。在此情况下，作为lcu(x)的预测处理，如果以背景整体的预测处理和内部的有运动的物体部分来区分预测处理，则可推测为进行精度较高的预测。所以，只要将该lcu(x)分割为背景的cu和运动物体的cu、对各个cu指定各自的预测处理就可以。

但是，在上述那样的通过4叉树构造进行的cu分割的情况下，根据运动物体的lcu内的位置，分割cu的数量增加，结果有预测信息增加的情况。关于这样的情况，使用图9进行说明。

如图9中(a)所示，在lcu的中心附近的位置有运动的物体的情况下，考虑进行分割以使背景和物体部包含在不同的cu中。首先，通过将图9(a)的lcu分割1次，制作图9(b)那样的4个cu(1～4)。在图9(b)中，由于在该cu(1)～cu(4)中，都较多地包含物体和背景两者，所以将cu(1)～cu(4)分别分割。由此，分别从cu(1)制作cu(a～d)，从cu(2)制作cu(e～h)，从cu(3)制作cu(i～l)，并且从cu(3)制作cu(m～p)。这16个cu中，cu(d)、cu(g)、cu(j)、cu(m)依然较多地包含物体和背景两者，所以将它们进一步分割。由此，分别从cu(d)制作cu(d1～d4)，从cu(g)制作cu(g1～g4)，从cu(j)制作cu(j1～j4)，从cu(m)制作cu(m1～m4)(图9(d))。在这些当中，在cu(d4)、cu(g3)、cu(j2)、cu(m1)中仅较多地包含物体，在其以外的cu中仅较多地包含背景。由此，通过在cu(d4)、cu(g3)、cu(j2)、cu(m1)中进行考虑到物体的运动的预测处理、在其以外的cu中进行考虑到背景部分的运动的预测处理，可以考虑能够实现精度较高的预测处理。

但是，如果如上述那样细致地进行cu的分割，则如图9(d)那样需要对24个cu全部保存预测处理的信息，使预测处理信息增加。

所以，在实施例1的预测模式决定部110中，不是对各个cu全部必定保存预测处理的信息，而是能够选择是将由其母cu的预测处理预先得到的预测图像作为预测结果、还是以单独的cu进行预测处理。

在母cu预测部1400中，计算上述中的前者、即选择了通过母cu的预测图像的置换的情况下的预测成本，将该预测成本结果向预测成本比较部1401传递。在预测成本比较部1401中，将上述后者的通常的预测处理即通常的帧间预测或帧内预测的预测成本、与前者的来自母cu预测部1400的预测成本比较，选择预测成本较小的预测处理。

以下，说明实施例1的编码流的cu的句法的一例。

(3)cu的句法的一例

使用图10，说明实施例1的编码流的cu的句法的一例。

作为与以往的cu的句法(图7)不同的特征是，在split_flag＝1的情况、即将现cu分割为4个子cu的情况下，具有1位的parent_pred_unit_flag，指定是保存现cu的尺寸下的预测处理的信息(1)还是否(0)(l1000)，当parent_pred_unit_flag＝＝1时，保存预测处理信息(该图中，parent_prediction_unit()函数)(l1001)。

此外，在split_flag＝＝0的情况下，即不分割现cu而用现尺寸确定，在作为编码对象的cu的情况下，具有1位的parent_pred_flag，指定是用母cu的预测图像、即通过由parent_prediction_unit指定的预测处理所得到的预测图像的一部分来置换(1)，还是进行别的预测处理(0)(l1002)。

当parent_pred_flag＝＝0时，prediction_unit()函数中保存别的预测处理的信息。

当parent_pred_flag＝＝1时，将母cu的预测图像中的、与编码对象cu的位置相对应的位置的图像作为编码对象cu的预测图像。现cu中的预测处理的信息不再需要。因而，parent_pred_flag＝＝1那样的cu越多，越能够期待信息量的削减。

以下，使用图11，说明预测模式决定部110内的处理和cu句法的具体例。

cu的分割样式与图9(d)为同样。在母cu预测部1400中，首先如图11所示，以lcu尺寸决定预测处理。该预测处理的决定方法在本发明中没有限定，例如只要计算由多个进行了帧内预测或帧间预测的结果的预测图像与输入图像114的差分和用于记述预测处理的预测信息的位量的加权和等所定义的成本值，并决定使成本值为最小那样的预测处理就可以。将通过该预测处理得到的预测图像作为母cu的预测图像保存到母cu预测部1400内。并且在lcu的句法中，设为parent_pred_unit_flag＝1，将所决定的预测处理的信息保存至parent_prediction_unit()。

在与图9(d)同样地将lcu分割所得到的全部的cu中，判断是否使用该母cu(lcu)的预测图像作为预测结果。在本发明中，不限定该判断处理，但作为一例，只要将在以母cu的预测图像为预测结果的情况下的预测成本、与单独进行帧内预测的情况或进行帧间预测的情况下的多个预测处理的预测成本值在预测成本比较部1401中比较，选择预测成本值较小的预测处理就可以。

假设通过这样的预测处理的选择处理，决定了

(1)使用母cu的预测图像作为预测结果的cu：

cu(a)、cu(b)、cu(c)、cu(d1)、cu(d2)、cu(d3)、cu(e)、cu(f)、cu(g1)、cu(g2)、cu(g4)、cu(h)、cu(i)、cu(j1)、cu(j3)、cu(j4)、cu(m2)、cu(m3)、cu(m4)、cu(n)、cu(o)、cu(p)

(2)进行别的预测处理的cu：

cu(d4)、cu(g3)、cu(j2)、cu(m1)。

在此情况下，对于(1)的cu，设为parent_pred_flag＝1，在母cu预测部1400中，根据母cu(lcu)的预测图像，将与各个cu的位置对应的部位的预测图像作为各个cu的预测图像。

对于(2)的cu，设为parent_pred_flag＝0，对于各个cu将预测处理的信息保存至parent_prediction_unit()。

通过以上，与以往技术相比，能够削减对于(1)的cu的预测处理的信息量，所以能够期待压缩率的提高。

此外，在实施例中，母cu并不一定限定于一个。如图12所示，在lcu和cu(d)(图9(c)中的“d”，即相当于cu(d1)～cu(d3)的母cu)的两个中被指定为parent_pred_unit_flag＝1、其预测处理被保存在parent_prediction_unit()中的情况下，根据lcu和cu(d)的包含关系，lcu的预测图像的、仅被覆盖了相当于cu(d)的位置的部位的结果成为母cu的预测图像。并且，对于上述(1)的cu采用该母cu的预测图像(参照图12)。

在图12那样的情况下，与图11的情况相比，作为预测处理的信息量增加了相当于cu(d)的parent_prediction_unit()的信息量。但是，由于能够对cu(d)的部位，与lcu独立地选择更高精度的预测处理，所以预测精度提高，预测差分信息减少，从而能够期待压缩率的提高。

在本实施例中，可以指定是对各个cu独立地进行预测处理、还是原样使用母cu的预测图像，并不是限定子cu的预测处理与母cu的预测处理的方式的组合，可以采用帧间预测和帧内预测的任意的组合。此外，在帧间预测中，可以采用仅将在时间上靠前的图片作为参照图片的前方预测、或使用在时间上靠前和靠后的图片的双向预测等各种各样的预测方法。

但是，如图13所示，在cu(d)中进行帧内预测的情况下，在还使用cu(d)周边的已编码图像周围的已编码图像(解块处理前)那样的情况下，需要完成周围的cu(a)、cu(b)、cu(c)的编码处理(但是，是解块处理前)。

通过以上，在本实施例的图像编码装置的预测模式决定部110中，对于某个cu的预测处理，能够选择是使用其母cu的预测图像、还是进行别的预测处理，仅在进行别的预测处理时将预测处理信息保存至编码流。由此，通过削减cu的预测信息量，能够实现压缩率的提高。

<图像解码装置的构成>

图15是表示实施例的图像解码装置的概略结构的图。在图15中，图像解码装置以编码流1500为输入，具有：将编码流1500解码的可变长解码部1501；基于由可变长解码部1501所得到的cu尺寸信息将cu分割的cu分割部1502；对上述cu中的变换量化的预测误差图像进行逆量化的逆量化部1503；对得到的变换后的预测误差图像进行逆变换的逆变换部1504；将保存在预测图像保存部1508中的预测图像与从逆变换部1504输出的预测误差图像相加的加法器1505；以及对相加结果的图像进行解块处理的解块处理部1506；并将输出图像1512输出。

本实施例的运动图像解码装置为了生成上述预测图像而具有两套预测处理系统。第一系统是基于帧内预测的，具有使用以cu单位依次保存的已解码cu的图像信号(解块处理前)进行帧内预测的帧内预测部1507。第二系统是基于帧间预测的，具有：将输出图像保存的参照图像保存部1510；以及使用保存在参照图像保存部1510中的参照图像和由可变长解码部1501解码后的运动矢量来进行运动补偿而得到帧间预测图像的帧间预测部1511。在预测选择部1509中，按照由可变长解码部1501解码后的cu的预测处理信息来生成预测图像，并保存至预测图像保存部1508。

<预测选择部(解码侧)的处理内容>

以下，参照附图对图像解码侧的预测选择部1509的处理内容进行说明。

图16是表示预测选择部1509的内部结构的图。预测切换部1601基于由可变长解码部1501解码后的各cu的预测处理信息来切换预测处理而生成预测图像，将该预测图像保存至预测图像保存部1508。

作为cu的预测处理信息的具体例，可以举出图10中的parent_pred_unit_flag、parent_prediction_unit()、parent_pred_flag、prediction_unit()的信息。图10中的编码流的句法的意思和对应于这些句法的母cu预测部1600的处理内容、与编码装置的母cu预测部1400是同样的，所以省略说明。

通过以上，在本实施例的图像解码装置的预测选择部1509中，可以按照编码流的cu的预测处理信息，使用母cu的预测图像作为编码对象cu的预测结果。由此，能够削减编码流中的编码对象cu的预测处理信息，所以能够实现压缩率的提高。

如以上这样，根据本发明，可以选择是使用其母cu的预测图像、还是进行别的预测处理来作为编码对象cu的预测处理。假如在选择了使用母cu的预测图像的情况下，通过图像编码装置不发送编码对象cu的预测处理信息、在图像解码装置中进行同样的母cu的预测处理，从而能够生成编码对象cu的预测图像，能够削减预测处理的信息量。

另外，本发明也可以通过实现实施例的功能的软件的程序代码来实现。在此情况下，将记录有程序代码的存储媒体提供给系统或装置，该系统或装置的计算机(或cpu、mpu)将保存在存储媒体中的程序代码读出。在此情况下，从存储媒体读出的程序代码自身实现上述实施例的功能，该程序代码自身及存储它的存储媒体构成本发明。作为用来供给这样的程序代码的存储媒体，可以使用例如软盘、cd－rom，dvd－rom、硬盘、光盘、光磁盘、cd－r、磁带、非易失性的存储卡、rom等。

此外，也可以是，基于程序代码的指示，在计算机上工作的os(操作系统)等进行实际的处理的一部分或全部，通过该处理实现上述实施方式的功能。进而，也可以是，在将从存储媒体读出的程序代码写入到计算机上的存储器中之后，基于其程序代码的指示，计算机的cpu等进行实际的处理的一部分或全部，通过该处理来实现上述实施方式的功能。

此外，也可以是，通过将实现实施方式的功能的软件的程序代码经由网络发送，将其保存到系统或装置的硬盘或存储器等的存储机构或cd－rw、cd－r等的存储媒体中，在使用时该系统或装置的计算机(或cpu、mpu)将保存在该存储机构或该存储媒体中的程序代码读出并执行。

附图符号的说明

100cu分割部；

110预测模式决定部；

105帧内预测部；

106帧间预测部；

102变换部；

103量化部；

104可变长编码部；

1400母cu预测部；

1401预测成本比较部；

1501可变长解码部；

1502cu分割部；

1503逆量化部；

1504逆变换部；

1507帧内预测部；

1511帧间预测部；

1509预测选择部；

1600母cu预测部；

1601预测切换部。