动图像编码装置以及动图像编码方法与流程

本申请是基于申请号为201280060716.x、申请日为2012年12月28日、申请人为jvc建伍株式会社、发明名称为“动图像编码装置、动图像编码方法及动图像编码程序，以及动图像解码装置、动图像解码方法及动图像解码程序”的发明提出的分案申请。

本发明涉及采用了运动补偿预测的动图像编码及解码技术，特别涉及对在运动补偿预测中使用的运动信息进行编码及解码的动图像编码装置、动图像编码方法及动图像编码程序，以及动图像解码装置、动图像解码方法及动图像解码程序。

背景技术：

在一般的动图像压缩编码中，使用运动补偿预测。运动补偿预测是将对象图像分割成较小的，并将已解码的图像作为参照图像，基于运动矢量所表示的运动量，生成从对象图像的处理对象块移动到参照图像的参照块的位置的信号作为预测信号的技术。运动补偿预测有利用1条运动矢量进行单向预测的，和利用2条运动矢量进行双向预测的。

关于运动矢量，通过将与处理对象块相邻的已编码的块的运动矢量作为预测运动矢量(也简称作“预测矢量”)，求取处理对象块的运动矢量与预测矢量的差分，并将差分矢量作为编码矢量进行传送，来提高压缩效率。

在mpeg-4avc/h.264(以下称作mpeg-4avc)那样的动图像压缩编码中，通过使进行运动补偿预测的块尺寸更小且多样，能进行精度高的运动补偿预测。另一方面，存在因使块尺寸变小，编码矢量的码量增大的问题。

因此，在mpeg-4avc中，着眼于时间方向的运动的连续性，采用了如下的基于时间直接模式的运动补偿预测：将与处理对象块相同位置的、不同于处理对象块所在的处理对象图像的另一已处理图像、即参照图像上的块所具有的运动矢量，按帧间距离进行缩放后，作为处理对象块的运动矢量来使用，不传送编码矢量就实现了运动补偿预测。由此，运动矢量的码量被削减，编码效率的提高得以实现。

此外，在专利文献1中，着眼于空间方向的运动的连续性，公开了将与处理对象块相邻的已处理的块所具有的运动矢量作为处理对象块的运动矢量来使用，不传送编码矢量就实现运动补偿预测的方法。

【在先技术文献】

【专利文献】

【专利文献1】日本特开平10-276439号公报

技术实现要素：

在上述mpeg-4avc预定义的那样的基于时间直接模式的运动矢量的导出中，在导出时需要进行缩放，故需要复杂的运算。此外，在专利文献1所述的方法中，将与处理对象预测块相邻的已处理块所具有的运动矢量作为处理对象预测块的运动矢量来使用，故在汇总相邻的多个预测块进行运动补偿预测时，有时无法进行并行的运动补偿预测处理。

本发明是鉴于这样的状况而研发的，其目的在于提供一种既将与处理对象预测块相邻的已处理块所具有的运动矢量用于处理对象预测块的运动矢量生成，又能高效率地实现汇总相邻的多个预测块进行运动补偿预测的运动补偿预测并行处理的动图像编码及动图像解码技术。

为解决上述课题，本发明一个方案的图像编码装置是一种对由1个以上预测块构成的编码块进行编码的动图像编码装置，其包括：结合运动信息候选生成部(140)，在表示是否导出针对上述编码块内的所有预测块都共通地使用的结合运动信息候选的信息为表示要导出针对上述编码块内的所有预测块都共通地使用的结合运动信息候选的信息时，导出针对上述编码块内的所有预测块都共通地使用的多个结合运动信息候选；结合运动信息选择部(141)，从上述多个结合运动信息候选中选择1个结合运动信息候选，并在编码对象预测块中使用所选择的上述1个结合运动信息候选；以及编码部(104)，将用于确定所选择的上述1个结合运动信息候选的索引作为候选确定索引进行编码。

本发明的另一方案也是一种动图像编码装置。该装置是一种将编码块基于分割类型分割成多个预测块进行运动补偿预测的动图像编码装置，包括：结合运动信息候选生成部(140)，根据分割类型生成在编码块内的任一预测块中都共通地使用的多个结合运动信息候选；结合运动信息选择部(141)，从上述多个结合运动信息候选中选择1个结合运动信息候选作为编码对象预测块的运动信息；以及编码部(104)，将用于确定上述所选择的结合运动信息候选的索引作为候选确定索引进行编码。

本发明的再一个方案是一种图像编码方法。该方法是一种对由1个以上预测块构成的编码块进行编码的动图像编码方法，其包括：结合运动信息候选生成步骤，在表示是否导出针对上述编码块内的所有预测块都共通地使用的结合运动信息候选的信息为表示要导出针对上述编码块内的所有预测块都共通地使用的结合运动信息候选的信息时，导出针对上述编码块内的所有预测块都共通地使用的结合运动信息候选；结合运动信息选择步骤，从上述多个结合运动信息候选中选择1个结合运动信息候选，并在编码对象预测块中使用所选择的上述1个结合运动信息候选；以及编码步骤，将用于确定所选择的上述1个结合运动信息候选的索引作为候选确定索引进行编码。

本发明一个方案的动图像解码装置是一种对由1个以上预测块构成的解码块进行解码的动图像解码装置，其包括：解码部(201)，从作为候选确定索引而编码有用于确定在解码对象预测块中使用的结合运动信息候选的索引的码串中，解码出上述候选确定索引；结合运动信息候选生成部(230)，当表示是否导出针对上述解码块内的所有预测块都共通地使用的结合运动信息候选的信息为表示要导出针对上述解码块内的所有预测块都共通地使用的结合运动信息候选的信息时，导出针对上述解码块内的所有预测块都共通地使用的多个结合运动信息候选；以及结合运动信息选择部(231)，基于上述候选确定索引，从上述多个结合运动信息候选中选择1个结合运动信息候选，并在上述解码对象预测块中使用所选择的上述1个结合运动信息候选。

本发明的再一个方案也是一种动图像解码装置。该装置是一种将解码块基于分割类型分割成多个预测块进行运动补偿预测的动图像解码装置，包括：解码部(201)，从作为候选确定索引而编码有用于确定在解码对象预测块中使用的结合运动信息候选的索引的码串中，解码出上述候选确定索引；结合运动信息候选生成部(230)，根据分割类型，生成在编码块内的任一预测块中都共通地使用的多个结合运动信息候选；以及结合运动信息选择部(231)，基于上述候选确定索引，从上述多个结合运动信息候选中选择1个结合运动信息候选，作为解码对象预测块的运动信息。

本发明的再一个方案是一种动图像解码方法。该方法是一种对由1个以上预测块构成的解码块进行解码的动图像解码方法，其包括：解码步骤，从作为候选确定索引而编码有用于确定在解码对象预测块中使用的结合运动信息候选的索引的码串中，解码出上述候选确定索引；结合运动信息候选生成步骤，当表示是否导出针对上述解码块内的所有预测块都共通地使用的结合运动信息候选的信息为表示要导出针对上述解码块内的所有预测块都共通地使用的结合运动信息候选的信息时，导出针对上述解码块内的所有预测块都共通地使用的多个结合运动信息候选；以及结合运动信息选择步骤，基于上述候选确定索引，从上述多个结合运动信息候选中选择1个结合运动信息候选，并在上述解码对象预测块中使用所选择的上述1个结合运动信息候选。

此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等之间变换后的实施方式，作为本发明的方案也是有效的。

通过本发明，能既将与处理对象预测块相邻的已处理块所具有的运动矢量用于处理对象预测块的运动矢量生成，又高效率地实现汇总相邻的多个预测块进行运动补偿预测的运动补偿预测的并行处理。

附图说明

图1的(a)、(b)是说明编码块的图。

图2的(a)～(d)是说明预测块尺寸类型的图。

图3是说明预测块尺寸类型的图。

图4是说明预测编码模式的图。

图5是说明混合索引与码串的关系的图。

图6是说明预测块的句法的一例的图。

图7是表示实施方式1的动图像编码装置的构成的图。

图8是表示图7的运动信息生成部的构成的图。

图9是说明图8的混合模式决定部的构成的图。

图10是说明图9的结合运动信息候选列表生成部的构成的图。

图11是说明图9的结合运动信息候选列表生成部的动作的流程图。

图12是说明预测块尺寸类型为2n×2n的预测块的候选块集的图。

图13是表示针对预测块尺寸类型非2n×2n的编码块中的预测块，适用与预测块尺寸类型为2n×2n的编码块的预测块相同的位置关系时的候选块集的图。

图14是说明实施方式1中的预测块尺寸类型为2n×2n以外的预测块与空间候选块集的位置关系的一例的图。

图15是说明图10的空间结合运动信息候选生成部的动作的流程图。

图16是说明图10的时间结合运动信息候选生成部的动作的流程图。

图17是说明图10的第1结合运动信息候选补充部的动作的流程图。

图18是说明组合检查次数与结合运动信息候选m及结合运动信息候选n的关系的图。

图19是说明图10的第2结合运动信息候选补充部的动作的流程图。

图20是表示实施方式1的动图像解码装置的构成的图。

图21是表示图20的运动信息再现部的构成的图。

图22是表示图21的结合运动信息再现部的构成的图。

图23是说明实施方式2的预测块尺寸类型为2n×2n以外的预测块与空间候选块集的位置关系的图。

图24是说明不依赖于预测块尺寸类型、使编码块内的预测块的候选块都相同的一例中的、预测块尺寸类型为2n×2n以外的预测块与空间候选块集的位置关系的图。

图25是说明实施方式3的预测块尺寸类型为2n×2n以外的预测块与空间候选块集的位置关系的图。

图26是说明实施方式3的结合运动信息候选列表生成部的动作的流程图。

图27是说明最大编码块下限线和时间候选块集的图。

图28是说明实施方式4的预测块尺寸类型为2n×2n以外的预测块与空间候选块集的位置关系的图。

图29是说明实施方式4的结合运动信息候选列表生成部的构成的图。

图30是说明实施方式4的结合运动信息候选列表生成部的动作的流程图。

图31是说明实施方式5的结合运动信息候选列表生成部的构成的图。

图32是说明实施方式5的结合运动信息候选列表生成部的动作的流程图。

图33表示预测矢量模式决定部的构成。

图34是说明预测矢量候选列表生成部的构成的图。

图35是说明预测矢量候选列表生成部的动作的流程图。

图36是说明运动矢量再现部的构成的图。

具体实施方式

首先，说明本发明实施方式的前提技术。

目前，遵循mpeg(movingpictureexpertsgroup：运动图像专家组)等编码方式的装置和系统正在普及。在这样的编码方式中，将时间轴上连续的多个图像作为数字信号的信息来处理。此时，以效率高的信息广播、传送或存储等为目的，将图像分割成多个块，通过利用了时间方向的冗余性的运动补偿预测，以及利用了空间方向的冗余性，利用离散余弦变换等正交变换进行压缩编码。

2003年，通过国际标准化机构(iso)和国际电工委员会(iec)的联合技术信息委员会(iso/iec)、及国际电信联盟远程通信标准化组织(itu-t)的共同合作，称作mpeg-4avc/h.264的编码方式(iso/iec中被赋予14496-10标准编号，itu-t中被赋予h.264的标准编号。以下，将其称作mpeg-4avc)被制定为国际标准。在mpeg-4avc中，基本上以处理对象块的多个相邻块的运动矢量的中央值作为预测矢量。在预测块尺寸并非正方形时，若处理对象块的特定相邻块的参照索引与处理对象块的参照索引一致，则将该特定相邻块的运动矢量作为预测矢量。

目前，通过国际标准化机构(iso)和国际电工委员会(iec)的联合技术信息委员会(iso/iec)、及国际电信联盟远程通信标准化组织(itu-t)的共同合作，正在研究被称作hevc的编码方式的标准化。

在hevc的标准化中，正在研究将多个相邻块和已解码的其它图像的块作为候选块，从由这些候选块构成的候选块集中选择1个候选块，将所选择的候选块的信息编码和解码的混合模式。

[实施方式1]

(编码块)

在本实施方式中，所输入的图像信号被分割成最大编码块单位，将分割后的最大编码块按光栅扫描顺序处理。编码块呈阶层构造，通过考虑编码效率等地依次进行4分割，能使之成为更小的编码块。被4分割后的编码块按z字形扫描顺序编码。将不能进一步减小的编码块称作最小编码块。编码块为编码的单位，最大编码块也在分割次数为0时成为编码块。在本实施方式中，将最大编码块定为64像素×64像素，将最小编码块定为8像素×8像素。

图1的(a)、(b)是用于说明编码块的图。在图1的(a)的例子中，编码块被分割成10个。cu0、cu1及cu9是32像素×32像素的编码块，cu2、cu3及cu8是16像素×16像素的编码块，cu4、cu5、cu6及cu7是8像素×8像素的编码块。在图1的(b)的例子中，编码块被分割成1个。

(预测块)

在本实施方式中，编码块被进一步分割成预测块(也称分区)。编码块根据预测块尺寸类型(也称“分割类型”或分区类型)而被分割成1个以上的预测块。图2的(a)～(d)是用于说明预测块尺寸类型的图。图2的(a)表示不分割编码块的2n×2n，图2的(b)表示水平2分割的2n×n，图2的(c)表示垂直2分割的n×2n，图2的(d)表示水平和垂直4分割的n×n。2n×2n由1个预测块0构成，2n×n和n×2n由2个预测块0、预测块1构成，n×n由4个预测块0、预测块1、预测块2、预测块3构成。按预测块0、预测块1、预测块2、预测块3的顺序进行编码。

图3是用于说明基于编码块的分割次数和预测块尺寸类型的预测块尺寸的图。本实施方式中的预测块尺寸包括从cu分割次数为0、预测块尺寸类型为2n×2n的64像素×64像素，到cu分割次数为3、预测块尺寸类型为n×n的4像素×4像素的13种预测块尺寸。例如，也可以将编码块非对称地水平或垂直2分割。

在本实施方式中，将最大编码块定为64像素×64像素，最小编码块定为8像素×8像素，但不限定于该组合。此外，虽然将预测块的分割图案假设为图2的(a)～(d)的情况，但只要是1以上分割的组合即可，并不限定于此。

(预测编码模式)

在本实施方式中，能按每个预测块切换运动补偿预测和编码矢量数。在此，针对使运动补偿预测与编码矢量数建立了关联的预测编码模式的一例，利用图4简单进行说明。图4是用于说明预测编码模式的图。

图4所示的预测编码模式中，有运动补偿预测的预测方向为单向预测(l0预测)、编码矢量数为1的predl0，运动补偿预测的预测方向为单向预测(l1预测)、编码矢量数为1的predl1，运动补偿预测的预测方向为双向预测(bi预测)、编码矢量数为2的predbi，以及运动补偿预测的预测方向为单向预测(l0预测/l1预测)或双向预测(bi预测)、编码矢量数为0的混合模式(merge)。另外，还有不实施运动补偿预测的预测编码模式，即帧间模式(intra)。在此，predl0、predl1、及predbi成为预测矢量模式。

在混合模式下，预测方向会成为l0预测/l1预测/bi预测的任一者，这是因为混合模式的预测方向是直接继承从候选块集中选择的候选块的预测方向、或从已解码的信息导出。此外，在混合模式下编码矢量不被编码。这是因为，混合模式的编码矢量是直接继承从候选块集中选择的候选块的运动矢量，或根据预先规定的规则被导出。

(参照索引)

在本实施方式中，为提高运动补偿预测的精度，在运动补偿预测中能从多个参照图像中选择最佳的参照图像。因此，将在运动补偿预测中使用过的参照图像作为参照图像索引，同编码矢量一起编码。在运动补偿预测利用的参照图像索引为0以上的数值。若运动补偿预测为单向预测，则参照索引被使用1个，若运动补偿预测为双向预测，则2个参照索引被使用(图4)。

在混合模式下，参照索引不被编码。这是因为，混合模式的参照索引是直接继承从候选块集中选择的候选块的参照索引，或根据预先规定的规则被导出。

(参照索引列表)

在本实施方式中，预先将在运动补偿预测中可使用的1个以上参照图像登录到参照索引列表内，并通过用参照索引表示参照索引列表内所登录的参照图像来确定参照图像，在运动补偿预测中使用。参照索引列表中，有参照索引列表l0(也称l0预测的参照索引列表)和参照索引列表l1(也称l1预测的参照索引列表)。在运动补偿预测为单向预测时，使用利用了参照索引列表l0中的参照图像的l0预测、或利用了参照索引列表l1中的参照图像的l1预测的一者。在双向预测时，使用利用了参照索引列表l0和参照索引列表l1这两者的bi预测。能登录在各参照索引列表中的参照图像的最大数定为16。

(混合索引)

在本实施方式中，在混合模式时，将处理对象图像内的多个相邻块、和已编码的其它图像内的与处理对象预测块处于相同位置的相同位置预测块内及相同位置预测块周边的块作为候选块集，从候选块集中选择具有最佳的预测编码模式、运动矢量、及参照索引的候选块，对用于表示所选择的候选块的混合索引进行编码和解码。仅在混合模式时，混合索引被使用1个(图4)。混合索引的最大个数(也称混合候选最大数)为5，混合索引是0至4的整数。在此，将混合索引的最大数定为了5，但只要在2以上即可，并非限定于此。

以后，将成为混合索引的对象的候选块的运动信息称作结合运动信息候选，将结合运动信息候选的集合体称作结合运动信息候选列表。以后，所谓运动信息，包括预测方向、运动矢量、及参照索引。

接下来，说明混合索引与码串的关系。图5是用于说明混合索引与码串的关系的图。如混合索引为0时的码串为'0'、混合索引为1时的码串为'10'、混合索引为2时的码串为'110'、混合索引为3时的码串为'1110'、混合索引为4时的码串为'1111'这样进行设定，使得混合索引越大、码串就越长。因此，通过对选择率高的候选块分配较小的混合索引，能提高编码效率。

接下来说明结合运动信息候选列表和混合索引的关系。混合索引0表示结合运动信息候选列表的最初(第0个)的结合运动信息候选。以下，混合索引m表示结合运动信息候选列表的第m个结合运动信息候选。在此，m为从0起(混合候选最大数-1)的整数。

(预测矢量索引)

在本实施方式中，为提高预测矢量的精度，将处理对象图像内的多个相邻块、和已编码的其它图像的与处理对象块相同位置的相同位置预测块内及相同位置预测块周边的块作为候选块集，从候选块集中选择作为预测矢量具有最佳的运动矢量的候选块，对用于表示所选择的候选块的预测矢量索引进行编码和解码。若运动补偿预测为单向预测，则预测矢量索引被使用1个，若运动补偿预测为双向预测，则2个预测矢量索引被使用(图4)。预测矢量索引的最大数(也称预测矢量候选最大数)为2个，预测矢量索引为0或1的整数。在此，将预测矢量候选最大数定为了2，但只要在2以上即可，并非限定于此。

下面说明预测矢量索引与码串的关系。作为预测矢量索引的码串，预测矢量索引为0时的码串取'0'，预测矢量索引为1时的码串取'1'。另外，若预测矢量候选最大数在3以上，则可以按与混合索引同样的规则(索引越大、码串越长)分配码串。

以后，将成为预测矢量索引的对象的候选块的运动矢量称作预测矢量候选，将预测矢量候选的集合体称作预测矢量候选列表。

(句法)

说明本实施方式的预测块的句法的一例。图6是说明本实施方式的句法的图。图6表示编码树(codingtree)、编码块(codingunit)、及预测块(predictionunit)的句法构成的一例。在编码树中，编码块的分割信息被管理。编码树中被设置split_coding_unit_flag，若split_coding_unit_flag为1，则编码树被分割成4个编码树。若split_coding_unit_flag为0，则编码树成为编码块(codingunit)。编码块中被设置跳过模式标志(skip_flag)、预测模式(pred_mode)及预测块尺寸类型(part_mode)，根据跳过模式标志和预测块尺寸类型，被分割成1个或2个或4个预测块。预测模式表示是进行帧间预测(画面内预测)的编码块、还是进行帧内预测(运动补偿预测)的编码块。跳过模式标志为1时成为跳过模式。跳过模式具有1个预测块。编码块(编码树)的分割次数也称编码块(编码树)的深度。

预测块中设置有混合标志(merge_flag)、混合索引(merge_idx)、帧内预测类型(inter_pred_type)、l0预测的参照索引(ref_idx_l0)、l0预测的差分矢量(mvd_l0[0]，mvd_l0[1])、l0预测的预测矢量索引(mvp_idx_l0)、l1预测的参照索引(ref_idx_l1)、l1预测的差分矢量(mvd_l1[0]，mvd_l1[1])、及l1预测的预测矢量索引(mvp_idx_l1)。差分矢量的[0]表示水平分量，[1]表示垂直分量。

在此，inter_pred_type表示运动补偿预测的预测方向(也称帧内预测类型)，有pred_l0(l0预测的单向预测)、pred_l1(l1预测的单向预测)及pred_bi(bi预测的双向预测)三种。在inter_pred_type为pred_l0或pred_bi时，被设置关于l0预测的信息，在inter_pred_type为pred_l1或pred_bi时，被设置关于l1预测的信息。在p图片(p条带(pslice))中，inter_pred_type唯一地成为pred_l0，故inter_pred_type被省略。

此外，在跳过模式时，预测块是进行帧内预测的编码块，作为预测编码模式，成为混合模式。因此，跳过模式时被设置混合索引。

此外，如图6那样设定了本实施方式的句法，但只要编码块和预测块具有多个块尺寸，能利用混合模式和预测矢量模式即可，并非限定于此。

以下，参照附图说明本发明的优选实施方式的动图像编码装置、动图像编码方法及动图像编码程序，以及动图像解码装置、动图像解码方法及动图像解码程序的详细情况。此外，在附图的说明中，对相同要素标注相同标号，并省略重复的说明。

(动图像编码装置100的构成)

图7表示本实施方式1的动图像编码装置100的构成。动图像编码装置100是将动图像信号按实施运动补偿预测的预测块单位进行编码的装置。编码块的分割、跳过模式的决定、预测块尺寸类型的决定、预测块尺寸和预测块的编码块内位置(也称预测块的位置信息或预测块编号)的决定、预测编码模式是否为帧间的决定由未图示的上位的编码控制部来决定，在实施方式1中，说明预测编码模式并非帧间时的情况。另外，在实施方式1中是说明与双向预测对应的b图片(b条带)的，但对于并非与双向预测对应的p图片(p条带)，只要省略l1预测即可。

动图像编码装置100由具有cpu(centralprocessingunit：中央处理单元)、帧存储器、硬盘等的信息处理装置等硬件实现。动图像编码装置100通过上述构成要素进行动作来实现以下说明的功能性的构成要素。此外，关于处理对象预测块的位置信息、预测块尺寸及运动补偿预测的预测方向，假定在动图像编码装置100内是共有的，并未进行图示。

实施方式1的动图像编码装置100包括预测块图像取得部101、减法部102、预测误差编码部103、码串生成部104、预测误差解码部105、运动补偿部106、加法部107、运动矢量检测部108、运动信息生成部109、帧存储器110、以及运动信息存储器111。

(动图像编码装置100的功能和动作)

下面说明各部的功能和动作。预测块图像取得部101基于预测块的位置信息和预测块尺寸，从端子10所供给的图像信号中取得处理对象预测块的图像信号，将预测块的图像信号提供给减法部102、运动矢量检测部108及运动信息生成部109。

运动矢量检测部108从预测块图像取得部101所供给的图像信号和内部存储的相当于多个参照图像的图像信号中，检测l0预测和l1预测各自的运动矢量和表示参照图像的参照索引。将该l0预测和l1预测的运动矢量、以及该l0预测和l1预测的参照索引提供给运动信息生成部109。在此，运动矢量检测部108是使用内部存储的相当于多个参照图像的图像信号作为参照图像的，但也可以使用帧存储器110内所存储的参照图像。

一般的运动矢量的检测方法是针对对象图像的图像信号、和从相同位置移动了预定的移动量后的参照图像的预测信号算出误差评价值，将误差评价值最小的移动量作为运动矢量的。在参照图像有多个时，针对各参照图像检测运动矢量，并选择误差评价值最小的参照图像。作为误差评价值，可采用表示绝对差值和的sad(sumofabsolutedifference)或表示均方差的mse(meansquareerror)等。此外，还可以将运动矢量码量加到误差评价值中进行评价。

运动信息生成部109根据运动矢量检测部108所供给的l0预测和l1预测的运动矢量及l0预测和l1预测的参照索引、运动信息存储器111所供给的候选块集、参照索引所表示的帧存储器110内的参照图像、以及预测块图像取得部101所供给的图像信号，决定预测编码模式。

基于所决定的预测编码模式，根据需要而将混合标志、混合索引、运动补偿预测的预测方向、l0预测和l1预测的参照索引、l0预测和l1预测的差分矢量、以及l0预测和l1预测的预测矢量索引提供给码串生成部104。将运动补偿预测的预测方向、l0预测和l1预测的参照索引、以及l0预测和l1预测的运动矢量提供给运动补偿部106和运动信息存储器111。关于运动信息生成部109的详细情况，将在后面说明。

若运动信息生成部109所供给的运动补偿预测的预测方向为ln预测，则运动补偿部106对运动信息生成部109供给的ln预测的参照索引所示的帧存储器110内的参照图像，基于运动信息生成部109供给的ln预测的运动矢量进行运动补偿，生成ln预测的预测信号。n是0或1。在此，若运动补偿预测的预测方向为双向预测，则l0预测和l1预测的预测信号的平均值成为预测信号。此外，也可以对l0预测和l1预测的预测信号进行加权。运动补偿部106将该预测信号提供给减法部102。

减法部102对预测块图像取得部101供给的图像信号和运动补偿部106供给的预测信号进行减法运算，算出预测误差信号，将该预测误差信号提供给预测误差编码部103。

预测误差编码部103对减法部102供给的预测误差信号进行正交变换、量化等处理，生成预测误差编码数据，将该预测误差编码数据提供给码串生成部104和预测误差解码部105。

码串生成部104将预测误差编码部103供给的预测误差编码数据、以及运动信息生成部109供给的混合标志、混合索引、运动补偿预测的预测方向(帧内预测类型)、l0预测和l1预测的参照索引、l0预测和l1预测的差分矢量及l0预测和l1预测的预测矢量索引，按图6所示的句法顺序进行熵编码，生成码串，并将该码串作为编码流提供到端子11。熵编码通过包括算术编码、霍夫曼编码等可变长度编码的方法来实施。

此外，码串生成部104将动图像编码装置100中所使用的编码块的分割信息、预测块尺寸类型及预测编码模式，同定义了用于决定编码流的特性的参数集的sps(sequenceparameterset：序列参数集)、定义了用于决定图片的特性的参数集的pps(pictureparameterset：图像参数集)、及定义了用于决定条带的特性的参数集的条带头等一起，多路化到编码流中。

预测误差解码部105对从预测误差编码部103供给的预测误差编码数据进行逆量化、逆正交变换等处理，生成预测误差信号，将该预测误差信号提供给加法部107。加法部107使从预测误差解码部105供给的预测误差信号与从运动补偿部106供给的预测信号相加而生成解码图像信号，将该解码图像信号提供给帧存储器110。

帧存储器110保存从加法部107供给的解码图像信号。此外，对于图像整体的解码已完成的解码图像，作为参照图像，存储1个以上的预定图像数。帧存储器110将所存储的参照图像信号提供给运动补偿部106和运动信息生成部109。保存参照图像的存储区域被按fifo(firstinfirstout：先进先出)方式控制。

运动信息存储器111将从运动信息生成部109供给的运动信息按最小的预测块尺寸单位保存预定图像数。将处理对象预测块的相邻块的运动信息作为空间候选块集。

此外，运动信息存储器111将与处理对象预测块处于相同位置的colpic上的相同位置预测块内和其周边块的运动信息作为时间候选块集。运动信息存储器111将空间候选块集和时间候选块集作为候选块集提供给运动信息生成部109。运动信息存储器111与帧存储器110同步，被按fifo(firstinfirstout)方式控制。

在此，所谓colpic，是与处理对象预测块所在的图像不同的已解码图像，被作为参照图像存储在帧存储器110中。在实施方式1中，colpic定为在处理对象图像前刚解码完的参照图像。此外，在实施方式1中，colpic是定为处理对象图像前刚解码过的参照图像的，但只要是已解码的图像即可，例如既可以是显示顺序上前面一个参照图像或显示顺序上后面一个参照图像，也可以在编码流中指定。

在此，说明运动信息存储器111中的运动信息的管理方法。运动信息被按最小的预测块单位存储在各存储器区域中。各存储器区域中至少存储预测方向、l0预测的运动矢量、l0预测的参照索引、l1预测的运动矢量、以及l1预测的参照索引。

此外，在预测编码模式为帧间模式时，作为l0预测和l1预测的运动矢量，存储(0,0)，作为l0预测和l预测的参照索引，存储“-1”。以下，假定运动矢量的(h，v)中h表示水平分量，v表示垂直分量。此外，若能判定是不实施运动补偿预测的模式，则参照索引的“-1”可以是任意的值。以下，只要没有特别说明，简单表述为块时，就表示是最小的预测块单位。此外，在是区域外的块时，也同帧间模式一样，作为l0预测和l1预测的运动矢量，存储(0,0)，作为l0预测和l1预测的参照索引，存储“-1”。所谓lx方向(x为0或1)有效，是指lx方向的参照索引在0以上，所谓lx方向无效(非有效)，是指lx方向的参照索引为“-1”。

(运动信息生成部109的构成)

接下来，说明运动信息生成部109的详细构成。图8表示运动信息生成部109的构成。运动信息生成部109包括预测矢量模式决定部120、混合模式决定部121及预测编码模式决定部122。端子12连接于运动信息存储器111，端子13连接于运动矢量检测部108，端子14连接于帧存储器110，端子15连接于预测块图像取得部101，端子16连接于码串生成部104，端子50连接于运动补偿部106，端子51连接于运动信息存储器111。

(运动信息生成部109的功能和动作)

以下说明各部的功能和动作。预测矢量模式决定部120根据从端子12供给的候选块集、从端子13供给的l0预测和l1预测的运动矢量及l0预测和l1预测的参照索引、从端子14供给的参照索引所示的参照图像、以及从端子15供给的图像信号，决定帧内预测类型，并按照帧内预测类型，选择l0预测和l1预测的预测矢量索引，算出l0预测和l1预测的差分矢量，并算出预测误差，算出率失真评价值。并且，将基于该帧内预测类型的运动信息、差分矢量、预测矢量索引、以及率失真评价值提供给预测编码模式决定部122。

混合模式决定部121根据从端子12供给的候选块集、从端子14供给的参照图像、以及从端子15供给的图像信号，生成结合运动信息候选列表，并从该结合运动信息候选列表中选择1个结合运动信息候选，决定混合索引，算出率失真评价值。并且，将该结合运动信息候选的运动信息、该混合索引及该率失真评价值提供给预测编码模式决定部122。关于混合模式决定部121的详细情况，将在后面说明。

预测编码模式决定部122将从预测矢量模式决定部120供给的率失真评价值和从混合模式决定部121供给的率失真评价值进行比较，决定混合标志。

若预测矢量模式率失真评价值低于混合模式率失真评价值，则将混合标志设定为“0”。预测编码模式决定部122将该混合标志、从预测矢量模式决定部120供给的帧内预测类型、参照索引、差分矢量及预测矢量索引提供到端子16，并将从预测矢量模式决定部120供给的运动信息提供给端子50和端子51。

若混合模式率失真评价值在预测矢量模式率失真评价值以下，则将混合标志设定为“1”。预测编码模式决定部122将该混合标志和从混合模式决定部121供给的混合索引提供给端子16，并将从混合模式决定部121供给的运动信息提供给端子50和端子51。此外，率失真评价值的具体计算方法并非本发明的主要着眼点，故省略详细的说明，但要根据预测误差和码量算出每码量的预测误差量，具有率失真评价值越小、编码效率越高的特性。因此，通过选择率失真评价值小的预测编码模式，能提高编码效率。

(混合模式决定部121的构成)

接下来，说明混合模式决定部121的详细构成。图9是用于说明混合模式决定部121的构成的图。混合模式决定部121包括结合运动信息候选列表生成部140和结合运动信息选择部141。结合运动信息候选列表生成部140也被同样设置在对由实施方式1的动图像编码装置100生成的码串进行解码的动图像解码装置200中，在动图像编码装置100和动图像解码装置200中生成相同的结合运动信息列表。

(混合模式决定部121的功能和动作)

下面说明各部的功能和动作。结合运动信息候选列表生成部140根据从端子12供给的候选块集生成包含混合候选最大数量的结合运动信息候选的结合运动信息候选列表，将该结合运动信息候选列表提供给结合运动信息选择部141。关于结合运动信息候选列表生成部140的详细构成，将在后面叙述。

结合运动信息选择部141从结合运动信息候选列表生成部140供给的结合运动信息候选列表中选择最佳的结合运动信息候选，决定表示所选择的结合运动信息候选的信息、即混合索引，将该混合索引提供给端子17。

在此，说明最佳的结合运动信息候选的选择方法。根据被基于结合运动信息候选的预测方向、运动矢量及参照索引进行运动补偿预测而得到的从端子14供给的参照图像，和从端子15供给的图像信号，算出预测误差量。根据混合索引的码量和该预测误差量算出率失真评价值，率失真评价值最小的结合运动信息候选被选为最佳的结合运动信息候选。

(结合运动信息候选列表生成部140的构成)

接下来，说明结合运动信息候选列表生成部140的详细构成。图10是用于说明结合运动信息候选列表生成部140的构成的图。端子19连接于结合运动信息选择部141。结合运动信息候选列表生成部140包括空间结合运动信息候选生成部160、时间结合运动信息候选生成部161、冗余结合运动信息候选删除部162、第1结合运动信息候选补充部163、以及第2结合运动信息候选补充部164。以后，会记载为生成结合运动信息候选，但也可以换称作导出。

(结合运动信息候选列表生成部140的功能和动作)

下面说明各部的功能和动作。图11是用于说明结合运动信息候选列表生成部140的动作的流程图。首先，结合运动信息候选列表生成部140将结合运动信息候选列表初始化(s100)。被初始化后的结合运动信息候选列表中不存在结合运动信息候选。

然后，空间结合运动信息候选生成部160从端子12所供给的候选块集中生成0至空间结合运动信息候选最大数个空间结合运动信息候选，追加到结合运动信息候选列表中(s101)，将该结合运动信息候选列表和候选块集提供给时间结合运动信息候选生成部161。关于空间结合运动信息候选生成部160的详细动作，将在后面说明。此外，关于空间结合运动信息候选最大数，也在后面说明。

然后，时间结合运动信息候选生成部161从空间结合运动信息候选生成部160所供给的候选块集中生成0至时间结合运动信息候选最大数个时间结合运动信息候选，追加到空间结合运动信息候选生成部160所供给的结合运动信息候选列表中(s102)，并将该结合运动信息候选列表提供给冗余结合运动信息候选删除部162。关于时间结合运动信息候选生成部161的详细动作，将在后面说明。此外，关于时间结合运动信息候选最大数，将在后面说明。

然后，冗余结合运动信息候选删除部162检查时间结合运动信息候选生成部161供给的结合运动信息候选列表中所登录的结合运动信息候选，若存在多个具有相同运动信息的结合运动信息候选，则保留1个结合运动信息候选并删除其它结合运动信息候选(s103)，将该结合运动信息候选列表提供给第1结合运动信息候选补充部163。在此，该结合运动信息候选列表中所登录的结合运动信息候选成为各不相同的结合运动信息候选。

然后，第1结合运动信息候选补充部163从登录在冗余结合运动信息候选删除部162所供给的结合运动信息候选列表中的结合运动信息候选中，生成0至2个第1补充结合运动信息候选，追加到结合运动信息候选列表中(s104)，并将该结合运动信息候选列表提供给第2结合运动信息候选补充部164。关于第1结合运动信息候选补充部163的详细动作，将在后面说明。

然后，第2结合运动信息候选补充部164生成第2补充结合运动信息候选并追加到第1结合运动信息候选补充部163所供给的结合运动信息候选列表中，直到该结合运动信息候选列表中所登录的结合运动信息候选的数量达到混合候选最大数(s105)，将该结合运动信息候选列表提供到端子19。关于第2结合运动信息候选补充部164的详细动作，将在后面说明。

在此，空间结合运动信息候选生成部160和时间结合运动信息候选生成部161是分别生成空间结合运动信息候选和时间结合运动信息候选，并追加到结合运动信息候选列表中的，但也可以使得空间结合运动信息候选生成部160和时间结合运动信息候选生成部161仅分别生成空间结合运动信息候选和时间结合运动信息候选，根据在冗余结合运动信息候选删除部162前所生成的候选，生成结合运动信息候选列表。

(关于2n×2n候选块集)

下面说明预测块的候选块集。首先说明预测块尺寸类型为2n×2n的预测块。图12是说明预测块尺寸类型为2n×2n的预测块的候选块集的图。在图12中，表示了预测块尺寸为16像素×16像素的例子。此外，后述的时间候选块h及i是存在于与后述的空间候选块a～e所在的图片不同的已解码图片中的，但为理解和说明的方便，在图12中一并图示了空间候选块a～e。

空间候选块集定为位于预测块的左下像素的左方的块a、位于预测块的右上像素的上方的块b、位于预测块的右上像素的右斜上方的块c、位于预测块的左下像素的左斜下方的块e、以及预测块的左上像素的左斜上方的块d。像这样，基于预测块的位置和大小决定空间候选块集。时间候选块集定为作为colpic的预定区域的代表块的块h和块i这两个块。若将处理对象预测块的左上像素的位置记作(x,y)，将处理对象预测块的宽度和高度分别记作puw、puh，则将包含((((x+puw)>>4)<<4),(((y+puh)>>4)<<4))像素位置作为块的左上像素位置的colpic上的块定为时间候选块h。在此，>>是右方向的位移，<<是左方向的位移。

同样地，将包含(x+(puw>>1),y+(puh>>1))像素位置作为块的左上像素的位置的colpic上的块定为时间候选块i。像这样，基于预测块的位置和大小决定时间候选块集。像这样，通过将时间候选块定为colpic的预定区域(在此为16像素×16像素)的代表块，能削减colpic需存储的运动矢量和参照索引。通过削减1图像所要存储的运动矢量和参照索引，能使多个已解码图像成为colpic的对象，故具有能提高预测效率的效果。

在此，预测块尺寸类型为2n×2n的编码块由1个预测块构成，故候选块相对于预测块尺寸类型2n×2n的预测块的位置就等于候选块相对于编码块的位置，候选块的位置在编码块之外。

在此，将块a定为预测块的左下方，但只要与预测块的左边相接即可，并非限定于此。此外，将块b定为预测块的右上方，但只要与预测块的上边相接即可，并非限定于此。此外，将时间候选块集定为块h和块i这2个，但并非限定于此。

(对2n×2n以外的候选块集适用与2n×2n时相同的位置关系的例子)

接下来，说明针对预测块尺寸类型并非2n×2n的编码块中的预测块，适用与预测块尺寸类型为2n×2n的编码块的预测块相同位置关系的例子。图13是表示针对预测块尺寸类型非2n×2n的编码块中的预测块，适用与预测块尺寸类型为2n×2n的编码块的预测块相同的位置关系时的候选块集的图。在图13中，同图12一样，时间候选块h和i是存在于与空间候选块a～e所在的图片不同的已解码图片中的，但为理解及说明的方便，一并图示了空间候选块a～e。图13的(a)至(h)分别表示了预测块尺寸类型为n×2n的预测块0、预测块尺寸类型为n×2n的预测块1、预测块尺寸类型为2n×n的预测块0、预测块尺寸类型为2n×n的预测块1、预测块尺寸类型为n×n的预测块0、预测块尺寸类型为n×n的预测块1、预测块尺寸类型为n×n的预测块2、预测块尺寸类型为n×n的预测块3时的候选块集。在图13中，表示了预测块尺寸为16像素×16像素的例子。此外，时间候选块集同预测块尺寸类型为2n×2n时一样地被导出，在图13中表示了块h的位置。这样，在预测块尺寸类型非2n×2n的编码块内所包含的预测块的情况下，针对各预测块，基于预测块的位置和大小决定候选块集。

在此，预测块尺寸类型为n×2n的预测块1时(图13的(b))，块a位于同一编码块的预测块0的内部，为得到块a的运动信息，在处理预测块1前需要确定预测块0的运动信息，故在利用块a作为预测块1的候选块时，无法同时处理预测块0和预测块1。此外，由于最大编码块按光栅扫描顺序进行，编码块按z字形扫描顺序进行，故块e一定是未处理块。同样地，在预测块尺寸类型为2n×n的预测块1的情况下(图13的(d))，块b位于同一编码块的预测块0的内部，块c一定是未处理块。关于预测块尺寸类型为n×n的预测块1(图13的(f))、预测块2(图13的(g))、预测块3(图13的(h))，在图13中分别示出位于同一编码块内部的块和一定成为未处理的块。

关于预测块尺寸类型为n×2n的预测块1、预测块尺寸类型为2n×n的预测块1、预测块尺寸类型为n×n的预测块1、预测块尺寸类型为n×n的预测块2，不处于同一编码块内且未必为未处理的候选块的数量为3，关于预测块尺寸类型为n×n的预测块3，不处于同一编码块内且未必为未处理的候选块的数量为0。候选块减少会导致预测效率的下降。

(候选块的位置关系)

图14是说明实施方式1中的预测块尺寸类型为2n×2n以外的预测块与空间候选块集的位置关系的一例的图。关于时间候选块集，与图13是相同的。图14的(a)至(h)分别表示预测块尺寸类型为n×2n的预测块0、预测块尺寸类型为n×2n的预测块1、预测块尺寸类型为2n×n的预测块0、预测块尺寸类型为2n×n的预测块1、预测块尺寸类型为n×n的预测块0、预测块尺寸类型为n×n的预测块1、预测块尺寸类型为n×n的预测块2、预测块尺寸类型为n×n的预测块3时的空间候选块集。在图14中，示出预测块尺寸为16像素×16像素的例子。

在此，将位于同一编码块的其它预测块内部的块置换成预测块尺寸类型为2n×2n的预测块的候选块。即，在预测块尺寸类型为n×2n的预测块1的情况下(图14的(b))，使块a成为预测块尺寸类型为2n×2n的预测块的候选块的块a。在预测块尺寸类型为2n×n的预测块1的情况下(图14的(d))，使块b成为预测块尺寸类型为2n×2n的预测块的候选块的块b。在预测块尺寸类型为n×n的预测块1的情况下(图14的(f))，使块a和块e成为预测块尺寸类型为2n×2n的预测块的候选块的块a和块e。在预测块尺寸类型为n×n的预测块2的情况下(图14的(g))，使块b和块c成为预测块尺寸类型为2n×2n的预测块的候选块的块b和块c。在预测块尺寸类型为n×n的预测块3的情况下(图14的(h))，使块a、块b及块d成为预测块尺寸类型为2n×2n的预测块的候选块的块a、块b及块d。

关于预测块尺寸类型为n×2n的预测块1、预测块尺寸类型为2n×n的预测块1、预测块尺寸类型为n×n的预测块1、预测块尺寸类型为n×n的预测块2、预测块尺寸类型为n×n的预测块3，有效候选块的数量成为5。

通过如以上那样，使被包含在同一编码块的其它预测块内的候选块成为在编码块所具有的预测块尺寸中、预测块尺寸最大的预测块尺寸类型为2n×2n的预测块的候选块，编码块所包含的预测块间的运动信息的依赖关系没有了，能同时处理编码块所包含的多个预测块。

(空间结合运动信息候选生成部160的详细动作)

下面说明空间结合运动信息候选生成部160的详细动作。图15是用于说明空间结合运动信息候选生成部160的动作的流程图。空间结合运动信息候选生成部160按候选块集的空间候选块集所包含的候选块、即块a、块b、块c、块e、块d的顺序反复进行以下处理(s110至s114)。

首先，检查候选块是否有效(s111)。所谓候选块有效，是指候选块的l0预测和l1预测的参照索引的至少一者在0以上。若候选块有效(s111的y)，则将候选块的运动信息作为空间结合运动信息候选追加到结合运动信息候选列表中(s112)。若候选块非有效(s111的n)，则检查下一候选块(s114)。在步骤s112之后，检查结合运动信息候选列表中所追加的空间结合运动信息候选的数量是否为空间结合运动信息候选最大数(s113)。在此，将空间结合运动信息候选最大数定为4。若结合运动信息候选列表中所追加的空间结合运动信息候选的数量并非空间结合运动信息候选最大数(s113的n)，则检查下一候选块(s114)。若结合运动信息候选列表中所追加的空间结合运动信息候选的数量为空间结合运动信息候选最大数(s113的y)，则结束处理。

在此，为能优先将与处理对象块的连线越长、一般被认为与处理对象块的相关性越高的块a和块b的运动信息登录到结合运动信息候选列表中，而将处理的顺序定为了块a、块b、块c、块e、块d，但只要结合运动信息候选按与处理对象块相关性高的顺序或被选为候选块的概率高的顺序被登录到结合运动信息候选列表中即可，并非限定于此。例如，在预测块尺寸类型为n×2n的预测块1的情况下，可以是块b、块c、块e、块d、块a的顺序，在预测块尺寸类型为2n×n的预测块1的情况下，可以是块a、块c、块e、块d、块b的顺序，在预测块尺寸类型为n×n的预测块1的情况下，可以是块b、块c、块d、块a、块e的顺序，在预测块尺寸类型为n×n的预测块2的情况下，可以是块a、块e、块d、块b、块c的顺序，在预测块尺寸类型为n×n的预测块3的情况下，可以是块c、块e、块a、块b、块d的顺序。通过像这样按靠近处理对象预测块的顺序追加到结合运动信息候选列表中，能防止对靠近处理对象预测块的块分配大的混合索引，能提高编码效率。此外，将空间结合运动信息候选最大数定为了4，但空间结合运动信息候选最大数只要在1以上、混合候选最大数以下即可，并不限定于此。

(时间结合运动信息候选生成部161的详细动作)

接下来说明时间结合运动信息候选生成部161的详细动作。图16是用于说明时间结合运动信息候选生成部161的动作的流程图。针对l0预测和l1预测的各预测方向lx，反复进行以下处理(s120至s127)。在此，x为0或1。另外，按候选块集的时间候选块集所包含的候选块、即块h、块i的顺序反复进行以下处理(s121至s126)。

时间结合运动信息候选生成部161检查候选块的ln预测是否有效(s122)。在此，n为0或1。在此，设n与x相同。所谓候选块的ln预测有效，是指候选块的ln预测的参照索引在0以上。若候选块的ln预测有效(s122的y)，则将候选块的ln预测的运动矢量作为基准运动矢量(s123)。若候选块的ln预测非有效(s122的n)，则跳过步骤123至步骤126，检查下一候选块(s126)。

在步骤s123之后，决定时间结合运动信息候选的lx预测的参照图像(s124)。在此，设时间结合运动信息候选的lx预测的参照图像为lx预测的参照索引0的参照图像。在此将时间结合运动信息候选的lx预测的参照图像定为lx预测的参照索引0的参照图像，但只要不依赖于编码块内的其它预测块的值即可，并非限定于此。然后，缩放基准运动矢量、使其配合处理对象图像与时间结合运动信息候选的lx预测的参照图像的距离，算出时间结合运动信息候选的lx预测的运动矢量(s125)，然后处理下一预测方向(s127)。关于时间结合运动信息候选的lx预测的运动矢量的具体计算式，将在后面说明。在针对l0预测和l1预测结束处理后的步骤s127之后，检查时间结合运动信息候选的l0预测和l1预测的至少一者的预测是否有效(s128)。若时间结合运动信息候选的l0预测和l1预测的至少一者的预测有效(s128的y)，则决定时间结合运动信息候选的帧内预测类型，将该时间结合运动信息候选追加到结合运动信息候选列表中(s129)。在此，关于帧内预测类型的决定，若仅l0预测有效，则将时间结合运动信息候选的帧内预测类型定为pred_l0，若仅l1预测有效，则将时间结合运动信息候选的帧内预测类型定为pred_l1，若l0预测和l1预测两者都有效，则将时间结合运动信息候选的帧内预测类型定为pred_bi。

接下来，说明时间结合运动信息候选的lx预测的运动矢量的计算式。将拥有时间候选块的colpic与时间候选块按lx预测的运动补偿预测所要参照的图片colreflxpic的图像间距离记为td，将时间结合运动信息候选的lx预测的参照图像reflxpic与处理对象图像curpic的图像间距离记为tb，将lx预测的基准运动矢量记为mvlx，则时间结合运动信息候选的lx预测的运动矢量mvlxcol由式1算出。由式1可知，在时间结合运动信息候选的lx预测的运动矢量的计算中需要用于计算tb和td的减法运算，除法运算，及乘法运算。

mvlxcol＝tb/td*mvlx；式1

式1为简化浮点运算而取整数运算时，例如可以如式2至式4那样展开使用。abs(v)是计算值v的绝对值的函数，clip3(uv,lv,v)是将值v限制到下限lv至上限uv的函数，sign(v)是只要值v在0以上就返回1、而在值v小于0时返回-1的函数。

tx＝(16384+abs(td/2))/td；式2

distscalefactor＝clip3(-1024,1023,(tb*tx+32)>>6)；式3

mvlxcol＝sign(distscalefactor*mvlx)*((abs(distscalefactor*mvlx)+127)>>8)；式4

在此，将能登录于结合运动信息候选列表的时间结合运动信息候的最大数、即时间结合运动信息候选最大数定为了1。因此，图16中省略了相当于作为说明空间结合运动信息候选生成部160的动作的流程图的图14中所示的步骤s115的处理，但在时间结合运动信息候选最大数为2以上时，也可以在步骤s129后追加相当于步骤s115的处理。

在此，是设n与x相同的，但n也可以与x不同，并非限定于此。

(第1结合运动信息候选补充部163的详细动作)

下面说明第1结合运动信息候选补充部163的详细动作。图17是用于说明第1结合运动信息候选补充部163的动作的流程图。首先，根据供给来的结合运动信息候选列表中所登录的结合运动信息候选的数量(numcandlist)和混合候选最大数(maxnummergecand)，通过式5算出生成第1补充结合运动信息候选的最大数maxnumgencand(s170)。

maxnumgencand＝maxnummergecand-numcandlist；(numcandlist>1)

maxnumgencand＝0；(numcandlist<＝1)式5

然后检查maxnumgencand是否大于0(s171)。若maxnumgencand不大于0(s171的n)，则结束处理。若maxnumgencand大于0(s171的y)，则进行以下处理。首先，决定组合检查次数looptimes。looptimes设定为numcandlist×numcandlist。但在looptimes超过8时，looptimes被限制成8(s172)。在此，looptimes为0至7的整数。反复进行looptimes次以下处理(s172至s180)。决定结合运动信息候选m与结合运动信息候选n的组合(s173)。在此，说明组合检查次数与结合运动信息候选m及结合运动信息候选n的关系。图18是用于说明组合检查次数与结合运动信息候选m及结合运动信息候选n的关系的图。如图18那样，m和n是不同的值，m与n的合计值被设定为变小的顺序。检查是否结合运动信息候选m的l0预测有效且结合运动信息候选n的l1预测有效(s174)。若结合运动信息候选m的l0预测有效且结合运动信息候选n的l1预测有效(s174的y)，则检查结合运动信息候选m的l0预测的参照图像和运动矢量是否不同于结合运动信息候选n的l1预测的参照图像和运动矢量(s175)。若并非结合运动信息候选m的l0预测有效且结合运动信息候选n的l1预测有效(s174的n)，则处理下一组合。若结合运动信息候选m的l0预测的参照图像与结合运动信息候选n的l1预测的参照图像不同(s175的y)，则将结合运动信息候选m的l0预测的运动矢量和参照图像与结合运动信息候选n的l1预测的运动矢量和参照图像组合，生成帧内预测类型为pred_bi的双结合运动信息候选(s176)。在此，作为第1补充结合运动信息候选，生成将某结合运动信息候选的l0预测与不同于它的结合运动信息候选的l1预测的运动信息组合后的双结合运动信息。若结合运动信息候选m的l0预测的参照图像与结合运动信息候选n的l1预测的参照图像相同(s175的n)，则处理下一组合。在步骤s176之后，将双结合运动信息候选追加到结合运动信息候选列表中(s178)。在步骤s178之后，检查所生成的双结合运动信息的数量是否为maxnumgencand(s179)。若所生成的双结合运动信息的数量为maxnumgencand(s179的y)，则结束处理。若生成的双结合运动信息的数量不是maxnumgencand(s179的n)，则处理下一组合。

在此，是将第1补充结合运动信息候选定为使结合运动信息候选列表中所登录的某结合运动信息候选的l0预测的运动矢量和参照图像与另一结合运动信息候选的l1预测的运动矢量和参照图像组合、运动补偿预测的方向为双方向的双结合运动信息候选的，但并非限定于此。例如，也可以是对结合运动信息候选列表中所登录的某结合运动信息候选的l0预测的运动矢量和l1预测的运动矢量加上+1等偏置值后的、运动补偿预测的方向为双方向的结合运动信息候选，或对结合运动信息候选列表中所登录的某结合运动信息候选的l0预测的运动矢量或l1预测的运动矢量加上+1等偏置值后的、运动补偿预测的方向为单方向的结合运动信息候选。作为第1补充结合运动信息候选的另一例，可以以结合运动信息候选列表中所登录的某结合运动信息候选的l0预测的运动矢量为基准，通过缩放求出l1预测的运动矢量，并将其组合，来生成运动补偿预测的方向为双方向的新的结合运动信息候选。另外，还可以将它们任意组合。

在此，第1补充结合运动信息候选是在结合运动信息候选列表中所登录的结合运动信息候选的运动信息与处理对象的运动信息候选的运动存在微小地偏差时，修正结合运动信息候选列表中所登录的结合运动信息候选的运动信息，生成新的有效的结合运动信息候选，从而能够提高编码效率。

(第2结合运动信息候选补充部164的详细动作)

下面说明第2结合运动信息候选补充部164的详细动作。图19是用于说明第2结合运动信息候选补充部164的动作的流程图。首先，根据从第1结合运动信息候选补充部163供给的结合运动信息候选列表中所登录的结合运动信息候选的数量(numcandlist)和混合候选最大数(maxnummergecand)，通过式6算出生成第1补充结合运动信息候选的最大数maxnumgencand(s190)。

maxnumgencand＝maxnummergecand-numcandlist；式6

然后，针对i反复进行maxnumgencand次以下的处理(s191至s195)。在此，i为0至maxnumgencand-1的整数。生成l0预测的运动矢量为(0,0)、参照索引为i，l1预测的运动矢量为(0,0)、参照索引为i的帧内预测类型为pred_bi的第2补充结合运动信息候选(s192)。将第2补充结合运动信息候选追加到结合运动信息候选列表中(s194)。针对下面的i进行处理(s195)。

在此，将第2补充结合运动信息候选定为了l0预测的运动矢量为(0,0)、参照索引为i，l1预测的运动矢量为(0,0)、参照索引为i的帧内预测类型为pred_bi的结合运动信息候选。这是因为，在一般的动图像中，统计上l0预测的运动矢量和l1预测的运动矢量为(0,0)的结合运动信息候选的发生频率较高。只要是不依赖于结合运动信息候选列表中所登录的结合运动信息候选的运动信息，且统计上利用频率高的结合运动信息候选即可，并不限定于此。例如，l0预测和l1预测的运动矢量分别可以为(0,0)以外的矢量值，也可以进行设定，使得l0预测和l1预测的参照索引不同。此外，还可以将第2补充结合运动信息候选作为已编码图像或已编码图像的一部分的发生频率高的运动信息，编码到编码流中进行传送、设定。在此针对b图片进行了说明，但在p图片时，生成l0预测的运动矢量为(0,0)、帧内预测类型为pred_l0的第2补充结合运动信息候选。

在此，通过设定不依赖于结合运动信息候选列表中所登录的结合运动信息候选的结合运动信息候选作为第2补充结合运动信息候选，能在结合运动信息候选列表中所登录的结合运动信息候选为0个时利用混合模式，能提高编码效率。此外，在结合运动信息候选列表中所登录的结合运动信息候选的运动信息与处理对象的运动信息候选的运动不同时，通过生成新的结合运动信息候选，扩大选择项的范围，能提高编码效率。

(动图像解码装置200的构成)

下面说明实施方式1的动图像解码装置。图20是表示实施方式1的动图像解码装置200的构成的图。动图像解码装置200是对被动图像编码装置100编码了的码串进行解码，生成再现图像的装置。

动图像解码装置200通过具有cpu(centralprocessingunit：中央处理单元)、帧存储器、硬盘等的信息处理装置等硬件实现。动图像解码装置200通过上述构成要素进行动作，来实现以下说明的功能性的构成要素。编码块的分割、跳过模式的决定、预测块尺寸类型的决定、预测块尺寸和预测块在编码块内的位置(预测块的位置信息)的决定、预测编码模式是否为帧间的决定都由未图示的上位的控制部决定，在此说明预测编码模式非帧间的情况。此外，关于解码对象预测块的位置信息、预测块尺寸，假定在动图像解码装置200内是共享的，并未进行图示。

实施方式1的动图像解码装置200具有码串解析部201、预测误差解码部202、加法部203、运动信息再现部204、运动补偿部205、帧存储器206、以及运动信息存储器207。

(动图像解码装置200的动作)

以下，说明各部的功能和动作。码串解析部201对从端子30供给来的码串进行解析，按照句法对预测误差编码数据、混合标志、混合索引、运动补偿预测的预测方向(帧内预测类型)、参照索引、差分矢量及预测矢量索引进行熵解码。熵解码通过包括算术编码、霍夫曼编码等可变长度编码的方法来实施。然后，将该预测误差编码数据提供给预测误差解码部202，将该混合标志、该混合索引、该帧内预测类型、该参照索引、该差分矢量、以及该预测矢量索引提供给运动信息再现部204。

另外，码串解析部201将要在动图像解码装置200中使用的编码块的分割信息、预测块尺寸类型、及预测编码模式，同定义了用于决定编码流的特性的参数集的sps(sequenceparameterset)、定义了用于决定图片的特性的参数集的pps(pictureparameterset)、以及定义了用于决定条带的特性的参数集的条带头等一起从编码流中解码。

运动信息再现部204根据从码串解析部201供给的混合标志、混合索引、帧内预测类型、参照索引、差分矢量及预测矢量索引，和从运动信息存储器207供给的候选块集，再现运动信息，并将该运动信息提供给运动补偿部205和运动信息存储器207。关于运动信息再现部204的详细构成，将在后面说明。

运动补偿部205根据从运动信息再现部204供给的运动信息，对帧存储器206内的参照索引所示的参照图像基于运动矢量进行运动补偿，生成预测信号。若预测方向为双向预测，则生成将l0预测和l1预测的预测信号平均后的信号作为预测信号，并将该预测信号提供给加法部203。

预测误差解码部202对从码串解析部201供给的预测误差编码数据进行逆量化、逆正交变换等处理，生成预测误差信号，并将该预测误差信号提供给加法部203。

加法部203使从预测误差解码部202供给的预测误差信号和从运动补偿部205供给的预测信号相加，生成解码图像信号，并将该解码图像信号提供给帧存储器206和端子31。

帧存储器206和运动信息存储器207具有与动图像编码装置100的帧存储器110和运动信息存储器111相同的功能。帧存储器206存储从加法部203供给的解码图像信号。运动信息存储器207按最小的预测块尺寸单位存储从运动信息再现部204供给的运动信息。

(运动信息再现部204的详细构成)

接下来说明运动信息再现部204的详细构成。图21表示运动信息再现部204的构成。运动信息再现部204包括编码模式判定部210、运动矢量再现部211及结合运动信息再现部212。端子32连接于码串解析部201，端子33连接于运动信息存储器207，端子34连接于运动补偿部205，端子36连接于运动信息存储器207。

(运动信息再现部204的详细动作)

以下，说明各部的功能和动作。编码模式判定部210判定从码串解析部201供给的混合标志是“0”还是“1”。若混合标志为“0”，则将从码串解析部201供给的帧内预测类型、参照索引、差分矢量、以及预测矢量索引提供给运动矢量再现部211。若混合标志为“1”，则将从码串解析部201供给的混合索引提供给结合运动信息再现部212。

运动矢量再现部211根据从编码模式判定部210供给的帧内预测类型、参照索引、差分矢量、以及预测矢量索引，和从端子33供给的候选块集，再现运动矢量，生成运动信息，提供给端子34及端子36。

结合运动信息再现部212根据从端子33供给的候选块集生成结合运动信息候选列表，从该结合运动信息候选列表中选择由编码模式判定部210供给的混合索引所示的结合运动信息候选的运动信息，提供给端子34及端子36。

(结合运动信息再现部212的详细构成)

接下来，说明结合运动信息再现部212的详细构成。图22表示结合运动信息再现部212的构成。结合运动信息再现部212包括结合运动信息候选列表生成部230和结合运动信息选择部231。端子35连接于编码模式判定部210。

(结合运动信息再现部212的详细动作)

以下，说明各部的功能和动作。结合运动信息候选列表生成部230具有与动图像编码装置100的结合运动信息候选列表生成部140相同的功能，通过与动图像编码装置100的结合运动信息候选列表生成部140相同的动作生成结合运动信息候选列表，并将该结合运动信息候选列表提供给结合运动信息选择部231。

结合运动信息选择部231从结合运动信息候选列表生成部230所供给的结合运动信息候选列表中选择由从端子35供给的混合索引所示的结合运动信息候选，决定结合运动信息，并将该结合运动信息的运动信息提供给端子34及端子36。

如上这样，动图像解码装置200能将被动图像编码装置100编码了的码串解码，生成再现图像。

[实施方式2]

以下说明实施方式2。与实施方式1相比，针对预测块尺寸类型为2n×2n以外的预测块，在空间结合运动信息候选生成部160中使用的空间候选块集不同。以下，说明实施方式2的预测块尺寸类型为2n×2n以外的预测块的空间候选块集。

图23是说明实施方式2中的预测块尺寸类型为2n×2n以外的预测块与空间候选块集的位置关系的图。图23的(a)至(h)分别表示预测块尺寸类型为n×2n的预测块0、预测块尺寸类型为n×2n的预测块1、预测块尺寸类型为2n×n的预测块0、预测块尺寸类型为2n×n的预测块1、预测块尺寸类型为n×n的预测块0、预测块尺寸类型为n×n的预测块1、预测块尺寸类型为n×n的预测块2、预测块尺寸类型为n×n的预测块3时的空间候选块集。图23中表示了预测块尺寸为16像素×16像素的例子。像这样，对于预测块尺寸类型并非2n×2n的编码块中所包含的预测块，针对各预测块分别基于预测块的位置和大小决定候选块集。

在此，除上述第1例子的情况外，一定未处理的块也置换成预测块尺寸类型为2n×2n的预测块的候选块。即，在预测块尺寸类型为n×2n的预测块1的情况下(图23的(b))，使块e成为预测块尺寸类型为2n×2n的预测块的候选块的块e。在预测块尺寸类型为2n×n的预测块1的情况下(图23的(d))，使块c成为预测块尺寸类型为2n×2n的预测块的候选块的块c。在预测块尺寸类型为n×n的预测块3的情况下(图23的(h))，使块c和块e成为预测块尺寸类型为2n×2n的预测块的候选块的块c和块e。

通过如上这样使一定未处理的候选块成为预测块尺寸类型2n×2n的预测块的候选块，能将一定未处理的候选块作为可能有效的候选块，通过增加混合模式的选项，混合模式的选择率提高，能提高编码效率。通过将替换的候选块的运动信息与其它结合运动信息候选的运动信息组合来生成新的运动信息，或修正替换后的候选块的运动信息，将与第2补充结合运动信息候选相比相对地选择率高的第1补充结合运动信息候选追加到结合运动信息候选列表中，能提高编码效率。特别是在利用双结合运动信息候选时，至少需要2个结合运动信息候选，故若替换到结合运动信息候选列表中的候选块以外的结合运动信息候选仅登录有1个，则替换后的候选块的运动信息会更加有效果地发生作用。

此外，在空间结合运动信息候选生成部160的动作中，向结合运动信息候选列表的登录顺序定为了块a，块b，块c，块e，块d，但也可以如下这样变形。

在预测块尺寸类型为n×2n的预测块1的情况下，按块b、块c、块d、块a、块e的顺序，在预测块尺寸类型为2n×n的预测块1的情况下，按块a、块e、块d、块b、块c的顺序，在预测块尺寸类型为n×n的预测块1的情况下，按块b、块c、块d、块a、块e的顺序，在预测块尺寸类型为n×n的预测块2的情况下，按块a、块e、块d、块b、块c的顺序。通过像这样按靠近处理对象预测块的顺序追加到结合运动信息候选列表中，能防止对离处理对象预测块近的块分配较大的混合索引的情况，能提高编码效率。

[实施方式3]

首先，说明不依赖于预测块尺寸类型、使编码块内的预测块的候选块都相同的一个例子。与实施方式1相比，预测块尺寸类型为2n×2n以外的预测块、空间候选块集、及时间候选块集不同。以下，说明不依赖于预测块尺寸类型、使编码块内的预测块的候选块都相同的一个例子的预测块尺寸类型为2n×2n以外的预测块的空间候选块集和时间候选块集。在本例中，不依赖于预测块尺寸类型地、将编码块内的预测块的候选块作为预测块尺寸类型为2n×2n的预测块的候选块。

图24是说明不依赖于预测块尺寸类型地、使编码块内的预测块的候选块都相同的一个例子中的、预测块尺寸类型为2n×2n以外的预测块与候选块集的位置关系的图。在图24中，时间候选块h和i存在于与空间候选块a～e所在的图片不同的已解码图片中的，但为理解及说明的方便，一并图示了空间候选块a～e。图24的(a)至(h)分别表示预测块尺寸类型为n×2n的预测块0、预测块尺寸类型为n×2n的预测块1、预测块尺寸类型为2n×n的预测块0、预测块尺寸类型为2n×n的预测块1、预测块尺寸类型为n×n的预测块0、预测块尺寸类型为n×n的预测块1、预测块尺寸类型为n×n的预测块2、预测块尺寸类型为n×n的预测块3时的空间候选块集。在图24中，表示了预测块尺寸为16像素×16像素的例子。作为预测块尺寸类型为2n×2n以外的预测块的时间候选块集，如图24所示那样，利用作为预测块尺寸类型2n×2n的预测块而导出的时间候选块集。

如上那样，不依赖于预测块尺寸类型，候选块成为预测尺寸类型2n×2n的预测块的候选块。换言之，不依赖于预测块尺寸类型，预测块尺寸类型为2n×2n时的候选块在编码块的全部预测块中被共通地使用。即，根据结合运动信息候选列表生成部140及230，若候选块相同，则生成相同的结合运动信息候选列表，故能不依赖于预测块尺寸类型地，将预测块尺寸类型为2n×2n时所导出的结合运动信息候选列表在编码块的全部预测块中共通地使用。由此，能在预测块类型尺寸确定前就确定候选块，并确定结合运动信息候选列表。此外，在编码块被分割成多个预测块的情况下，无需针对每个预测块导出候选块，故能将图11所示的生成结合运动信息候选列表的次数削减到1/2(2分割时)或1/4(4分割时)。此外，能并行地处理编码块的预测块。

下面说明实施方式3的另一例。与实施方式1相比，针对预测块尺寸类型为2n×2n以外的预测块，在空间结合运动信息候选生成部160中使用的空间候选块集和时间候选块集，以及结合运动信息候选列表生成部140的动作不同。以下说明实施方式3的预测块尺寸类型为2n×2n以外的预测块的空间候选块集和时间候选块集。

在此，在预测块被分割成多个时，利用预测块0的候选块作为编码块内的全部预测块的候选块。

图25是说明实施方式3中的预测块尺寸类型为2n×2n以外的预测块与候选块集的位置关系的图。在图25中，时间候选块h和i存在于与空间候选块a～e所在的图片不同的已解码图片中的，但为理解及说明的方便，一并图示了空间候选块a～e。图25的(a)至(h)分别表示预测块尺寸类型为n×2n的预测块0、预测块尺寸类型为n×2n的预测块1、预测块尺寸类型为2n×n的预测块0、预测块尺寸类型为2n×n的预测块1、预测块尺寸类型为n×n的预测块0、预测块尺寸类型为n×n的预测块1、预测块尺寸类型为n×n的预测块2、预测块尺寸类型为n×n的预测块3时的空间候选块集和时间候选块集。在图25中，表示了预测块尺寸为16像素×16像素的例子。作为预测块尺寸类型为2n×2n以外的预测块的时间候选块集，如图25所示那样使用作为预测块0而导出的时间候选块集。

接下来说明结合运动信息候选列表生成部140的动作。图26是说明实施方式3的结合运动信息候选列表生成部140的动作的流程图。与说明实施方式1的结合运动信息候选列表生成部140的动作的图11相比，在追加了步骤s106及步骤s107这一点上不同。下面说明与实施方式1不同的步骤s106和步骤s107。检查是否为预测块0(s106)。若是预测块0(s106的y)，则进行步骤s100至s105的处理后结束处理。若非预测块0(s106的n)，则使用预测块0的结合运动信息候选列表作为处理对象预测块的结合运动信息候选列表(s107)，结束处理。

如上那样，在编码块被分割成多个时，通过使用预测块0的候选块作为编码块内的所有预测块的候选块，无需在编码块被分割成多个预测块的情况下生成预测块0以外的预测块的结合运动信息候选列表，故能将图11所示的生成结合运动信息候选列表的次数削减到1/2(2分割时)或1/4(4分割时)。即，能将按预测块0导出的结合运动信息候选列表，在编码块的任一预测块中都共通地使用。另外，只要预测块尺寸类型确定，就能在预测块的位置确定前生成结合运动信息候选列表，故电路设计或软件设计更灵活，能削减电路规模或软件规模。并且，能并行地处理编码块的预测块。

进而，通过将预测块尺寸类型为2n×2n以外的预测块的候选块的位置定为与预测块尺寸类型2n×2n的预测块不同的候选块的位置，能提高成为预测块尺寸类型为2n×2n以外的预测块的选择概率，与上述的不依赖于预测块尺寸类型、使编码块内的预测块的候选块共通的一例相比，能提高编码效率。进而，由于预测块0不包含同一编码块的其它预测块所包含的候选块和一定未处理的候选块，故能提高结合运动信息候选成为有效的概率，提高预测效率。此外，编码效率最高的跳过模式等同于预测块尺寸类型为2n×2n，故不受本实施方式的影响。

在实施方式3中，作为编码块的代表块，利用了编码块内的第一个预测块、即预测块0，但并不限定于此。例如，也可以采用在编码块内首先使用混合模式的预测块。此时，s106和s107成为如下这样。检查编码块内是否尚未生成结合运动信息候选列表(s106)。若编码块内尚未生成结合运动信息候选列表(s106的y)，则进行步骤s100至s105的处理，结束处理。若编码块内已生成结合运动信息候选列表(s106的n)，则使用在编码块内已生成的结合运动信息候选列表(s107)，结束处理。

通过如上这样将编码块内首先使用混合模式的预测块的结合运动信息候选列表在编码块内的其它预测块中也使用，至少能提高首先利用混合模式的预测块的预测效率。此外，还能使用编码块内的最后的预测块(2分割时为预测块1，4分割时为预测块3)作为编码块的代表块。此时，通过使时间候选块集的位置成为与预测块尺寸类型为2n×2n的预测块不同的候选块的位置，能提高成为预测块尺寸类型为2n×2n以外的预测块的选择概率，能提高预测效率。

此外，如实施方式2那样，还可以使向结合运动信息候选列表的追加顺序成为离处理对象预测块由近到远的顺序。

[实施方式3的变形例1]

下面说明实施方式3的变形例1。与实施方式3相比，在以最大编码块下限线限制时间候选块集这一点上不同。说明按最大编码块下限线对时间候选块集的制限。图27是说明最大编码块下限线和时间候选块集的图。如图27那样，最大编码块下限线是包含最大编码块的最下部的像素的线。通过进行限制，使得不使用最大编码块下限线之下的块，在动图像编码装置100及动图像解码装置200中，能削减时间候选块集所用的临时存储区域的容量。

对于预测块尺寸类型非2n×2n的编码块中的预测块，在适用与预测块尺寸类型为2n×2n的编码块的预测块相同的位置关系时，若设置有最大编码块下限线，则与图27的最大编码块下限线相接的预测块尺寸类型为2n×n的预测块1的时间候选块(h1)的位置将不能利用。

然而，如实施方式3那样，在预测块被分割成多个时，通过使用预测块0的候选块作为编码块内的所有预测块的候选块，就成了利用时间候选块(h0)作为时间候选块集，故能使时间候选块有效，能提高预测效率。这对于预测块尺寸类型为n×n的预测块2和预测块3也是同样的。

[实施方式4]

下面说明实施方式4。与实施方式1相比，在预测块尺寸类型为2n×2n以外的预测块的空间候选块集、时间候选块集、及结合运动信息候选列表生成部140的构成和动作方面不同。以下，针对实施方式4的预测块尺寸类型为2n×2n以外的预测块和空间候选块集及时间候选块集进行说明。

在此，对于空间候选块集假定适用了与预测块尺寸类型为2n×2n的编码块的预测块相同位置关系。作为时间候选块集，使用作为预测块0而导出的时间候选块集。

图28是说明实施方式4中的预测块尺寸类型为2n×2n以外的预测块和候选块集的位置关系的图。在图28中，时间候选块h和i是存在于与空间候选块a～e所在的图片不同的已解码图片中的，但为理解及说明的方便，一并图示了空间候选块a～e。图28的(a)至(h)分别表示预测块尺寸类型为n×2n的预测块0、预测块尺寸类型为n×2n的预测块1、预测块尺寸类型为2n×n的预测块0、预测块尺寸类型为2n×n的预测块1、预测块尺寸类型为n×n的预测块0、预测块尺寸类型为n×n的预测块1、预测块尺寸类型为n×n的预测块2、预测块尺寸类型为n×n的预测块3时的空间候选块集。在图28中，表示了预测块尺寸为16像素×16像素的例子。作为预测块尺寸类型为2n×2n以外的预测块的时间候选块集，如图28所示那样使用作为预测块0而导出的时间候选块。当然，作为预测块尺寸类型为2n×2n以外的预测块的时间候选块集，也可以使用作为预测块尺寸类型为2n×2n的预测块而导出的时间候选块集。

接下来说明结合运动信息候选列表生成部140的构成和动作。图29是说明实施方式4的结合运动信息候选列表生成部140的构成的图。与实施方式1相比，在时间结合运动信息候选生成部161的位置被设置于第1结合运动信息候选补充部163的后级这一点上不同。图30是说明实施方式4的结合运动信息候选列表生成部140的动作的流程图。与图示实施方式1的结合运动信息候选列表生成部140的动作的图11相比，在追加了步骤s106及步骤s108这一点，和步骤s102的位置这一点上不同。说明与实施方式1的不同点。

空间结合运动信息候选生成部160根据从端子12供给的候选块集，生成0个至空间结合运动信息候选最大数个空间结合运动信息候选，追加到结合运动信息候选列表中(s101)，并将该结合运动信息候选列表和候选块集提供给冗余结合运动信息候选删除部162。

然后，冗余结合运动信息候选删除部162检查从空间结合运动信息候选生成部160供给的结合运动信息候选列表中所登录的结合运动信息候选，若存在多个具有相同运动信息的结合运动信息候选，则保留其中1个结合运动信息候选，删除其它结合运动信息候选(s103)，将该结合运动信息候选列表提供给第1结合运动信息候选补充部163。

然后，第1结合运动信息候选补充部163根据从冗余结合运动信息候选删除部162供给的结合运动信息候选列表中所登录的结合运动信息候选，生成0个至2个第1补充结合运动信息候选追加到结合运动信息候选列表中(s104)，并将该结合运动信息候选列表和候选块集提供给时间结合运动信息候选生成部161。

然后，时间结合运动信息候选生成部161检查处理对象预测块是否为预测块0(s106)。若处理对象预测块为预测块0(s106的y)，则根据从冗余结合运动信息候选删除部162供给的候选块集生成0个至时间结合运动信息候选最大数个时间结合运动信息候选，追加到从冗余结合运动信息候选删除部162供给的结合运动信息候选列表中(s102)，并将该结合运动信息候选列表提供给第2结合运动信息候选补充部164。若处理对象预测块不是预测块0(s106的n)，则将候选块0的时间结合运动信息候选追加到结合运动信息候选列表中(s108)，并将该结合运动信息候选列表提供给第2结合运动信息候选补充部164。

然后，第2结合运动信息候选补充部164生成第2补充结合运动信息候选追加到从时间结合运动信息候选生成部161供给的结合运动信息候选列表中，直到该结合运动信息候选列表中所登录的结合运动信息候选的数量达到混合候选最大数(s105)，将该结合运动信息候选列表提供到端子19。

如上那样，假定对预测块尺寸类型为2n×2n以外的预测块的空间候选块集适用与预测块尺寸类型为2n×2n的编码块的预测块相同的位置关系，并将时间候选块集定为预测块0的时间候选块集，由此，若预测块尺寸类型确定，则能确定时间候选块集。即，在编码块的任一预测块中，都能共通地使用在预测块0时导出的时间结合运动信息候选。另一方面，空间候选块集是针对各预测块、基于预测块的位置和大小而决定的。在空间结合运动信息候选的导出中，候选块的运动信息被直接利用，故不需要进行运算，处理时间较短，但在时间结合运动信息候选的导出中，需要式1或式2至式4那样的运算矢量的处理，且有决定帧内预测类型的处理，故处理时间变长。

因此，通过在用于生成结合运动信息候选列表的处理中，按编码块进行1次最需要处理时间的时间结合运动信息候选的导出，从而能缩短预测块被分割成多个时的处理时间。

进而，通过使用与处理对象预测块相邻的块作为空间结合运动信息候选，能提高成为预测块尺寸类型为2n×2n以外的预测块的选择概率，与上述的不依赖于预测块尺寸类型地使编码块内的预测块的候选块都共通的一例相比，更能提高编码效率。此外，由于使用了colpic的预定区域的代表块作为时间候选块集，故与空间候选块集相比，时间候选块集的精度相对变低，故降低时间候选块集的精度，也能抑制预测效率的下降。

在此，导出时间结合运动信息候选的时间与空间结合运动信息候选的导出、冗余结合运动信息候选删除部162的动作、及第1结合运动信息候选补充部163的动作相比足够长，故虽然将结合运动信息候选列表生成部140的动作定为了图30那样，但例如也可以使预测效率优先，使s106、s102及s108移到s101或s103的后级，还可以使处理效率优先，将s106、s102及s108设置到s105的后级。在将s106、s102及s108设置在s105的后级时，使从第2结合运动信息候选补充部164输出的结合运动信息候选列表中所登录的结合运动信息候选的数量成为比混合候选最大数小1的数。

在此，重视预测效率，对于空间候选块集，适用与预测块尺寸类型为2n×2n的编码块的预测块相同的位置关系，但为实现编码块内的预测块的并行处理，也可以不将同一编码块的其它预测块所包含的候选块作为候选块来使用，或者将空间候选块集与其它实施方式相组合，作为时间候选块集，可以使用作为预测块0而导出的时间候选块集。

另外，在此是将预测块尺寸类型为2n×2n以外的预测块的时间候选块集定为了按编码块内最初的预测块、即预测块0而导出的时间候选块集的，但不限定于此。例如，也可以采用预测块尺寸类型为2n×2n时的预测块的时间候选块集，还可以采用编码块内最后的预测块(2分割时为预测块1，4分割时为预测块3)的时间候选块集。在定为预测块尺寸类型为2n×2n时的预测块的时间候选块集时，能在预测块尺寸类型和预测块的位置确定前生成时间候选块集，故能使电路设计或软件设计更灵活，能削减电路规模或软件规模。

[实施方式5]

下面说明实施方式5。与实施方式1相比，结合运动信息候选列表生成部140的构成和动作不同，码串生成部104和码串解析部201的动作不同。

首先说明结合运动信息候选列表生成部140的构成。图31是说明实施方式5的结合运动信息候选列表生成部140的构成的图。与图10的实施方式1的结合运动信息候选列表生成部140相比，候选块设定部165被追加到空间结合运动信息候选生成部160的前级这一点不同。在此，通过标志等切换是使预测效率优先的候选块配置、还是并行处理、处理时间缩短等使处理效率优先的候选块配置。

下面说明结合运动信息候选列表生成部140的动作。图32是说明实施方式5的结合运动信息候选列表生成部140的动作的流程图。与图11的实施方式1的结合运动信息候选列表生成部140的动作相比，不同点在于在步骤s100的前级追加了步骤s106至s108。说明步骤s106至步骤s108。首先，判定cu_dependent_flag是否为1(s106)。若cu_dependent_flag为1(s106的y)，则采取使预测效率优先的块配置(s107)。所谓使预测效率优先的块配置，例如是对预测块尺寸类型为2n×2n以外的预测块的候选块集适用与预测块尺寸类型为2n×2n的预测块相同位置关系的、图12那样的仅由与处理对象预测块相邻的候选块构成的块配置。若cu_dependent_flag为0(s106的n)，则采取使处理效率优先的块配置(s108)。所谓使处理效率优先的块配置，例如是图14、图23、图24、图25、或图28那样的包含不与处理对象预测块相邻的候选块的块配置。在步骤s107或步骤s108之后，接着实施步骤s100以后的处理。在此，在本实施方式中，例如基于图12所示那样的使预测效率优先的块配置，针对编码块的各预测块，根据其位置和大小来进行候选块集的决定和结合运动信息候选列表的生成，或者基于例如图24或图25所示那样的使处理效率优先的块配置，切换是否根据在编码块的所有预测块中共通地使用的候选块来进行结合运动信息候选列表的生成。

在动图像编码装置100中，假定enable_cu_parallel_flag为0还是为1，是在比动图像编码装置100更上位进行设定的。在此，是由结合运动信息候选列表生成部140实施图32所示的动作的，但也可以在比动图像编码装置100更上位来进行设定。

码串生成部104将cu_dependent_flag多路化到sps、pps、条带头等编码块以外的位置。码串解析部201将被多路化到sps、pps、条带头等编码块以外的位置的cu_dependent_flag解码，提供给运动信息再现部204。

通过将cu_dependent_flag多路化到编码流中，能容易地判断是否为使预测效率优先的编码流。此外，能将基于预测效率优先的块配置的编码流和基于处理效率优先的块配置的编码流用共通的解码装置解码。关于仅解码cu_dependent_flag为0或1的任一者的解码装置，例如，通过运用规定或用mpeg-4avc那样的编码工具分类后的配置文件(profile)等将cu_dependent_flag固定为0或1的任一者来生成编码流，并忽略或默认地设定cu_dependent_flag，能正确地将编码流解码。此外，通过将cu_dependent_flag多路化到比编码块更上位的头(head)中，能削减图32所示的动作。

在此，是通过cu_dependent_flag来切换使预测效率优先的块配置和使处理效率优先的块配置的，但例如也可以在编码块的分割次数为预定次数以上时采用使处理效率优先的块配置，在编码块非为预定阈值尺寸以上时采用使预测效率优先的块配置，或者在编码块为预定阈值尺寸以下时采用使处理效率优先的块配置，在编码块非为预定阈值尺寸以下时采用使预测效率优先的块配置。另外，通过使预定的阈值尺寸为最小的编码块尺寸、即8×8，能仅适用于处理量最増大时，能使处理量和预测效率平衡为最佳。此时，在步骤s108中，判定编码块是否为预定的阈值尺寸。编码块在编码块的分割次数为预定次数以上(或预定阈值尺寸以下)时采用使处理效率优先的块配置，编码块在编码块的分割次数非为预定次数以上(或预定阈值尺寸以下)时采用使预测效率优先的块配置，由此，能容易地调节预测效率和处理量。当然，也可以将预定阈值尺寸或预定次数多路化到sps、pps、条带头等编码块以外的位置。此外，通过按在enable_cu_parallel_flag为1时，定义预定阈值尺寸或预定次数，在enable_cu_parallel_flag为0时，不定义预定阈值尺寸或预定次数这样的意思，利用enable_cu_parallel_flag多路化到编码流中，从而能更灵活地调节处理量和预测效率。即，通过使enable_cu_parallel_flag为0，能与预定阈值尺寸或预定次数无关地总是采用使预测效率优先的块配置，通过使enable_cu_parallel_flag为1，能根据预定阈值尺寸或预定次数来切换预测效率和处理效率，使处理量和预测效率平衡到最佳。

[实施方式6]

以下说明实施方式6。针对实施方式3的动图像编码装置100的预测矢量模式决定部120的构成和运动矢量再现部211的动作进行详细说明。下面说明预测矢量模式决定部120的详细构成。

(预测矢量模式决定部120的构成)

接下来，说明预测矢量模式决定部120的详细构成。图33表示预测矢量模式决定部120的构成。预测矢量模式决定部120包括预测矢量候选列表生成部130和预测矢量决定部131。端子17连接于预测编码模式决定部122。

在对由实施方式6的动图像编码装置100生成的码串进行解码的动图像解码装置200内的运动矢量再现部211中，也同样设置有预测矢量候选列表生成部130，在动图像编码装置100和动图像解码装置200中生成相同的预测矢量候选列表。

(预测矢量模式决定部120的动作)

下面说明预测矢量模式决定部120的动作。

首先，针对l0预测进行以下处理。以下，使x为0。预测矢量候选列表生成部130取得从端子13供给的lx预测的参照索引。根据从端子12供给的候选块集和lx预测的参照索引，生成包含预测矢量候选最大数个预测矢量候选的lx预测的预测矢量候选列表。预测矢量候选列表生成部130将该lx预测的预测矢量候选列表提供给预测矢量决定部131。

预测矢量决定部131从预测矢量候选列表生成部130所供给的lx预测的预测矢量候选列表中选择1个预测矢量候选作为lx预测的预测矢量，决定该lx预测的预测矢量索引。

预测矢量决定部131使从端子13供给的lx预测的运动矢量减去lx预测的预测矢量，算出lx预测的差分矢量，并输出该lx预测的差分矢量和该lx预测的预测矢量索引。

预测矢量决定部131根据从端子15供给的图像信号，和基于从端子13供给的lx预测的运动矢量及lx预测的参照索引对从端子14供给的参照图像进行运动补偿预测后的lx预测的预测信号，算出预测误差量，根据该预测误差量、lx预测的差分矢量、lx预测的参照索引、以及lx预测的预测矢量索引的码量，算出pred_lx的率失真评价值。

然后，使x成为1，针对l1预测进行与l0预测相同的处理。

接下来，预测矢量决定部131根据从端子15供给的图像信号，和将l0预测的预测信号及l1预测的预测信号平均后的bi预测的预测信号，算出预测误差量，根据该预测误差量、l0预测和l1预测的差分矢量、l0预测和l1预测的参照索引、以及l0预测和l1预测的预测矢量索引的码量，算出pred_bi的率失真评价值。

预测矢量决定部131将pred_l0的率失真评价值、pred_l1的率失真评价值、以及pred_bi的率失真评价值进行比较，选择一个最小率失真评价值的预测编码模式。然后，将基于预测编码模式的运动信息、差分矢量、预测矢量索引、以及率失真评价值提供给预测编码模式决定部122。若预测编码模式为pred_l0，则l1预测的运动矢量成为(0,0)，l1预测的参照索引成为“-1”，若预测编码模式为pred_l1，则l0预测的运动矢量成为(0,0)，l0预测的参照索引成为“-1”。

(预测矢量候选列表生成部130的构成)

下面说明预测矢量候选列表生成部130的详细构成。图34是用于说明预测矢量候选列表生成部130的构成的图。端子18连接于预测矢量决定部131。预测矢量候选列表生成部130包括空间预测矢量候选生成部150、时间预测矢量候选生成部151、冗余预测矢量候选删除部152、及预测矢量候选补充部153。

(预测矢量候选列表生成部130的动作)

以下说明各部的功能和动作。预测矢量候选列表生成部130根据需要生成l0预测的预测矢量候选列表和l1预测的预测矢量候选列表。以下，作为lx预测来进行说明。x取0或1。图35是用于说明预测矢量候选列表生成部130的动作的流程图。

首先，预测矢量候选列表生成部130将lx预测的预测矢量候选列表初始化(s200)。被初始化后的lx预测的预测矢量候选列表中不存在预测矢量候选。

将从端子12供给的空间候选块集所包含的候选块分成作为第1组的块e和块a，和作为第2组的块c、块b及块d这两组，按第1组、第2组的顺序反复进行以下处理(s201至s203)。

在此，从端子12供给的候选块集中，对于2n×2n的候选块集，使其与混合模式相同，对于2n×2n以外的候选块集，使其成为适用了与2n×2n相同位置关系的候选块集。此外，以从端子13供给的lx预测的参照索引、从端子12供给的候选块集、以及lx预测的预测矢量候选列表在预测矢量候选列表生成部130内部共享为前提进行说明。

空间预测矢量候选生成部150从第i组(i为1或2)候选块集生成0个或1个lx预测的空间预测矢量候选，将该lx预测的空间预测矢量候选追加到lx预测的预测矢量候选列表中(s202)，并将该lx预测的预测矢量候选列表和候选块集提供给时间预测矢量候选生成部151。

在此，说明空间预测矢量候选的具体导出方法。针对第1组及第2组，反复进行以下处理。第1组按块e、块a的顺序检查该候选块，第2组按块c、块b、块d的顺序检查该候选块。

针对各候选块，按l0预测、l1预测的顺序进行以下处理。以下，将各候选块的l0预测、l1预测记作ln预测来进行说明。

检查候选块的ln预测的参照索引所示的参照图像是否与从端子13供给的lx预测的参照索引所示的参照图像相同。

若候选块的ln预测的参照索引所示的参照图像与从端子13供给的lx预测的参照索引所示的参照图像相同，则将候选块的ln预测的运动矢量作为空间预测矢量候选，结束处理。

若候选块的ln预测的参照索引所示的参照图像与从端子13供给的lx预测的参照索引所示的参照图像不相同，则检查下一ln预测或下一候选块。

若所有候选块的检查都已完成，则结束处理。

如上这样从各组导出0个或1个空间预测矢量候选，作为lx预测，导出0个至2个空间预测矢量候选。

然后，时间预测矢量候选生成部151从时间候选块集生成0个或1个lx预测的时间预测矢量候选，并将该lx预测的时间预测矢量候选追加到lx预测的预测矢量候选列表中(s204)，将该lx预测的预测矢量候选列表和候选块集提供给预测矢量候选补充部153。

在此，说明时间预测矢量候选的具体导出方法。

对于时间候选块集，按作为候选块的块h、块i的顺序进行检查。

针对各候选块，按l0预测、l1预测的顺序进行以下处理。以下，将各候选块的l0预测、l1预测记作ln预测来进行说明。

检查候选块的ln预测是否有效。所谓候选块的ln预测有效，是指参照索引在0以上。

若候选块的ln预测有效，则将候选块的ln预测的运动矢量作为基准运动矢量，导出时间预测矢量候选，结束处理。关于时间预测矢量候选的导出方法，将在后面说明。

若候选块的ln预测非有效，则检查下一候选块。

若全部候选块的检查都已完成，则结束处理。

在此，说明时间预测矢量候选的导出方法。将有时间候选块的colpic与时间候选块在ln预测的运动补偿预测中参照的图片colreflxpic的图像间距离记作td，将lx预测的参照索引所示的参照图像reflxpic与处理对象图像curpic的图像间距离记作tb，将lx预测的基准运动矢量记作mvlx，时间预测矢量候选mvlxcol由式1算出。

冗余预测矢量候选删除部152检查从时间预测矢量候选生成部151供给的lx预测的预测矢量候选列表中所登录的预测矢量候选，若存在多个具有相同矢量的预测矢量候选，则保留其中1个预测矢量候选并删除其它预测矢量候选，若lx预测的预测矢量候选列表中所登录的预测矢量候选数超过了预测矢量候选最大数，则删除lx预测的预测矢量候选列表的后方的预测矢量候选，使得lx预测的预测矢量候选列表中所登录的预测矢量候选数在预测矢量候选最大数以下(s205)，将该lx预测的预测矢量候选列表提供给预测矢量候选补充部153。在此，该lx预测的预测矢量候选列表中所登录的结合运动信息候选成为各不相同的结合运动信息候选。

预测矢量候选补充部153生成预测矢量补充候选，并将该预测矢量补充候选追加到lx预测的预测矢量候选列表中，使得从冗余预测矢量候选删除部152供给的lx预测的预测矢量候选列表中所登录的预测矢量候选数成为预测矢量候选最大数(s206)，将其提供到端子18。假定预测矢量补充候选为运动矢量(0,0)。在此，将预测矢量补充候选假定为运动矢量(0,0)，但也可以是(1,1)等预定值，还可以是使空间预测矢量候选的水平分量或垂直分量成为+1或-1等后的运动矢量。

在此，是将从端子12供给的空间候选块集中所包含的候选块分成2组，使得能从各组各选1个空间预测运动矢量候选的，但也可以使得只有1组，选择2个空间预测运动矢量候选。

以下说明运动矢量再现部211的详细构成。

(运动矢量再现部211的详细构成)

接下来，说明运动矢量再现部211的详细构成。图36是说明运动矢量再现部211的构成的图。运动矢量再现部211包括预测矢量候选列表生成部220、预测矢量选择部221及加法部222。端子35连接于编码模式判定部210。

(运动矢量再现部211的详细动作)

以下说明各部的功能和动作。若从端子35供给的帧内预测类型为l0预测，则运动矢量再现部211针对l0预测进行运动矢量的计算，若帧内预测类型为l1预测，则针对l1预测进行运动矢量的计算，若帧内预测类型为bi预测，则针对l0预测和l1预测进行运动矢量的计算。各lx预测的运动矢量的计算如下这样进行。

运动矢量再现部211根据从端子35供给的lx预测的参照索引和从端子33供给的候选块集，生成lx预测的预测矢量候选列表。从该lx预测的预测矢量列表中选择由lx预测的预测矢量索引所示的预测矢量候选作为lx预测的预测矢量，使lx预测的预测矢量和lx预测的差分矢量相加，算出lx预测的运动矢量。

该lx预测的运动矢量与帧内预测类型被组合而生成运动信息，提供到端子34及端子36。

如上这样，在混合候选最大数为5、候选数相对较多的混合模式下，针对2n×2n以外的候选块集，利用预测块0的候选块作为编码块内所有预测块的候选块，从而能将结合运动信息候选列表在编码块内共通化，能使候选选择所需要的处理并行化，在预测矢量候选最大数为2、候选数相对较少的预测矢量模式下，对于2n×2n以外的候选块集，利用适用了与2n×2n相同位置关系的候选块，使预测效率最佳化，从而能使处理效率和预测效率优化。

以上所述的实施方式的动图像编码装置所输出的动图像的编码流具有特定的数据格式，以使得能根据实施方式中所采用的编码方法进行解码，与动图像编码装置对应的动图像解码装置能解码该特定的数据格式的编码流。

为在动图像编码装置和动图像解码装置间收发编码流，在使用有线或无线的网络时，可以将编码流变换成适于通信路径的传输方式的数据形式。此时，设有将动图像编码装置输出的编码流变换成适于通信路径的传输方式的数据形式的编码数据并发送到网络的动图像发送装置，和从网络接收编码数据并恢复成编码流而提供给动图像解码装置的动图像接收装置。

动图像发送装置包括：将动图像编码装置输出的编码流缓存的存储器；将编码流打包的包处理部；介由网络发送被打包后的编码数据的发送部。动图像接收装置包括：介由网络接收被打包了的编码数据的接收部；将接收到的编码数据缓存的存储器；对编码数据进行包处理而生成编码流，提供给动图像解码装置的包处理部。

以上与编码及解码相关的处理当然能作为使用了硬件的传送、存储、接收装置来实现，还可以通过rom(只读存储器)或闪存存储器等中所存储的固件或计算机等的软件来实现。既可以将该固件程序、软件程序记录到计算机等可读取的记录介质中进行提供，也可以通过有线或无线的网络从服务器提供，还可以作为地面波或卫星数字广播的数据广播来提供。

以上基于实施方式说明了本发明。实施方式仅为例示，本领域技术人员当理解其各构成要素和各处理过程的组合可以有各种变形例，且这样的变形例也包含在本发明的范围内。

〔标号说明〕

100动图像编码装置，101预测块图像取得部，102减法部，103预测误差编码部，104码串生成部，105预测误差解码部，106运动补偿部，107加法部，108运动矢量检测部，109运动信息生成部，110帧存储器，111运动信息存储器，120预测矢量模式决定部，121混合模式决定部，122预测编码模式决定部，130预测矢量候选列表生成部，131预测矢量决定部，140结合运动信息候选列表生成部，141结合运动信息选择部，150空间预测矢量候选生成部，151时间预测矢量候选生成部，152冗余预测矢量候选删除部，153预测矢量候选补充部，160空间结合运动信息候选生成部，161时间结合运动信息候选生成部，162冗余结合运动信息候选删除部，163第1结合运动信息候选补充部，164第2结合运动信息候选补充部，165候选块设定部，166代替结合运动信息候选补充部，200动图像解码装置，201码串解析部，202预测误差解码部，203加法部，204运动信息再现部，205运动补偿部，206帧存储器，207运动信息存储器，210编码模式判定部，211运动矢量再现部，212结合运动信息再现部，230结合运动信息候选列表生成部，231结合运动信息选择部。

〔工业可利用性〕

本发明能适用于对在运动补偿预测中使用的运动信息进行编码及解码的动图像编码及解码技术。