运动图像编码装置及其方法、运动图像解码装置及其方法与流程
技术领域
本发明涉及图像压缩编码技术、压缩图像数据传送技术等中使用的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法。
背景技术：
例如，在MPEG(Moving Picture Experts Group)、“ITU-T H.26x”等国际标准影像编码方式中，采用了将汇总了亮度信号16×16像素、和与该亮度信号16×16像素对应的色差信号8×8像素的块数据(以下，称为“宏块”)作为一个单位，根据运动补偿技术、正交变换/变换系数量化技术进行压缩的方法。
在运动图像编码装置以及运动图像解码装置中的运动补偿处理中，参照前方或者后方的图片，以宏块单位进行运动矢量的检测、预测图像的生成。
此时，将仅参照1张图片，进行画面间预测编码而得到的图片称为P图片，将同时参照2张图片，进行画面间预测编码而得到的图片称为B图片。
在作为国际标准方式的AVC/H.264(ISO/IEC 14496-10|ITU-T H.264)中，在对B图片进行编码时，能够选择被称为直接模式(direct mode)的编码模式(例如，参照非专利文献1)。
即，能够选择：在编码对象的宏块中，不具有运动矢量的编码数据，通过使用已编码的其他图片的宏块的运动矢量、周围的宏块的运动矢量的规定的运算处理，生成编码对象的宏块的运动矢量的编码模式。
在该直接模式中，存在时间直接模式和空间直接模式这2种。
在时间直接模式中，通过参照已编码的其他图片的运动矢量，根据已编码图片与编码对象的图片的时间差进行运动矢量的缩放(scaling)处理，来生成编码对象的宏块的运动矢量。
在空间直接模式中，参照位于编码对象的宏块的周围的至少1个以上的已编码宏块的运动矢量，根据这些运动矢量生成编码对象的宏块的运动矢量。
在该直接模式中，通过使用作为切片头(slice header)中设置的标志的“direct_spatial_mv_pred_flag”，能够以切片单位，选择时间直接模式或者空间直接模式中的某一方。
其中，在直接模式中，将不对变换系数进行编码的模式称为跳跃模式。以下，在记载为直接模式时，还包括跳跃模式。
此处，图11是示出通过时间直接模式生成运动矢量的方法的示意图。
在图11中，“P”表示P图片，“B”表示B图片。
另外，数字0-3表示图片的显示顺序，表示是时间T0、T1、T2、T3的显示图像。
设为按照P0、P3、B1、B2的顺序进行了图片的编码处理。
例如，假设通过时间直接模式对图片B2中的宏块MB1进行编码的情况。
在该情况下，使用作为处于图片B2的时间轴上后方的已编码图片中的最接近图片B2的图片P3的运动矢量的、与宏块MB1在空间上处于相同的位置的宏块MB2的运动矢量MV。
该运动矢量MV参照图片P0，在对宏块MB1进行编码时使用的运动矢量MVL0、MVL1通过以下的式(1)求出。
图12是示出通过空间直接模式生成运动矢量的方法的示意图。
在图12中，当前MB(currentMB)表示编码对象的宏块。
此时，如果将编码对象的宏块的左边的已编码宏块A的运动矢量设为MVa、将编码对象的宏块的上面的已编码宏块B的运动矢量设为MVb、将编码对象的宏块的右上的已编码宏块C的运动矢量设为MVc，则通过如下述式(2)所示，求出这些运动矢量MVa、MVb、MVc的中值(中央值)，能够计算编码对象的宏块的运动矢量MV。
MV＝median(MVa、MVb、MVc) (2)
在空间直接模式中，针对前方以及后方分别求出运动矢量，但都能够使用上述方法来求出。
另外，将预测图像的生成中使用的参照图像针对参照中使用的每个矢量作为参照图像列表进行管理，在使用2个矢量的情况下，各参照图像列表被称为列表0、列表1。
针对参照图像列表从时间上接近的参照图像起顺序地保存，通常是列表0表示前方向的参照图像，列表1表示后方向的参照图像。但是，也可以是列表1表示前方向的参照图像，列表0表示后方向的参照图像，也可以是列表0和列表1这双方表示前方向和后方向的参照图像。另外，排列顺序也无需从时间上接近的参照图像起排列。
例如，在以下的非专利文献1中，记载了能够针对每个切片重新排列参照图像列表。
【非专利文献1】MPEG-4AVC(ISO/IEC 14496-10)/ITU-T H.264标准
技术实现要素：
以往的图像编码装置如以上那样构成，所以如果参照作为切片头中设置的标志的“direct_spatial_mv_pred_flag”，则能够以切片单位，切换时间直接模式和空间直接模式。但是，在宏块单位中，无法切换时间直接模式和空间直接模式，所以即使针对属于某切片的某宏块的最佳的直接模式例如是空间直接模式，只要与该切片对应的直接模式被决定为时间直接模式，则必需对该宏块使用时间直接模式，而无法选择最佳的直接模式。在这样的情况下，由于无法选择最佳的直接模式，所以存在必需对不必要的运动矢量进行编码，而代码量增加等课题。
本发明是为了解决上述那样的课题而完成的，其目的在于得到一种按照规定的块单位选择最佳的直接模式，能够削减代码量的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法。
本发明的运动图像编码装置具备：编码控制单元，决定作为实施预测处理时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数，从可利用的1个以上的编码模式中，选择决定各个编码块的编码方法的编码模式；以及块分割单元，将输入图像分割为规定的编码块，并且直到达到由编码控制单元决定的上限的层次数为止，层次性地分割所述编码块，在作为与由块分割单元分割的编码块对应的编码模式，由编码控制单元选择了直接模式的帧间编码模式的情况下，运动补偿预测单元从可选择的1个以上的运动矢量中，选择适合于预测图像的生成的运动矢量，使用该运动矢量，实施针对所述编码块的运动补偿预测处理来生成预测图像，并且将表示该运动矢量的索引信息输出到可变长编码单元，可变长编码单元对索引信息进行可变长编码。
根据本发明，构成为具备：编码控制单元，决定作为实施预测处理时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数，从可利用的1个以上的编码模式中，选择决定各个编码块的编码方法的编码模式；以及块分割单元，将输入图像分割为规定的编码块，并且直到达到由编码控制单元决定的上限的层次数为止，层次性地分割所述编码块，在作为与由块分割单元分割的编码块对应的编码模式，由编码控制单元选择了直接模式的帧间编码模式的情况下，运动补偿预测单元从可选择的1个以上的运动矢量中，选择适合于预测图像的生成的运动矢量，使用该运动矢量，实施针对所述编码块的运动补偿预测处理来生成预测图像，并且将表示该运动矢量的索引信息输出到可变长编码单元，可变长编码单元对索引信息进行可变长编码，所以具有能够以规定的块为单位选择最佳的直接模式，削减代码量的效果。
附图说明
图1是示出本发明的实施方式1的运动图像编码装置的结构图。
图2是示出本发明的实施方式1的运动图像编码装置的运动补偿预测部5的结构图。
图3是示出构成了运动补偿预测部5的直接矢量生成部23的结构图。
图4是示出构成了直接矢量生成部23的直接矢量判定部33的结构图。
图5是示出本发明的实施方式1的运动图像解码装置的结构图。
图6是示出本发明的实施方式1的运动图像解码装置的运动补偿预测部54的结构图。
图7是示出本发明的实施方式1的运动图像编码装置的处理内容的流程图。
图8是示出本发明的实施方式1的运动图像解码装置的处理内容的流程图。
图9是示出最大尺寸的编码块被层次性地分割为多个编码块的情况的说明图。
图10(a)是示出分割后的分区(partition)的分布的图，(b)是通过4叉树图形示出对层次分割后的分区分配了编码模式m(Bn)的状况的说明图。
图11是示出通过时间直接模式生成运动矢量的方法的示意图。
图12是示出通过空间直接模式生成运动矢量的方法的示意图。
图13是示出根据中值预测的候补A1-An、B1-Bn、C、D、E生成空间直接矢量的方法的示意图。
图14是示出通过根据时间方向的距离进行缩放来生成空间直接矢量的方法的示意图。
图15是示出利用前方预测图像和后方预测图像的类似度的评价值的计算例的说明图。
图16是示出使用了运动矢量的方差值(variance)的评价式的说明图。
图17是示出空间矢量MV_A、MV_B、MV_C、时间矢量MV_1～MV_8的说明图。
图18是示出根据多个已编码矢量生成1个候补矢量的说明图。
图19是示出仅组合时间上处于前面的图像来计算评价值SAD的例子的说明图。
图20是示出与L字模板类似的图像的搜索的说明图。
图21是示出编码块Bn的尺寸是Ln＝kMn的例子的说明图。
图22是示出如(Ln+1，Mn+1)＝(Ln/2，Mn/2)那样分割的例子的说明图。
图23是示出能够选择图21或者图22中的某一个分割的例子的说明图。
图24是示出变换块尺寸单位成为层次构造的例子的说明图。
图25是示出本发明的实施方式3的运动图像编码装置的运动补偿预测部5的结构图。
图26是示出构成了运动补偿预测部5的直接矢量生成部25的结构图。
图27是示出构成了直接矢量生成部25的初始矢量生成部34的结构图。
图28是示出构成了初始矢量生成部34的初始矢量判定部73的结构图。
图29是示出本发明的实施方式3的运动图像解码装置的运动补偿预测部54的结构图。
图30是示出运动矢量的搜索处理的说明图。
图31是示出本发明的实施方式4的运动图像编码装置的运动补偿预测部5的结构图。
图32是示出本发明的实施方式4的运动图像解码装置的运动补偿预测部54的结构图。
图33是示出记述了可选择的运动矢量、和表示该运动矢量的索引信息的直接矢量候补索引的说明图。
图34是示出仅对1个矢量的索引信息进行编码的例子的说明图。
图35是示出构成了运动补偿预测部5的直接矢量生成部26的结构图。
图36是示出本发明的实施方式5的运动图像编码装置的运动补偿预测部5的结构图。
图37是示出构成了运动补偿预测部5的直接矢量生成部27的结构图。
图38是示出本发明的实施方式5的运动图像解码装置的运动补偿预测部54的结构图。
图39是示出构成了运动补偿预测部5的直接矢量生成部26的结构图。
图40是示出与周围的块的相关关系的说明图。
图41是针对编码块的每个块尺寸示出可选择的1个以上的运动矢量的列表的说明图。
图42是示出最大的块尺寸是“128”的列表的一个例子的说明图。
图43是针对编码块的每个分割图案示出可选择的1个以上的运动矢量的列表的说明图。
图44是示出运动图像编码装置中的列表信息的发送处理的流程图。
图45是示出运动图像解码装置中的列表信息的接收处理的流程图。
图46是示出为了将列表内的“temporal”从可选择变更为不可选择，对“ON”的变更标志和表示变更后的列表的列表信息进行了编码的例子的说明图。
图47是示出由于变更标志是“ON”，所以变更了当前保持的列表的例子的说明图。
图48是示出针对每个块尺寸准备变更标志，仅对与可选择的运动矢量被变更的块尺寸有关的列表信息进行了编码的例子的说明图。
图49是示出从成为对象的块搜索被帧间编码了的块，将该块内包含的所有矢量作为空间矢量候补的例子的说明图。
(附图标记说明)
1：编码控制部(编码控制单元)；2：块分割部(块分割单元)；3：切换开关(帧内预测单元、运动补偿预测单元)；4：帧内预测部(帧内预测单元)；5：运动补偿预测部(运动补偿预测单元)；6：减法部(差分图像生成单元)；7：变换·量化部(图像压缩单元)；8：逆量化·逆变换部；9：加法部；10：帧内预测用存储器；11：环路滤波器部；12：运动补偿预测帧存储器；13：可变长编码部(可变长编码单元)；21：切换开关；22：运动矢量搜索部；23：直接矢量生成部；24：运动补偿处理部；25、26、27：直接矢量生成部；31：空间直接矢量生成部；32：时间直接矢量生成部；33：直接矢量判定部；34、36、37：初始矢量生成部；35：运动矢量搜索部；41：运动补偿部；42：类似度计算部；43：直接矢量选择部；51：可变长解码部(可变长解码单元)；52：切换开关(帧内预测单元、运动补偿预测单元)；53：帧内预测部(帧内预测单元)；54：运动补偿预测部(运动补偿预测单元)；55：逆量化·逆变换部(差分图像生成单元)；56：加法部(解码图像生成单元)；57：帧内预测用存储器；58：环路滤波器部；59：运动补偿预测帧存储器；61：切换开关；62：直接矢量生成部；63：运动补偿处理部；64、65、66：直接矢量生成部；71：空间矢量生成部；72：时间矢量生成部；73：初始矢量判定部；81：运动补偿部；82：类似度计算部；83：初始矢量决定部；91：切换开关。
具体实施方式
以下，参照附图，详细说明本发明的实施方式。
实施方式1.
在该实施方式1中，说明输入影像的各帧图像并在接近帧之间实施运动补偿预测而得到预测差分信号并对该预测差分信号通过正交变换、量化实施了压缩处理之后进行可变长编码来生成比特流的运动图像编码装置、和对从该运动图像编码装置输出的比特流进行解码的运动图像解码装置。
该实施方式1的运动图像编码装置的特征在于，适应于影像信号的空间·时间方向的局部性的变化，将影像信号分割为多种尺寸的区域来进行帧之内·帧之间适应编码。
一般，影像信号具有在空间·时间上信号的复杂度局部地变化的特性。在空间上观察时，在某特定的影像帧上，存在天空、壁等那样的在比较宽的图像区域中具有均匀的信号特性的图形，并且，也混合存在人物、具有细致的纹理的绘画等在小的图像区域内具有复杂的纹理图案的图形。
在时间上观察时，天空、壁的局部的时间方向的图形的变化小，但运动的人物、物体由于其轮廓在时间上进行刚体·非刚体的运动，所以时间上的变化大。
在编码处理中，通过时间·空间上的预测生成信号电力、熵小的预测差分信号，从而削减整体的代码量，而如果能够对尽可能大的图像信号区域均匀地应用用于预测的参数，则能够减小该参数的代码量。
另一方面，如果针对时间上·空间上变化大的图像信号图案，应用同一预测参数，则预测的错误增加，所以无法削减预测差分信号的代码量。
因此，优选针对时间上·空间上变化大的图像信号图案，减小预测对象的区域，而即使增加用于预测的参数的数据量，也降低预测差分信号的电力·熵。
为了进行这样的适应于影像信号的一般的性质的编码，在该实施方式1的运动图像编码装置中，从规定的最大块尺寸层次性地分割影像信号的区域，针对每个分割区域实施预测处理、预测差分的编码处理。
该实施方式1的运动图像编码装置作为处理对象的影像信号除了由亮度信号和2个色差信号构成的YUV信号、从数字摄像元件输出的RGB信号等任意的颜色空间的彩色影像信号以外，还有单色图像信号、红外线图像信号等影像帧由水平·垂直二维的数字采样(像素)列构成的任意的影像信号。
各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。
但是，在以下的说明中，只要没有特别说明，设为所输入的影像信号是YUV信号。另外，设为2个色差分量U、V相对亮度分量Y被二次采样(subsample)的4：2：0格式的信号。
另外，将与影像的各帧对应的处理数据单位称为“图片”，在该实施方式1中，将“图片”设为依次扫描(逐行扫描)了的影像帧的信号而进行说明。但是，在影像信号是交错信号的情况下，“图片”也可以是作为构成影像帧的单位的场(field)图像信号。
图1是示出本发明的实施方式1的运动图像编码装置的结构图。
在图1中，编码控制部1实施如下处理：决定作为实施运动补偿预测处理(帧之间预测处理)或者帧内(intra)预测处理(帧之内预测处理)时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数。
另外，编码控制部1实施如下处理：从可利用的1个以上的编码模式(1个以上的帧内编码模式、1个以上的帧间(inter)编码模式(包括直接模式的帧间编码模式))中，选择适合于层次性地分割的各个编码块的编码模式。另外，编码控制部1构成了编码控制单元。
块分割部2实施如下处理：如果输入了表示输入图像的影像信号，则将该影像信号表示的输入图像分割为由编码控制部1决定的最大尺寸的编码块，并且直到达到由编码控制部1决定的上限的层次数为止，将该编码块层次性地分割。另外，块分割部2构成了块分割单元。
切换开关3实施如下处理：如果由编码控制部1选择的编码模式是帧内编码模式，则将由块分割部2分割的编码块输出到帧内预测部4，如果由编码控制部1选择的编码模式是帧间编码模式，则将由块分割部2分割的编码块输出到运动补偿预测部5。
帧内预测部4实施如下处理：如果从切换开关3接收到由块分割部2分割的编码块，则使用从编码控制部1输出的帧内预测参数，实施针对该编码块的帧内预测处理来生成预测图像。
另外，由切换开关3以及帧内预测部4构成了帧内预测单元。
运动补偿预测部5实施如下处理：在作为适合于由块分割部2分割的编码块的编码模式，由编码控制部1选择了直接模式的帧间编码模式的情况下，根据位于该编码块的周围的已编码块的运动矢量生成空间直接模式的空间直接矢量，并且根据该编码块可参照的已编码图片的运动矢量生成时间直接模式的时间直接矢量，从该空间直接矢量或者时间直接矢量中，选择参照图像间的相关高的一方的直接矢量，使用该直接矢量，实施针对该编码块的运动补偿预测处理来生成预测图像。
另外，运动补偿预测部5实施如下处理：在作为适合于由块分割部2分割的编码块的编码模式，由编码控制部1选择了直接模式以外的帧间编码模式的情况下，从该编码块和运动补偿预测帧存储器12中保存的参照图像搜索运动矢量，使用该运动矢量，实施针对该编码块的运动补偿预测处理来生成预测图像。
另外，由切换开关3以及运动补偿预测部5构成了运动补偿预测单元。
减法部6实施如下处理：通过从由块分割部2分割的编码块，减去由帧内预测部4或者运动补偿预测部5生成的预测图像，生成差分图像(＝编码块-预测图像)。另外，减法部6构成了差分图像生成单元。
变换·量化部7实施如下处理：以从编码控制部1输出的预测差分编码参数中包含的变换块尺寸为单位，实施由减法部6生成的差分图像的变换处理(例如，DCT(离散余弦变换)、预先对特定的学习系列进行了基底设计的KL变换等正交变换处理)，并且使用该预测差分编码参数中包含的量化参数，对该差分图像的变换系数进行量化，从而将量化后的变换系数作为差分图像的压缩数据输出。另外，变换·量化部7构成了图像压缩单元。
逆量化·逆变换部8实施如下处理：使用从编码控制部1输出的预测差分编码参数中包含的量化参数，对从变换·量化部7输出的压缩数据进行逆量化，以该预测差分编码参数中包含的变换块尺寸为单位，实施逆量化的压缩数据的逆变换处理(例如，逆DCT(逆离散余弦变换)、逆KL变换等逆变换处理)，从而将逆变换处理后的压缩数据作为局部解码预测差分信号输出。
加法部9实施如下处理：将从逆量化·逆变换部8输出的局部解码预测差分信号和表示由帧内预测部4或者运动补偿预测部5生成的预测图像的预测信号相加，从而生成表示局部解码图像的局部解码图像信号。
帧内预测用存储器10是作为由帧内预测部4在下次的帧内预测处理中使用的图像，保存由加法部9生成的局部解码图像信号表示的局部解码图像的RAM等记录介质。
环路滤波器部11实施如下处理：补偿由加法器9生成的局部解码图像信号中包含的编码失真(encoding distortion)，将编码失真补偿后的局部解码图像信号表示的局部解码图像作为参照图像输出到运动补偿预测帧存储器12。
运动补偿预测帧存储器12是作为由运动补偿预测部5在下次的运动补偿预测处理中使用的参照图像，保存利用环路滤波器部11的滤波处理后的局部解码图像的RAM等记录介质。
可变长编码部13实施如下处理：对从变换·量化部7输出的压缩数据、从编码控制部1输出的编码模式以及预测差分编码参数、从帧内预测部4输出的帧内预测参数或者从运动补偿预测部5输出的帧间预测参数进行可变长编码，生成该压缩数据、编码模式、预测差分编码参数、帧内预测参数/帧间预测参数的编码数据被多路复用的比特流。另外，可变长编码部13构成了可变长编码单元。
图2是示出本发明的实施方式1的运动图像编码装置的运动补偿预测部5的结构图。
在图2中，切换开关21实施如下处理：在由编码控制部1选择的编码模式是直接模式以外的帧间模式的情况下，将由块分割部2分割的编码块输出到运动矢量搜索部22，另一方面，在该编码模式是直接模式的帧间模式的情况下，将由块分割部2分割的编码块输出到直接矢量生成部23。
另外，在直接矢量生成部23中，在生成直接矢量时，不使用由块分割部2分割的编码块，所以也可以不将该编码块输出到直接矢量生成部23。
运动矢量搜索部22实施如下处理：一边参照从切换开关21输出的编码块和运动补偿预测帧存储器12中保存的参照图像，一边以帧间模式搜索最佳的运动矢量，将该运动矢量输出到运动补偿处理部24。
直接矢量生成部23实施如下处理：根据位于该编码块的周围的已编码块的运动矢量生成空间直接模式的空间直接矢量，并且根据该编码块可参照的已编码图片的运动矢量生成时间直接模式的时间直接矢量，从该空间直接矢量或者时间直接矢量中，选择参照图像间的相关高的一方的直接矢量。
运动补偿处理部24实施如下处理：使用由运动矢量搜索部22搜索的运动矢量或者由直接矢量生成部23选择的直接矢量和运动补偿预测帧存储器12中保存的1帧以上的参照图像，根据从编码控制部1输出的帧间预测参数，实施运动补偿预测处理，从而生成预测图像。
另外，运动补偿处理部24将在实施运动补偿预测处理时使用的帧间预测参数输出到可变长编码部13。在由编码控制部1选择的编码模式是直接模式以外的帧间模式的情况下，将由运动矢量搜索部22搜索的运动矢量包含于该帧间预测参数而输出到可变长编码部13。
图3是示出构成了运动补偿预测部5的直接矢量生成部23的结构图。
在图3中，空间直接矢量生成部31实施如下处理：从已编码的块的运动矢量(已编码的块的运动矢量保存于未图示的运动矢量存储器、或者运动补偿预测部5的内部存储器)中，读出位于编码块的周围的已编码的块的运动矢量，根据该运动矢量生成空间直接模式的空间直接矢量。
时间直接矢量生成部32实施如下处理：从已编码的块的运动矢量中，读出作为编码块可参照的已编码图片的运动矢量的、与编码块在空间上处于相同的位置的块的运动矢量，根据该运动矢量生成时间直接模式的时间直接矢量。
直接矢量判定部33实施如下处理：使用由空间直接矢量生成部31生成的空间直接矢量，计算空间直接模式的评价值，并且使用由时间直接矢量生成部32生成的时间直接矢量，计算时间直接模式的评价值，比较该空间直接模式的评价值和时间直接模式的评价值，选择该空间直接矢量或者时间直接矢量中的某一方。
图4是示出构成了直接矢量生成部23的直接矢量判定部33的结构图。
在图4中，运动补偿部41实施如下处理：使用由空间直接矢量生成部31生成的空间直接矢量，生成空间直接模式的列表0预测图像(例如，空间直接模式的前方预测图像)和空间直接模式的列表1预测图像(例如，空间直接模式的后方预测图像)，并且使用由时间直接矢量生成部32生成的时间直接矢量，生成时间直接模式的列表0预测图像(例如，时间直接模式的前方预测图像)和时间直接模式的列表1预测图像(例如，时间直接模式的后方预测图像)。
类似度计算部42实施如下处理：作为空间直接模式的评价值，计算空间直接模式的列表0预测图像(前方预测图像)和列表1预测图像(后方预测图像)的类似度，并且作为时间直接模式的评价值，计算时间直接模式的列表0预测图像(前方预测图像)和列表1预测图像(后方预测图像)的类似度。
直接矢量选择部43实施如下处理：比较由类似度计算部42计算的空间直接模式中的列表0预测图像(前方预测图像)和列表1预测图像(后方预测图像)的类似度、与时间直接模式中的列表0预测图像(前方预测图像)和列表1预测图像(后方预测图像)的类似度，选择空间直接矢量或者时间直接矢量中的、列表0预测图像(前方预测图像)和列表1预测图像(后方预测图像)的类似度高的一方的直接模式的直接矢量。
图5是示出本发明的实施方式1的运动图像解码装置的结构图。
在图5中，可变长解码部51实施如下处理：从多路复用到比特流的编码数据可变长解码出与层次性地分割的各个编码块有关的压缩数据、编码模式、预测差分编码参数、帧内预测参数/帧间预测参数，将该压缩数据以及预测差分编码参数输出到逆量化·逆变换部55，并且将该编码模式以及帧内预测参数/帧间预测参数输出到切换开关52。另外，可变长解码部51构成了可变长解码单元。
切换开关52实施如下处理：在从可变长解码部51输出的与编码块有关的编码模式是帧内编码模式的情况下，将从可变长解码部51输出的帧内预测参数输出到帧内预测部53，在该编码模式是帧间编码模式的情况下，将从可变长解码部51输出的帧间预测参数输出到运动补偿预测部54。
帧内预测部53实施如下处理：使用从切换开关52输出的帧内预测参数，实施针对该编码块的帧内预测处理来生成预测图像。
另外，由切换开关52以及帧内预测部53构成了帧内预测单元。
运动补偿预测部54实施如下处理：在从可变长解码部51输出的与编码块有关的编码模式是直接模式的帧间编码模式的情况下，根据位于该编码块的周围的已解码块的运动矢量生成空间直接模式的空间直接矢量，并且根据该编码块可参照的已解码图片的运动矢量生成时间直接模式的时间直接矢量，从该空间直接矢量或者时间直接矢量中，选择参照图像间的相关高的一方的直接矢量，使用该直接矢量，实施针对该编码块的运动补偿预测处理来生成预测图像。
另外，运动补偿预测部54实施如下处理：在从可变长解码部51输出的与编码块有关的编码模式是直接模式以外的帧间编码模式的情况下，使用从可变长解码部51输出的帧间预测参数中包含的运动矢量，实施针对该编码块的运动补偿预测处理来生成预测图像。
另外，由切换开关52以及运动补偿预测部54构成了运动补偿预测单元。
逆量化·逆变换部55实施如下处理：使用从可变长解码部51输出的预测差分编码参数中包含的量化参数，对从可变长解码部51输出的与编码块有关的压缩数据进行逆量化，以该预测差分编码参数中包含的变换块尺寸为单位，实施逆量化的压缩数据的逆变换处理(例如，逆DCT(逆离散余弦变换)、逆KL变换等逆变换处理)，从而将逆变换处理后的压缩数据作为解码预测差分信号(表示压缩前的差分图像的信号)输出。另外，逆量化·逆变换部55构成了差分图像生成单元。
加法部56实施如下处理：通过将从逆量化·逆变换部55输出的解码预测差分信号和表示由帧内预测部53或者运动补偿预测部54生成的预测图像的预测信号相加，生成表示解码图像的解码图像信号。另外，加法部56构成了解码图像生成单元。
帧内预测用存储器57是作为由帧内预测部53在下次的帧内预测处理中使用的图像，保存由加法部56生成的解码图像信号表示的解码图像的RAM等记录介质。
环路滤波器部58实施如下处理：补偿由加法器56生成的解码图像信号中包含的编码失真，将编码失真补偿后的解码图像信号表示的解码图像作为参照图像输出到运动补偿预测帧存储器59。
运动补偿预测帧存储器59是作为由运动补偿预测部54在下次的运动补偿预测处理中使用的参照图像，保存利用环路滤波器部58的滤波处理后的解码图像的RAM等记录介质。
图6是示出本发明的实施方式1的运动图像解码装置的运动补偿预测部54的结构图。
在图6中，切换开关61实施如下处理：在从可变长解码部51输出的与编码块有关的编码模式是直接模式以外的帧间模式的情况下，将从可变长解码部51输出的帧间预测参数(包括运动矢量)输出到运动补偿处理部63，在该编码模式是直接模式的帧间模式的情况下，将从可变长解码部51输出的帧间预测参数输出到直接矢量生成部62。
直接矢量生成部62实施如下处理：根据位于该编码块的周围的已解码块的运动矢量生成空间直接模式的空间直接矢量，并且根据该编码块可参照的已解码图片的运动矢量生成时间直接模式的时间直接矢量，从该空间直接矢量或者时间直接矢量中，选择参照图像间的相关高的一方的直接矢量。
另外，直接矢量生成部62实施将从切换开关61输出的帧间预测参数输出到运动补偿处理部63的处理。
另外，直接矢量生成部62的内部结构与图2的直接矢量生成部23相同。
运动补偿处理部63实施如下处理：使用从切换开关61输出的帧间预测参数中包含的运动矢量或者由直接矢量生成部62选择的直接矢量和运动补偿预测帧存储器59中保存的1帧的参照图像，根据从直接矢量生成部62输出的帧间预测参数，实施运动补偿预测处理，从而生成预测图像。
在图1中，假设作为运动图像编码装置的构成要素的编码控制部1、块分割部2、切换开关3、帧内预测部4、运动补偿预测部5、减法部6、变换·量化部7、逆量化·逆变换部8、加法部9、环路滤波器部11以及可变长编码部13分别由专用的硬件(例如，安装了CPU的半导体集成电路、或者单片微型计算机(one chip microcomputer)等)构成的例子，但在运动图像编码装置由计算机构成的情况下，也可以将记述了编码控制部1、块分割部2、切换开关3、帧内预测部4、运动补偿预测部5、减法部6、变换·量化部7、逆量化·逆变换部8、加法部9、环路滤波器部11以及可变长编码部13的处理内容的程序保存到该计算机的存储器，由该计算机的CPU执行该存储器中保存的程序。
图7是示出本发明的实施方式1的运动图像编码装置的处理内容的流程图。
在图5中，假设作为运动图像解码装置的构成要素的可变长解码部51、切换开关52、帧内预测部53、运动补偿预测部54、逆量化·逆变换部55、加法部56以及环路滤波器部58分别由专用的硬件(例如，安装了CPU的半导体集成电路、或者单片微型计算机等)构成的例子，但在运动图像解码装置由计算机构成的情况下，也可以将记述了可变长解码部51、切换开关52、帧内预测部53、运动补偿预测部54、逆量化·逆变换部55、加法部56以及环路滤波器部58的处理内容的程序保存到该计算机的存储器，由该计算机的CPU执行该存储器中保存的程序。
图8是示出本发明的实施方式1的运动图像解码装置的处理内容的流程图。
接下来，说明动作。
最初，说明图1的运动图像编码装置的处理内容。
首先，编码控制部1决定作为实施运动补偿预测处理(帧之间预测处理)或者帧内预测处理(帧之内预测处理)时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数(图7的步骤ST1)。
作为编码块的最大尺寸的决定方法，例如，考虑针对所有图片，决定为与输入图像的分辨率对应的尺寸的方法。
另外，考虑将输入图像的局部性的运动的复杂度的差异定量化为参数，在运动剧烈的图片中将最大尺寸决定为小的值，在运动少的图片中将最大尺寸决定为大的值的方法等。
关于上限的层次数，例如，考虑设定为输入图像的运动越剧烈，越增大层次数，而能够检测更细致的运动，如果输入图像的运动少，则设定为抑制层次数的方法。
另外，编码控制部1从可利用的1个以上的编码模式(M种帧内编码模式、N种帧间编码模式(包括直接模式的帧间编码模式))中，选择适合于层次性地分割的各个编码块的编码模式(步骤ST2)。
由编码控制部1进行的编码模式的选择方法是公知的技术，所以省略详细的说明，例如，有使用可利用的任意的编码模式，实施针对编码块的编码处理来验证编码效率，在可利用的多个编码模式中，选择编码效率最佳的编码模式的方法等。
块分割部2如果输入了表示输入图像的影像信号，则将该影像信号表示的输入图像分割为由编码控制部1决定的最大尺寸的编码块，并且直到达到由编码控制部1决定的上限的层次数为止，将该编码块层次性地分割。
此处，图9是示出最大尺寸的编码块被层次性地分割为多个编码块的情况的说明图。
在图9的例子中，最大尺寸的编码块是第0层次的编码块B0，在亮度分量中具有(L0，M0)的尺寸。
另外，在图9的例子中，以最大尺寸的编码块B0作为出发点，通过4叉树构造，直到另外确定的规定的深度为止，层次性地进行分割，从而得到编码块Bn。
在深度n下，编码块Bn是尺寸(Ln，Mn)的图像区域。
其中，Ln和Mn既可以相同也可以不同，但在图9的例子中示出了Ln＝Mn的情形。
以后，将编码块Bn的尺寸定义为编码块Bn的亮度分量中的尺寸(Ln，Mn)。
块分割部2进行4叉树分割，所以(Ln+1，Mn+1)＝(Ln/2，Mn/2)始终成立。
其中，在如RGB信号等那样，所有颜色分量具有同一采样数的彩色影像信号(4：4：4格式)中，所有颜色分量的尺寸成为(Ln，Mn)，但在处理4：2：0格式的情况下，对应的色差分量的编码块的尺寸是(Ln/2，Mn/2)。
以后，将在第n层次的编码块Bn中可选择的编码模式记载为m(Bn)。
在由多个颜色分量构成的彩色影像信号的情况下，编码模式m(Bn)可构成为针对每个颜色分量，分别使用独立的模式，但以后，只要没有特别说明，则设为是指针对YUV信号、4：2：0格式的编码块的亮度分量的编码模式而进行说明。
在编码模式m(Bn)中，有1个或者多个帧内编码模式(总称为“INTRA”)、1个或者多个帧间编码模式(总称为“INTER”)，编码控制部1如上所述，从在该图片中可利用的所有编码模式或者其子集合中，选择针对编码块Bn编码效率最佳的编码模式。
编码块Bn如图9所示，被进一步分割为1个或者多个预测处理单位(分区)。
以后，将属于编码块Bn的分区记载为Pin(i：第n层次中的分区编号)。
关于如何进行属于编码块Bn的分区Pin的分割，作为信息而包含于编码模式m(Bn)中。
分区Pin是全部依照编码模式m(Bn)进行预测处理，但能够针对每个分区Pin，选择独立的预测参数。
编码控制部1针对最大尺寸的编码块，例如，生成图10所示那样的块分割状态，确定编码块Bn。
图10(a)的阴影部分表示分割后的分区的分布，并且，图10(b)通过4叉树图形表示对层次分割后的分区分配了编码模式m(Bn)的状况。
在图10(b)中，□所包围的节点表示分配了编码模式m(Bn)的节点(编码块Bn)。
当编码控制部1针对各个编码块Bn的分区Pin选择了最佳的编码模式m(Bn)时，如果该编码模式m(Bn)是帧内编码模式(步骤ST3)，则切换开关3将由块分割部2分割的编码块Bn的分区Pin输出到帧内预测部4。
另一方面，如果该编码模式m(Bn)是帧间编码模式(步骤ST3)，则将由块分割部2分割的编码块Bn的分区Pin输出到运动补偿预测部5。
帧内预测部4如果从切换开关3接收到编码块Bn的分区Pin，则使用与由编码控制部1选择的编码模式m(Bn)对应的帧内预测参数，实施针对该编码块Bn的分区Pin的帧内预测处理，生成帧内预测图像Pin(步骤ST4)。
帧内预测部4如果生成了帧内预测图像Pin，则将该帧内预测图像Pin输出到减法部6以及加法部9，而为了在图5的运动图像解码装置中也能够生成相同的帧内预测图像Pin，将该帧内预测参数输出到可变长编码部13。该实施方式1中的帧内预测处理不限于在AVC/H.264标准(ISO/IEC 14496-10)中决定的算法，但作为帧内预测参数，需要包括为了在运动图像编码装置侧和运动图像解码装置侧生成完全相同的帧内预测图像而所需的信息。
运动补偿预测部5在从切换开关3接收到编码块Bn的分区Pin时，如果由编码控制部1选择的编码模式m(Bn)是直接模式的帧间编码模式，则根据位于编码块Bn的分区Pin的周围的已编码块的运动矢量生成空间直接模式的空间直接矢量，并且根据编码块Bn可参照的已编码图片的运动矢量生成时间直接模式的时间直接矢量。
然后，运动补偿预测部5从该空间直接矢量或者时间直接矢量中，选择参照图像间的相关高的一方的直接矢量，使用与该直接矢量以及编码模式m(Bn)对应的帧间预测参数，实施针对编码块Bn的分区Pin的运动补偿预测处理，生成帧间预测图像Pin(步骤ST5)。
另一方面，如果由编码控制部1选择的编码模式m(Bn)是直接模式以外的帧间编码模式，则运动补偿预测部5从编码块Bn的分区Pin和运动补偿预测帧存储器12中保存的参照图像搜索运动矢量，使用与该运动矢量以及编码模式m(Bn)对应的帧间预测参数，实施针对编码块Bn的分区Pin的运动补偿预测处理，生成帧间预测图像Pin(步骤ST5)。
运动补偿预测部5如果生成了帧间预测图像Pin，则将该帧间预测图像Pin输出到减法部6以及加法部9，而为了在图5的运动图像解码装置中也能够生成相同的帧间预测图像Pin，将该帧间预测参数输出到可变长编码部13。在帧间预测图像的生成中使用的帧间预测参数中，包括
·记述编码块Bn内的分区分割的模式信息
·各分区的运动矢量
·在运动补偿预测帧存储器12内包括多个参照图像的结构的情况下，表示使用哪一个参照图像来进行预测的参照图像指示索引信息
·在有多个运动矢量预测值候补的情况下，表示选择哪一个运动矢量预测值来使用的索引信息
·在有多个运动补偿内插滤波器的情况下表示选择哪一个滤波器来使用的索引信息
·在该分区的运动矢量能够表示多个像素精度(半像素、1/4像素、1/8像素等)的情况下，表示使用哪一个像素精度的选择信息
等信息，为了在运动图像解码装置侧生成完全相同的帧间预测图像，通过可变长编码部13多路复用到比特流。
运动补偿预测部5的处理内容的概况如上所述，而详细的处理内容后述。
减法部6在帧内预测部4或者运动补偿预测部5生成了预测图像(帧内预测图像Pin、帧间预测图像Pin)时，从由块分割部2分割的编码块Bn的分区Pin，减去由帧内预测部4或者运动补偿预测部5生成的预测图像(帧内预测图像Pin、帧间预测图像Pin)，从而生成差分图像，将表示该差分图像的预测差分信号ein输出到变换·量化部7(步骤ST6)。
变换·量化部7如果从减法部6接收到表示差分图像的预测差分信号ein，则以从编码控制部1输出的预测差分编码参数中包含的变换块尺寸为单位，实施该差分图像的变换处理(例如，DCT(离散余弦变换)、预先对特定的学习系列进行了基底设计的KL变换等正交变换处理)，并且使用该预测差分编码参数中包含的量化参数，对该差分图像的变换系数进行量化，从而将量化后的变换系数作为差分图像的压缩数据输出到逆量化·逆变换部8以及可变长编码部13(步骤ST7)。
逆量化·逆变换部8如果从变换·量化部7接收到差分图像的压缩数据，则使用从编码控制部1输出的预测差分编码参数中包含的量化参数，对该差分图像的压缩数据进行逆量化，以该预测差分编码参数中包含的变换块尺寸为单位，实施逆量化的压缩数据的逆变换处理(例如，逆DCT(逆离散余弦变换)、逆KL变换等逆变换处理)，从而将逆变换处理后的压缩数据作为局部解码预测差分信号ein尖帽(由于电子申请的关系，将对字母文字附加的“^”记载为尖帽(hat))输出到加法部9(步骤ST8)。
加法部9如果从逆量化·逆变换部8接收到局部解码预测差分信号ein尖帽，则将该局部解码预测差分信号ein尖帽、和表示由帧内预测部4或者运动补偿预测部5生成的预测图像(帧内预测图像Pin、帧间预测图像Pin)的预测信号相加，从而生成局部解码分区图像Pin尖帽或者作为其集合的局部解码编码块图像即局部解码图像(步骤ST9)。
加法部9如果生成了局部解码图像，则将表示该局部解码图像的局部解码图像信号保存到帧内预测用存储器10，并且将该局部解码图像信号输出到环路滤波器部11。
直到针对层次性地分割了的所有编码块Bn的处理完成为止，反复实施步骤ST3～ST9的处理，如果针对所有编码块Bn的处理完成，则转移到步骤ST12的处理(步骤ST10、ST11)。
可变长编码部13对从变换·量化部7输出的压缩数据、从编码控制部1输出的编码模式(包括表示编码块的分割状态的信息)以及预测差分编码参数、和从帧内预测部4输出的帧内预测参数或者从运动补偿预测部5输出的帧间预测参数进行熵编码。
可变长编码部13对作为熵编码的编码结果的压缩数据、编码模式、预测差分编码参数、帧内预测参数/帧间预测参数的编码数据进行多路复用而生成比特流(步骤ST12)。
环路滤波器部11如果从加法器9接收到局部解码图像信号，则补偿该局部解码图像信号中包含的编码失真，将编码失真补偿后的局部解码图像信号表示的局部解码图像作为参照图像保存到运动补偿预测帧存储器12(步骤ST13)。
利用环路滤波器部11的滤波处理既可以以从加法器9输出的局部解码图像信号的最大编码块或者各个编码块为单位进行，也可以在输出了与1画面量的宏块相当的局部解码图像信号之后汇总1画面量来进行。
接下来，详细说明运动补偿预测部5的处理内容。
运动补偿预测部5的切换开关21在由编码控制部1选择的编码模式m(Bn)是直接模式以外的帧间模式的情况下，将由块分割部2分割的编码块Bn的分区Pin输出到运动矢量搜索部22。
另一方面，在编码模式m(Bn)是直接模式的帧间模式的情况下，将由块分割部2分割的编码块Bn的分区Pin输出到直接矢量生成部23。
但是，在直接矢量生成部23中，在直接矢量的生成中不使用编码块Bn的分区Pin，所以即使该编码模式m(Bn)是直接模式的帧间模式，也可以不将编码块Bn的分区Pin输出到直接矢量生成部23。
运动补偿预测部5的运动矢量搜索部22如果从切换开关21接收到编码块Bn的分区Pin，则一边参照该分区Pin和运动补偿预测帧存储器12中保存的参照图像，一边以帧间模式搜索最佳的运动矢量，将该运动矢量输出到运动补偿处理部24。
以帧间模式搜索最佳的运动矢量的处理本身是公知的技术，所以省略详细的说明。
运动补偿预测部5的直接矢量生成部23在编码模式m(Bn)是直接模式的情况下，针对编码块Bn的每个分区Pin，生成空间直接模式的空间直接矢量和时间直接模式的时间直接矢量，将该空间直接矢量或者时间直接矢量中的某一方作为运动矢量输出到运动补偿处理部24。
另外，表示属于编码块Bn的分区Pin的分割状态的信息如上所述，包含于编码模式m(Bn)中，所以直接矢量生成部23能够通过参照编码模式m(Bn)，确定编码块Bn的分区Pin。
即，直接矢量生成部23的空间直接矢量生成部31从由未图示的运动矢量存储器或者内部存储器保存的已编码块的运动矢量中，读出位于编码块Bn的分区Pin的周围的已编码块的运动矢量，根据该运动矢量生成空间直接模式的空间直接矢量。
另外，直接矢量生成部23的时间直接矢量生成部32从已编码块的运动矢量中，读出作为编码块Bn可参照的已编码图片的运动矢量的、与编码块Bn的分区Pin在空间上处于相同的位置的块的运动矢量，根据该运动矢量生成时间直接模式的时间直接矢量。
此处，图11是示出以时间直接模式生成运动矢量(时间直接矢量)的方法的示意图。
例如，假设图片B2中的块MB1是编码对象的分区Pin，以时间直接模式对块MB1进行编码的情况。
在该情况下，使用作为图片P3的运动矢量的、与块MB1在空间上处于相同的位置的块MB2的运动矢量MV，其中，该图片P3是图片B2的在时间轴上处于后方的已编码图片中的、最接近图片B2的图片。
该运动矢量MV参照了图片P0，在对块MB1进行编码时使用的运动矢量MVL0、MVL1通过以下的式(3)来求出。
时间直接矢量生成部32如果计算出运动矢量MVL0、MVL1，则将该运动矢量MVL0、MVL1作为时间直接模式的时间直接矢量输出到直接矢量判定部33。
其中，时间直接矢量生成部32中的时间直接矢量的生成方法可以使用图11所示那样的H.264方式，但不限于此，也可以使用其他方法。
图12是示出以空间直接模式生成运动矢量(空间直接矢量)的方法的示意图。
在图12中，当前MB(currentMB)表示作为编码对象的块的分区Pin。
此时，如果将编码对象的块的左边的已编码块A的运动矢量设为MVa、将编码对象的块的上面的已编码块B的运动矢量设为MVb、将编码对象的块的右上的已编码块C的运动矢量设为MVc，则通过如下述式(4)所示求出这些运动矢量MVa、MVb、MVc的中值(中央值)，能够计算编码对象的块的运动矢量MV。
MV＝median(MVa、MVb、MVc) (4)
在空间直接模式中，针对列表0以及列表1分别求出运动矢量，但都能够使用上述方法来求出。
空间直接矢量生成部31如果如上所述计算出列表0以及列表1的运动矢量MV，则将列表0以及列表1的运动矢量MV作为空间直接模式的空间直接矢量输出到直接矢量判定部33。
其中，空间直接矢量生成部31中的空间直接矢量的生成方法可以使用图12所示那样的H.264方式，但不限于此，也可以使用其他方法。
例如，也可以如图13所示，作为中值预测的候补，利用从A1-An、B1-Bn分别各选1个、从C、D、E选1个的这3个，生成空间直接矢量。
另外，在空间直接矢量的生成中使用的MV候补不同的ref_Idx的情况下，也可以如图14所示，根据时间方向的距离进行缩放。
其中，scaled_MV表示缩放后的矢量、MV表示缩放前的运动矢量、d(x)表示直到x为止的时间上的距离。
另外，Xr表示编码对象的块表示的参照图像、Yr表示作为缩放的对象的块位置A-D表示的参照图像。
如果空间直接矢量生成部31生成了空间直接矢量，则直接矢量生成部23的直接矢量判定部33使用该空间直接矢量，计算空间直接模式的评价值。
另外，如果时间直接矢量生成部32生成了时间直接矢量，则直接矢量判定部33使用该时间直接矢量，计算时间直接模式的评价值。
直接矢量判定部33比较该空间直接模式的评价值和时间直接模式的评价值，在该空间直接矢量或者时间直接矢量中，通过如以下记载那样的判定单元，选择直接模式的直接矢量并输出到运动补偿处理部24。
以下，具体说明直接矢量判定部33的处理内容。
如果空间直接矢量生成部31生成了空间直接矢量MVL0、MVL1，则直接矢量判定部33的运动补偿部41使用该空间直接矢量MVL0，生成空间直接模式的列表0预测图像，使用该空间直接矢量MVL1，生成空间直接模式的列表1预测图像。
此处，图15是示出基于前方预测图像和后方预测图像的类似度的评价值的计算例的说明图，在图15的例子中，作为空间直接模式的列表0预测图像，生成了前方预测图像fspatial，作为空间直接模式的列表1预测图像，生成了后方预测图像gspatial。
另外，如果时间直接矢量生成部32生成了作为列表0以及列表1的运动矢量MV的时间直接矢量，则运动补偿部41使用作为前方的运动矢量MV的时间直接矢量，生成时间直接模式的列表0预测图像，使用作为后方的运动矢量MV的时间直接矢量，生成时间直接模式的时间直接模式的列表1预测图像。
在图15的例子中，作为时间直接模式的列表0预测图像，生成了时间直接模式的前方预测图像ftemporal，作为时间直接模式的列表1预测图像，生成了后方预测图像gtemporal。
此处，示出了使用表示前方向的参照图像的参照图像列表0、和表示后方向的参照图像的参照图像列表1，作为列表0预测图像生成前方预测图像，作为列表1预测图像生成后方预测图像的例子，但也可以使用表示后方向的参照图像的参照图像列表0、和表示前方向的参照图像的参照图像列表1，作为列表0预测图像生成后方预测图像，作为列表1预测图像生成前方预测图像。
另外，也可以使用表示前方向的参照图像的参照图像列表0、和表示更前方向的参照图像的参照图像列表1，作为列表0预测图像以及列表1预测图像，生成前方预测图像(详细后述)。
如果生成了空间直接模式的列表0预测图像和列表1预测图像，则直接矢量判定部33的类似度计算部42如下述式(6)那样，计算空间直接模式的评价值SADspatial。
在式(6)中，为便于说明，将空间直接模式的列表0预测图像设为前方预测图像fspatial、将空间直接模式的列表1预测图像设为后方预测图像gspatial。
SADspatial＝|fspatial-gspatial| (6)
另外，如果生成了时间直接模式的列表0预测图像和列表1预测图像，则类似度计算部42如下述式(7)那样，计算时间直接模式的评价值SADtemporal。
在式(7)中，为便于说明，将时间直接模式的列表0预测图像设为前方预测图像ftemporal、将时间直接模式的列表1预测图像设为后方预测图像gtemporal。
SADtemporal＝|ftemporal-gtemporal| (7)
另外，前方预测图像和后方预测图像间的差分越大，2个图像间的类似度越低(表示2个图像的差分绝对值和的评价值SAD变大)，时间上的相关越低。相反地，前方预测图像和后方预测图像间的差分越小，2个图像间的类似度越高(表示2个图像的差分绝对值和的评价值SAD变小)，时间上的相关越高。
另外，关于以直接矢量预测的图像，应该对与编码对象的块类似的图像进行预测。在使用2个矢量来生成预测图像的情况下，各个矢量预测的图像应该与编码对象的块类似，这表示2个参照图像的相关高。
因此，通过选择评价值SAD小的一方的直接矢量，能够选择参照图像间的相关高的模式，能够提高直接模式的精度。
如果类似度计算部42计算出空间直接模式的评价值SADspatial、和时间直接模式的评价值SADtemporal，则直接矢量判定部33的直接矢量选择部43通过比较该评价值SADspatial和评价值SADtemporal，比较空间直接模式中的前方预测图像fspatial和后方预测图像gspatial的类似度、以及时间直接模式中的前方预测图像ftemporal和后方预测图像gtemporal的类似度。
直接矢量选择部43在空间直接模式中的前方预测图像fspatial和后方预测图像gspatial的类似度高于时间直接模式中的前方预测图像ftemporal和后方预测图像gtemporal的类似度的情况(SADspatial≤SADtemporal)下，选择由空间直接矢量生成部31生成的空间直接矢量，将该空间直接矢量作为运动矢量输出到运动补偿处理部24。
另一方面，在时间直接模式中的前方预测图像ftemporal和后方预测图像gtemporal的类似度高于空间直接模式中的前方预测图像fspatial和后方预测图像gspatial的类似度的情况(SADspatial>SADtemporal)下，选择由时间直接矢量生成部32生成的时间直接矢量，将该时间直接矢量作为运动矢量输出到运动补偿处理部24。
运动补偿处理部24在编码模式m(Bn)并非直接模式时，如果从运动矢量搜索部22接收到运动矢量，则使用该运动矢量和运动补偿预测帧存储器12中保存的1帧的参照图像，根据从编码控制部1输出的帧间预测参数，实施运动补偿预测处理，从而生成预测图像。
另一方面，在编码模式m(Bn)是直接模式时，如果从直接矢量生成部23接收到运动矢量(由直接矢量选择部43选择的直接矢量)，则使用该运动矢量和运动补偿预测帧存储器12中保存的1帧的参照图像，根据从编码控制部1输出的帧间预测参数，实施运动补偿预测处理，从而生成预测图像。
另外，运动补偿处理部24的运动补偿预测处理是公知的技术，所以省略详细的说明。
此处，示出了类似度计算部42计算作为差分绝对值和的评价值SAD，直接矢量选择部43比较评价值SAD的例子，但也可以是类似度计算部42计算前方预测图像和后方预测图像间的差分平方和SSE而作为评价值，直接矢量选择部43比较差分平方和SSE。通过使用SSE，处理量增加，但能够更准确地计算类似度。
接下来，说明图5的图像解码装置的处理内容。
可变长解码部51如果输入了从图1的图像编码装置输出的比特流，则实施针对该比特流的可变长解码处理，以由1帧以上的图片构成的序列为单位或者以图片为单位对帧尺寸进行解码(图8的步骤ST21)。
可变长解码部51通过与图1的编码控制部1同样的步骤，决定作为实施运动补偿预测处理(帧之间预测处理)或者帧内预测处理(帧之内预测处理)时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数(步骤ST22)。
例如，在图像编码装置中，根据输入图像的分辨率决定了编码块的最大尺寸的情况下，根据之前解码的帧尺寸来决定编码块的最大尺寸。
另外，在表示编码块的最大尺寸以及上限的层次数的信息被多路复用于比特流的情况下，参照从该比特流解码出的信息。
在多路复用到比特流的最大尺寸的编码块B0的编码模式m(B0)中，包括表示最大尺寸的编码块B0的分割状态的信息，所以可变长解码部51对多路复用到比特流的最大尺寸的编码块B0的编码模式m(B0)进行解码，而确定层次性地分割的各个编码块Bn(步骤ST23)。
可变长解码部51如果确定了各个编码块Bn，则对该编码块Bn的编码模式m(Bn)进行解码，根据属于该编码模式m(Bn)的分区Pin的信息，确定属于编码块Bn的分区Pin。
可变长解码部51如果确定了属于编码块Bn的分区Pin，则针对每个分区Pin，解码出压缩数据、编码模式、预测差分编码参数、帧内预测参数/帧间预测参数(步骤ST24)。
切换开关52在属于由可变长解码部51确定的编码块Bn的分区Pin的编码模式m(Bn)是帧内编码模式的情况下(步骤ST25)，将从可变长解码部51输出的帧内预测参数输出到帧内预测部53。
另一方面，在分区Pin的编码模式m(Bn)是帧间编码模式的情况下(步骤ST25)，将从可变长解码部51输出的帧间预测参数输出到运动补偿预测部54。
帧内预测部53如果从切换开关52接收到帧内预测参数，则使用该帧内预测参数，实施针对该编码块Bn的分区Pin的帧内预测处理，生成帧内预测图像Pin(步骤ST26)。
运动补偿预测部54在从切换开关52接收到帧间预测参数时，如果从可变长解码部51输出的编码模式m(Bn)是直接模式的帧间编码模式，则与图1的运动补偿预测部5同样地，生成空间直接模式的空间直接矢量和时间直接模式的时间直接矢量。
运动补偿预测部54如果生成了空间直接模式的空间直接矢量和时间直接模式的时间直接矢量，则与图1的运动补偿预测部5同样地，从该空间直接矢量或者时间直接矢量中，选择参照图像间的相关高的一方的直接矢量，使用该直接矢量以及帧间预测参数，实施针对编码块Bn的分区Pin的运动补偿预测处理，生成帧间预测图像Pin(步骤ST27)。
另一方面，如果从可变长解码部51输出的编码模式m(Bn)是直接模式以外的帧间编码模式，则运动补偿预测部54的运动补偿处理部63使用从切换开关52输出的帧间预测参数中包含的运动矢量，实施针对编码块Bn的分区Pin的运动补偿预测处理，生成帧间预测图像Pin(步骤ST27)。
逆量化·逆变换部55使用从可变长解码部51输出的预测差分编码参数中包含的量化参数，对从可变长解码部51输出的与编码块有关的压缩数据进行逆量化，以该预测差分编码参数中包含的变换块尺寸为单位，实施逆量化的压缩数据的逆变换处理(例如，逆DCT(逆离散余弦变换)、逆KL变换等逆变换处理)，从而将逆变换处理后的压缩数据作为解码预测差分信号(表示压缩前的差分图像的信号)输出到加法部56(步骤ST28)。
加法部56如果从逆量化·逆变换部55接收到解码预测差分信号，则将该解码预测差分信号和表示由帧内预测部53或者运动补偿预测部54生成的预测图像的预测信号相加，从而生成解码图像，将表示该解码图像的解码图像信号保存到帧内预测用存储器57，并且将该解码图像信号输出到环路滤波器部58(步骤ST29)。
直到针对层次性地分割了的所有编码块Bn的处理完成为止，反复实施步骤ST23～ST29的处理(步骤ST30)。
环路滤波器部58如果从加法器56接收到解码图像信号，则补偿该解码图像信号中包含的编码失真，将编码失真补偿后的解码图像信号表示的解码图像作为参照图像保存到运动补偿预测帧存储器59(步骤ST31)。
利用环路滤波器部58的滤波处理既可以以从加法器56输出的解码图像信号的最大编码块或者各个编码块为单位进行，也可以在输出了与1画面量的宏块相当的解码图像信号之后汇总1画面量来进行。
如以上说明，根据该实施方式1，构成为设置：编码控制部1，决定作为实施预测处理时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数，从可利用的1个以上的编码模式中，选择适合于层次性地分割的各个编码块的编码模式；以及块分割部2，将输入图像分割为由编码控制部1决定的最大尺寸的编码块，并且直到达到由编码控制部1决定的上限的层次数为止，将该编码块层次性地分割，在作为适合于由块分割部2分割的编码块的编码模式，由编码控制部1选择了直接模式的帧间编码模式的情况下，运动补偿预测部5根据位于该编码块的周围的已编码块的运动矢量生成空间直接模式的空间直接矢量，并且根据该编码块可参照的已编码图片的运动矢量生成时间直接模式的时间直接矢量，从该空间直接矢量或者时间直接矢量中，选择参照图像间的相关高的一方的直接矢量，使用该直接矢量，实施针对该编码块的运动补偿预测处理来生成预测图像，所以起到能够以规定的块为单位选择最佳的直接模式，削减代码量的效果。
另外，根据该实施方式1，构成为设置从多路复用到比特流的编码数据可变长解码出与层次性地分割的各个编码块有关的压缩数据以及编码模式的可变长解码部51，在由可变长解码部51可变长解码了的与编码块有关的编码模式是直接模式的帧间编码模式的情况下，运动补偿预测部54根据位于该编码块的周围的已解码块的运动矢量生成空间直接模式的空间直接矢量，并且根据该编码块可参照的已解码图片的运动矢量生成时间直接模式的时间直接矢量，从该空间直接矢量或者时间直接矢量中，选择参照图像间的相关高的一方的直接矢量，使用该直接矢量，实施针对该编码块的运动补偿预测处理来生成预测图像，所以起到得到能够以规定的块为单位选择最佳的直接模式那样的能够对编码数据进行解码的运动图像解码装置的效果。
实施方式2.
在上述实施方式1中，示出了运动补偿预测部5、54(具体而言，类似度计算部42)计算空间直接模式的前方预测图像fspatial和后方预测图像gspatial的类似度而作为空间直接模式的评价值SADspatial，另一方面，计算时间直接模式的前方预测图像ftemporal和后方预测图像gtemporal的类似度而作为时间直接模式的评价值SADtemporal的例子，但也可以是作为空间直接模式的评价值，计算位于编码块Bn的周围的已编码块(已解码块)的运动矢量的方差值σ(spatial)，另一方面，作为时间直接模式的评价值，计算在编码块Bn可参照的已编码图片(已解码图片)中位于与编码块Bn在空间上处于相同的位置的块的周围的已编码块(已解码块)的运动矢量的方差值σ(temporal)，能够起到与上述实施方式1同样的效果。
即，在类似度计算部42中，作为空间直接模式的评价值SADspatial，代替计算空间直接模式的前方预测图像fspatial和后方预测图像gspatial的类似度，而如图16(a)所示，计算位于编码块Bn的周围的已编码块(已解码块)的运动矢量的方差值σ(spatial)(参照下述式(8))。
另外，在类似度计算部42中，作为时间直接模式的评价值SADtemporal，代替计算时间直接模式的前方预测图像ftemporal和后方预测图像gtemporal的类似度，而如图16(b)所示，在编码块Bn可参照的已编码图片(已解码图片)中，计算位于与编码块Bn在空间上处于相同的位置的块的周围的已编码块(已解码块)的运动矢量的方差值σ(temporal)(参照下述式(8))。
其中，MVm,i表示周围的运动矢量，表示周围的运动矢量的平均。
另外，m是表示spatial或者temporal的记号。
直接矢量选择部43比较运动矢量的方差值σ(spatial)和运动矢量的方差值σ(temporal)，在运动矢量的方差值σ(spatial)大于运动矢量的方差值σ(temporal)的情况下，判断为空间直接模式的运动矢量(空间直接矢量)的可靠性低，选择时间直接模式的运动矢量(时间直接矢量)。
另一方面，在运动矢量的方差值σ(temporal)大于运动矢量的方差值σ(spatial)的情况下，判断为时间直接模式的运动矢量(时间直接矢量)的可靠性低，选择空间直接模式的运动矢量(空间直接矢量)。
在上述实施方式1中，示出了生成时间直接矢量和空间直接矢量，选择某一方的直接矢量的例子，但也可以除了该时间直接矢量、空间直接矢量以外，将其他矢量也作为候补矢量加上，从这些候补矢量中选择直接矢量。
例如，也可以将图17那样的空间矢量MV_A、MV_B、MV_C、时间矢量MV_1～MV_8加到候补矢量，从这些空间矢量、时间矢量选择直接矢量。
另外，也可以如图18所示，根据多个已编码矢量生成1个矢量，将该矢量加到候补矢量。
这样，通过增加候补矢量而处理量增加，但直接矢量的准确度提高，而能够提高编码效率。
在上述实施方式1中，虽然没有特别提到，但也可以将直接矢量的候补以切片单位决定。
表示将哪个矢量作为候补的信息多路复用到切片头。
例如考虑，关于时间矢量，在摄全景(pan)那样的影像中，时间矢量的效果低，所以从选择候补去掉，另一方面，在照相机被固定的影像中，空间矢量的效果大，所以加到候补等方法。
成为候补的矢量多时，能够生成更接近原图像的预测图像，但编码器的处理量增大，所以将没有效果的矢量预先从候补去掉等，考虑影像的局部性来决定，从而能够实现处理量和编码效率的平衡。
关于成为候补的矢量的切换，例如，考虑针对每个矢量设置ON/OFF(“通”/“断”)的标志，仅将该标志是ON的矢量作为候补的方法。
关于成为选择候补的运动矢量，既可以通过切片头切换，也可以通过序列头、图片头等上位层切换。另外，也可以准备一个以上的成为选择候补的群组，而对该候补群组的索引进行编码。
另外，也可以针对每个宏块、编码块切换。通过针对每个宏块、编码块切换，能够使得具有局部性，具有编码效率改善的效果。
另外，也可以针对每个分区块尺寸唯一地决定选择候补。一般认为，如果块尺寸变小，则空间上的相关变弱，所以通过中值预测决定的矢量的预测精度恶化。因此，例如，通过将利用中值预测决定的运动矢量从候补去掉，不会降低编码效率而能够减少处理量。
在上述实施方式1中，假设存在时间直接矢量和空间直接矢量这双方的情况而进行了说明，但在对编码块Bn实施了帧内编码处理的情况等下，还有时不存在运动矢量。在该情况下，考虑设为零矢量的方法、从候补去掉等方法。
在设为零矢量的情况下，候补增加，所以能够提高编码效率，但处理量增加。在从直接矢量的候补去掉的情况下，能够减少处理量。
在上述实施方式1中，示出了生成直接矢量的例子，但也可以将该直接矢量用作通常的运动矢量的编码中使用的预测矢量。
通过将直接矢量用作预测矢量，处理量增加，但预测的精度提高，所以能够提高编码效率。
在上述实施方式1中，示出了组合与编码块Bn相比在时间上处于前面的图像、和处于后面的图像来计算评价值SAD的例子(参照图15)，但也可以如图19所示，仅组合在时间上处于前面的图像，来计算评价值SAD。另外，也可以仅组合在时间上处于后面的图像，来计算评价值SAD。
在该情况下，时间矢量如下述式(9)(10)所示。
其中，是列表0的矢量，是列表1的矢量。
另外，d表示时间上的距离，d0表示列表0的参照图像的时间上的距离，d1表示列表0的参照图像的时间上的距离。
而且，vcol和dcol表示在参照图像中在空间上处于相同的位置的块的矢量、和该矢量表示的参照图像的在时间上的距离。
即使在2个参照图像列表表示相同的参照图像的情况下，只要在列表中有2张以上的参照图像，就能够通过与图19同样的方法应用。
在上述实施方式1中，假设了在2个参照图像列表中有2张以上的参照图像的情况，但还考虑实际上参照图像仅有1张的情况。
在该情况下，考虑如果在2个参照图像列表中设置了相同的参照图像，则不使用时间矢量，而仅通过空间矢量来判断。在设置了不同的参照图像的情况下，能够通过上述方式来对应。
在上述实施方式1中，假设了从2个方向的预测处理，但也可以是仅1个方向的预测处理。在根据1个方向的矢量预测的情况下，对表示使用哪一个矢量的信息进行编码而传送。由此，能够应对遮挡(occlusion)等问题，有助于预测精度的提高。
在上述实施方式1的直接模式中，假设了使用了2个矢量的预测，但矢量的个数也可以是3个以上。
在该情况下，例如，考虑使用多个矢量候补中的、成为阈值Th以下的评价值SAD的所有候补来生成预测图像的方法。另外，将参照图像列表也保持与该矢量相应的量。
另外，也可以并非使用阈值Th以下的所有候补，而在切片头等中，预先决定所使用的最大矢量数，从评价值小的候补起使用与最大矢量数相应的量来生成预测图像。
一般，已知预测图像中使用的参照图像越多，性能越提高。因此，虽然处理量增加，但有助于编码效率的提高。
在上述实施方式1中，通过参照图像间的评价决定了矢量，但其也可以通过在空间上邻接的已编码的图像和参照图像的比较来评价。
在该情况下，考虑使用图20所示那样的L字型的图像来进行。
另外，在使用空间上邻接的图像的情况下，在流水线处理的情形下已编码的图像还有可能来不及。在该情况下，考虑代替地使用预测图像。
在上述实施方式1中，示出了如图9所示，编码块Bn的尺寸是Ln＝Mn的例子，但编码块Bn的尺寸也可以是Ln≠Mn。
例如，考虑如图21所示，编码块Bn的尺寸成为Ln＝kMn的情况。
在接下来的分割中，成为(Ln+1，Mn+1)＝(Ln，Mn)，以后的分割既可以进行与图9同样的分割，也可以如(Ln+1，Mn+1)＝(Ln/2，Mn/2)那样进行分割(参照图22)。
另外，也可以如图23所示，能够选择图21和图22的分割中的某一个。在能够选择的情况下，对表示选择了哪一个分割的标志进行编码。在该情形下，仅通过例如非专利文献1的H.264那样的将以16×16作为1个块的部分横向连结就能够实现，所以能够维持与既存方式的互换性。
在上述中，示出了编码块Bn的尺寸成为Ln＝kMn的情况，但即使如kLn＝Mn那样纵向连结，当然也能够通过同样的考虑来分割。
在上述实施方式1中，示出了变换·量化部7、逆量化·逆变换部8、55以预测差分编码参数中包含的变换块尺寸为单位实施变换处理(逆变换处理)的例子，但变换块尺寸单位也可以通过变换处理单位唯一地决定，也可以如图24所示设为层次构造。在该情况下，对表示在各层次中是否进行分割的标志进行编码。
上述分割既可以以分区为单位进行，也可以以编码块为单位进行。
上述变换假定了正方形下的变换，但也可以是长方形等其他矩形下的变换。
实施方式3.
在上述实施方式1中，示出了运动补偿预测部5、54的直接矢量生成部23、62生成空间直接矢量和时间直接矢量的例子，但也可以在生成该空间直接矢量和时间直接矢量时，通过决定初始搜索点，并搜索该初始搜索点的周围，来决定直接矢量。
图25是示出本发明的实施方式3的运动图像编码装置的运动补偿预测部5的结构图，在图中，与图2相同的符号表示同一或者相当部分，所以省略说明。
直接矢量生成部25实施生成空间直接矢量和时间直接矢量的处理。
图26是示出构成了运动补偿预测部5的直接矢量生成部25的结构图。
在图26中，初始矢量生成部34实施根据已编码的块的运动矢量生成初始矢量的处理。
运动矢量搜索部35实施：通过搜索由初始矢量生成部34生成的初始矢量表示的初始搜索点的周围，决定直接矢量的处理。
图27是示出构成了直接矢量生成部25的初始矢量生成部34的结构图。
在图27中，空间矢量生成部71实施：通过与例如图3的空间直接矢量生成部31同样的方法，根据已编码的块的运动矢量生成空间矢量的处理。
时间矢量生成部72实施：通过与例如图3的时间直接矢量生成部32同样的方法，根据已编码的块的运动矢量生成时间矢量的处理。
初始矢量判定部73实施：将由空间矢量生成部71生成的空间矢量或者由时间矢量生成部72生成的时间矢量中的某一方选择为初始矢量的处理。
图28是示出构成了初始矢量生成部34的初始矢量判定部73的结构图。
在图28中，运动补偿部81实施：通过与图4的运动补偿部41同样的方法，生成空间直接模式的列表0预测图像、空间直接模式的列表1预测图像、时间直接模式的列表0预测图像以及时间直接模式的列表1预测图像的处理。
类似度计算部82实施如下处理：通过与图4的类似度计算部42同样的方法，作为空间评价值，计算空间直接模式的列表0预测图像和列表1预测图像的类似度，并且作为时间评价值，计算时间直接模式的列表0预测图像和列表1预测图像的类似度。
初始矢量决定部83实施如下处理：比较由类似度计算部82计算的空间评价值和时间评价值，依照其比较结果，选择空间矢量或者时间矢量。
图29是示出本发明的实施方式3的运动图像解码装置的运动补偿预测部54的结构图，在图中，与图6相同的符号表示同一或者相当部分，所以省略说明。
直接矢量生成部64实施生成空间直接矢量和时间直接矢量的处理。
另外，直接矢量生成部64的内部结构与图25的直接矢量生成部25相同。
接下来，说明动作。
相比于上述实施方式1，除了运动补偿预测部5、54的直接矢量生成部23、62被代替为直接矢量生成部25、64这一点以外相同，所以仅说明直接矢量生成部25、64的处理内容。
其中，直接矢量生成部25、64的处理内容相同，所以说明直接矢量生成部25的处理内容。
直接矢量生成部25的初始矢量生成部34根据已编码的块的运动矢量生成初始矢量MV_first。
即，初始矢量生成部34的空间矢量生成部71通过与例如图3的空间直接矢量生成部31同样的方法，根据已编码的块的运动矢量生成空间矢量。但是，也可以通过其他方法生成空间矢量。
初始矢量生成部34的时间矢量生成部72通过与例如图3的时间直接矢量生成部32同样的方法，根据已编码的块的运动矢量生成时间矢量。但是，也可以通过其他方法生成时间矢量。
初始矢量生成部34的初始矢量判定部73在空间矢量生成部71生成了空间矢量，时间矢量生成部72生成了时间矢量时，从该空间矢量或者时间矢量中，将某一方的矢量选择为初始矢量MV_first。
即，初始矢量判定部73的运动补偿部81通过与图4的运动补偿部41同样的方法，生成空间直接模式的列表0预测图像、空间直接模式的列表1预测图像、时间直接模式的列表0预测图像以及时间直接模式的列表1预测图像。
初始矢量判定部73的类似度计算部82通过与图4的类似度计算部42同样的方法，作为空间评价值，计算空间直接模式的列表0预测图像和列表1预测图像的类似度，并且作为时间评价值，计算时间直接模式的列表0预测图像和列表1预测图像的类似度。
初始矢量判定部73的初始矢量决定部83通过参照由类似度计算部82计算的空间评价值和时间评价值的比较结果，选择空间矢量或者时间矢量中的、预测图像间的类似度高的一方的矢量。
直接矢量生成部25的运动矢量搜索部35在初始矢量生成部34生成了初始矢量MV_first时，如图30所示，以该初始矢量MV_first表示的初始搜索点(块)为中心，搜索其周围±n的范围，从而决定直接矢量。
搜索时的评价也可以进行与例如图28的类似度计算部82等同的处理。在该情况下，如果将初始矢量表示的位置设为v，则如下述式(11)那样，计算搜索的评价值SAD。
SAD＝|f(v1-x)-g(v2+x)| (11)
其中，搜索范围n既可以固定，也可以通过切片头等上位头决定。另外，将搜索点的分布范围(搜索范围)假定为正方形，但也可以是矩形，也可以是菱形等。
运动矢量搜索部35在计算了搜索的评价值SAD时，在搜索范围内，将评价值SAD最小的运动矢量作为直接矢量输出到运动补偿处理部24。
在该实施方式3中，示出了生成时间矢量和空间矢量，将某一方的矢量选择为初始矢量的例子，但也可以除了该时间矢量、空间矢量以外，将其他矢量也作为候补矢量加上，从这些候补矢量中选择初始矢量。
例如，也可以将图17那样的空间矢量MV_A、MV_B、MV_C、时间矢量MV_1～MV_8加到候补矢量，从这些空间矢量、时间矢量选择初始矢量。
另外，也可以如图18所示，根据多个已编码矢量生成1个矢量，将该矢量加到候补矢量。
这样，通过增加候补矢量而处理量增加，但初始矢量的准确度提高，而能够提高编码效率。
在该实施方式3中，也可以以切片为单位决定直接矢量的候补。
表示将哪个矢量作为候补的信息多路复用到切片头。
例如考虑，关于时间矢量，在摄全景那样的影像中，时间矢量的效果低，所以从选择候补去掉，另一方面，在照相机是固定的影像中，时间矢量的效果大，所以加到候补等方法。
成为候补的矢量多时，能够生成更接近原图像的预测图像，但编码器的处理量增大，所以将没有效果的矢量预先从候补去掉等，考虑影像的局部性来决定，从而能够实现处理量和编码效率的平衡。
关于成为候补的矢量的切换，例如，考虑针对每个矢量设置ON/OFF的标志，仅将该标志是ON的矢量作为候补的方法。
关于成为选择候补的运动矢量，既可以通过切片头切换，也可以通过序列头、图片头等上位层切换。另外，也可以准备一个以上的成为选择候补的群组，而对该候补群组的索引进行编码。
另外，也可以针对每个宏块、编码块进行切换。通过针对每个宏块、编码块进行切换，能够使得具有局部性，具有编码效率改善的效果。
另外，也可以针对每个分区块尺寸唯一地决定选择候补。一般认为，如果块尺寸变小，则空间上的相关变弱，所以通过中值预测决定的矢量的预测精度恶化。因此，例如，通过将利用中值预测决定的运动矢量从候补去掉，不会降低编码效率而能够减少处理量。
在该实施方式3中，假设存在时间矢量和空间矢量这双方的情况而进行了说明，但在对编码块Bn实施帧内编码处理的情况等下，还有时不存在运动矢量。在该情况下，考虑设为零矢量的方法、从候补去掉等方法。
在设为零矢量的情况下，候补增加，所以能够提高编码效率，但处理量增加。在从直接矢量的候补去掉的情况下，能够减少处理量。
在该实施方式3中，示出了生成直接矢量的例子，但也可以将该直接矢量用作通常的运动矢量的编码中使用的预测矢量。
通过将直接矢量用作预测矢量，处理量增加，但预测的精度提高，所以能够提高编码效率。
在该实施方式3中，示出了组合与编码块Bn相比在时间上处于前面的图像、和处于后面的图像，来计算评价值SAD的例子(参照图15)，但也可以如图19所示，仅组合在时间上处于前面的图像，来计算评价值SAD。另外，也可以仅组合在时间上处于后面的图像，来计算评价值SAD。
在该情况下，时间矢量如下述式(12)(13)所示。
其中，是列表0的矢量，是列表1的矢量。
另外，d表示时间上的距离，d0表示列表0的参照图像的时间上距离，d1表示列表0的参照图像的时间上的距离。
而且，vcol和dcol表示在参照图像中在空间上处于相同的位置的块的矢量、和该矢量表示的参照图像的在时间上的距离。
即使在2个参照图像列表表示相同的参照图像的情况下，也能够通过与图19同样的方法应用。
在该实施方式3中，假设了在2个参照图像列表中有2张以上的参照图像的情况，但还考虑实际上参照图像仅有1张的情况。
在该情况下，考虑如果在2个参照图像列表中设置了相同的参照图像，则不使用时间矢量，而仅通过空间矢量来判断。在设置了不同的参照图像的情况下，能够通过上述方式来对应。
在该实施方式3中，假设了从2个方向的预测处理，但也可以是仅1个方向的预测处理。在根据1个方向的矢量预测的情况下，对表示使用哪个矢量的信息进行编码而传送。由此，能够应对遮挡等问题，有助于预测精度的提高。
在该实施方式3中，假设了使用了2个矢量的预测，但矢量的个数也可以是3个以上。
在该情况下，例如，考虑使用多个矢量候补中的、成为阈值Th以下的评价值SAD的所有候补来生成预测图像的方法。
另外，也可以并非使用阈值Th以下的所有候补，而在切片头等中，预先决定所使用的最大矢量数，从评价值小的候补起使用与最大矢量数相应的量来生成预测图像。
在该实施方式3中，通过参照图像间的评价决定了矢量，但其也可以通过在空间上邻接的已编码的图像和参照图像的比较来评价。
在该情况下，考虑使用图20所示那样的L字型的图像来进行。
另外，在使用空间上邻接的图像的情况下，在流水线处理的情形下已编码的图像还有可能来不及。在该情况下，考虑代替地使用预测图像。
在该实施方式3中，在决定了初始矢量之后，进行了运动矢量的搜索，但也可以以切片为单位使用标志来决定是否进行运动矢量的搜索。
在该情况下，虽然编码效率降低，但具有能够大幅削减处理量的效果。
其中，标志既可以是切片单位，也可以通过序列、图片等上位层决定。在标志是OFF，不进行运动搜索的情况下，进行与上述实施方式1等同的动作。
在该实施方式3中，假设了直接矢量生成部25、64不依赖于块尺寸而进行，但该处理也可以仅限于规定的尺寸以下的情况。
表示是否限制于规定的尺寸以下的标志、表示设为哪个块尺寸以下的信息也可以多路复用于切片等上位头，也可以根据最大CU尺寸变化。
如果块尺寸变小，则参照图像间的相关变低，具有误差变大的倾向。因此，不论选择哪个矢量，都不太对性能造成影响的情形也多，通过使大的块尺寸下的处理成为OFF，具有不会降低编码性能而削减处理量的效果。
实施方式4.
在上述实施方式1中，示出了运动补偿预测部5、54根据位于编码块的周围的已编码块(已解码块)的运动矢量生成空间直接模式的空间直接矢量，并且根据该编码块可参照的已编码图片(已解码图片)的运动矢量生成时间直接模式的时间直接矢量，从该空间直接矢量或者时间直接矢量中，选择参照图像间的相关高的一方的直接矢量的例子，但也可以在运动图像编码装置的运动补偿预测部5中，从可选择的1个以上的运动矢量中，选择适合于预测图像的生成的运动矢量，使用该运动矢量，实施针对编码块的运动补偿预测处理来生成预测图像，并且将表示该运动矢量的索引信息输出到可变长编码部13。
另一方面，也可以在运动图像解码装置的运动补偿预测部54中，使用多路复用到比特流的索引信息表示的运动矢量，实施针对编码块的运动补偿预测处理来生成预测图像。
图31是示出本发明的实施方式4的运动图像编码装置的运动补偿预测部5的结构图，在图中，与图2相同的符号表示同一或者相当部分，所以省略说明。
直接矢量生成部26实施如下处理：参照记述了可选择的运动矢量、和表示该运动矢量的索引信息的直接矢量候补索引，从可选择的1个以上的运动矢量中，选择适合于预测图像的生成的运动矢量，将该运动矢量作为直接矢量输出到运动补偿处理部24，并且将表示该运动矢量的索引信息输出到可变长编码部13。
另外，可变长编码部13在对压缩数据、编码模式等进行可变长编码时，将其索引信息包含于帧间预测参数而进行可变长编码。
图32是示出本发明的实施方式4的运动图像解码装置的运动补偿预测部54的结构图，在图中，与图6相同的符号表示同一或者相当部分，所以省略说明。
直接矢量生成部65实施如下处理：输入记述了可选择的运动矢量、和表示该运动矢量的索引信息的直接矢量候补索引，从该直接矢量候补索引，读出帧间预测参数中包含的索引信息表示的运动矢量，将该运动矢量作为直接矢量输出到运动补偿处理部63。
接下来，说明动作。
相比于上述实施方式1，除了运动补偿预测部5、54的直接矢量生成部23、62被代替为直接矢量生成部26、65这一点以外是相同的，所以仅说明直接矢量生成部26、65的处理内容。
运动补偿预测部5的直接矢量生成部26在编码模式m(Bn)是直接模式的情况下，针对编码块Bn的每个分区Pin，生成直接矢量。
即，直接矢量生成部26参照图33所示那样的直接矢量候补索引，从可选择的1个以上的运动矢量中，选择适合于预测图像的生成的运动矢量。
在图33的例子中，作为可选择的运动矢量，列举了5个运动矢量，但在空间预测中，“median”被最多地选出，所以对“median”分配了索引0。
直接矢量生成部26在选择适合于预测图像的生成的运动矢量时，如下述式(14)所示，根据从可选择的运动矢量得到的预测图像和原图像的失真、以及可选择的运动矢量的索引代码量计算成本R，在多个运动矢量中，选择成本R最小的运动矢量。
其中，D表示预测图像与原图像的残差信号，i表示索引，λ表示拉格朗日乘子，()表示()内所示的部分的代码量。
直接矢量生成部26如果选择了成本R最小的运动矢量，则将该运动矢量作为直接矢量输出到运动补偿处理部24，并且将表示该运动矢量的索引信息输出到可变长编码部13。
例如，如果作为成本R最小的运动矢量选择“median”，则将索引0输出到可变长编码部13，如果选择“MV_A”，则将索引1输出到可变长编码部13。
可变长编码部13如果从直接矢量生成部26接收到索引信息，则在对压缩数据、编码模式等进行可变长编码时，将其索引信息包含于帧间预测参数而进行可变长编码。
运动补偿预测部54的直接矢量生成部65在编码模式m(Bn)是直接模式的情况下，针对编码块Bn的每个分区Pin，生成直接矢量。
即，直接矢量生成部65如果输入了与图31的直接矢量生成部26相同的直接矢量候补索引(例如，图33的直接矢量候补索引)，并从切换开关61接收到包括索引信息的帧间预测参数，则从该直接矢量候补索引，读出该索引信息表示的运动矢量，将该运动矢量作为直接矢量输出到运动补偿处理部63。
例如，如果索引信息是索引0，则作为直接矢量，输出“median”，如果索引信息是索引1，则作为直接矢量，输出“MV_A”。
如以上说明，根据该实施方式4，构成为从可选择的1个以上的运动矢量中，选择适合于预测图像的生成的运动矢量，使用该运动矢量，实施针对编码块的运动补偿预测处理来生成预测图像，并且将表示该运动矢量的索引信息输出到可变长编码部13，所以与上述实施方式1同样地，起到能够以规定的块为单位选择最佳的直接模式，削减代码量的效果。
在该实施方式4中，假设存在处于可选择的位置的运动矢量的情况而进行了说明，但在对编码块Bn实施帧内编码处理的情况等下，还有时不存在运动矢量。在该情况下，考虑设为零矢量的方法、从候补去掉等方法。
在设为零矢量的情况下，候补增加，所以能够提高编码效率，但处理量增加。在从直接矢量的候补去掉的情况下，能够减少处理量。
在该实施方式4中，示出了生成直接矢量的例子，但也可以将该矢量用作通常的运动矢量的编码中使用的预测矢量。
通过用作预测矢量，处理量增加，但预测的精度提高，所以能够提高编码效率。
在该实施方式4中，可选择的运动矢量的候补被固定，但也可以按照切片单位决定可选择的运动矢量的候补。
表示将哪个矢量作为候补的信息多路复用到切片头。
例如考虑，关于时间矢量，在摄全景那样的影像中，时间矢量的效果低，所以从选择候补去掉，另一方面，在照相机被固定的影像中，时间矢量的效果大，所以加到候补等方法。
成为候补的矢量多时，能够生成更接近原图像的预测图像，但编码器的处理量增大，所以将没有效果的矢量预先从候补去掉等，考虑影像的局部性来决定，从而能够实现处理量和编码效率的平衡。
关于成为候补的矢量的切换，例如，考虑针对每个矢量设置ON/OFF的标志，仅将该标志是ON的矢量作为候补的方法。
关于成为选择候补的运动矢量，既可以通过切片头切换，也可以通过序列头、图片头等上位层切换。另外，也可以准备一个以上的成为选择候补的群组，而对该候补群组的索引进行编码。
另外，也可以针对每个宏块、编码块切换。通过针对每个宏块、编码块切换，能够使得具有局部性，实现编码效率的改善。
在该实施方式4中，固定了索引的顺序，但也可以以切片为单位变更索引的顺序。在通过切片选择的矢量中有偏差的情况下，通过以对选择次数多的矢量分配短的代码的方式切换索引表，实现编码效率的提高。
关于切换信息的编码，既可以针对各个矢量，分别对顺序进行编码，也可以准备多个索引群组，对表示使用哪个索引群组的信息进行编码。
另外，还考虑仅决定默认设定，准备表示是否使用与默认设定不同的设定的标志，仅限于该标志是ON的情况，更新索引群组来切换设定的方法。
此处，示出了以切片为单位切换索引的顺序的例子，但当然也可以通过序列、图片等上位层决定索引的顺序。
另外，也可以针对每个分区块、编码块切换。通过针对每个宏块、编码块切换，能够使得具有局部性，实现编码效率的改善。
另外，也可以针对每个分区块尺寸唯一地决定选择候补。一般认为，如果块尺寸变小，则空间上的相关变弱，所以通过中值预测决定的矢量的预测精度恶化。因此，通过变更利用中值预测决定的索引的顺序，能够提高编码效率。
在该实施方式4中，示出了准备了5个可选择的运动矢量的直接矢量候补索引，但也可以将6个以上的运动矢量准备为候补矢量，也可以将比5个少的运动矢量准备为候补矢量。
例如，也可以将如图17所示的时间矢量的附近的矢量、如图18所示的进行周围的矢量的加权相加而得到的矢量作为候补矢量加上。
在该实施方式4中，假设了从2个方向的预测处理，但也可以是仅1个方向的预测处理。在根据1个方向的矢量预测的情况下，对表示使用哪一个矢量的信息进行编码而传送。由此，能够应对遮挡等问题，有助于预测精度的提高。
在该实施方式4中，假设了使用2个矢量的两个方向预测，但矢量的个数也可以是3个以上。在该情况下，例如，既可以对表示所选择的所有矢量的索引信息进行编码，也可以相反地对表示不选择的矢量的索引信息进行编码。
或者，考虑如图34所示，仅对1个矢量的索引信息进行编码，使用接近该矢量表示的参照图像的图像的方法。
在该实施方式4中，示出了在多个运动矢量中，选择成本R最小的运动矢量的例子，但也可以如下述式(15)所示，计算评价值SADk，选择该评价值SADk是阈值Th以下的运动矢量。
其中，findex表示对索引信息进行编码的矢量表示的参照图像、gk表示矢量MV_k表示的参照图像。
此处，示出了使用评价值SADk的例子，但例如，当然也可以通过SSE等其他方法来评价。
表示所使用的矢量的个数的信息也可以多路复用到切片单位等上位头。如果矢量的个数增加，则编码效率提高，但处理量增加，所以处于折衷的关系。
另外，也可以以编码块、分区等更细致的单位设定而不是切片单位。在该情况下，根据图像的局部性，能够实现处理量和编码效率的平衡。
在该实施方式4中，示出了从多个可选择的运动矢量中，选择适合于预测图像的生成的运动矢量的例子，但也可以如上述实施方式3那样，从多个可选择的运动矢量中，选择用作初始矢量的运动矢量之后，搜索该初始矢量的周围，从而决定最终的运动矢量。该情况的直接矢量生成部26的结构如图35所示。
图35的初始矢量生成部36相当于图26的初始矢量生成部34。
实施方式5.
该实施方式5的运动补偿预测部5、54具有上述实施方式1(或者、实施方式2、3)的功能、和上述实施方式4的功能，能够以切片为单位切换上述实施方式1(或者、实施方式2、3)的功能和上述实施方式4的功能，能够使用某一个功能，来生成预测图像。
图36是示出本发明的实施方式5的运动图像编码装置的运动补偿预测部5的结构图，在图中，与图31相同的符号表示同一或者相当部分，所以省略说明。
直接矢量生成部27实施如下处理：在直接模式切换标志表示不发送索引信息的意思的情况下，通过与图2的直接矢量生成部23(或者、图25的直接矢量生成部25)同样的方法，生成直接矢量，另一方面，在直接模式切换标志表示发送索引信息的意思的情况下，通过与图31的直接矢量生成部26同样的方法，生成直接矢量，并且将表示该直接矢量的索引信息输出到可变长编码部13。
另外，直接矢量生成部27实施将直接模式切换标志输出到可变长编码部13的处理。
图37是示出构成了运动补偿预测部5的直接矢量生成部27的结构图。
在图37中，切换开关91实施如下处理：在直接模式切换标志表示不发送索引信息的意思的情况下，将编码块Bn的分区Pin输出到与图2的直接矢量生成部23(或者、图25的直接矢量生成部25)相当的部分，在表示发送索引信息的意思的情况下，将编码块Bn的分区Pin输出到与图31的直接矢量生成部26相当的部分。
图38是示出本发明的实施方式5的运动图像解码装置的运动补偿预测部54的结构图，在图中，与图32相同的符号表示同一或者相当部分，所以省略说明。
直接矢量生成部66实施如下处理：在帧间预测参数中包含的直接模式切换标志表示不发送索引信息的意思的情况下，通过与图6的直接矢量生成部62(或者、图29的直接矢量生成部64)同样的方法，生成直接矢量，另一方面，在直接模式切换标志表示发送索引信息的意思的情况下，通过与图32的直接矢量生成部65同样的方法，生成直接矢量。
接下来，说明动作。
运动补偿预测部5的直接矢量生成部27具有图2的直接矢量生成部23(或者、图25的直接矢量生成部25)的功能、和图31的直接矢量生成部26的功能，在从外部输入的直接模式切换标志表示不发送索引信息的意思的情况下，通过与图2的直接矢量生成部23(或者、图25的直接矢量生成部25)同样的方法，生成直接矢量，将该直接矢量输出到运动补偿处理部24。
另外，直接矢量生成部27将该直接模式切换标志输出到可变长编码部13。
直接矢量生成部27在该直接模式切换标志表示发送索引信息的意思的情况下，通过与图32的直接矢量生成部65同样的方法，生成直接矢量，将该直接矢量输出到运动补偿处理部24。
另外，直接矢量生成部27将该直接模式切换标志和索引信息输出到可变长编码部13。
可变长编码部13如果从直接矢量生成部27接收到直接模式切换标志，则在对压缩数据、编码模式等进行可变长编码时，将该直接模式切换标志包含于帧间预测参数而进行可变长编码。
另外，可变长编码部13如果从直接矢量生成部27接收到直接模式切换标志和索引信息，则在对压缩数据、编码模式等进行可变长编码时，将该直接模式切换标志和索引信息包含于帧间预测参数而进行可变长编码。
运动补偿预测部54的直接矢量生成部66如果接收到由可变长解码部51解码的帧间预测参数，则在该帧间预测参数中包含的直接模式切换标志表示不发送索引信息的意思的情况下，通过与图6的直接矢量生成部62(或者、图29的直接矢量生成部64)同样的方法，生成直接矢量。
另一方面，在直接模式切换标志表示发送索引信息的意思的情况下，通过与图32的直接矢量生成部65同样的方法，生成直接矢量。
一般，发送索引信息的模式相比于不发送索引信息的模式，附加信息增加。因此，在低速率(rate)等全代码量中附加信息的比例大的情况下，不发送索引信息的模式的性能更佳。
另一方面，在高速率的情况等全代码量中附加信息的比例小的情况下，附加索引信息来使用最佳的直接矢量时可预见编码效率的提高。
在该实施方式5中，示出了直接模式切换标志包含于帧间预测参数的例子，但直接模式切换标志既可以多路复用于切片头，也可以多路复用于图片、序列头。
另外，还考虑通过分区尺寸决定切换。
一般，如果分区尺寸变大，则运动矢量等附加信息的比例相对变小。因此，考虑在某一定值以上的大小的情况下，选择发送索引信息的模式，在比其小的情况下，选择不发送索引信息的模式等结构。
如上述那样，在通过分区决定的情况下，也可以针对每个编码块尺寸，将表示使用哪个的标志多路复用于切片头等上位头。
在该实施方式4中，示出了通过直接模式切换标志，切换上述实施方式1的功能和上述实施方式4的功能的例子，但也可以切换上述实施方式2的功能和上述实施方式4的功能，也可以切换上述实施方式3的功能和上述实施方式4的功能。
另外，也可以切换上述实施方式1的功能和上述实施方式2的功能，也可以切换上述实施方式1的功能和上述实施方式3的功能，也可以切换上述实施方式2的功能和上述实施方式3的功能。
另外，也可以从上述实施方式1～4的功能中，选择任意的功能。
在该实施方式5中，示出了通过直接模式切换标志，切换上述实施方式1的功能和上述实施方式4的功能的例子，但其也可以不切换而作为on/off(“通”/“断”)的标志来使用。例如，考虑设为是否使用实施方式1的on/off标志，在on的情况下，实施方式1和实施方式4都进行，选择编码效率更佳的一方的模式，对该信息进行编码。由此，能够根据图像的局部性切换直接模式，起到有助于编码效率的提高的效果。
在上述中，使实施方式1成为on/off，但其也可以使实施方式4成为on/off。另外，组合也可以是实施方式2和4、实施方式3和4的组合。
在该实施方式5中，示出了从多个可选择的运动矢量中，选择适合于预测图像的生成的运动矢量的例子，但也可以如上述实施方式3那样，从多个可选择的运动矢量中，选择用作初始矢量的运动矢量之后，搜索该初始矢量的周围，从而决定最终的运动矢量。该情况的直接矢量生成部27的结构如图39所示。
图39的初始矢量生成部37相当于图26的初始矢量生成部34。
另外，本申请发明能够在该发明的范围内，进行各实施方式的自由的组合、或者各实施方式的任意的构成要素的变形、或者各实施方式中的任意的构成要素的省略。
例如记载为，决定最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数，从可利用的1个以上的编码模式中，选择适合于层次性地分割的各个编码块的编码模式，但也可以事先预先决定最大尺寸或者层次数、编码模式中的某一个或者全部。
实施方式6.
在上述实施方式4中，示出了运动图像编码装置中的运动补偿预测部5的直接矢量生成部26参照图33所示那样的直接矢量候补索引，掌握可选择的1个以上的运动矢量的例子，但也可以编码控制部1根据编码块的块尺寸，生成可选择的1个以上的运动矢量列表，参照表示可选择的1个以上的运动矢量的直接矢量候补列表和直接矢量候补索引，从而决定直接模式矢量。
具体而言，如下所述。
如上所述，关于可选择的1个以上的运动矢量，例如，能够针对分区的每个块尺寸唯一地决定，但在如图40所示，作为编码块的分区的块尺寸大的情况下，与周围的块的相关高，相反地在分区的块尺寸小的情况下，与周围的块的相关低。
因此，分区的块尺寸越小，越能够减少可选择的运动矢量的候补数。
因此，如图41所示，编码控制部1预先针对作为编码块的分区的每个块尺寸，对可选择的1个以上的运动矢量进行列表化。
如从图41可知，分区的块尺寸越小，可选择的运动矢量的候补数越减少，例如，在块尺寸为“64”的分区中，可选择的运动矢量的个数是“4”，但在块尺寸为“8”的分区中，可选择的运动矢量的个数是“2”。
图42中的“median”、“MV_A”、“MV_B”、“MV_C”、“temporal”与图33中的“median”、“MV_A”、“MV_B”、“MV_C”、“temporal”对应。
编码控制部1在决定可选择的1个以上的运动矢量时，例如，参照图41的列表，确定与作为编码对象的分区的块尺寸对应的1个以上的运动矢量，将表示该1个以上的运动矢量的直接矢量候补列表输出到运动补偿预测部5。
例如，在分区的块尺寸是“64”的情况下，作为可选择的1个以上的运动矢量，决定“MV_A”、“MV_B”、“MV_C”、“temporal”。
另外，在分区的块尺寸是“8”的情况下，作为可选择的1个以上的运动矢量，决定“median”、“temporal”。
运动补偿预测部5的直接矢量生成部26如果从编码控制部1接收到直接矢量候补列表，则与上述实施方式4同样地，从该直接矢量候补列表表示的1个以上的运动矢量中，选择适合于预测图像的生成的运动矢量，但在分区的块尺寸小的情况下，可选择的运动矢量的候补数少，所以例如，上述式(15)所示那样的评价值SADk的计算数等减少，运动补偿预测部5的处理负荷被减轻。
这样，在运动图像编码装置的编码控制部1决定可选择的1个以上的运动矢量的情况下，在运动图像解码装置中，也需要具有与运动图像编码装置完全相同的可选择的1个以上的直接矢量候补列表。
运动图像解码装置的可变长解码部51在编码模式m(Bn)是直接模式的情况下，针对编码块Bn的每个分区Pin，将该分区的块尺寸输出到运动补偿预测部54，并且将从比特流可变长解码了的索引信息(表示在运动图像编码装置的运动补偿预测部5中使用的运动矢量的信息)输出到运动补偿预测部54。
运动补偿预测部54的直接矢量生成部65如果从可变长解码部51接收到分区的块尺寸，则如上述实施方式4那样，输入直接矢量索引，根据块尺寸从预先决定的1个以上的运动矢量候补列表输出直接模式中使用的运动矢量。
即，直接矢量生成部65预先针对分区的每个块尺寸对可选择的1个以上的运动矢量进行列表化(参照图41)，在决定可选择的1个以上的运动矢量时，参照图41的列表和直接矢量索引，输出与进行本次解码的分区的块尺寸对应的1个以上的运动矢量。
例如，在分区的块尺寸是“8”时，如果索引信息是索引0，则作为直接矢量，输出“median”，如果索引信息是索引1，则作为直接矢量，输出“temporal”。
如以上说明，根据该实施方式6，构成为根据作为编码块的分区的块尺寸，决定可选择的1个以上的运动矢量，所以在与周围的块的相关低的分区中，能够将适合于预测图像的生成的运动矢量以外的运动矢量从候补去除，所以起到能够减轻处理量的效果。
另外，根据该实施方式6，构成为在决定可选择的1个以上的运动矢量时，分区的块尺寸越小，可选择的运动矢量的候补数越减少，所以能够将适合于预测图像的生成的运动矢量以外的运动矢量从候补去除，所以起到能够减轻处理量的效果。
另外，在该实施方式6中，示出了作为编码块的分区的块尺寸最大是“64”的例子，但最大的块尺寸既可以是64以上，也可以小于64。
图42示出最大的块尺寸是“128”的列表的一个例子。
在图42的例子中，由编码控制部1以及运动补偿预测部54保持的列表的最大的块尺寸是“128”，但在实际的分区的块尺寸的最大值例如是“32”的情况下，参照上述列表中的“32”以下的部分即可。
另外，在该实施方式6中，示出了根据作为编码块的分区的块尺寸，决定可选择的1个以上的运动矢量的例子，但也可以根据编码块的分割图案，决定可选择的1个以上的运动矢量，能够得到同样的效果。
图43是针对编码块的每个分割图案，示出可选择的1个以上的运动矢量的列表的说明图。
例如，在作为编码块的分区是2partH1的情况下，作为可选择的1个以上的运动矢量，决定了“MV_A”、“MV_B”、“MV_C”、“temporal”，但在作为编码块的分区是2partH2的情况下，其运动与作为左边的块的2partH1不同的可能性高。
因此，从2partH2可选择的1个以上的运动矢量中，删除作为左边的块的运动矢量的“MV_A”，决定“MV_B”、“MV_C”、“temporal”。
另外，在该实施方式6中，使用了时间方向的矢量，但其为了削减使用的存储器量，也可以压缩存储器中保存的数据尺寸。例如，在最小块尺寸是4×4的情况下，通常以4×4单位保持时间方向的矢量，但考虑将其以更大的块尺寸保持。
在如上所述将时间方向的矢量压缩保持时，在以比所保持的单位小的块尺寸进行处理的情况下，存在所参照的位置不表示正确的位置这样的问题。因此，也可以进行不使用比所保持的单位小的块的情况的时间方向矢量这样的处理。通过将精度低的矢量从候补去掉，具有处理量的削减和索引代码量的削减这样的效果。
另外，在该实施方式6中，叙述了直接模式矢量，但其也可以针对通常的运动矢量编码中使用的预测矢量的决定，使用同样的方式。通过使用该方式，在处理量减轻和编码效率改善这两面中有效果。
另外，在该实施方式6中，针对直接矢量的生成或者预测矢量的决定中使用的多个矢量候补，直接矢量或者希望预测的矢量的ref_Idx和候补矢量的ref_Idx不同(参照目的地的图片不同)的情况下，也可以构成为如图14所示，针对候补矢量根据时间方向的距离进行缩放处理。在ref_Idx相同的情况下，不进行与时间方向的距离对应的缩放处理。
其中，scaled_MV表示缩放后的矢量、MV表示缩放前的运动矢量、d(x)表示直到x为止的时间上的距离。
另外，Xr表示编码对象的块表示的参照图像、Yr表示成为缩放的对象的块位置A-D表示的参照图像。
另外，空间矢量候补也可以构成为如图49所示，从成为对象的块搜索被帧间编码了的块，将该块内包含的所有矢量用作候补。如上所述，虽然可存在直接矢量或者希望预测的矢量应指向的目的地的参照图片、和这些候补矢量指向的参照图片相同的情况和不同的情况，但也可以构成为仅将指向同一参照图片的候补矢量用作候补，也可以构成为通过缩放处理以指向同一参照图片的方式进行校正。在前者的情况下，具有不会增加处理量而将精度低的矢量从候补去掉的效果。在后者的情况下，与搜索的量相应地处理量增加，但能够增加选择候补，所以具有代码量削减效果。
另外，在进行式(16)那样的缩放的情况下，也可以在发现了被帧间编码了的块的时刻，对作为与直接矢量或者希望预测的矢量的ref_Idx不同的ref_Idx的候补矢量进行缩放(在相同的ref_Idx的情况下不进行缩放)，也可以在全部搜索之后，仅在没有作为相同的ref_Idx的候补矢量的情况下，进行缩放。虽然处理量增加，但能够将提高了精度的矢量加到候补，所以具有代码量削减效果。
实施方式7.
在上述实施方式6中，示出了运动图像编码装置的编码控制部1以及运动图像解码装置的运动补偿预测部54预先保持表示可选择的运动矢量的列表的例子，但也可以是运动图像编码装置的可变长编码部13对表示该列表的列表信息进行可变长编码，将该列表信息的编码数据例如多路复用于切片头，而传送到运动图像解码装置侧。
在该情况下，运动图像解码装置的可变长解码部51从多路复用于切片头的编码数据，可变长解码出列表信息，将该列表信息表示的列表输出到运动补偿预测部54的直接矢量生成部65。
这样，虽然也可以将表示列表的列表信息以切片为单位(或者、也可以是序列、图片等为单位)传送到运动图像解码装置侧，但也可以仅在由编码控制部1保持的列表被变更的情况下，将表示变更后的列表的列表信息传送到运动图像解码装置侧。
以下，具体说明处理内容。
图44是示出运动图像编码装置中的列表信息的发送处理的流程图，图45是示出运动图像解码装置中的列表信息的接收处理的流程图。
运动图像编码装置的编码控制部1与上述实施方式6同样地，根据作为编码块的分区的块尺寸，决定可选择的1个以上的运动矢量，而确认在决定运动矢量时所参照的列表是否被变更，如果列表与上次相同(图44的步骤ST41)，则为了将列表与上次相同的意思通知到运动图像解码装置侧，将变更标志设定为“OFF”(步骤ST42)。
如果编码控制部1将变更标志设定为“OFF”，则可变长编码部13对“OFF”的变更标志进行编码，将该编码数据传送到运动图像解码装置侧(步骤ST43)。
编码控制部1在列表与上次不同的情况下(步骤ST41)，为了将列表与上次不同的意思通知到运动图像解码装置侧，将变更标志设定为“ON”(步骤ST44)。
如果编码控制部1将变更标志设定为“ON”，则可变长编码部13对“ON”的变更标志和表示变更后的列表的列表信息进行编码，将该编码数据传送到运动图像解码装置侧(步骤ST45)。
图46示出由于将列表内的“temporal”从可选择变更为不可选择，对“ON”的变更标志和表示变更后的列表的列表信息进行编码的例子。
运动图像解码装置的可变长解码部51从编码数据解码出变更标志(图45的步骤ST51)，如果该变更标志是“OFF”(步骤ST52)，则将“OFF”的变更标志输出到运动补偿预测部54。
运动补偿预测部54如果从可变长解码部51接收到“OFF”的变更标志，则识别为列表与上次相同，将当前保持的列表设定为参照对象(步骤ST53)。
因此，运动补偿预测部54参照当前保持的列表，决定与进行本次解码的分区的块尺寸对应的1个以上的运动矢量。
如果变更标志是“ON”(步骤ST52)，则运动图像解码装置的可变长解码部51从编码数据解码出列表信息，将“ON”的变更标志和列表信息输出到运动补偿预测部54(步骤ST54)。
运动补偿预测部54如果从可变长解码部51接收到“ON”的变更标志和列表信息，则识别为列表与上次不同，依照该列表信息变更当前保持的列表，将变更后的列表设定为参照对象(步骤ST55)。
因此，运动补偿预测部54参照变更后的列表，决定与进行本次解码的分区的块尺寸对应的1个以上的运动矢量。
图47示出由于变更标志是“ON”，所以变更了当前保持的列表的例子。
如以上说明，根据该实施方式7，构成为仅限于表示可选择的1个以上的运动矢量的列表被变更了的情况下，对表示变更后的列表的列表信息进行编码来生成编码数据，所以起到不会导致代码量的大幅增加而能够安装接受列表的变更的功能的效果。
在该实施方式7中，示出了即使在列表表示的可选择的运动矢量的一部分被变更了的情况下，也对表示变更后的列表的整体的列表信息进行编码的例子，但也可以如图48所示，针对每个块尺寸准备变更标志，将可选择的运动矢量被变更的块尺寸的变更标志设为“ON”，仅对与该块尺寸有关的列表信息进行编码。
在图48的例子中，块尺寸为“64”和“8”中的运动矢量未被变更，所以变更标志是“OFF”，与该块尺寸有关的列表信息不被编码。
另一方面，块尺寸是“32”和“16”中的运动矢量被变更，所以变更标志是“ON”，与该块尺寸有关的列表信息被编码。
另外，也可以仅限于某一个块尺寸的变更标志是“ON”的情况，对块尺寸单位的变更标志进行编码，而在所有块尺寸的变更标志都是“OFF”的情况下，仅对列表单位的变更标志(“OFF”的变更标志)进行编码。
另外，也可以不使用列表单位的变更标志，而仅对块尺寸单位的变更标志进行编码。
此处，示出了针对每个块尺寸，能够变更可选择的运动矢量的例子，但也可以针对编码块的每个分割图案，能够变更可选择的运动矢量。
【产业上的可利用性】
本发明的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法能够按照规定的块单位选择最佳的直接模式，来削减代码量，所以适用于图像压缩编码技术、压缩图像数据传送技术等中使用的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法。
- 还没有人留言评论。精彩留言会获得点赞！