运动图像编码/解码装置以及方法与流程

本发明涉及对运动图像高效地进行编码的运动图像编码装置以及运动图像编码方法、和对高效地编码的运动图像进行解码的运动图像解码装置以及运动图像解码方法。

背景技术：
可伸缩编码是指，将影像从粗的信息向细的信息层次性地编码的技术，是解码的层次数越多则能够得到越高品质的解码影像的编码方式，如果仅对由最粗的信息构成的基本层次的编码数据进行解码，则得到最低品质的解码影像，如果对基本层次和第1层次的编码数据进行解码，则得到中品质的解码影像，进而如果对第2层次的编码数据进行解码，则得到高品质的解码影像。SVC(参照非专利文献1)是被标准化为MPEG-4AVC/H.264编码方式的扩展方式的可伸缩编码方式，支持时间层次编码、空间层次编码、SNR层次编码。图24示出被时间层次编码的影像数据的一个例子。在图24中，箭头表示在帧间预测编码时参照的帧。最初解码的帧(I0)是仅使用帧内的像素值而预测的帧，不参照其他帧。接下来解码的帧(P1)参照已解码的I0帧而生成预测图像，表示与所生成的预测图像的差分图像已被编码。接下来解码的帧(B2)参照已解码的I0帧和P1帧这2帧而生成预测图像，表示与所生成的预测图像的差分图像已被编码。以下，相同。另外，在图24中，如果将I0、P1帧称为基本层次帧(T0)，将B2帧称为第1层次帧，将B3、B4帧称为第2层次帧，将B5、B6、B7、B8称为第3层次帧，则基本层次帧是仅参照属于相同的层次的帧来解码，第1层次帧是仅参照属于相同的层次或者基本层次帧的帧来解码，以下同样地仅参照属于相同的层次或者其以下的层次帧的帧来解码。如果对所有层次的帧进行解码，则能够对影像数据内的所有帧进行解码，但如果仅对属于基本层次帧的帧进行解码，则整体的1/8的帧被解码，如果对属于基本层次和第1层次的帧进行解码，则整体1/4的帧被解码，被编码成越增加解码的层次则解码出运动越平滑的影像。如以上那样，被时间层次编码的影像数据构成为能够抽出一部分的帧来解码，所以即使是未与可伸缩编码对应的解码装置也能够正确地解码出影像数据。另外，通过在影像数据的开头中附加的上位头的参数组中编码好该影像数据被层次性地编码的情况下的最大层次数、表示属于各层次的帧是否将属于更上层次的帧用作参照图像的标志，由此在与可伸缩编码对应的解码装置中，能够判断影像数据是否被可伸缩地构成、在被可伸缩地构成的情况下能够以何种程度的粗细度进行解码。例如在非专利文献2中，在比序列级别(level)的参数组更上位，编码用于对被时间层次编码的影像数据的最大层次数、表示层次之间的参照关系的标志进行编码的参数组(视频参数组)。图25是示出以往的生成被时间层次编码的影像数据的运动图像编码装置的结构的框图。视频参数组编码部101对影像数据的最大层次数、表示属于各层次的帧是否将属于更上层次的帧用作参照图像的标志进行编码。序列参数组编码部102对序列参照哪个视频参数组的识别编号和与影像数据的序列整体有关的参数(影像数据的分辨率等)进行编码。基本层次帧编码部103对参照的序列参数组的识别编号和属于基本层次的帧进行编码。上位层次帧编码部104与基本层次帧编码部103同样地，对属于上位层次的帧进行编码。非专利文献1：OverviewoftheScalableVideoCodingExtensionoftheH.264/AVCStandard，IEEETRANSACTIONSONCIRCUITSANDSYSTEMSFORVIDEOTECHNOLOGY，VOL.17，NO.9，SEPTEMBER2007非专利文献2：Parametersetsmodificationsfortemporalscalabilityandextensionhooks，JCT-VCDocumentJCTVC-I0230，April2012，Geneva，CH.

技术实现要素：
以往的生成被时间层次编码的影像数据的运动图像编码装置如以上那样构成，所以存在如下课题：被时间层次编码的影像数据必须包括基本层次帧的影像数据，无法生成仅编码了属于上位层次的帧的影像数据，所以即使在仅对一部分的帧进行处理的情况下，也一定必须包括基本层次帧，无法独立地对仅编码了属于上位层次的帧的影像数据进行处理。本发明是为了解决上述那样的课题而完成的，其目的在于得到一种即使是层次化的编码方式，在解码装置侧也能够可伸缩地解码的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法。本发明具备可变长编码部，该可变长编码部对表示在序列内是否包括所述基本层次的基本层次有无标志按照所述序列单位进行编码。根据本发明，具备对表示在序列内是否包括所述基本层次的基本层次有无标志按照所述序列单位进行编码的可变长编码部，从而具有能够可伸缩地进行编码、解码处理的效果。附图说明图1是示出本发明的实施方式1的运动图像编码装置的结构图。图2是示出在本发明的实施方式1的运动图像编码装置的环路滤波器部中使用多个环路滤波处理的情况的结构例的说明图。图3是示出本发明的实施方式1中的编码比特流的一个例子的说明图。图4是示出本发明的实施方式1中的NAL单元的结构的说明图。图5是示出本发明的实施方式1的运动图像编码装置的处理内容(运动图像编码方法)的流程图。图6是示出本发明的实施方式1的运动图像解码装置的结构图。图7是示出在本发明的实施方式1的运动图像解码装置的环路滤波器部中使用多个环路滤波处理的情况的结构例的说明图。图8是示出本发明的实施方式1的运动图像解码装置的处理内容(运动图像解码方法)的流程图。图9是示出最大编码块被层次性地分割为多个编码块的例子的说明图。图10(a)是示出分割后的编码块以及预测块的分布的图，(b)是通过层次分割而分配编码模式m(Bn)的状况的说明图。图11是示出本发明的实施方式1中的被时间层次编码的影像数据的一个例子的说明图。图12是示出本发明的实施方式1中的编码比特流的一个例子的说明图。图13是示出本发明的实施方式1中的被时间层次编码的影像数据的一个例子的说明图。图14是示出本发明的实施方式1中的编码比特流的一个例子的说明图。图15是示出本发明的实施方式1中的被时间层次编码的影像数据的一个例子的说明图。图16是示出本发明的实施方式1中的被时间层次编码的影像数据的一个例子的说明图。图17是示出本发明的实施方式1中的被时间层次编码的影像数据的一个例子的说明图。图18是示出编码块Bn内的各预测块Pin可选择的帧内部预测参数(帧内部预测模式)的一个例子的说明图。图19是示出在生成lin＝min＝4的情况下的预测块Pin内的像素的预测值时使用的像素的一个例子的说明图。图20是示出本发明的实施方式2中的子比特流生成装置的结构的说明图。图21是示出本发明的实施方式2中的子比特流的一个例子的说明图。图22是示出本发明的实施方式2中的子比特流的一个例子的说明图。图23是示出本发明的实施方式2中的子比特流的一个例子的说明图。图24是示出以往的被时间层次编码的影像数据的一个例子的说明图。图25是示出以往的生成被时间层次编码的影像数据的运动图像编码装置的结构的框图。(符号说明)1：块分割部(块分割部件)；2：编码控制部(编码控制部件)；3：切换开关；4：帧内部预测部(预测部件)；5：运动补偿预测部(预测部件)；6：减法部(差分图像生成部件)；7：变换/量化部(图像压缩部件)；8：逆量化/逆变换部(局部解码图像生成部件)；9：加法部(局部解码图像生成部件)；10：帧内部预测用存储器(预测部件)；11：环路滤波器部(滤波部件)；12：运动补偿预测帧存储器(预测部件)；13：可变长编码部(可变长编码部件)；14：切片分割部(切片分割部件)；31：可变长解码部(可变长解码部件)；32：逆量化/逆变换部(差分图像生成部件)；33：切换开关；34：帧内部预测部(预测部件)；35：运动补偿部(预测部件)；36：加法部(解码图像生成部件)；37：帧内部预测用存储器(预测部件)；38：环路滤波器部(滤波部件)；39：运动补偿预测帧存储器(预测部件)；51：NAL单元头解析部；52：视频参数组解析部；53：NAL单元抽出部；54：NAL单元复用部。具体实施方式实施方式1.图1是示出本发明的实施方式1的运动图像编码装置的结构图。在图1中，切片分割部14实施如下处理：如果作为输入图像输入了影像信号，则依照由编码控制部2决定的切片分割信息，将该输入图像分割为1个以上的“切片”这样的部分图像。切片的分割单位能够细化至后述编码块单位。另外，切片分割部14构成了切片分割部件。块分割部1实施如下处理：每当输入由切片分割部14分割的切片时，将该切片分割为由编码控制部2决定的最大尺寸的编码块即最大编码块，并且直至达到由编码控制部2决定的上限的层次数为止，将该最大编码块层次性地分割为各编码块。即，块分割部1实施如下处理：将切片根据由编码控制部2决定的分割来分割为各编码块，并输出该编码块。另外，各编码块被分割为成为预测处理单位的一个或者多个预测块。另外，块分割部1构成了块分割部件。编码控制部2实施如下处理：决定成为实施编码处理时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数，从而决定各个编码块的尺寸。另外，编码控制部2实施如下处理：从可选择的1个以上的编码模式(表示预测处理单位的预测块的尺寸等不同的1个以上的帧内部(intra)编码模式、预测块的尺寸等不同的1个以上的帧之间(inter)编码模式)中，选择适用于从块分割部1输出的编码块的编码模式。作为选择手法的例子，有从可选择的1个以上的编码模式中选择针对从块分割部1输出的编码块的编码效率最高的编码模式的手法。另外，编码控制部2实施如下处理：在编码效率最高的编码模式是帧内部编码模式的情况下，针对作为上述帧内部编码模式表示的预测处理单位的每个预测块，决定在该帧内部编码模式下实施针对编码块的帧内部预测处理时使用的帧内部预测参数，在编码效率最高的编码模式是帧之间编码模式的情况下，针对作为上述帧之间编码模式表示的预测处理单位的每个预测块，决定在该帧之间编码模式下实施针对编码块的帧之间预测处理时使用的帧之间预测参数。进而，编码控制部2实施决定对变换/量化部7以及逆量化/逆变换部8提供的预测差分编码参数的处理。在预测差分编码参数中，包括表示成为编码块中的正交变换处理单位的正交变换块的分割信息的正交变换块分割信息、规定进行变换系数的量化时的量化步长的量化参数等。另外，编码控制部2构成了编码控制部件。切换开关3实施如下处理：如果由编码控制部2决定的编码模式是帧内部编码模式，则将从块分割部1输出的编码块输出到帧内部预测部4，如果由编码控制部2决定的编码模式是帧之间编码模式，则将从块分割部1输出的编码块输出到运动补偿预测部5。帧内部预测部4实施如下处理：在作为与从切换开关3输出的编码块对应的编码模式，由编码控制部2选择了帧内部编码模式的情况下，针对作为进行该编码块的预测处理时的预测处理单位的每个预测块，边参照在帧内部预测用存储器10中保存的局部解码图像，边实施使用了由编码控制部2决定的帧内部预测参数的帧内部预测处理(帧内预测处理)，由此生成帧内部预测图像。运动补偿预测部5实施如下处理：在作为与从切换开关3输出的编码块对应的编码模式，由编码控制部2选择了帧之间编码模式的情况下，按照作为预测处理单位的预测块单位，比较编码块和在运动补偿预测帧存储器12中保存的1帧以上的局部解码图像，探索运动矢量，使用该运动矢量和由编码控制部2决定的参照的帧编号等帧之间预测参数，按照预测块单位实施针对该编码块的帧之间预测处理(运动补偿预测处理)，生成帧之间预测图像。另外，由帧内部预测部4、帧内部预测用存储器10、运动补偿预测部5以及运动补偿预测帧存储器12构成了预测部件。减法部6实施如下处理：从由块分割部1输出的编码块，减去由帧内部预测部4生成的帧内部预测图像、或者、由运动补偿预测部5生成的帧之间预测图像，将表示作为其减法结果的差分图像的预测差分信号输出到变换/量化部7。另外，减法部6构成了差分图像生成部件。变换/量化部7实施如下处理：参照由编码控制部2决定的预测差分编码参数所包含的正交变换块分割信息，按照正交变换块单位，实施针对从减法部6输出的预测差分信号的正交变换处理(例如DCT(离散余弦变换)、DST(离散正弦变换)、预先对特定的学习系列进行了基底设计的KL变换等正交变换处理)，计算变换系数，并且参照该预测差分编码参数所包含的量化参数，对该正交变换块单位的变换系数进行量化，将作为量化后的变换系数的压缩数据输出到逆量化/逆变换部8以及可变长编码部13。另外，变换/量化部7构成了图像压缩部件。变换/量化部7在对变换系数进行量化时，也可以使用针对每个变换系数缩放根据上述量化参数计算的量化步长的量化矩阵，实施变换系数的量化处理。另外，关于量化矩阵，能够在各正交变换尺寸下针对颜色信号、编码模式(是帧内部编码还是帧之间编码)的每一个，使用独立的矩阵，能够分别选择是从作为初始值预先在运动图像编码装置以及运动图像解码装置中共用地准备的量化矩阵、已经编码的量化矩阵中选择、还是使用新的量化矩阵。因此，变换/量化部7针对各正交变换尺寸，按照颜色信号、编码模式的每一个，将表示是否使用新的量化矩阵的标志信息设定在应编码的量化矩阵参数中。然后，变换/量化部7将设定的量化矩阵参数作为自适应参数组的一部分而输出到可变长编码部13。逆量化/逆变换部8实施如下处理：参照由编码控制部2决定的预测差分编码参数所包含的量化参数以及正交变换块分割信息，按照正交变换块单位，对从变换/量化部7输出的压缩数据进行逆量化，并且实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算与从减法部6输出的预测差分信号相当的局部解码预测差分信号。另外，在变换/量化部7使用量化矩阵来实施量化处理的情况下，在逆量化处理时，也参照该量化矩阵实施对应的逆量化处理。加法部9实施如下处理：将由逆量化/逆变换部8计算的局部解码预测差分信号、和由帧内部预测部4生成的帧内部预测图像、或者、由运动补偿预测部5生成的帧之间预测图像相加，计算与从块分割部1输出的编码块相当的局部解码图像。另外，由逆量化/逆变换部8以及加法部9构成了局部解码图像生成部件。帧内部预测用存储器10是保存由加法部9计算出的局部解码图像的记录介质。环路滤波器部11实施如下处理：对由加法部9计算出的局部解码图像实施规定的滤波处理，输出滤波处理后的局部解码图像。具体而言，进行降低在正交变换块的边界、预测块的边界中发生的失真的滤波(解块滤波)处理、按照像素单位自适应地相加偏置(offset)的(像素自适应偏置)处理、自适应地切换维纳滤波器等线性滤波器而滤波处理的自适应滤波处理等。其中，环路滤波器部11针对上述解块滤波处理、像素自适应偏置处理以及自适应滤波处理的各个，决定是否进行处理，并将各处理的有效标志作为应编码的自适应参数组的一部分以及切片级别头的一部分，输出到可变长编码部13。另外，在使用多个上述滤波处理时，依次实施各滤波处理。图2示出使用多个滤波处理的情况下的环路滤波器部11的结构例。一般情况下，使用的滤波处理的种类越多，图像品质越提高，但另一方面，处理负荷越高。即，图像品质和处理负荷具有折衷的关系。另外，各滤波处理的图像品质改善效果是根据滤波处理对象图像的特性而不同。因此，依照运动图像编码装置容许的处理负荷、编码处理对象图像的特性来决定要使用的滤波处理为好。另外，环路滤波器部11构成了滤波部件。此处，在解块滤波处理中，能够将在对块边界施加的滤波强度的选择中使用的各种参数从初始值起变更。在变更的情况下，将该参数作为应编码的自适应参数组的一部分，输出到可变长编码部13。在像素自适应偏置处理中，最初，将图像分割为多个块，按照该块单位，即使在不进行偏置处理的情况下，也定义为等级(class)分类手法的一种，从预先准备的多个等级分类手法中选择1种等级分类手法。接下来，通过选择的等级分类手法，对块内的各像素进行等级分类，针对每个等级，计算补偿编码失真的偏置值。最后，进行对局部解码图像的亮度值相加该偏置值的处理，从而改善局部解码图像的图像品质。因此，在像素自适应偏置处理中，将块分割信息、表示各块的等级分类手法的索引、确定块单位的各等级的偏置值的偏置信息作为应编码的自适应参数组的一部分，输出到可变长编码部13。另外，在像素自适应偏置处理中，例如，也可以始终分割为最大编码块这样的固定尺寸的块单位，针对每个该块，选择等级分类手法，进行每个等级的自适应偏置处理。在该情况下，不需要上述块分割信息，能够与块分割信息所需的代码量相应地削减代码量。在自适应滤波处理中，用规定的手法，对局部解码图像进行等级分类，针对属于各等级的每个区域(局部解码图像)，设计补偿重叠的失真的滤波器，使用该滤波器，实施该局部解码图像的滤波处理。然后，将针对每个等级设计的滤波器作为应编码的自适应参数组的一部分，输出到可变长编码部13。作为等级分类手法，有将图像在空间上等间隔地划分的简易的手法、按照块单位根据图像的局部特性(分散(scatter)等)进行分类的手法。另外，关于在自适应滤波处理中使用的等级数，既可以预先设定为在运动图像编码装置以及运动图像解码装置中共用的值，也可以作为应编码的自适应参数组的一部分。相比于前者，在后者中，能够自由地设定所使用的等级数，所以图像品质改善效果提高，但另一方面，为了对等级数进行编码，相应量的代码量增加。进而，并非针对图像整体，而可以针对例如最大编码块这样的固定尺寸的每个块进行自适应滤波处理的等级分类以及滤波设计/处理。即，也可以按照对固定尺寸的块内进行分割而得到的多个小块单位，根据图像的局部特性(分散等)实施等级分类，针对每个等级，进行滤波设计以及滤波处理，从而针对固定尺寸的每个块，将各等级的滤波器作为自适应参数组的一部分进行编码。由此，相比于对图像整体实施等级分类以及滤波设计/处理的情况，能够实现与局部性质对应的高精度的滤波处理。另外，在进行像素自适应偏置处理以及自适应滤波处理的情况下，需要在环路滤波器部11中参照影像信号，所以需要以将影像信号输入到环路滤波器部11的方式变更图1的运动图像编码装置。运动补偿预测帧存储器12是保存环路滤波器部11的滤波处理后的局部解码图像的记录介质。可变长编码部13对从变换/量化部7输出的压缩数据、编码控制部2的输出信号(最大编码块内的块分割信息、编码模式、预测差分编码参数、帧内部预测参数或者帧之间预测参数)、以及从运动补偿预测部5输出的运动矢量(编码模式是帧之间编码模式的情况)进行可变长编码，从而生成编码数据。另外，可变长编码部13如图3例示，作为编码比特流的头信息，对视频参数组、序列级别头、图片级别头、自适应参数组进行编码，与图片数据一起生成编码比特流。另外，可变长编码部13构成了可变长编码部件。其中，图片数据由1个以上的切片数据构成，各切片数据是集中切片级别头和处于该切片内的上述编码数据而得到。序列级别头是集中图像尺寸、颜色信号格式、亮度信号、色差信号的信号值的比特深度、序列单位下的环路滤波器部11中的各滤波处理(自适应滤波处理、像素自适应偏置处理、解块滤波处理)的有效标志信息、量化矩阵的有效标志信息等一般按照序列单位共用的头信息而得到。图片级别头是集中参照的序列级别头的索引、运动补偿时的参照图片数、熵编码的概率表格初始化标志等按照图片单位设定的头信息而得到。切片级别头是集中表示该切片处于图片的哪个位置的位置信息、表示参照哪个图片级别头的索引、切片的编码类型(全部帧内部编码、帧之间编码等)、在该切片中使用的自适应参数组的索引以及表示是否进行使用了上述索引表示的自适应参数组的环路滤波器部11中的各滤波处理(自适应滤波处理、像素自适应偏置处理、解块滤波处理)的标志信息等切片单位的参数而得到。自适应参数组是分别具有与自适应滤波处理、像素自适应偏置处理、解块滤波处理有关的参数(滤波参数)以及是否存在与量化矩阵有关的参数(量化矩阵参数)的标志、且具有仅与上述标志是“有效”的参数对应的参数的参数组。进而，自适应参数组还具有用于识别在编码比特流上复用的多个自适应参数组的索引(aps_id)。视频参数组是集中与时间层次编码有关的参数、其他与可伸缩编码有关的参数、与多视图编码有关的参数等与属于不同的层次的图片有关的信息而得到。进而，视频参数组还具有用于识别在编码比特流上复用的多个视频参数组的索引(video_parameteter_set_id)。关于构成视频参数组、序列级别头、图片级别头、自适应参数组、图片数据的1个以上的切片数据等各编码数据，以被称为NAL(NetworkAbstractionLayer，网络提取层)单元的单位构成编码比特流。图4示出NAL单元的结构。NAL单元由头部和有效载荷数据部构成，在头部中包括进入到有效载荷数据部的编码数据的种类、即表示视频参数组、序列级别头、图片级别头、自适应参数组、切片数据中的哪一个编码数据的类型信息等。在有效载荷数据部中，包括用类型信息表示的种类的编码数据。在头部中，除了类型信息以外还包括参照标志、层次识别编号等。参照标志是表示在有效载荷数据所包含的编码数据是切片数据的情况下对该切片数据进行解码而得到的帧是否为从其他帧参照的帧的标志。层次识别编号是表示在影像数据被时间层次编码的情况下是与哪个层次关联的编码数据的编号。例如，在编码数据是切片数据、且该切片是属于基本层次的帧的切片数据的情况下，由于是与基本层次关联的编码数据，所以将表示基本层次的“0”作为层次识别编号进行编码。在图1的例子中，设想了作为运动图像编码装置的构成要素的块分割部1、编码控制部2、切换开关3、帧内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、帧内部预测用存储器10、环路滤波器部11、运动补偿预测帧存储器12以及可变长编码部13的各个由专用的硬件(例如安装了CPU的半导体集成电路、单片式微型计算机等)构成的例子，但在运动图像编码装置由计算机构成的情况下，也可以将记述了块分割部1、编码控制部2、切换开关3、帧内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、环路滤波器部11以及可变长编码部13的处理内容的程序保存到计算机的存储器，该计算机的CPU执行在该存储器中保存的程序。图5是示出本发明的实施方式1的运动图像编码装置的处理内容(运动图像编码方法)的流程图。图6是示出本发明的实施方式1的运动图像解码装置的结构图。在图6中，可变长解码部31当输入了由图1的运动图像编码装置生成的编码比特流时，从该比特流，按照NAL单元的单位，解码视频参数组、序列级别头、图片级别头、自适应参数组、切片级别头等各头信息，并且从该比特流，可变长解码表示层次性地分割的各个编码块的分割状况的块分割信息。此时，根据由可变长解码部31可变长解码出的自适应参数组内的量化矩阵参数，确定该自适应参数组的量化矩阵。具体而言，针对各正交变换尺寸的颜色信号、编码模式的每一个，在量化矩阵参数表示是作为初始值预先在运动图像编码装置以及运动图像解码装置中共用地准备的量化矩阵、或者、已经解码出的量化矩阵(并非新的量化矩阵)的情况下，参照用于确定是上述自适应参数组所包含的上述矩阵内的哪个量化矩阵的索引信息来确定量化矩阵，在量化矩阵参数表示使用新的量化矩阵的情况下，将量化矩阵参数所包含的量化矩阵确定为使用的量化矩阵。另外，可变长解码部31实施如下处理：参照各头信息，确定切片数据所包含的最大解码块(与图1的运动图像编码装置的“最大编码块”相当的块)，参照块分割信息，确定作为将最大解码块层次性地分割而进行解码处理的单位的解码块(与图1的运动图像编码装置的“编码块”相当的块)，对与各个解码块有关的压缩数据、编码模式、帧内部预测参数(编码模式是帧内部编码模式的情况)、帧之间预测参数(编码模式是帧之间编码模式的情况)、预测差分编码参数以及运动矢量(编码模式是帧之间编码模式的情况)进行可变长解码。另外，可变长解码部31构成了可变长解码部件。逆量化/逆变换部32实施如下处理：参照由可变长解码部31可变长解码出的预测差分编码参数所包含的量化参数以及正交变换块分割信息，按照正交变换块单位，对由可变长解码部31可变长解码出的压缩数据进行逆量化，并且实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算与从图1的逆量化/逆变换部8输出的局部解码预测差分信号相同的解码预测差分信号。另外，逆量化/逆变换部32构成了差分图像生成部件。此处，在由可变长解码部31可变长解码出的各头信息表示在该切片中使用量化矩阵来实施逆量化处理的情况下，使用量化矩阵来进行逆量化处理。具体而言，使用从各头信息确定的在该切片中参照的自适应参数组的量化矩阵来进行逆量化处理。切换开关33实施如下处理：如果由可变长解码部31可变长解码出的编码模式是帧内部编码模式，则将由可变长解码部31可变长解码出的帧内部预测参数输出到帧内部预测部34，如果由可变长解码部31可变长解码出的编码模式是帧之间编码模式，则将由可变长解码部31可变长解码出的帧之间预测参数以及运动矢量输出到运动补偿部35。帧内部预测部34实施如下处理：在与根据由可变长解码部31可变长解码出的块分割信息确定的解码块有关的编码模式是帧内部编码模式的情况下，针对作为进行该解码块的预测处理时的预测处理单位的每个预测块，边参照在帧内部预测用存储器37中保存的解码图像，边实施使用了从切换开关33输出的帧内部预测参数的帧内部预测处理(帧内预测处理)，生成帧内部预测图像。运动补偿部35实施如下处理：在与根据由可变长解码部31可变长解码出的块分割信息确定的解码块有关的编码模式是帧之间编码模式的情况下，针对作为进行上述解码块的预测处理时的预测处理单位的每个预测块，边参照在运动补偿预测帧存储器39中保存的解码图像，边实施使用了从切换开关33输出的运动矢量和帧之间预测参数的帧之间预测处理(运动补偿预测处理)，生成帧之间预测图像。另外，由帧内部预测部34、帧内部预测用存储器37、运动补偿部35以及运动补偿预测帧存储器39构成了预测部件。加法部36实施如下处理：将由逆量化/逆变换部32计算出的解码预测差分信号、和由帧内部预测部34生成的帧内部预测图像、或者、由运动补偿部35生成的帧之间预测图像进行相加，计算与从图1的加法部9输出的局部解码图像相同的解码图像。另外，加法部36构成了解码图像生成部件。帧内部预测用存储器37是保存由加法部36计算出的解码图像的记录介质。环路滤波器部38实施如下处理：对由加法部36计算出的解码图像实施规定的滤波处理，输出滤波处理后的解码图像。具体而言，进行降低在正交变换块的边界、预测块的边界中发生的失真的滤波(解块滤波)处理、按照像素单位自适应地相加偏置的(像素自适应偏置)处理、自适应地切换维纳滤波器等线性滤波器而进行滤波处理的自适应滤波处理等。其中，环路滤波器部38关于上述解块滤波处理、像素自适应偏置处理、自适应滤波处理的各个处理，参照由可变长解码部31可变长解码出的各头信息，确定在该切片中是否进行。另外，在图1的运动图像编码装置中，并非将在环路滤波器部38中使用的滤波参数编码为作为头信息的一个的自适应参数组的一部分，而按照切片单位分别直接用切片数据对所使用的滤波参数进行编码的情况下，可变长解码部31从切片数据解码出在环路滤波器部38中使用的滤波参数。此时，在进行2个以上的滤波处理的情况下，如果运动图像编码装置的环路滤波器部11如图2那样构成，则如图7所示构成环路滤波器部38。另外，环路滤波器部38构成了滤波部件。此处，在解块滤波处理中，参照该切片参照的自适应参数组，在存在将在对块边界施加的滤波强度的选择中使用的各种参数从初始值变更的信息的情况下，根据该变更信息，实施解块滤波处理。在没有变更信息的情况下，依照预先决定的手法进行。在像素自适应偏置处理中，参照该切片参照的自适应参数组，根据该自适应参数组所包含的块分割信息，分割解码图像，按照该块单位，参照表示该自适应参数组所包含的块单位的等级分类手法的索引，在该索引不是表示“不进行偏置处理”的索引的情况下，按照块单位，依照上述索引表示的等级分类手法，对块内的各像素进行等级分类。另外，作为等级分类手法的候补，预先准备了与环路滤波器部11的像素自适应偏置处理的等级分类手法的候补相同的例子。而且，参照确定块单位的各等级的偏置值的偏置信息(自适应参数组所包含的偏置信息)，进行对解码图像的亮度值相加偏置的处理。其中，在运动图像编码装置的环路滤波器部11的像素自适应偏置处理中，构成为不对块分割信息进行编码，而始终按照固定尺寸的块单位(例如最大编码块单位)分割图像，针对每个该块，选择等级分类手法，进行每个等级的自适应偏置处理的情况下，在环路滤波器部38中，也按照与环路滤波器部11相同的固定尺寸的块单位，实施像素自适应偏置处理。在自适应滤波处理中，参照该切片参照的自适应参数组，使用该自适应参数组所包含的每个等级的滤波器，用与图1的运动图像编码装置相同的手法进行等级分类之后，根据该等级分类信息进行滤波处理。其中，在运动图像编码装置的环路滤波器部11的自适应滤波处理中，构成为并未对图像整体而是按照例如最大编码块这样的固定尺寸的每个块进行上述等级分类以及滤波设计/处理的情况下，在环路滤波器部38中，也针对与环路滤波器部11相同的固定尺寸的每个块，对在各等级中使用的滤波器进行解码，进行上述等级分类以及滤波处理。运动补偿预测帧存储器39是保存环路滤波器部38的滤波处理后的解码图像的记录介质。在图6的例子中，设想了作为运动图像解码装置的构成要素的可变长解码部31、逆量化/逆变换部32、切换开关33、帧内部预测部34、运动补偿部35、加法部36、帧内部预测用存储器37、环路滤波器部38以及运动补偿预测帧存储器39的各个由专用的硬件(例如安装了CPU的半导体集成电路、单片式微型计算机等)构成的例子，但在运动图像解码装置由计算机构成的情况下，也可以将记述了可变长解码部31、逆量化/逆变换部32、切换开关33、帧内部预测部34、运动补偿部35、加法部36以及环路滤波器部38的处理内容的程序保存到计算机的存储器，该计算机的CPU执行在该存储器中保存的程序。图8是示出本发明的实施方式1的运动图像解码装置的处理内容(运动图像解码方法)的流程图。接下来，说明动作。在该实施方式1中，说明如下运动图像编码装置和对从该运动图像编码装置输出的编码比特流进行解码的运动图像解码装置，在该运动图像编码装置中，将影像的各帧图像作为输入图像，实施根据已编码的附近像素进行的帧内部预测或者接近帧间的运动补偿预测，对得到的预测差分信号实施利用正交变换/量化的压缩处理，之后，进行可变长编码来生成编码比特流。图1的运动图像编码装置的特征在于，适应于影像信号的空间/时间方向的局部变化，将影像信号分割为各种尺寸的块，进行帧内/帧间自适应编码。一般，影像信号具有在空间/时间上信号的复杂度局部地变化的特性。在空间上观察时，在某个影像帧上，既有例如天空、壁等那样的在比较广的图像区域中具有均匀的信号特性的图样，又混合存在人物、包括细致的纹理的绘画等在小的图像区域内具有复杂的纹理图案的图样。在时间上观察时也是，关于天空、壁，在局部上，时间方向的图样的变化小，但关于运动的人物、物体，其轮廓在时间上进行刚体/非刚体的运动，所以时间上的变化大。在编码处理中，通过时间/空间上的预测，生成信号功率、熵小的预测差分信号，进行削减整体的代码量的处理，但如果对尽可能大的图像信号区域均匀地应用在预测中使用的参数，则能够减小该参数的代码量。另一方面，如果针对在时间/空间上变化大的图像信号图案，在大的图像区域中应用同一预测参数，则预测的错误会增加，所以预测差分信号的代码量会增加。因此，期望在时间/空间上变化大的区域中，减小应用同一预测参数来进行预测处理的块尺寸，增加在预测中使用的参数的数据量，降低预测差分信号的功率/熵。在该实施方式1中，为了进行适合于这样的影像信号的一般性质的编码，采用如下结构：最初从规定的最大块尺寸开始进行预测处理等，层次性地分割影像信号的区域，针对分割的每个区域，使预测处理、该预测差分的编码处理自适应化。将图1的运动图像编码装置作为处理对象的影像信号格式设为，除了由亮度信号和2个色差信号构成的YUV信号、从数字摄像元件输出的RGB信号等任意的颜色空间的彩色影像信号以外，还有单色图像信号、红外线图像信号等影像帧由水平/垂直二维的数字采样(像素)列构成的任意的影像信号。其中，各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。在以下的说明中，为便于说明，只要没有特别说明，叙述如下情况：设输入图像的影像信号是YUV信号，并且处理2个色差分量U、V相对亮度分量Y被子采样了的4：2：0格式的信号。另外，将与影像信号的各帧对应的处理数据单位称为“图片”。在该实施方式1中，设“图片”为依次扫描(逐行扫描)的影像帧信号来进行说明，但在影像信号是隔行扫描信号的情况下，“图片”也可以是作为构成影像帧的单位的场(field)图像信号。最初，说明图1的运动图像编码装置的处理内容。首先，编码控制部2决定序列内的图片的图片类型、编码顺序、在预测中使的图片的参照关系等GOP(GroupOfPicture，图像组)构造。以用例如图24所示那样的GOP构造进行时间层次编码的情况为例子，说明编码处理的内容。在编码控制部2中，将最初的图片的图片类型设为I图片(I0图片)，将接下来编码的图片的图片类型设为P图片(P1图片)，仅参照I0图片，对P1图片进行预测编码。将I0图片和P1图片设为属于基本层次(T0)的图片。将接着P1图片编码的图片的图片类型设为B图片(B2图片)，将B2图片设为属于第1层次(T1)的图片。参照属于基本层次或者第1层次的图片而对B2图片进行预测编码。在图24的例子中，参照I0图片和P1图片来进行预测编码。将接着B2图片编码的图片的图片类型设为B图片(B3图片)，将B3图片设为属于第2层次(T2)的图片。另外，将接着B3图片编码的图片也设为属于第2层次(T2)的图片(B4图片)。参照属于基本层次至第2层次的图片，对属于第2层次(T2)的图片进行预测编码。接着B4图片，按照B5图片、B6图片、B7图片、B8图片的顺序进行编码。将B5图片至B8图片设为属于第3层次(T3)的图片，参照属于基本层次至第3层次的图片来进行预测编码。以下，每隔9张设为属于基本层次的图片，将基本层次之间的8张图片分成第2层次至第4层次这3个层次来进行编码。另外，在以以上那样的GOP构造进行时间层次编码的情况下，在解码装置侧只能够正确地解码出属于基本层次的图片。同样地，如只能够正确地解码出属于基本层次和第2层次的图片，在解码装置侧能够可伸缩地解码。因此，编码控制部2将表示是否被时间层次编码的标志设置为表示被时间层次编码的值(例如1)，输出到可变长编码部。在GOP构造未被时间层次编码的情况下，将表示是否被时间层次编码的标志设置为表示未被时间层次编码的值(例如0)而输出到可变长编码部。接下来，将最大层次数、针对每个层次必要的图片缓冲器的大小等信息输出到可变长编码部。在图24的例子中，最大层次数是4，针对每个层次必要的图片缓冲器的大小是通过直至参照帧数和属于各层次的图片成为显示顺序为止需要缓冲的图片数来决定的。接下来，编码控制部2决定成为编码对象的图片(当前图片)的切片分割状态，并且决定在图片的编码中使用的最大编码块的尺寸、和对最大编码块进行层次分割的层次数的上限(图5的步骤ST1)。作为最大编码块的尺寸的决定方法，例如，也可以根据输入图像的影像信号的分辨率，针对所有图片决定相同尺寸，也可以将输入图像的影像信号的局部运动的复杂度的差异作为参数而定量化，对运动剧烈的图片，决定小的尺寸，另一方面，对运动少的图片，决定大的尺寸。作为分割层次数的上限的决定方法，例如有根据输入图像的影像信号的分辨率针对所有图片决定相同层次数的方法、在输入图像的影像信号的运动剧烈的情况下加深层次数而设定成能够检测出更细致的运动、在运动少的情况下设定成抑制层次数的方法等。另外，关于上述最大编码块的尺寸和对最大编码块进行层次分割的层次数的上限，既可以在序列级别头等中进行编码，也可以不编码而在运动图像解码装置侧也进行相同的决定处理。在前者中，虽然头信息的代码量增加，但在运动图像解码装置侧不进行上述决定处理也可以，所以能够抑制运动图像解码装置的处理负荷，而且能够在运动图像编码装置侧探索最佳的值而发送。在后者的情况下，相反地在运动图像解码装置侧进行上述决定处理，所以运动图像解码装置的处理负荷增加，但头信息的代码量不增加。另外，编码控制部2从可利用的1个以上的编码模式中，选择与层次性地分割的各个编码块对应的编码模式(步骤ST2)。即，编码控制部2针对最大编码块尺寸的每个图像区域，直至达到之前决定的分割层次数的上限为止，层次性地分割为具有编码块尺寸的编码块，决定针对各个编码块的编码模式。在编码模式中，有一个或者多个帧内部编码模式(总称为“INTRA”)和一个或者多个帧之间编码模式(总称为“INTER”)，编码控制部2从在该图片中可利用的所有编码模式或者其子集中，选择与各个编码块对应的编码模式。其中，由后述块分割部1层次性地分割的各个编码块进而被分割为作为进行预测处理的单位的一个或者多个预测块，预测块的分割状态也作为信息包含于编码模式中。即，编码模式是识别具有什么样的预测块分割的帧内部或者帧之间编码模式的索引。由编码控制部2实施的编码模式的选择方法是公知的技术，所以省略详细的说明，例如，有使用可利用的任意的编码模式来实施针对编码块的编码处理而验证编码效率，并在可利用的多个编码模式中选择编码效率最良好的编码模式的方法等。另外，编码控制部2针对各个编码块的每一个，决定在压缩差分图像时使用的量化参数以及正交变换块分割状态，并且决定在实施预测处理时使用的预测参数(帧内部预测参数或者帧之间预测参数)。其中，在编码块被进一步分割为进行预测处理的预测块单位的情况下，能够针对每个预测块选择预测参数(帧内部预测参数或者帧之间预测参数)。进而，在编码模式是帧内部编码模式的编码块中，如后详述，在进行帧内部预测处理时使用与预测块邻接的已编码的像素，所以需要按照预测块单位进行编码，所以可选择的变换块尺寸被限制为预测块的尺寸以下。编码控制部2将包括量化参数以及变换块尺寸的预测差分编码参数输出到变换/量化部7、逆量化/逆变换部8以及可变长编码部13。另外，编码控制部2将帧内部预测参数根据需要输出到帧内部预测部4。另外，编码控制部2将帧之间预测参数根据需要输出到运动补偿预测部5。切片分割部14如果作为输入图像输入了影像信号，则将该输入图像依照由编码控制部2决定的切片分割信息分割为作为1个以上的部分图像的切片。块分割部1每当从切片分割部14输入各切片时，将该切片分割为由编码控制部2决定的最大编码块尺寸，进而，将分割的最大编码块层次性地分割为由编码控制部2决定的编码块，输出该编码块。此处，图9是示出最大编码块被层次性地分割为多个编码块的例子的说明图。在图9中，最大编码块是记为“第0层次”的亮度分量具有(L0，M0)的尺寸的编码块。将最大编码块作为出发点，以四叉树构造，直至另行决定的规定的深度为止层次性地进行分割，从而得到编码块。在深度n中，编码块是尺寸(Ln，Mn)的图像区域。其中，Ln和Mn既可以相同，也可以不同，但在图9中，示出了Ln＝Mn的情形。以后，将由编码控制部2决定的编码块尺寸定义为编码块的亮度分量中的尺寸(Ln，Mn)。由于进行四叉树分割，所以(Ln+1，Mn+1)＝(Ln/2，Mn/2)始终成立。另外，在RGB信号等所有颜色分量具有相同采样数的彩色影像信号(4：4：4格式)中，所有颜色分量的尺寸成为(Ln，Mn)，但在处理4：2：0格式的情况下，对应的色差分量的编码块尺寸成为(Ln/2，Mn/2)。以后，设为用Bn表示第n层次的编码块，用m(Bn)表示在编码块Bn中可选择的编码模式。在由多个颜色分量构成的彩色影像信号的情况下，编码模式m(Bn)既可以构成为针对每个颜色分量分别使用个别的模式，也可以构成为针对所有颜色分量使用共用的模式。以后，只要没有特别说明，设为指示针对YUV信号、4：2：0格式的编码块的亮度分量的编码模式而进行说明。编码块Bn如图9所示，通过块分割部1被分割为表示预测处理单位的一个或者多个预测块。以后，将属于编码块Bn的预测块记载为Pin(i是第n层次中的预测块编号)。在图9中示出了P00和P10的例子。关于如何进行编码块Bn内的预测块的分割，在编码模式m(Bn)中作为信息包括。对于预测块Pin全部依照编码模式m(Bn)进行预测处理，但能够针对每个预测块Pin，选择个别的预测参数(帧内部预测参数或者帧之间预测参数)。编码控制部2针对最大编码块例如生成图10所示那样的块分割状态，确定编码块。图10(a)的虚线所包围的矩形表示各编码块，处于各编码块内的用斜线涂覆的块表示各预测块的分割状态。图10(b)是关于图10(a)的例子用四叉树图形表示了通过层次分割而被分配编码模式m(Bn)的状况的图。图10(b)的□所包围的节点是被分配了编码模式m(Bn)的节点(编码块)。关于该四叉树图形的信息，与编码模式m(Bn)一起，从编码控制部2输出到可变长编码部13，被复用到比特流。切换开关3在由编码控制部2决定的编码模式m(Bn)是帧内部编码模式的情况(m(Bn)∈INTRA的情况)下，将从块分割部1输出的编码块Bn输出到帧内部预测部4。另一方面，在由编码控制部2决定的编码模式m(Bn)是帧之间编码模式的情况(m(Bn)∈INTER的情况)下，将从块分割部1输出的编码块Bn输出到运动补偿预测部5。帧内部预测部4在由编码控制部2决定的编码模式m(Bn)是帧内部编码模式(m(Bn)∈INTRA的情况)、且从切换开关3接收到编码块Bn(步骤ST3)时，边参照在帧内部预测用存储器10中保存的局部解码图像，边使用由编码控制部2决定的帧内部预测参数，实施针对该编码块Bn内的各预测块Pin的帧内部预测处理，生成帧内部预测图像PINTRAin(步骤ST4)。另外，运动图像解码装置需要生成与帧内部预测图像PINTRAin完全相同的帧内部预测图像，所以在帧内部预测图像PINTRAin的生成中使用的帧内部预测参数从编码控制部2输出到可变长编码部13，被复用到比特流。帧内部预测部4的处理内容的详细内容后述。运动补偿预测部5在由编码控制部2决定的编码模式m(Bn)是帧之间编码模式(m(Bn)∈INTER的情况)、且从切换开关3接收到编码块Bn(步骤ST3)时，比较该编码块Bn内的各预测块Pin和在运动补偿预测帧存储器12中保存的滤波处理后的局部解码图像来探索运动矢量，使用该运动矢量和由编码控制部2决定的帧之间预测参数，实施针对该编码块Bn内的各预测块Pin的帧之间预测处理，生成帧之间预测图像PINTERin(步骤ST5)。另外，运动图像解码装置需要生成与帧之间预测图像PINTERin完全相同的帧之间预测图像，所以在帧之间预测图像PINTERin的生成中使用的帧之间预测参数从编码控制部2输出到可变长编码部13，被复用到比特流。另外，由运动补偿预测部5探索的运动矢量也输出到可变长编码部13，被复用到比特流。减法部6当从块分割部1接收到编码块Bn时，从该编码块Bn内的预测块Pin减去由帧内部预测部4生成的帧内部预测图像PINTRAin、或者、由运动补偿预测部5生成的帧之间预测图像PINTERin中的某一方，将作为其减法结果的表示差分图像的预测差分信号ein输出到变换/量化部7(步骤ST6)。变换/量化部7当从减法部6接收到预测差分信号ein时，参照由编码控制部2决定的预测差分编码参数所包含的正交变换块分割信息，按照正交变换块单位，实施针对该预测差分信号ein的正交变换处理(例如DCT(离散余弦变换)、DST(离散正弦变换)、预先对特定的学习系列进行了基底设计的KL变换等正交变换处理)，计算变换系数。另外，变换/量化部7参照该预测差分编码参数所包含的量化参数，对该正交变换块单位的变换系数进行量化，将作为量化后的变换系数的压缩数据输出到逆量化/逆变换部8以及可变长编码部13(步骤ST7)。此时，也可以使用将根据上述量化参数计算出的量化步长针对每个变换系数缩放的量化矩阵来实施量化处理。逆量化/逆变换部8当从变换/量化部7接收到压缩数据时，参照由编码控制部2决定的预测差分编码参数所包含的量化参数以及正交变换块分割信息，按照正交变换块单位，对该压缩数据进行逆量化。在变换/量化部7在量化处理中使用量化矩阵的情况下，在逆量化处理时，也参照该量化矩阵，实施对应的逆量化处理。另外，逆量化/逆变换部8按照正交变换块单位实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理(例如逆DCT、逆DST、逆KL变换等)，计算与从减法部6输出的预测差分信号ein相当的局部解码预测差分信号，输出到加法部9(步骤ST8)。加法部9当从逆量化/逆变换部8接收到局部解码预测差分信号时，将该局部解码预测差分信号、和由帧内部预测部4生成的帧内部预测图像PINTRAin、或者、由运动补偿预测部5生成的帧之间预测图像PINTERin中的某一方进行相加，从而计算局部解码图像(步骤ST9)。另外，加法部9将该局部解码图像输出到环路滤波器部11，同时将该局部解码图像保存于帧内部预测用存储器10。该局部解码图像成为在以后的帧内部预测处理时使用的已编码的图像信号。环路滤波器部11当从加法部9接收到局部解码图像时，对该局部解码图像实施规定的滤波处理，将滤波处理后的局部解码图像保存于运动补偿预测帧存储器12(步骤ST10)。具体而言，进行降低在正交变换块的边界、预测块的边界中发生的失真的滤波(解块滤波)处理、按照像素单位自适应地相加偏置的(像素自适应偏置)处理、自适应地切换维纳滤波器等线性滤波器而滤波处理的自适应滤波处理等。其中，环路滤波器部11关于上述解块滤波处理、像素自适应偏置处理、自适应滤波处理的各个处理，决定是否进行处理，将各处理的有效标志作为应编码的自适应参数组的一部分以及切片级别头的一部分输出到可变长编码部13。另外，在使用多个上述滤波处理时，依次实施各滤波处理。图2示出使用多个滤波处理的情况下的环路滤波器部11的结构例。一般情况下，使用的滤波处理的种类越多，图像品质越提高，但另一方面，处理负荷越高。即，图像品质和处理负荷具有折衷的关系。另外，各滤波处理的图像品质改善效果是根据滤波处理对象图像的特性而不同的。因此，依照运动图像编码装置容许的处理负荷、编码处理对象图像的特性，决定所使用的滤波处理即可。直至针对层次性地分割的所有编码块Bn的处理完成为止，反复实施步骤ST3～ST9的处理，如果针对所有编码块Bn的处理完成，则转移到步骤ST13的处理(步骤ST11、ST12)。可变长编码部13对从变换/量化部7输出的压缩数据、从编码控制部2输出的最大编码块内的块分割信息(以图10(b)为例子的四叉树信息)、编码模式m(Bn)以及预测差分编码参数、从编码控制部2输出的帧内部预测参数(编码模式是帧内部编码模式的情况)或者帧之间预测参数(编码模式是帧之间编码模式的情况)、和从运动补偿预测部5输出的运动矢量(编码模式是帧之间编码模式的情况)进行可变长编码，生成表示这些编码结果的编码数据(步骤ST13)。另外，可变长编码部13如图3例示，作为编码比特流的头信息，对视频参数组、序列级别头、图片级别头、自适应参数组进行编码，与图片数据一起生成编码比特流。其中，图片数据由1个以上的切片数据构成，各切片数据是集中切片级别头和处于该切片内的上述编码数据而得到。序列级别头是集中图像尺寸、颜色信号格式、亮度信号、色差信号的信号值的比特深度、序列单位下的环路滤波器部11中的各滤波处理(自适应滤波处理、像素自适应偏置处理、解块滤波处理)的有效标志信息、量化矩阵的有效标志信息等一般按照序列单位共用的头信息而得到。图片级别头是集中参照的序列级别头的索引、运动补偿时的参照图片数、熵编码的概率表格初始化标志等以图片单位设定的头信息而得到。切片级别头是集中表示该切片处于图片的哪个位置的位置信息、表示参照哪个图片级别头的索引、切片的编码类型(全部帧内部编码、帧之间编码等)、在该切片中使用的自适应参数组的索引以及表示是否进行使用了上述索引表示的自适应参数组的环路滤波器部11中的各滤波处理(自适应滤波处理、像素自适应偏置处理、解块滤波处理)的标志信息等这样的切片单位的参数而得到。自适应参数组是具有与自适应滤波处理、像素自适应偏置处理、解块滤波处理有关的参数(滤波参数)、和与量化矩阵有关的参数(量化矩阵参数)的参数组，为了识别在编码比特流上复用的多个自适应参数组，各自适应参数组具有索引(aps_id)。而且，各自适应参数组具有表示是否分别存在与自适应滤波处理、像素自适应偏置处理、解块滤波处理有关的各个滤波参数、和量化矩阵参数的标志(present_flag)，在各存在标志是“有效”的情况下，具有与其对应的参数。因此，自适应参数组能够自由地设定是否有各参数。各切片在切片级别头内具有至少一个在切片的解码处理时参照的自适应参数组的索引(aps_id)，参照对应的自适应参数组，实施量化处理/逆量化处理、环路滤波处理。另外，在对自适应参数组进行编码而复用到编码比特流时，在编码比特流中已经存在具有相同的索引(aps_id)的自适应参数组的情况下，具有该索引的自适应参数组被置换为上述编码对象的自适应参数组。因此，在对新的自适应参数组进行编码时，在不需要已经编码的自适应参数组的情况下，通过用该不需要的自适应参数组的索引进行编码，从而能够实现自适应参数组的改写更新，无需增加必须保存的自适应参数组的数量，所以能够抑制所使用的存储器的容量。接下来，说明视频参数组。在视频参数组中，编码了从编码控制部2输出的表示是否被时间层次编码的标志和最大层次数、各层次的图片缓冲器的尺寸。在视频参数组中，还编码了在参照该视频参数组的图片中是否包括基本层次的基本层次有无标志。在图3、图11的例子中，仅在序列的开头中编码了视频参数组，图3、图11的序列由基本层次和第1层次的图片构成，参照视频参数组1编码了基本层次和第1层次的图片。在该情况下，在参照视频参数组的图片中包括基本层次，所以将在参照该视频参数组的图片中是否包括基本层次的基本层次有无标志设定为表示包括基本层次的值(例如1)。在图12、图13的例子中，序列以层次单位构成，仅在序列的开头中编码的视频参数组也针对每个层次被编码，参照视频参数组1对基本层次的图片进行了编码。参照视频参数组2对第1层次的图片进行了编码。在该情况下，在参照视频参数组1的图片中包括基本层次，所以将在参照视频参数组1的图片中是否包括基本层次的基本层次有无标志设定为表示包括基本层次的值(例如1)。另外，在参照视频参数组2的图片中不包括基本层次，所以将在参照视频参数组2的图片中是否包括基本层次的基本层次有无标志设定为表示不包括基本层次的值(例如0)。另外，在基本层次有无标志表示不包括基本层次的情况下，序列需要由基本层次和1个以上的层次的图片构成，所以最大层次数也可以被限制为1以上的值。另外，作为其他例子，在最大层次数是1以上的情况下，基本层次有无标志也可以被编码到视频参数组中。视频参数组还编码用于识别在编码比特流上复用的多个视频参数组的索引(video_parameteter_set_id)。在图12的例子中，也可以将视频参数组1和视频参数组2的识别索引(video_parameteter_set_id)编码成具有相同的值。即，将在同一序列内被时间层次编码的图片参照的视频参数组的识别索引编码成为同一值。另外，关于除了表示是否包括在同一序列内被时间层次编码的图片参照的视频参数组的基本层次的基本层次有无标志以外的参数的值(最大层次数、各层次的图片缓冲器的大小、识别索引)，既可以以成为相同值的方式进行编码，也可以以成为分别不同的值的方式进行编码。接下来，以将图12、图13的编码比特流针对每个层次用不同的线路传送的情况为例子进行说明。利用例如电波来传送与参照视频参数组1的基本层次的图片有关的编码数据，利用例如IP网来传送与参照视频参数组2的第1层次以上的层次的图片有关的编码数据。在仅接收电波而解码的解码装置中，只能够正确地解码出基本层次的图片。在使用电波和IP网这双方来接收并解码的解码装置中，在接收到了参照用电波接收的视频参数组1的图片的编码数据的情况下，基本层次有无标志表示包括基本层次，能够正常地解码出基本层次的图片。之后，在接收到了参照用IP网接收的视频参数组2的图片的编码数据的情况下，基本层次有无标志表示不包括基本层次，但由于基本层次的图片已经被解码，所以能够正常地解码出第1层次以上的层次的图片。进而，在用电波接收参照视频参数组1的图片的编码数据之前，用IP网接收到参照视频参数组2的图片的编码数据的情况下，在参照用IP网接收的视频参数组2的图片的编码数据中，根据从视频参数组2解码出的基本层次有无标志的值知道不包括基本层次的图片，参照用电波接收的视频参数组1的图片的编码数据的解码未完成，所以知道需要等待其解码结果来开始解码。另外，在图13的例子中，说明了在基本层次和第1层次的视频参数组中设定了基本层次有无标志的情况，但例如在第2层次的视频参数组3中设定与第1层次同样的基本层次有无标志，且之前接收到了参照视频参数组3的图片的编码数据的情况下，知道需要等待参照视频参数组1的图片的编码数据和参照视频参数组2的图片的编码数据的解码结果来开始解码。视频参数组在序列级别头之前被编码，在序列级别头中，编码有所参照的视频参数的识别索引(video_parameteter_set_id)。在没有基本层次有无标志的以往的编码装置、解码装置中，例如未设想在用电波接收视频参数组1之前用IP网接收视频参数组2那样的情况，对接收到的序列开始解码，所以如果不包括基本层次帧的影像数据，则必然无法进行解码。相对于此，在本发明的编码装置、解码装置中，如上所述，即使在针对每个层次用不同的线路传送等解码装置未必按照层次顺序接收编码比特流的情况下，作为视频参数组，对在参照该视频参数组的图片中是否包括基本层次的基本层次有无标志进行编码，从而在解码装置中，能够判断是否包括基本层次的图片，能够进行如下处理：在包括基本层次的图片的情况下立即对基本层次的图片进行解码，在不包括基本层次的图片的情况下在基本层次的图片的解码之后进行解码，所以能够进行能够对仅编码了属于上位层次的帧的影像数据进行独立处理的可伸缩地编码、解码的处理。另外，不限于时间层次编码，在其他层次编码方式、多视图编码方式中，也可以将该基本层次有无标志设为表示在参照的图片中是否包括基本层次或者基础视图的图片的标志。另外，作为视频参数组的其他例子，也可以对表示参照该视频参数组的层次的图片在预测时不参照比自己自身下面的层次的图片的下位层次参照标志进行编码。如图14、图15那样，在被时间层次编码的情况下，在该下位层次参照标志被设定为表示在预测时不参照比自己自身下面的层次的图片的值(例如1)的情况下，在预测中能够使用的参照图片仅是属于相同的层次的图片间，无论有无比自己自身下面的层次都能够设定参照视频参数组的图片的单位(子比特流)。(在下位层次参照标志未表示在预测时不参照比自己自身下面的层次的图片的情况下，设定为例如0。)例如，在利用例如电波来传送与参照视频参数组1的基本层次的图片有关的编码数据，利用例如IP网来传送与参照视频参数组2的第1、2层次的图片有关的编码数据和与参照视频参数组3的第3层次的图片有关的编码数据的情况下，如果如图15那样任何视频参数组的下位层次参照标志都被设定为表示在预测时不参照比自己自身下面的层次的图片的值，则接收到利用IP网传送的数据(子比特流1、2)的解码装置无论是否已接收比自己自身下面的层次的图片都能够立即对接收到的数据进行解码。在没有下位层次参照标志的以往的编码装置、解码装置中，在预测时必然参照比自己自身下面的层次的图片，所以只能够定义包括基本层次的子比特流。相对于此，在本发明的编码装置、解码装置中，作为视频参数组，通过对表示参照该视频参数组的层次的图片在预测时不参照比自己自身下面的层次的图片的下位层次参照标志进行编码，从而无论有无比自己自身下面的层次都设定参照视频参数组的图片的单位(子比特流)，在解码装置中，在接收到这样的子比特流的情况下无论是否已接收比自己自身下面的层次的图片都能够立即对接收到的数据进行解码，所以能够得到能够对仅编码了属于上位层次的帧的影像数据进行独立处理的能够可伸缩地进行编码、解码的装置。另外，不限于时间层次编码，在其他层次编码方式、多视图编码方式中，也可以将该下位层次参照标志设为表示将在预测中能够使用的图片仅设为属于相同的层次或者相同的视图的图片间的标志。另外，作为视频参数组，说明了对上述基本层次有无标志和上述下位层次参照标志单独地进行编码的情况，但也可以并用上述基本层次有无标志和上述下位层次参照标志来进行编码。例如，虽然希望独立地处理仅编码了属于上位层次的帧的影像数据，但在是希望不降低编码效率地进行解码的数据的情况下，通过如图14、图16那样，将属于上位层次的帧(子比特流1、2)的基本层次有无标志设定为0，将下位层次参照标志设定为1，从而接收到子比特流1、2的解码装置等待接收子比特流1，对子比特流1、2进行解码。而且，虽然希望独立地处理仅编码了属于上位层次的帧的影像数据，但在是希望仅用仅编码了属于上位层次的帧的影像数据进行处理的数据的情况下，通过如图14、图17那样，将属于上位层次的帧(子比特流1、2)的基本层次有无标志设定为0，将下位层次参照标志设定为0，从而接收到子比特流1、2的解码装置无论有无比自己自身下面的层次都对子比特流1、2进行解码。这样，通过并用上述基本层次有无标志和上述下位层次参照标志，能够针对要求不同的每个应用数据，变更处理。另外，在本实施方式1中，说明了上述基本层次有无标志和上述下位层次参照标志被设定为视频参数组的情况，但也可以在序列级别头中设定。另外，在本实施方式1中，关于上述基本层次有无标志，以表示包括基本层次的情况(例如1)和表示不包括基本层次的情况(例如0)进行了说明，但也可以设为表示不包括基本层次的情况(例如1)和不表示不包括基本层次的情况(例如0)。另外，在本实施方式1中，关于上述下位层次参照标志，以表示参照该视频参数组的层次的图片在预测时不参照比自己自身下面的层次的图片的情况(例如1)和不表示不参照的情况(例如0)进行了说明，但也可以设为表示参照该视频参数组的层次的图片在预测时不参照比自己自身下面的层次的图片的情况(例如1)和表示参照的情况(例如0)。另外，关于哪个标志，设定的值都可以是0和1相逆。接下来，说明将视频参数组作为编码数据包括的NAL单元的编码。如上所述，NAL单元由头部和有效载荷数据部构成，在头部中包括类型信息、层次识别编号等。叙述类型信息表示视频参数组的情况下的层次识别编号的编码值。如上所述，层次识别编号是表示在影像数据被时间层次编码的情况下是与哪个层次关联的编码数据的编号。在如视频参数组那样与多个层次关联的情况下，对表示关联的最小的层次的编号进行编码。在图3、图11的例子中，视频参数组从基本层次和第1层次被参照，所以是与基本层次和第1层次关联的编码数据。在该情况下，作为包括视频参数组的NAL单元的层次识别编号，对表示最小的层次即基本层次的“0”进行编码。接下来，在图12、图13的例子中，基本层次的图片是参照视频参数组1来编码，第1层次的图片是参照视频参数组2来编码，所以关于包括视频参数组1的NAL单元的层次识别编号，对“0”进行编码，关于包括视频参数组2的NAL单元的层次识别编号，对“1”进行编码。接下来，详细说明帧内部预测部4的处理内容。图18是示出作为编码块Bn内的各预测块Pin可选择的帧内部预测参数的帧内部预测模式的一个例子的说明图。其中，NI表示帧内部预测模式数。在图18中，示出帧内部预测模式的索引值和该帧内部预测模式表示的预测方向矢量，在图18的例子中，设计成随着可选择的帧内部预测模式的个数增加，预测方向矢量彼此的相对角度变小。帧内部预测部4如上所述，参照预测块Pin的帧内部预测参数，实施针对该预测块Pin的帧内部预测处理，生成帧内部预测图像PINTRAin，但在此说明生成亮度信号中的预测块Pin的帧内部预测信号的帧内部处理。将预测块Pin的尺寸设为lin×min像素。图19是示出在生成lin＝min＝4的情况下的预测块Pin内的像素的预测值时使用的像素的一个例子的说明图。在图19中，将预测块Pin的上边的已编码的像素(2×lin+1)个和左边的已编码的像素(2×min)个作为在预测中使用的像素，但在预测中使用的像素既可以比图19所示的像素多也可以少。另外，在图19中，在预测中使用了预测块Pin的附近的1行或者1列量的像素，但也可以在预测中使用2行或者2列、或者、其以上的像素。在针对预测块Pin的帧内部预测模式的索引值是0(平面(Planar)预测)的情况下，使用与预测块Pin的上边邻接的已编码像素和与预测块Pin的左边邻接的已编码像素，将根据这些像素和预测块Pin内的预测对象像素的距离进行内插而得到的值作为预测值，生成预测图像。在针对预测块Pin的帧内部预测模式的索引值是2(平均值(DC)预测)的情况下，将与预测块Pin的上边邻接的已编码像素和与预测块Pin的左边邻接的已编码像素的平均值作为预测块Pin内的像素的预测值，生成预测图像。在帧内部预测模式的索引值是0(平面预测)和2(平均值预测)以外的情况下，根据索引值表示的预测方向矢量υp＝(dx，dy)，生成预测块Pin内的像素的预测值。如果如图19所示，将预测块Pin的左上像素作为原点，将预测块Pin内的相对坐标设定为(x，y)，则在预测中使用的参照像素的位置成为下述的L和邻接像素的交点。其中，k是负的标量值。在参照像素处于整数像素位置的情况下，将该整数像素作为预测对象像素的预测值，在参照像素不处于整数像素位置的情况下，将根据与参照像素邻接的整数像素生成的插值像素作为预测值。在图19的例子中，参照像素不处于整数像素位置，所以将根据与参照像素邻接的2个像素内插而得到的结果作为预测值。另外，也可以是，不根据邻接的2个像素而是根据邻接的2个像素以上的像素生成插值像素而作为预测值。通过增加在插值处理中使用的像素，具有提高插值像素的插值精度的效果，另一方面，插值处理所需的运算的复杂度增加，所以在即使运算负荷大也要求高的编码性能的运动图像编码装置的情况下，优选根据更多的像素生成插值像素。通过以上叙述的处理，生成针对预测块Pin内的亮度信号的所有像素的预测像素，输出帧内部预测图像PINTRAin。另外，关于在帧内部预测图像PINTRAin的生成中使用的帧内部预测参数(帧内部预测模式)，为了复用到比特流，输出到可变长编码部13。另外，与在之前说明的MPEG-4AVC/H.264中的8×8像素的块的帧内部预测时对参照图像实施的平滑化处理同样地，构成为在帧内部预测部4中将生成预测块Pin的中间预测图像时的参照像素作为对与预测块Pin邻接的已编码像素进行了平滑化处理的像素的情况下，也能够进行与上述的例子同样的针对中间预测图像的滤波处理。针对预测块Pin的色差信号，也按照与亮度信号同样的步骤，实施基于帧内部预测参数(帧内部预测模式)的帧内部预测处理，将在帧内部预测图像的生成中使用的帧内部预测参数输出到可变长编码部13。其中，在色差信号中可选择的帧内部预测参数(帧内部预测模式)也可以与亮度信号不同。例如，在YUV信号4：2：0格式的情况下，色差信号(U、V信号)是针对亮度信号(Y信号)将分辨率在水平方向、垂直方向上都缩小为1/2的信号，相比于亮度信号，图像信号的复杂度低且预测容易，所以也可以将可选择的帧内部预测参数设为比亮度信号少的数量，实现为了对帧内部预测参数进行编码而所需的代码量的削减、预测处理的低运算化。接下来，具体说明图6的运动图像解码装置的处理内容。可变长解码部31当输入了由图1的运动图像编码装置生成的编码比特流时，实施针对该比特流的可变长解码处理(图8的步骤ST21)，解码出表示被编码为视频参数组的序列内的图片是否被时间层次编码的标志、最大层次数、针对每个层次必要的图片缓冲器的大小、表示在参照该视频参数组的图片中是否包括基本层次的基本层次有无标志等信息以及帧尺寸的信息等由1帧以上的图片构成的序列单位的头信息(序列级别头)以及图片单位的头信息(图片级别头)、被编码为自适应参数组的环路滤波器部38中使用的滤波参数、量化矩阵参数。另外，在编码装置中作为视频参数组对表示参照该视频参数组的层次的图片在预测时是否参照比自己自身下面的层次的图片的下位层次参照标志进行了编码的情况下，解码出该标志。另外，在最大层次数是1以上的情况下，在基本层次有无标志被编码到视频参数组的情况下，仅在最大层次数是1以上的情况下对基本层次有无标志进行解码。另外，关于对基本层次有无标志、下位层次参照标志进行了解码的情况下的动作、其效果，如上所述。另外，可变长解码部31按照与运动图像编码装置同样的步骤，决定由图1的运动图像编码装置的编码控制部2决定的最大编码块尺寸以及分割层次数的上限(步骤ST22)。例如，在根据影像信号的分辨率决定了最大编码块尺寸、分割层次数的上限的情况下，根据解码出的帧尺寸信息，按照与运动图像编码装置同样的步骤，决定最大编码块尺寸。在运动图像编码装置侧在序列级别头等中复用了最大编码块尺寸以及分割层次数的上限的情况下，使用从上述头解码出的值。以后，在运动图像解码装置中，将上述最大编码块尺寸称为最大解码块尺寸，将最大编码块称为最大解码块。可变长解码部31按照决定的最大解码块单位，对图10所示那样的最大解码块的分割状态进行解码。根据解码出的分割状态，层次性地确定解码块(与图1的运动图像编码装置的“编码块”相当的块)(步骤ST23)。接下来，可变长解码部31解码分配给解码块的编码模式。根据解码出的编码模式所包含的信息，将解码块进一步分割为作为一个或者多个预测处理单位的预测块，对按照预测块单位分配的预测参数进行解码(步骤ST24)。即，可变长解码部31在分配给解码块的编码模式是帧内部编码模式的情况下，针对包含于解码块且成为预测处理单位的1个以上的每个预测块，解码帧内部预测参数。另一方面，在分配给解码块的编码模式是帧之间编码模式的情况下，针对包含于解码块且成为预测处理单位的1个以上的每个预测块，解码帧之间预测参数以及运动矢量(步骤ST24)。进而，可变长解码部31根据预测差分编码参数所包含的正交变换块分割信息，针对每个正交变换块，解码压缩数据(变换/量化后的变换系数)(步骤ST24)。如果由可变长解码部31可变长解码出的编码模式m(Bn)是帧内部编码模式(m(Bn)∈INTRA的情况)，则切换开关33将由可变长解码部31可变长解码出的预测块单位的帧内部预测参数输出到帧内部预测部34。另一方面，如果由可变长解码部31可变长解码出的编码模式m(Bn)是帧之间编码模式(m(Bn)∈INTER的情况)，则将由可变长解码部31可变长解码出的预测块单位的帧之间预测参数以及运动矢量输出到运动补偿部35。帧内部预测部34在由可变长解码部31可变长解码出的编码模式m(Bn)是帧内部编码模式(m(Bn)∈INTRA)的情况下(步骤ST25)，接受从切换开关33输出的预测块单位的帧内部预测参数，按照与图1的帧内部预测部4同样的步骤，边参照在帧内部预测用存储器37中保存的解码图像，边实施使用了上述帧内部预测参数的针对解码块Bn内的各预测块Pin的帧内部预测处理，生成帧内部预测图像PINTRAin(步骤ST26)。运动补偿部35在由可变长解码部31可变长解码出的编码模式m(Bn)是帧之间编码模式(m(Bn)∈INTER)的情况下(步骤ST25)，接受从切换开关33输出的预测块单位的运动矢量和帧之间预测参数，边参照在运动补偿预测帧存储器39中保存的滤波处理后的解码图像，边实施使用了该运动矢量和帧之间预测参数的针对解码块Bn内的各预测块Pin的帧之间预测处理，生成帧之间预测图像PINTERin(步骤ST27)。逆量化/逆变换部32当从可变长解码部31接收到压缩数据以及预测差分编码参数时，按照与图1的逆量化/逆变换部8同样的步骤，参照该预测差分编码参数所包含的量化参数以及正交变换块分割信息，按照正交变换块单位，对该压缩数据进行逆量化。此时，参照由可变长解码部31可变长解码出的各头信息，在各头信息表示在该切片中使用量化矩阵来实施逆量化处理的情况下，使用量化矩阵来进行逆量化处理。此时，参照由可变长解码部31可变长解码出的各头信息，确定以各正交变换尺寸针对颜色信号、编码模式(帧内部编码或者帧之间编码)的每一个所使用的量化矩阵。具体而言，将根据切片级别头确定的在该切片中参照的自适应参数组的量化矩阵设定为在该切片中使用的量化矩阵。另外，逆量化/逆变换部32按照正交变换块单位实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算与从图1的逆量化/逆变换部8输出的局部解码预测差分信号相同的解码预测差分信号(步骤ST28)。加法部36将由逆量化/逆变换部32计算出的解码预测差分信号、和由帧内部预测部34生成的帧内部预测图像PINTRAin、或者、由运动补偿部35生成的帧之间预测图像PINTERin中的某一方相加来计算解码图像，将该解码图像输出到环路滤波器部38，并且将该解码图像保存于帧内部预测用存储器37(步骤ST29)。该解码图像成为在以后的帧内部预测处理时使用的已解码的图像信号。在环路滤波器部38中，如果针对所有解码块Bn的步骤ST23～ST29的处理完成(步骤ST30)，则对从加法部36输出的解码图像实施规定的滤波处理，将滤波处理后的解码图像保存于运动补偿预测帧存储器39(步骤ST31)。具体而言，进行降低在正交变换块的边界、预测块的边界中发生的失真的滤波(解块滤波)处理、按照像素单位自适应地相加偏置的(像素自适应偏置)处理、自适应地切换维纳滤波器等线性滤波器而滤波处理的自适应滤波处理等。其中，环路滤波器部38关于上述解块滤波处理、像素自适应偏置处理、自适应滤波处理的各个处理，参照由可变长解码部31可变长解码出的各头信息，确定在该切片中是否进行处理。此时，在进行2个以上的滤波处理的情况下，运动图像编码装置的环路滤波器部11如图2那样构成的情况下，如图7所示构成环路滤波器部38。此处，在解块滤波处理中，参照该切片参照的自适应参数组，在存在将在对块边界施加的滤波强度的选择中使用的各种参数从初始值变更的信息的情况下，根据该变更信息，实施解块滤波处理。在没有变更信息的情况下，依照预先决定的手法进行。在像素自适应偏置处理中，参照该切片参照的自适应参数组，根据该自适应参数组所包含的块分割信息进行分割，按照该块单位，参照表示该自适应参数组所包含的块单位的等级分类手法的索引，在该索引不是表示“不进行偏置处理”的索引的情况下，按照块单位，依照上述索引表示的等级分类手法，对块内的各像素进行等级分类。另外，作为等级分类手法的候补，预先准备了与环路滤波器部11的像素自适应偏置处理的等级分类手法的候补相同的例子。而且，环路滤波器部38参照确定块单位的各等级的偏置值的自适应参数组所包含的偏置信息，进行对解码图像的亮度值相加偏置的处理。其中，在运动图像编码装置的环路滤波器部11的像素自适应偏置处理中，构成为不对块分割信息进行编码，将图像始终分割为固定尺寸的块单位(例如最大编码块单位)，针对每个该块选择等级分类手法来进行每个等级的自适应偏置处理的情况下，在环路滤波器部38中，也按照与环路滤波器部11相同的固定尺寸的块单位，实施像素自适应偏置处理。在自适应滤波处理中，参照该切片参照的自适应参数组，使用该自适应参数组所包含的每个等级的滤波器，用与图1的运动图像编码装置相同的手法进行等级分类之后，根据该等级分类信息进行滤波处理。其中，在运动图像编码装置的环路滤波器部11的自适应滤波处理中，构成为并未对图像整体而是按照例如最大编码块这样的固定尺寸的每个块进行上述等级分类以及滤波设计/处理的情况下，在环路滤波器部38中，也针对与环路滤波器部11相同的固定尺寸的每个块，对在各等级中使用的滤波器进行解码，进行上述等级分类以及滤波处理。由该环路滤波器部38实施滤波处理后的解码图像成为运动补偿预测用的参照图像，并且，成为再生图像。如以上可知，根据该实施方式1，在可变长编码部13中，作为编码比特流的头信息，对视频参数组进行编码，在视频参数组中，对表示是否被时间层次编码的标志和最大层次数、各层次的图片缓冲器的大小进行编码，并且对表示在参照视频参数组的图片的编码数据中是否包括基本层次的图片的编码数据的基本层次有无标志进行编码，可变长解码部31对该基本层次有无标志进行解码，所以能够在解码装置中判断是否包括基本层次的图片，能够进行如下处理：在包括基本层次的图片的情况下立即对基本层次的图片进行解码，在不包括基本层次的图片的情况下在基本层次的图片的解码之后进行解码，能够进行能够对仅编码了属于上位层次的帧的影像数据进行独立处理的可伸缩地编码、解码的处理。另外，在可变长编码部13中，作为编码比特流的头信息，在参照视频参数组的图片的编码数据中，对表示参照该视频参数的层次的图片在预测时是否参照比自己自身下面的层次的图片的下位层次参照标志进行编码，所以无论有无比自己自身下面的层次都设定参照视频参数组的图片的单位(子比特流)，在解码装置中，在接收到这样的子比特流的情况下，无论是否已接收比自己自身下面的层次的图片都能够立即对接收到的数据进行解码，能够得到能够对仅编码了属于上位层次的帧的影像数据进行独立处理的能够可伸缩地进行编码、解码的装置。实施方式2.在本实施方式中，叙述从实施方式1的运动图像编码装置生成的编码比特流抽出子比特流的子比特流生成装置。图20示出子比特流生成装置的结构。在图20中，将作为图1的可变长编码部13的输出的被编码的比特流作为输入，NAL单元头解析部51解析构成了编码比特流的NAL单元的头部，对类型信息、参照标志、层次识别编号等头信息进行解码。视频参数组解析部52在类型信息表示是视频参数组的情况下，对NAL单元的有效载荷数据部所包含的视频参数组进行解码。在从视频参数组解码出的表示是否被时间层次编码的标志表示编码比特流被时间层次编码的情况下，根据从视频参数组解码出的最大层次数，决定子比特流的层次数。关于子比特流的层次数的决定，能够根据例如从视频参数组解码出的为了对各层次进行解码而所需的图片缓冲器的大小来决定。在图片缓冲器的大小大的情况下，解码图像的延迟变大，所以能够根据在解码器侧容许的最大延迟，决定子比特流的层次数。NAL单元抽出部53根据决定的子比特流的层次数，抽出NAL单元。在例如有3个以上的层次数的编码比特流中，在将子比特流的层次数决定为2的情况下，抽出作为有效载荷数据包括属于基本层次和第1层次的图片的编码数据的NAL单元。NAL单元复用部54对由NAL单元抽出部53抽出的NAL单元进行复用而生成子比特流。接下来，说明动作。以根据作为图3的编码装置中的输出的编码比特流生成子比特流的情况为例子进行说明。首先，NAL单元头解析部51解析构成了编码比特流的NAL单元的头部。在从NAL单元的头部解码出的类型信息表示是视频参数组的情况下，在视频参数组解析部52中，对NAL单元的有效载荷数据部所包含的视频参数组进行解码。在图3的例子中，视频参数组解析部52对视频参数组1进行解码。在从视频参数组1解码出的表示被时间层次编码的标志表示编码比特流被时间层次编码的情况下，根据从视频参数组解码出的最大层次数(在图3中2)，决定子比特流中的层次数。在将子比特流中的层次数决定为1的情况下，NAL单元抽出部53抽出作为有效载荷数据包括属于基本层次的图片的编码数据的NAL单元。即，去掉NAL单元头的层次识别编号是1以上的NAL单元，仅抽出层次识别编号是0的NAL单元。NAL单元复用部54复用由NAL单元抽出部53抽出的NAL单元来生成子比特流。图21示出从图3的编码比特流仅抽出基本层次的NAL单元而构成的子比特流。接下来，以从图3所示的编码比特流仅抽出第1层次来生成子比特流的情况为例子进行说明。NAL单元头解析部51与仅抽出基本层次来生成子比特流的情况相同。NAL单元抽出部53抽出作为有效载荷数据包括属于第1层次的图片的编码数据的NAL单元。在图3的例子中，视频参数组1和序列级别头1从基本层次和第1层次的图片共用地被参照，所以被抽出为与属于第1层次的图片有关的编码数据。关于图片数据(切片数据)，通过仅抽出NAL单元头的层次识别编号是1的NAL单元，从而能够抽出属于第1层次的图片的图片数据。在仅抽出第1层次来生成的子比特流中，不包括基本层次的编码数据，所以将视频参数组1的基本层次有无标志的值从表示包括基本层次的值(例如1)变更为表示不包括基本层次的值(例如0)。NAL单元复用部54复用基本层次有无标志的值被变更的视频参数组1A和序列级别头1、第1层次的图片的图片级别头和图片数据(切片数据)来生成子比特流(图22)。接下来，以根据图12所示的编码比特流生成子比特流的情况为例子进行说明。另外，在生成包括基本层次的子比特流的情况下，与根据图3的编码比特流生成子比特流的情况相同，所以以生成不包括基本层次的子比特流、例如仅由属于第1层次的图片的编码数据构成的子比特流的情况为例子进行说明。NAL单元头解析部51的处理与根据图3的编码比特流生成子比特流的情况相同。NAL单元抽出部53抽出作为有效载荷数据包括属于第1层次的图片的编码数据的NAL单元。在图12的例子中，针对每个层次对视频参数组进行了编码，所以参照视频参数组2，对属于第1层次的图片进行编码。因此，在图12的例子中，作为与属于第1层次的图片有关的编码数据，仅抽出NAL单元头的层次识别编号是1的NAL单元，从而能够抽出视频参数组2、序列级别头2和属于第1层次的图片的图片数据。另外，视频参数组2的基本层次有无标志成为表示不包括基本层次的值，所以NAL单元复用部54不变更视频参数组2的参数值，而复用视频参数组2和序列级别头2、第1层次的图片的图片级别头和图片数据(切片数据)来生成子比特流(图23)。如以上那样，通过根据在视频参数组中设定的信息，以NAL单元单位抽出子比特流的编码数据，能够生成各种子比特流，所以能够得到能够可伸缩地进行编码、解码的装置。产业上的可利用性如以上那样，本发明的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法对可伸缩地进行编码、解码处理的运动图像编码装置、运动图像解码装置等是有用的。