层的重建图像所得到的放大图像和经过了局部解码的增强层的重建图像。增强层编码单元112参考放大图像和重建图像各自的独立区块集中所包括的图像来进行预测和编码。在图2的示例中，在要对帧206中的区块5进行编码的情况下，增强层编码单元112参考帧204中的区块5和区块6以及帧206的区块5中的经过了局部解码的重建图像来进行预测和编码。如果独立区块编码标志被设置为0 (如果编码对象区块不是独立区块)，则增强层编码单元112参考经过了局部解码的基本层的放大图像和经过了局部解码的增强层的重建图像来在不局限于独立区块的情况下进行预测。增强层编码单元112对预测中所生成的预测误差等进行编码。
[0061]与基本层编码单元107相同，增强层编码单元112将预测所使用的预测模式、预测中所生成的预测误差和通过对该预测误差进行编码所生成的增强层编码数据等供给至下游单元。
[0062]增强层重建单元113例如使用增强层编码单元112在编码期间生成的系数(预测模式和预测误差)来进行局部解码以生成增强层的重建图像。由于在增强层编码单元112中的编码中使用所生成的重建图像，因此增强层重建单元113保持该重建图像。
[0063]合成单元110将基本层编码单元107所生成的基本层编码数据、增强层编码单元112所生成的增强层编码数据和头编码单元114所生成的头编码数据彼此合成以生成位流。从端子111输出合成单元110所生成的位流。
[0064]控制单元115控制图像编码设备内的各处理单元并且进行各处理单元之间的参数的传送。在图1中省略了控制单元115与图像编码设备内的各处理单元之间的连接线。控制单元115能够经由参数信号线或寄存器总线来控制图像编码设备内的各处理单元并且进行各处理单元之间的参数的读取和写入。尽管在第一实施例中图1的控制单元115设置在图像编码设备内，但本发明不限于此。具体地，控制单元115可以设置在图像编码设备夕卜，以经由参数信号线或寄存器总线来控制图像编码设备内的各处理单元并且进行各处理单元之间的参数的读取和写入。
[0065]现在将参考图3A和3B的流程图来说明上述的图像编码设备100中的图像的示例性编码处理。
[0066]参考图3A和3B，在步骤S301中，图像编码设备100获取用户所指定的层级编码的层数。在第一实施例中，假定使用一个增强层并且进行两层(基本层和增强层)的层级编码。
[0067]在步骤S302中，区块设置单元102确定要编码的帧中的区块分割数量和分割位置，并且还确定将要编码的帧中的哪个区块设置为独立区块。在第一实施例中，假定区块5和区块6是独立区块并且区块5和区块6构成一个独立区块集。因此，在第一实施例中，区块设置单元102将独立区块标志设置为1。如果在要编码的帧中不包括独立区块，则区块设置单元102将独立区块标志设置为0。区块设置单元102将所确定的独立区块标志供给至增强层分割单元104、基本层分割单元105、独立区块判断单元106和头编码单元114。
[0068]在步骤S303中，头编码单元114判断从区块设置单元102供给的独立区块标志。如果头编码单元114判断为独立区块标志被设置为1，则处理进入步骤S304。如果头编码单元114判断为独立区块标志被设置为0，则处理进入步骤S305。
[0069]在步骤S304中，头编码单元114将表示与各区块的位置有关的一致信息的vui_parameters 的 tile_boundaries_aligned_flag 设置为 1。 vui_parameters 的 tile_boundaries_aligned_flag是通过对表示区块在各个层上是否位于相对相同的位置的一致信息进行编码所得到的。
[0070]在步骤S305中，头编码单元114对作为序列头的video_parameter_set进行编码。video_parameter_set包括表示层级编码中的层数的vps_max_layers_minusl。在第一实施例中，vps_max_layers_minusl被设置为1。然后，头编码单元114对(非专利文献1的7.3.2.2所述的)序列(Sequence)参数集进行编码。该序列参数集还包括vui_parameters。vui_parameters包括步骤 S304 中所设置的 tile_boundaries_aligned_flag。合成单元110接收编码数据(video_parameter_set和序列参数集)以生成位流。合成单元110将所生成的位流经由端子111输出至图像编码设备100的外部。
[0071]在步骤S306中，头编码单元114对作为图片头的(非专利文献1的7.4.3.3中所述的)图片参数集进行编码。合成单元110接收与图片头有关的编码数据(图片参数集)以生成位流。合成单元110将所生成的位流经由端子111输出至图像编码设备100的外部。
[0072]在步骤S307中，头编码单元114判断从区块设置单元102供给的独立区块标志。如果头编码单元114判断为独立区块标志被设置为1，则处理进入步骤S308。如果头编码单元114判断为独立区块标志被设置为0，则处理进入步骤S309。
[0073]在步骤S308中，由于要编码的序列包括独立区块，因此头编码单元114对MCTSSEI进行编码。在非专利文献2的第2章中描述了 MCTS SEL.在第一实施例中，由于在一个帧中包括一个独立区块集，因此num_sets_in_message_minusl被设置为0。mcts_id的值被设置为 0o num_tile_rects_in_set_minusl 的值被设置为 1。num_tile_rects_in_set_minusl表示属于MCTS的独立区块的数量。在第一实施例中，由于在独立区块集中包括区块5和区块6这两个区块作为独立区块，因此num_tile_rects_in_set_minusl的值被设置为 1。top_left_tile_index 和 bottom_right_tile_index 表不独立区块的位置。在第一实施例中，top_left_tile_index 的值为 5 并且 bottom_right_tile_index 的值为 6。头编码单元114以上述方式对各头信息进行编码以生成MCTS SEL.合成单元110接收头编码单元114所生成的MCTS SEI以生成位流，并且将所生成的位流经由端子111输出至图像编码设备100的外部。
[0074]在步骤S309中，缩小单元103缩小输入图像的大小以生成基本层图像。在第一实施例中，尽管由于增强层具有一个层因此利用缩小单元103生成基本层，但本发明不限于此。在使用两个以上的增强层(总层数为三个以上)的层级编码的情况下，可以设置多个减小单元103、或者一个缩小单元103可以生成期望层数的图像。
[0075]在步骤S310中，基本层分割单元105从图像的左上角起按区块编号的顺序提取要编码的基本层的区块的图像。基本层分割单元105将所提取的基本层的区块的图像各自供给至基本层编码单元107。
[0076]在步骤S311中，独立区块判断单元106从基本层分割单元105接收编码对象区块的区块编号。独立区块判断单元106从区块设置单元102接收与编码对象区块有关的独立区块位置信息。在第一实施例中，独立区块位置信息表示5和6。独立区块判断单元106将所接收到的编码对象区块的区块编号与独立区块位置信息中的区块编号进行比较。如果编码对象区块的区块编号与独立区块位置信息中的区块编号一致(步骤S311中为“是”)，则独立区块判断单元106判断为编码对象区块是独立区块并且将独立区块编码标志设置为1。然后，处理进入步骤S312。如果编码对象区块的区块编号与独立区块位置信息中的区块编号不一致(步骤S311中为“否”)，则独立区块判断单元106判断为编码对象区块不是独立区块并且将独立区块编码标志设置为0。然后，处理进入步骤S313。
[0077]在步骤S312中，编码对象区块是基本层的要编码的帧中的独立区块。因此，基本层编码单元107参考经过了局部解码的基本层的其它帧中的、位于与编码对象区块的位置相对相同的位置处的独立区块集中所包括的重建图像，来进行帧间预测和编码。基本层编码单元107参考要编码的帧的编码对象区块中的经过了局部解码的重建图像来进行帧内预测和编码。现在将说明要对图2的帧202中的区块5进行编码的情况。基本层编码单元107参考基本层重建单元108内所存储的、帧201中的区块5和区块6以及帧202中的区块5的经过了局部解码的重建图像来进行预测和编码。基本层编码单元107将通过编码所得到的与基本层的编码对象区块有关的编码数据作为基本层编码数据供给至合成单元110。合成单元110将从基本层编码单元107供给的基本层编码数据与从头编码单元114和增强层编码单元112供给的其它各编码数据合成以生成位流。合成单元110将所生成的位流经由端子111输出。基本层重建单元108例如使用基本层编码单元107在编码期间所生成的系数(预测模式和预测误差)来顺次生成基本层的重建图像，以保持所生成的重建图像。
[0078]在步骤S313中，编码对象区块不是基本层的要编码的帧中的独立区块。因此，基本层编码单元107参考经过了局部解码的基本层的其它帧的图像整体来对编码对象区块进行帧间预测和编码。在图2的示例中，在对帧202中的区块5进行编码的情况下，基本层编码单元107参考基本层重建单元108内所存储的、帧201中的所有区块和帧202中的区块5的经过了局部解码的重建图像来进行预测和编码。基本层编码单元107将所生成的基本层编码数据供给至合成单元110。与步骤S312相同，合成单元110将基本层编码数据与其它各编码数据合成以生成位流，并且将所生成的位流经由端子111输出。基本层重建单元108例如使用基本层编码单元107在编码期间所生成的系数来顺次生成基本层的重建图像，以保持所生成的重建图像。
[0079]在步骤S314中，控制单元115判断针对基本层的所有区块的图像的编码是否完成。如果控制单元115判断为针对基本层的所有区块的图像的编码没有完成(步骤S314中为“否”)，则处理返回至步骤S310。基本层分割单元105提取并输出下一区块编号的区块以继续该处理。如果控制单元115判断为针对基本层的所有区块的图像的编码完成(步骤S314中为“是”)，则处理进入步骤S315。
[0080]在步骤S315中，增强层分割单元104从图像的左上角起按区块编号的顺序提取要编码的增强层的区块的图像。增强层分割单元104将所提取的增强层的区块的图像各自供给至增强层编码单元112。
[0081]在步骤S316中，与步骤S311相同，独立区块判断单元106将所接收到的编码对象区块的区块编号与独立区块位置信息中的区块编号进行比较。如果编码对象区块的区块编号与独立区块位置信息中的区块编号一致(步骤S316中为“是”)，则独立区块判断单元106判断为编码对象区块是独立区块并且将独立区块编码标志设置为1。然后，处理进入步骤S317。如果编码对象区块的区块编号与独立区块位置信息中的区块编号不一致(步骤S316中为“否”)，则独立区块判断单元106判断为编码对象区块不是独立区块并且将独立区块编码标志设置为0。然后，处理进入步骤S319。
[0082]在步骤S317中，编码对象区块是增强层的要编码的帧中的独立区块。因此，放大单元109从基本层重建单元108内所存储的经过了局部解码的基本层的重建图像中接收位于与编码对象区块的位置相对相同的位置处的独立区块集中所包括的重建图像。放大单元109例如通过滤波仅使用所接收到的重建图像来进行放大以生成放大图像，并且将该放大图像供给至增强层编码单元112。
[0083]在步骤S318中，增强层编码单元112参考经过了局部解码的基本层的重建图像来对从增强层分割单元104供给的编码对象区块的图像进行预测和编码。具体地，增强层编码单元112参考步骤S317中所生成的放大图像来进行层间预测。增强层编码单元112参考增强层重建单元113内所存储的经过了局部解码的增强层中的、位于与编码对象区块的位置相对相同的位置处的独立区块集的重建图像，来对编码对象区块进行帧间预测。增强层编码单元112参考编码对象区块中的经过了局部解码的重建图像来进行帧内预测。增强层编码单元112对预测误差和通过预测所获得的与预测有关的信息(例如，通过帧间预测所获得的运动矢量)进行编码。增强层重建单元113例如使用增强层编码单元112在编码期间所生成的系数(预测模式和预测误差)来顺次生成增强层的重建图像以保持所生成的重建图像。
[0084]在步骤S319中，编码对象区块不是增强层的要编码的帧中的独立区块。因此，放大单元109例如通过滤波使用基本层重建单元108中所存储的基本层的重建图像整体来进行放大以生成放大图像，并且将该放大图像供给至增强层编码单元112。
[0085]在步骤S320中，增强层编码单元112参考经过了局部解码的基本层的重建图像来对从增强层分割单元104供给的编码对象区块的图像进行编码。具体地，增强层编码单元112参考步骤S319中所生成的放大图像来进行层间预测。增强层编码单元112参考增强层重建单元113中所存储的经过了局部解码的增强层的重建图像来对编码对象区块进行帧间预测。增强层编码单元112参考编码对象区块中的经过了局部解码的重建图像来对编码对象区块进行帧内预测。增强层编码单元112对预测误差和通过预测所获得的与预测有关的信息进行编码。增强层重建单元113例如使用增强层编码单元112在编码期间所生成的系数来顺次生成增强层的重建图像以保持所生成的重建图像。
[0086]在步骤S321中，控制单元115判断针对增强层的所有区块的图像的编码是否完成。如果控制单元115判断为针对增强层的所有区块的图像的编码没有完成(步骤S321中为“否”)，则处理返回至步骤S315。增强层分割单元104提取并输出下一区块编号的区块以继续该处理。如果控制单元115判断为针对增强层的所有区块的图像的编码完成(步骤S321中为“是”)，则处理进入步骤S322。
[0087]在步骤S322中，控制单元115判断针对从端子101供给的序列中所包括的所有帧的图像的编码是否完成。如果存在没有经过编码的任何帧(步骤S322中为“否”)，则处理返回至步骤S309以处理下一帧。如果不存在没有经过编码的帧(步骤S322中为“是”)，则终止该编码处理。
[0088]利用上述结构和操作，在使用独立区块和独立区块集的情况下，可以使增强层的各区块的相对位置与基本层的区块的相对位置一致。换句话说，将基本层的独立区块集中所包括的区块设置成包括在各增强层上的位于与基本层的独立区块集的位置相对相同的位置处的独立区块集中。这样使得能够在层级编码的任何层中限制针对独立区块的预测和解码所要参考的像素的数量以实现高速预测。特别地，由于在独立区块中设置目标区域等使得能够在无需参考从基本层到增强层的其它区块的情况下独立地对独立区块进行编码，因此与现有技术相比，可以以更高的速度对所需部分进行处理。
[0089]在第一实施例中，尽管如图2的示例那样说明了仅使用比要编码的帧早的帧作为参考帧来进行预测和编码的示例，但本发明不限于该示例。通过上述说明显而易见，这同样适用于参考多个帧来进行预测和编码的情况。
[0090]在第一实施例中，尽管说明了使用缩小单元103和放大单元109的图像编码设备100，但本发明不限于此。可以省略缩小单元103和放大单元109。可选地，可以通过将缩小率和放大率设置为1来使增强层编码单元112中所设置的量化参数小于基本层编码单元107中所设置的量化参数。这样使得能够实现信噪比(SNR)层级编码。
[0091]在第一实施例中，尽管在预测增强层的独立区块集中的区块的情况下、仅使用位于与该独立区块集的位置相对相同的位置处的基本层的区块的图像来生成要参考的放大图像，但本发明不限于此。换句话说，如步骤S319那样，还可以参考基本层的独立区块周围的像素。
[0092]在第一实施例中，尽管进行了基本层和一个增强层的层级编码(总共两个层的层级编码)，但本发明不限于此，并且可以进行总共三个以上层的层级编码。在这种情况下，针对增强层的层数设置缩小单元103、增强层分割单元104、增强层编码单元112、增强层重建单元113和放大单元109的集合使得能够支持更多层。可选地，如图4所示，在对增强层进行编码的情况下，可以共用一个增强层编码单元112、一个增强层重建单元413、一个放大单元409和一个缩小单元403。
[0093]图4是示出能够对多层的增强层进行编码的图像编码设备400的结构的示例的框图。图4的图像编码设备包括一个增强层编码单元112、一个增强层重建单元413、一个放大单元409和一个缩小单元403。在图4中使用相同的附图标记来标识具有与图1的图像编码设备100中的各处理单元的功能相同的功能的组件。这里省略了针对这些组件的说明。参考图4，层数设置单元401设置层级编码的层数。尽管图1的缩小单元103缩小从端子101供给的输入图像的大小以生成一个缩小图像，但缩小单元403基于从层数设置单元401供给的层数来缩小输入图像的大小以生成多个层的缩小图像。帧存储器402存储缩小单元403所生成的各层的缩小图像。尽管图1的放大单元109将基本层的重建图像放大为增强层的大小以生成一个放大图像，但放大单元409基于从层数设置单元401供给的层数来放大重建图像以生成分辨率不同的多个层的放大图像。增强层重建单元413从层数设置单元401接收层数以例如使用增强层编码单元112所生成的系数生成增强层的重建图像，并且将这些重建图像供给至放大单元409和增强层编码单元112。合成单元410从层数设置单元401接收层数以将与这些层数相对应的各编码数据彼此合成，从而生成位流。
[0094]图5是示出图4所示的图像编码设备400中的各处理单元所进行的示例性编码处理的流程图。参考图5来仅说明图3A和3B的步骤S309?步骤S320的这些步骤中的与图3A和3B的这些步骤有所不同的步骤。在图5中使用相同的步骤编号来标识具有与图3A和3B的功能相同的功能的步骤。这里省略了针对这些步骤的说明。假定在图3A的步骤S301中层数设置单元401将层数设置为3。没有具体限制层数。还假定在图3A的步骤S305中将vps_max_layers_minusl设置为2以生成头编码数据。
[0095]参考图5，在步骤S501中，缩小单元403生成一个帧的数量与层数相当的缩小图像。在本实施例中，由于在步骤S301中将层数设置为3，因此缩小单元403生成一个基本层图像和两个增强层图像。具体地，缩小单元403生成通过对输入图像进行纵横1/2分割所得到的增强第一层(第一增强层)图像和通过对该第一增强层图像进行纵横1/2分割所得到的基本层图像。缩小单元403将具有输入图像的分辨率的图像设置为增强第二