图像编码设备、图像编码方法、记录介质和程序以及图像解码设备、图像解码方法、记录介 ...的制作方法
【技术领域】
[0001]本发明涉及空间分辨率不同或图像质量不同的层的编码和解码。特别地，本发明涉及用以将构成运动图像的各图像分割成多个区域以针对各分割区域进行编码和解码的图像编码和解码技术。
【背景技术】
[0002]已知有H.264/运动图片专家组(MPEG) -4高级视频编码(AVC)(以下称为H.264)作为运动图像的压缩记录所用的编码方法。
[0003]近年来，作为H.264的继任，开始更高效率的编码方法的国际标准化的活动，并且在国际标准化组织/国际电工委员会(IS0/IEC)和国际电信联盟电信标准化部门(ITU-T)之间建立视频编码联合组(JCT-VC)。在JCT-VC中，高效率视频编码(以下称为HEVC)的标准化在进行中(称为非专利文献1)。
[0004]在HEVC中，采用被称为区块(tile)分割方法的技术，其中在该区块分割方法中，将图像分割成矩形区域(区块)以独立进行各个区域的编码和解码。另外，在该区块分割方法中，提出了用以针对各自包括一个或多个区块的运动受限区块集(以下称为MCTS(mot1n constrained tile set))以独立于其它区块的形式进行编码和解码的技术(称为非专利文献2)。在非专利文献2所述的提议中，定义了能够针对各序列进行设置的MCTS。换句话说，在同一序列中，MCTS在各帧中配置于相对相同的位置。在上述提议中，在对要处理的帧中的MCTS进行编码和解码时，对其它帧中配置于与MCTS的位置相对相同的位置处的像素群进行帧间预测。换句话说，不使用除该像素群中的像素以外的像素作为运动矢量搜索中所参考的参考像素。这样使得能够确保MCTS中的编码和解码的独立性。图像中的MCTS内所包含的各区块的位置包括在辅助增强信息(SEI)消息中以供编码。
[0005]在HEVC的标准化中，还考虑向层级编码的扩展。在层级编码中，在基本层和增强层上对要编码的区块进行编码。对在各个层中进行编码后的区块进行多路复用以生成位流。在上述的层级编码中，可以独立地设置基本层的区块的边界位置和增强层的区块的边界位置。由于在对增强层的要编码的区块进行编码时需要参考基本层的相应区块，因此需要识别基本层上的该区块的位置。因此，提出了使用tile_boundaries_aligned_flag作为增强层的视频可用性信息(VUI)参数(vui_parameters)(参考非专利文献3)。tile_boundaries_aligned_flag是通过对表示区块是否配置于各个层中的相对相同位置处的一致信息进行编码所得到的。如果tile_boundaries_aligned_flag的值为1，则确保了增强层的区块的边界位置与基本层的相应区块的边界位置一致。由于这样使得能够识别出在对增强层的区块进行编码和解码时被称为的基本层的区块的位置，因此可以独立地对增强层的区块进行编码和解码以使得能够进行高速编码和解码。基本层是最上位层并且后续的增强层是下位层。
[0006]然而，在非专利文献2所述的MCTS中，没有考虑层级编码。具体地，在能够针对各层设置区块的边界和MCTS的位置的情况下，各个层的区块的相对位置可能没有彼此一致。例如，在增强层的特定区块包括在MCTS中、但基本层的与该特定区块相对应的位置处的区块没有包括在MCTS中的情况下，在基本层上，除对与该特定区块相对应的位置处的区块进行解码外，还有必要对周围的区块进行解码。
[0007]现在将参考图13来具体说明该情况。图13示出如何将帧分割成区块。参考图13，附图标记1301?1310各自表示帧。帧1301?1310各自包括区块编号为0?11的12个区块。以下将区块编号为1的区块称为区块1。这同样适用于其它区块编号。为了说明，在基本层上，将各帧在水平方向上分割成两个区块，但在垂直方向上没有进行分割。在增强层上，将各帧在水平方向上分割成四个区块并且在垂直方向上分割成三个区块。在图13中，细线框表示区块的边界。
[0008]帧1301、1303、1305、1307和1309各自表示时刻t处的各层的帧。帧1301表示时刻t处的基本层的帧。帧1305表示时刻t处的增强第一层(第一增强层)的帧。帧1303表示通过将通过对帧1301进行局部解码所得到的重建图像放大为第一增强层的分辨率所产生的帧。帧1309表示时刻t处的增强第二层(第二增强层)的帧。帧1307表示通过将帧1305的解码图像放大为第二增强层的分辨率所产生的帧。
[0009]帧1302、1304、1306、1308和1310各自表示时刻t+δ (delta)处的各层的帧。帧1302表不时刻t+δ处的基本层的帧。帧1306表不时刻t+δ处的第一增强层的帧。帧1304表示通过将帧1302的解码图像放大为第一增强层的分辨率所产生的帧。帧1310表示时刻t+δ处的第二增强层的帧。帧1308表示通过将帧1306的解码图像放大为第二增强层的分辨率所产生的帧。
[0010]这里将增强层的各个帧(帧1305、1306、1309和1310)上的区块5描述为MCTS中的区块。参考图13，各粗线框表示属于MCTS的区块或与该区块相对应的位置。
[0011]参考图13，为了对第二增强层的帧1310中的MCTS (区块5)进行解码，需要对第一增强层的帧1306中的区块5进行解码。另外，为了对第一增强层的帧1306中的区块5进行解码，需要对基本层的帧1302中的区块0进行解码。此外，为了对基本层的帧1302中的区块0进行解码，需要参考帧1301来进行帧间预测，并且需要对帧1301中的所有区块进行解码。
[0012]换句话说，在现有技术中，为了对时刻t+δ处的第二增强层的MCTS进行解码，需要对除表示时刻t+ δ处的基本层的帧1302中的区块5的位置的区域(帧1304中虚线所表示的区域)以外的区域进行解码。因此，在层级编码中使用MCTS等对特定区块进行编码和解码的情况下，存在不能独立地仅对与MCTS的位置相对应的区块进行编码和解码的问题。
[0013]引f列表_4] 非专利文献
[0015]非专利文献1 (NPL 1):ITU-T Η.265 (2013年4月)高效率视频编码
[0016]非专利文献2(NPL 2) JCT-VC 投稿文章 JCTVC-M0235 因特网〈http://phenix.1nt-evry.fr/jet/doc_end_user/docments/13_Incheon/wgll/>
[0017]非专利文献3 (NPL 3):JCT-VC 投稿文章 JCTVC-M0202 因特网〈http://phenix.1nt-evry.fr/jet/doc_end_user/documents/13_Incheon/wgll/>
【发明内容】
[0018]本发明提供用以在层级编码中针对被设置为MCTS的特定区块以独立于其它区块的方式进行编码和解码的技术。以下将如MCTS中所包括的各区块那样的能够独立地进行编码和解码的区块称为独立区块。以下将如MCTS那样的独立区块的集合称为独立区块集。
[0019]本发明提供一种图像编码设备，用于利用多个层对构成运动图像的图像进行层级编码。所述图像编码设备包括第一生成单元、编码单元、第一获取单元和设置单元。所述第一生成单元用于根据所述图像来生成不同层的第一图像和第二图像。所述编码单元用于对所述第一图像和所述第二图像中的至少任一个进行编码。所述第一获取单元用于获取表示在所述第一图像中是否存在能够无需参考所述第一图像中的其它区域进行编码的第一区域的信息。所述设置单元用于在基于所述第一获取单元所获取到的信息、在所述第一图像中存在所述第一区域的情况下，在所述第二图像中的与所述第一图像中的所述第一区域相对应的位置处设置第二区域。
[0020]本发明提供一种图像解码设备，用于解码通过利用多个层对构成运动图像的图像进行层级编码所得到的编码数据。所述图像解码设备包括第一获取单元、第二获取单元和解码单元。所述第一获取单元用于获取与第一图像相对应的第一数据以及与层不同于所述第一图像的层的第二图像相对应的第二数据，其中所述第一数据和所述第二数据是根据所述编码数据所生成的。所述第二获取单元用于获取表示在所述第一图像中是否存在能够无需参考所述第一图像中的其它区域进行解码的第一区域的信息。所述解码单元用于在基于所述第二获取单元所获取到的信息、在所述第一图像中存在所述第一区域的情况下，使用所述第二图像中的与所述第一图像中的所述第一区域相对应的位置处所存在的第二区域来对所述第一图像中的所述第一区域进行解码。
[0021]通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
[0022]根据本发明，可以在层级编码中设置能够独立地进行编码和解码的区块。
【附图说明】
[0023]图1是示出根据第一实施例的图像编码设备的结构的示例的框图。
[0024]图2示出示例性区块结构。
[0025]图3A是示出第一实施例的图像编码设备中的示例性图像编码处理的流程图。
[0026]图3B是不出第一实施例的图像编码设备中的不例性图像编码处理的流程图。
[0027]图4是示出第一实施例中的另一图像编码设备的结构的示例的框图。
[0028]图5是示出图4所示的图像编码设备中的示例性图像编码处理的流程图。
[0029]图6是示出根据第二实施例的图像解码设备的结构的示例的框图。
[0030]图7是示出第二实施例中的图像解码单元的结构的示例的框图。
[0031]图8A是示出图7所示的图像解码单元中的示例性图像解码处理的流程图。
[0032]图8B是示出图7所示的图像解码单元中的示例性图像解码处理的流程图。
[0033]图9是示出图7所示的图像解码单元的示例性另一结构的框图。
[0034]图10A是示出图9所示的图像解码单元中的示例性图像解码处理的流程图。
[0035]图10B是示出图9所示的图像解码单元中的示例性图像解码处理的流程图。
[0036]图11是示出适用于根据第一实施例的图像编码设备和根据第二实施例的图像解码设备的计算机的示例性硬件结构的框图。
[0037]图12示出位流的vui_parameters的句法的示例。
[0038]图13示出现有技术中的示例性区块结构。
【具体实施方式】
[0039]这里将参考附图来详细说明实施例。实施例所述的结构仅是示例，并且本发明不限于以下所述的结构。
[0040]第一实施例
[0041]现在将参考图1来说明构成根据第一实施例的图像编码设备的各处理单元的概述。图1是示出第一实施例的图像编码设备100的结构的示例的框图。
[0042]参考图1，经由端子101 (输入单元)将图像(输入图像)输入至图像编码设备100。该输入图像是针对各帧所输入的。区块设置单元102确定一个帧内在水平方向上分割得到的区块的数量、一个帧内在垂直方向上分割得到的区块的数量和各区块的位置。另外，区块设置单元102确定将通过该分割所得到的区块中的哪个区块编码作为独立区块。以下将表示区块设置单元102所设置的在水平方向上分割得到的区块的数量、在垂直方向上分害J得到的区块的数量和各区块的位置的信息称为区块分割信息。由于在非专利文献1中的描述了作为与各图片有关的头数据的图片参数集(PPS)的部分中描述了区块分割信息，因此这里省略了针对区块分割信息的说明。
[0043]图2示出第一实施例中的如何将帧分割成区块的示例。在第一实施例的图2的示例中，一个帧是4K2K (4，096个水平像素X 2，160个垂直像素)。以下在第一实施例中利用4，096X2，160个像素来表示4，096个水平像素X2，160个垂直像素。这同样适用于不同的像素数。参考图2，附图标记201?206表示帧。帧201?206各自在水平方向上被分割成四个并且在垂直方向上被分割成三个，从而包括区块编号为0?11的12个区块。换句话说，一个区块的大小是1,024X720像素。然而，通过分割所得到的区块的数量不限于该数量。图2的帧201?206中的粗线框所包围的区块5和区块6是独立区块，并且包括区块5和6的区域与独立区块集相对应。图2的帧201?206中的细线框表示区块的边界。图2的放大图像中的粗线框表示与独立区块集相对应的位置。如从图2显而易见，在水平方向上分割得到的区块的数量、在垂直方向上分割得到的区块的数量和各区块的相对位置对于各个层而言是共通的。
[0044]参考图2，帧201表示在时刻t处输入的基本层的帧。帧202表示在时刻t+ δ处输入的基本层的帧。在时刻t+δ对帧201进行了编码和局部解码(去量化和逆变换)，并且在对帧202进行编码时可以使用经过了局部解码的帧201作为参考帧。
[0045]帧203表示通过在对帧201进行编码之后进行局部解码以生成重建图像、并且将该重建图像放大为与增强层的大小相等的大小所得到的放大图像。帧204表示通过在对帧202进行编码之后进行局部解码以生成重建图像、并且将该重建图像放大为与增强层的大小相等的大小所得到的放大图像。
[0046]帧205表不在时刻t处输入的增强层的帧。帧206表不在时刻t+δ处输入的增强层的帧。
[0047]继续对图1的各处理单元进行说明。将时刻t+ δ的各帧作为要编码的帧来进行说明。
[0048]区块设置单元102生成代表表示各序列是否包括独立区块的信息的独立区块标志。区块设置单元102在要编码的帧中包括独立区块的情况下将独立区块标志的值设置为1，并且在要编码的帧中不包括独立区块的情况下将独立区块标志的值设置为0。在要编码的帧中包括独立区块(独立区块标志的值为1)的情况下，区块设置单元102生成表示独立区块的位置的独立区块位置信息。尽管通常利用图像中的区块编号来表示独立区块位置信息，但本发明不限于此。区块设置单元102将所生成的独立区块标志和独立区块位置信息作为区块分割信息供给至下游单元。在第一实施例中，将从区块设置单元102输出的区块分割信息供给至增强层分割单元104、基本层分割单元105、独立区块判断单元106和头编码单元114。
[0049]缩小单元103使用预定滤波器等缩小从端子101供给的输入图像的大小，以生成分辨率降低的缩小图像(基本层图像)。
[0050]增强层分割单元104使用从端子101供给的输入图像作为增强层图像，以基于从区块设置单元102供给的区块分割信息将该增强层图像分割成一个或多个区块。在图2的示例中，增强层分割单元104将所输入的帧206分割成区块0?11这12个区块。另外，增强层分割单元104将通过该分割所得到的区块按区块编号的顺序(0、1、2.....11)供给至下游单元。
[0051]头编码单元114生成针对各序列和针对各图片的头编码数据。特别地，头编码单元114接收区块设置单元102中所生成的独立区块标志和独立区块位置信息，生成MCTSSEI (SEI消息)，并且对VUI参数(vui_parameters)进行编码。
[0052]基本层分割单元105基于从区块设置单元102供给的区块分割信息来将缩小单元103所生成的基本层图像分割成一个或多个区块。具体地，基本层分割单元105以基于区块分割信息的各区块的位置在缩小单元103所生成的基本层图像中是相对相同位置的方式，将基本层图像分割成区块。在第一实施例中，如图2所示，基本层分割单元105将所输入的帧202分割成区块0?11这12个区块。基本层分割单元105将通过该分割所得到的区块按区块编号的顺序供给至下游单元。基本层分割单元105将要输出的区块(要编码的区块)的编号供给至独立区块判断单元106。
[0053]独立区块判断单元106判断要编码的区块(编码对象区块)是否是独立区块。独立区块判断单元106基于区块设置单元102所生成的独立区块标志和独立区块位置信息以及从基本层分割单元105供给的编码对象区块的编号来判断编码对象区块是否是独立区块。如果独立区块标志被设置为1、独立区块位置信息表示独立区块的位置是区块5、并且编码对象区块是区块5，则独立区块判断单元106判断为编码对象区块是独立区块。独立区块判断单元106将该判断结果作为独立区块编码标志供给至下游单元。独立区块判断单元106在编码对象区块是独立区块的情况下将独立区块编码标志的值设置为1，并且在编码对象区块不是独立区块的情况下将独立区块编码标志的值设置为0。
[0054]基本层编码单元107对从基本层分割单元105供给的基本层图像中的编码对象区块的图像进行编码。基本层编码单元107基于从独立区块判断单元106供给的独立区块编码标志来对编码对象区块进行编码以生成基本层编码数据。
[0055]在独立区块编码标志表示编码对象区块是独立区块的情况下，基本层编码单元107按以下方式进行编码。基本层编码单元107仅参考经过了局部解码的基本层的重建图像中的、位于与包括编码对象区块的独立区块集的位置相对相同的位置处的像素，来进行预测和编码。在图2的示例中，在帧202中的区块5是编码对象区块的情况下，基本层编码单元107仅参考帧201中的独立区块集内的区块5和区块6来进行预测和编码。作为对比，在独立区块编码标志表示编码对象区块不是独立区块的情况下，基本层编码单元107参考经过了局部解码的基本层的重建图像中的所有像素来进行预测和预测误差等的编码。在图2的示例中，在要对帧202中的区块2进行编码的情况下，基本层编码单元107参考帧201中的所有区块(区块0?11)来进行预测和编码。
[0056]基本层编码单元107将预测所使用的预测模式、预测中所生成的预测误差和通过对预测误差进行编码所生成的基本层编码数据等供给至下游单元。
[0057]基本层重建单元108接收基本层编码单元107所生成的系数(预测模式和预测误差)，并且对该预测误差进行局部解码以生成基本层的重建图像。基本层重建单元108保持所生成的重建图像。这是因为，在基本层编码单元107和增强层编码单元112中使用该重建图像来进行预测。
[0058]放大单元109将基本层的重建图像放大为增强层的大小。在图2的示例中，放大单元109分别放大帧201和帧202各自的重建图像以生成帧203和帧204。
[0059]增强层编码单元112对从增强层分割单元104供给的区块的图像进行编码。具体地，增强层编码单元112基于从独立区块判断单元106供给的独立区块编码标志来选择参考图像，并且对编码对象区块进行编码以生成增强层编码数据。
[0060]如果独立区块编码标志被设置为1 (如果编码对象区块是独立区块)，则增强层编码单元112参考通过放大经过了局部解码的基本