图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置制造方法

图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置制造方法
【专利摘要】一种图像编码方法，将编码对象块分割为多个子块的步骤、按照每个子块取得预测方向、运动矢量以及参照图片索引的集合的候选即合并候选的步骤、选择合并候选的步骤、以及将用于确定所选择的合并候选的索引附加在比特流上的步骤，在取得合并候选的步骤中执行：第一判定处理，按照每个与子块邻接的邻接块，判定是否包含在编码对象块中，将未包含在编码对象块中的邻接块决定为合并对象块；以及第一导出处理，使用用于合并对象块的预测图像的生成的所述集合导出第一候选，作为所述合并候选的一部分。
【专利说明】图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置
【技术领域】
[0001]本发明涉及图像编码方法及图像解码方法。
【背景技术】
[0002]在运动图像编码处理中，通常利用运动图像具有的空间方向及时间方向的冗余性进行信息量的压缩。其中，作为利用空间方向的冗余性的方法通常采用向频域的变换。另夕卜，作为利用时间方向的冗余性的方法，采用图片间预测(以后称为帧间(inter)预测)编码处理。当在帧间预测编码处理中对某个图片进行编码时，将按照显示顺序位于编码对象图片的前方或者后方的已编码的图片用作参照图片。并且，通过相对于该参照图片的编码对象图片的运动检测来导出运动矢量。并且，根据所导出的运动矢量进行运动补偿，并计算通过运动补偿而得到的预测图像数据与编码对象图片的图像数据之差分，由此消除时间方向的冗余性(例如，参照非专利文献I )。在此，在运动检测中，计算编码图片内的编码对象块与参照图片内的块的差分值，将差分值为最小的参照图片内的块决定为参照块。并且，使用编码对象块和参照块检测运动矢量。
[0003]现有技术文献
[0004]非专利文献
[0005]非专利文献1:1TU_T Recommendation H.264 “Advanced video coding forgeneric audiovisual services，，，2010 年 3 月
[0006]非专利文献2:JCT-VC, “WD3:Working Draft3of High-Efficiency VideoCoding”，JCTVC-E603，March201L
发明概要
[0007]发明要解决的问题
[0008]但是，在上述现有技术中，期望提高采用帧间预测的图像编码及解码的编码效率。
[0009]
【发明内容】

[0010]本发明的目的在于，提供一种图像编码方法及图像解码方法，能够提高采用帧间预测的图像编码及解码的编码效率。
[0011]用于解决问题的手段
[0012]本发明的一个方式的图像编码方法，通过按照每个块对图像进行编码来生成比特流，该图像编码方法包括:将编码对象块分割为多个子块的步骤；按照每个子块，取得在所述编码对象块的编码中参照的预测方向、运动矢量以及参照图片索引的集合的候选即合并候选的步骤；从在取得所述合并候选的步骤中取得的所述合并候选，选择用于所述编码对象块的编码的合并候选的步骤；以及将用于确定在选择所述合并候选的步骤中选择的所述合并候选的索引附加在所述比特流上的步骤，在取得所述合并候选的步骤中，执行:第一判定处理，按照与所述子块邻接的每个邻接块，判定该邻接块是否包含在所述编码对象块中，将未包含在所述编码对象块中的所述邻接块决定为合并对象块；以及第一导出处理，在决定了 I个以上的合并对象块的情况下,按照所述I个以上的合并对象块中的每个合并对象块，使用该合并对象块的预测图像的生成中使用的预测方向、运动矢量以及参照图片索引的集合来导出第一候选，作为所述合并候选的一部分。
[0013]发明效果
[0014]根据本发明的一个方式，能够提高采用帧间预测的图像编码及解码的编码效率。【专利附图】

【附图说明】
[0015]图1A是用于说明B图片中的参照图片列表的一例的图。
[0016]图1B是表示B图片中的预测方向O的参照图片列表的一例的图。
[0017]图1C是表示B图片中的预测方向I的参照图片列表的一例的图。
[0018]图2是用于说明时间预测运动矢量模式中的运动矢量的图。
[0019]图3是表示在合并模式中使用的邻接块的运动矢量的一例的图。
[0020]图4是用于说明合并块候选列表的一例的图。
[0021]图5是表示合并块候选尺寸与对合并块索引分配的比特序列的关系的图。
[0022]图6是表示使用合并模式时的编码处理的一例的流程图。
[0023]图7是表示使用合并模式对图像进行编码的图像编码装置的结构的一例的图。
[0024]图8是表示使用合并模式时的解码处理的一例的流程图。
[0025]图9是表示对使用合并模式被编码后的图像进行解码的图像解码装置的结构的一例的图。
[0026]图10是表示将合并块索引附加在比特流中时的句法的图。
[0027]图11是表示编码块单位与预测块单位(分块)的关系的图。
[0028]图12是表示实施方式I的图像编码装置的结构的块图。
[0029]图13是表示实施方式I的图像编码装置的处理动作的流程图。
[0030]图14A是表不实施方式I的合并块候选列表的一例的图。
[0031]图14B是表不实施方式I的合并块候选列表的一例的图。
[0032]图14C是表不实施方式I的合并块候选列表的一例的图。
[0033]图14D是表不实施方式I的合并块候选列表的一例的图。
[0034]图15是表示实施方式I的合并块候选及合并块候选列表尺寸的计算处理的流程图。
[0035]图16是表示实施方式I的可合并候选数的计算动作的流程图。
[0036]图17是表示实施方式I的合并对象外块的判定动作的流程图。
[0037]图18是表示实施方式I的编码块单位和预测块单位的关系的图。
[0038]图19是表示实施方式I的新候选的追加处理的流程图。
[0039]图20是表示实施方式I的与合并块候选的选择相关的处理的流程图。
[0040]图21是表示实施方式2的图像编码装置的结构的块图。
[0041]图22是表示实施方式2的图像编码装置的处理动作的流程图。
[0042]图23是表示实施方式2的合并块候选列表尺寸的设定处理的流程图。
[0043]图24是表示实施方式2的合并块候选的计算处理的流程图。[0044]图25是表示将合并块索引附加在比特流中时的句法的一例的图。
[0045]图26是表示将合并块候选列表尺寸固定为合并块候选数的最大值时的句法的一例的图。
[0046]图27是实现内容分发服务的内容供给系统的整体结构图。
[0047]图28是数字广播用系统的整体结构图。
[0048]图29是表示电视机的结构例的模块图。
[0049]图30是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
[0050]图31是表示作为光盘的记录介质的构造例的图。
[0051]图32A是表示便携电话的一例的图。
[0052]图32B是表示便携电话的结构例的模块图。
[0053]图33是表示复用数据的结构的图。
[0054]图34是示意地表示各流在复用数据中怎样被复用的图。
[0055]图35是更详细地表示在PES包序列中视频流怎样被保存的图。
[0056]图36是表示复用数据的TS包和源包的构造的图。
[0057]图37是表示PMT的数据结构的图。
[0058]图38是表示复用数据信息的内部结构的图。
[0059]图39是表示流属性信息的内部结构的图。
[0060]图40是表示识别影像数据的步骤的图。
[0061]图41是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。
[0062]图42是表示切换驱动频率的结构的图。
[0063]图43是表示识别影像数据、切换驱动频率的步骤的图。
[0064]图44是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
[0065]图45A是表示将信号处理部的模块共用的结构的一例的图。
[0066]图45B是表不将信号处理部的模块共用的结构的另一例的图。
【具体实施方式】
[0067](作为本发明的基础的见解)
[0068]在已经标准化的被称为H.264的运动图像编码方式中，为了压缩信息量而采用I图片、P图片、B图片这三种图片类型。
[0069]I图片在帧间预测编码处理中不被编码。也就是说，I图片是在图片内预测(以后称为帧内(intra)预测)编码处理中被编码。对于P图像，参照按照显示时间顺序位于编码对象图片的前方或者后方的已编码的一个图片进行帧间预测编码。对于B图片，参照按照显示事件顺序位于编码对象图片的前方或者后方的已编码的两个图片进行帧间预测编码。
[0070]在帧间预测编码中，生成用于确定参照图片的参照图片列表。参照图片列表是对在进行帧间预测时参照的已编码的参照图片分配了参照图片索引的列表。例如，在B图片中能够参照两个图片进行编码，因而生成两个参照图片列表(L0、LI)。
[0071]图1A是用于说明B图片中的参照图片列表的一例的图。图1B表示双向预测中的预测方向O的参照图片列表O (LO)的一例。其中，在参照图片列表O中，参照图片索引O的值O被分配给显示顺序2的参照图片O。并且，参照图片索引O的值I被分配给显示顺序I的参照图片I。并且，参照图片索引O的值2被分配给显示顺序O的参照图片2。BP,按照显示顺序在时间上越接近编码对象图片的参照图片，被分配具有越小的值的参照图片索引。
[0072]另一方面，图1C表示双向预测中的预测方向I的参照图片列表I (LI)的一例。其中，在参照图片列表I中，参照图片索引I的值O被分配给显示顺序I的参照图片I。并且，参照图片索引I的值I被分配给显示顺序2的参照图片O。并且，参照图片索引2的值2被分配给显示顺序O的参照图片2。
[0073]这样，针对各参照图片，能够按照每个预测方向分配不同的参照图片索引的值(图1A的参照图片0、1)、或者分配相同的参照图片索引的值(图1A的参照图片2)。
[0074]另外，在被称为H.264的运动图像编码方式(非专利文献I)中，B图片中的各编码对象块的帧间预测的编码模式采用运动矢量检测模式。在运动矢量检测模式中，预测图像数据与编码对象块的图像数据的差分值、以及在生成预测图像数据时使用的运动矢量被进行编码。并且，在运动矢量检测模式中，关于预测方向能够选择双向预测和单向预测。在双向预测中，参照位于编码对象图片的前方或者后方的已经被编码的两个图片来生成预测图像。在单向预测中，参照位于编码对象图片的前方或者后方的已经被编码的一个图片来生成预测图像。
[0075]另外，在被称为H.264的运动图像编码方式中，当在对B图片进行编码中导出运动矢量时，能够选择被称为时间预测运动矢量模式的编码模式。使用图2说明时间预测运动矢量模式中的帧间预测编码方法。
[0076]图2是用于说明时间预测运动矢量模式中的运动矢量的图。具体地讲，图2表示以时间预测运动矢量模式对图片B2的块a进行编码的情况。
[0077]在此，利用了在对位于图片B2后方的参照图片即图片P3中的、位于与块a相同位置的块b (以后称为“co-located块”)进行编码时使用的运动矢量vb。运动矢量vb是在参照图片Pl对块b进行编码时使用的运动矢量。
[0078]使用与运动矢量vb平行的运动矢量，从作为前方参照图片的图片Pl和作为后方参照图片的图片P3取得块a用的两个参照块。并且，根据所取得的两个参照块进行双向预测，由此对块a进行编码。即，在对块a进行编码时使用的运动矢量，针对图片Pl是指运动矢量val，针对图片P3是指运动矢量va2。
[0079]另外，关于B图片或者P图片中的各编码对象块的帧间预测模式，正在研究合并模式(非专利文献2)。在合并模式中，复制在对编码对象块的邻接块进行编码时使用的预测方向、运动矢量及参照图片索引，来进行编码对象块的编码。此时，在复制时使用的矢量块的索引等被附加在比特流中。因此，能够在解码侧选择在进行编码时使用的运动方向、运动矢量及参照图片索引。关于具体示例，参照图3进行说明。
[0080]图3是表示在合并模式中使用的邻接块的运动矢量的一例的图。在图3中，邻接块A是编码对象块的左侧邻接的已编码块，邻接块A的下端与预测对象块的下端处于同一直线上。邻接块B是编码对象块的上侧邻接的已编码块，邻接块B的右端与预测对象块的右端处于同一直线上。邻接块C是编码对象块的右上侧邻接的已编码块。邻接块D是编码对象块的左下侧邻接的已编码块。邻接块E是编码对象块的左上侧邻接的已编码块。
[0081]这里，对复制邻接块A?D与co-located块中的某个块的编码中使用的预测方向、运动矢量和参照图片索引，来进行编码对象块的编码的情况进行说明。
[0082]并且，邻接块A是按照预测方向O的单向预测被进行了编码的块。邻接块A具有预测方向O的运动矢量MvL0_A，作为针对预测方向O的参照图片索引RefL0_A所示出的参照图片的运动矢量。其中，MvLO表示参照利用参照图片列表O (LO)所确定的参照图片的运动矢量。并且，MvLl表示参照利用参照图片列表I (LI)所确定的参照图片的运动矢量。
[0083]另外，邻接块B是按照预测方向I的单向预测被进行了编码的块。邻接块B具有预测方向I的运动矢量MvLl_B，作为针对预测方向I的参照图片索引RefLl_B所示出的参照图片的运动矢量。
[0084]另外，邻接块C是按照帧内预测被进行了编码的块。
[0085]另外，邻接块D是按照预测方向O的单向预测被进行了编码的块。邻接块D具有预测方向O的运动矢量MvL0_D，作为针对预测方向O的参照图片索引RefL0_D所示出的参照图片的运动矢量。
[0086]在这种情况下，例如从邻接块A?D的预测方向、运动矢量和参照图片索引、以及使用co-located块求出的基于时间预测运动矢量模式的预测方向、运动矢量和参照图片索引中，选择编码效率最好的预测方向、运动矢量和参照图片索引，作为编码对象块的预测方向、运动矢量和参照图片索引。并且，表示所选择的预测方向、运动矢量和参照图片索引的块的合并块索引被附加在比特流中。
[0087]例如，在选择了邻接块A的情况下，使用预测方向O的运动矢量MvL0_A和参照图片索引RefL0_A对编码对象块进行编码。并且，只有表示如图4所示的使用了邻接块A的合并块索引的值O被附加在比特流中。由此，能够削减预测方向、运动矢量和参照图片索引
的信息量。
[0088]并且，如图4所示，在合并模式中，不能用于编码的候选(以后称为“不能合并候选”)、或者预测方向、运动矢量及参照图片索引的组合彼此一致的候选(以后称为“重复候选”)，被从合并块候选中删除。
[0089]这样，通过削减合并块候选数量，能够削减分配给合并块索引的代码量。其中，所谓不能进行合并是指合并块候选(I)是按照帧内预测已被编码后的块、(2)是包括编码对象块的切片(slice)或者图片的边界外的块、或者(3)是尚未被进行编码的块等。
[0090]在图4的示例中，按照帧内预测对邻接块C进行编码。因此，合并块索引3的合并块候选是不能合并候选，被从合并块候选列表中删除。另外，邻接块D的预测方向、运动矢量及参照图片索引与邻接块A—致。因此，合并块索引4的合并块候选被从合并块候选列表中删除。其结果是，最终的合并块候选数量是3，合并块候选列表的列表尺寸被设定为3。
[0091]如图5所示，合并块索引按照合并块候选列表尺寸的大小被分配比特序列，并被实施可变长度编码。这样，在合并模式中，使分配给合并模式索引的比特序列根据合并块候选列表尺寸的大小而变化，由此削减代码量。
[0092]图6是表示使用合并模式时的编码处理的一例的流程图。在步骤S1001，从邻接块和co-located块取得合并块候选的运动矢量、参照图片索引和预测方向。在步骤S1002，从合并块候选中删除重复候选和不能合并候选。在步骤S1003，将删除处理后的合并块候选数量设定为合并块候选列表尺寸。在步骤S1004，决定在进行编码对象块的编码时使用的合并块索引。在步骤S1005，使用根据合并块候选列表尺寸而决定的比特序列，对所决定的合并块索引进行可变长度编码。
[0093]图7表示使用合并模式对图像进行编码的图像编码装置1000的结构的一例。图像编码装置1000具有加法部1001、正交变换部1002、量化部1003、逆量化部1004、逆正交变换部1005、加法部1006、块存储器1007、帧存储器1008、帧内预测部1009、帧间预测部1010、帧间预测控制部1011、图片类型决定部1012、开关1013、合并块候选计算部1014、colPic存储器1015、和可变长度编码部1016。
[0094]在图7中，合并块候选计算部1014计算合并块候选。并且，合并块候选计算部1014将计算出的合并块候选数发送给可变长度编码部1016。可变长度编码部1016将合并块候选数设定为作为编码参数的合并块候选列表尺寸。并且，可变长度编码部1016对在进行编码时使用的合并块索引分配与合并块候选列表尺寸对应的比特序列，并对所分配的比特序列进行可变长度编码。
[0095]图8是表示使用合并模式时的解码处理的一例的流程图。在步骤S2001，从邻接块和co-located块取得合并块候选的运动矢量、参照图片索引和预测方向。在步骤S2002，从合并块候选中删除重复候选和不能合并候选。在步骤S2003，将删除处理后的合并块候选数量设定为合并块候选列表尺寸。在步骤S2004，使用合并块候选列表尺寸对比特流中在进行解码对象块的解码时使用的合并块索引进行解码。在步骤S2005，使用被解码后的合并块索引所示出的合并块候选，生成预测图像并进行解码处理。
[0096]图9表示对使用合并模式被编码后的图像进行解码的图像解码装置2000的结构的一例。图像解码装置2000具有可变长度解码部2001、逆量化部2002、逆正交变换部2003、加法部2004、块存储器2005、帧存储器2006、帧内预测部2007、帧间预测部2008、帧间预测控制部2009、开关2010、合并块候选计算部2011和colPic存储器2012。
[0097]在图9中，合并块候选计算部2011计算合并块候选。并且，合并块候选计算部2011将计算出的合并块候选的数量(合并块候选数)发送给可变长度解码部2001。可变长度解码部2001将合并块候选数设定为作为解码参数的合并块候选列表尺寸。并且，可变长度解码部2001使用合并块候选列表尺寸对包含于比特流中的合并块索引进行解码。
[0098]图10表示将合并块索引附加在比特流中时的句法。在图10中，merge_idx表示合并块索引。merge_flag表示合并标志。NumMergeCand表示合并块候选列表尺寸。对该NumMergeCand设定有从合并块候选中删除不能合并候选和重复候选后的合并块候选数。
[0099]按照以上所述，使用合并模式对图像进行编码或者解码。
[0100]另外，上述非专利文献2中讨论的运动图像编码方式的前提是以编码块单位(以下称为⑶(Coding Unit))来进行预测图像的生成，即编码块单位⑶和进行预测图像的生成的预测块单位PU是相同尺寸。
[0101]但是，预测图像也可以是以将编码块⑶进一步分割而得到的预测块单位PU来生成。如果是以预测块单位PU来生成预测图像，则能够生成更精细的预测图像。
[0102]图11表示了将2NX2N尺寸(N是整数)的编码块单位⑶分割为多个预测块单位PU的情况的示例。
[0103]具体来说，图11的(a)?(C)表示了将编码块单位⑶上下二分割的情况，将位于上侧的预测块单位PUO设为分块0，将位于下侧的预测块单位PUl设为分块I。图11(a)表示了预测块单位I3U为2NXN的情况。图11 (b)表示了预测块单位I3U为2NXnU的情况。图11 (c)表示了预测块单位I3U为2NXnD的情况。
[0104]图11的(d)?图11 (f)表示了将编码块单位⑶左右二分割的情况，将位于左侧的预测块单位PUO设为分块0，将位于右侧的预测块单位PUl设为分块I。图11 (d)表示了预测块单位I3U为N X 2N的情况。图11 Ce )表示了预测块单位PU为nL X 2N的情况。图11 Cf)表示了预测块单位PU为nRX2N的情况。
[0105]图11的(g)表示预测块单位I3U为NXN的情况，即将编码块单位⑶分割为4个(上下二分割、左右二分割)的情况。图11的(g)中，将位于左上侧的预测块单位PUO设为分块0，将位于右上侧的预测块单位PUl设为分块1，将位于左下侧的预测块单位PU2设为分块2，将位于右下侧的预测块单位PU3设为分块3。
[0106]图11的(h)表示预测块单位I3U为2NX2N的情况，即编码块单位⑶与预测块单位PU相同的情况。图11的(h )中，将预测块单位PUO设为分块O。
[0107]在这样的根据将编码块单位CU分割而得到的预测块单位I3U的编码中，优选在预测图像的生成中使用的预测方向、运动矢量以及参照图片索引被设定为在分割得到的所有分块中不相同。这是因为在所有的分块中使用相同的预测方向、运动矢量以及参照图片索引时，实质上是与根据编码块单位CU来生成预测图像是相同的结果，削减了将编码块单位CU分割为预测块单位的优点。在根据预测块单位的编码中，在生成运动矢量等，计算出预测图像，从而得到预测残差时，通过从图11 (a)?(h)所示的多个预测块单位中，有选择地使用预测图像的生成中所使用的运动矢量等，能够对具有复杂形状的运动图像也高效地进行编码。
[0108]但是，现有的合并模式是在将编码块单位CU分割为多个分块来进行预测图像的生成时，即使是位于同一编码块单位CU内的邻接块，也要计算出合并块候选。如上所述，对同一编码块单位CU内的预测块单位并不优选使用相同的运动矢量等。因此，从位于同一编码块单位CU内的邻接块的运动矢量等求得的合并块候选成为冗长的合并块候选。这样，现有的合并模式就存在如下的问题，即，由于即使是位于同一编码块单位CU内的邻接块也要求得合并块候选，所以对多余的合并块候选也分配合并块索引，因此造成比特量增加。
[0109]因此、本发明的一个方式的图像编码方法为，通过按照每个块对图像进行编码来生成比特流，该图像编码方法包括:将编码对象块分割为多个子块的步骤；按照每个子块，取得在所述编码对象块的编码中参照的预测方向、运动矢量以及参照图片索引的集合的候选即合并候选的步骤；从在取得所述合并候选的步骤中取得的所述合并候选，选择用于所述编码对象块的编码的合并候选的步骤；以及将用于确定在选择所述合并候选的步骤中选择的所述合并候选的索引附加在所述比特流上的步骤，在取得所述合并候选的步骤中，执行:第一判定处理，按照与所述子块邻接的每个邻接块，判定该邻接块是否包含在所述编码对象块中，将未包含在所述编码对象块中的所述邻接块决定为合并对象块；以及第一导出处理，在决定了 I个以上的合并对象块的情况下，按照所述I个以上的合并对象块中的每个合并对象块，使用该合并对象块的预测图像的生成中使用的预测方向、运动矢量以及参照图片索引的集合来导出第一候选，作为所述合并候选的一部分。
[0110]根据上述结构的图像编码方法，在将编码块单位分割为多个分块(预测块单位ro)来生成预测图像的情况下，判定作为合并块候选的计算对象的邻接块是否位于同一编码块单位内，在判定为位于同一编码块单位内的情况下，将其从合并块候选的计算对象中排除。根据这种结构，在上述结构的图像编码方法中，不会将多余的合并块候选追加在合并块候选列表中，能够提高编码效率。
[0111]并且，例如，也可以是在所述第一判定处理中，还判定所述邻接块是否是根据帧内预测编码后的块，是否是位于包含所述编码对象块的切片或者图片的边界外的块，以及是否是还未被编码的块，将(I)判定为是不包含在所述编码对象块中、并且(2)判定为不是根据帧内预测编码后的块、并且(3)判定为不是位于包含所述编码对象块的切片或者图片的边界外的块、并且(4)判定为不是还未被编码的块的所述邻接块，决定为所述合并对象块。
[0112]并且，例如，也可以是还包含决定能够取得的合并候选的最大数的步骤，取得所述合并候选的步骤还进行:第二判定处理，判定所述第一候选的数量是否比所述最大数小；以及第二导出处理，在判定为所述第一候选的数量比所述最大数小的情况下导出新候选，该新候选具有针对在所述对象子块的编码中能够参照的图片的图片索引。
[0113]并且，例如，也可以是还包含使用在选择所述合并候选的步骤中选择的所述合并候选，生成所述对象子块的预测图像的步骤。
[0114]本发明的一个方式的图像解码方法为，按照每个块对编码比特流中包含的图像数据进行解码，包含:将解码对象块分割为多个子块的步骤；按照每个子块，取得在所述解码对象块的解码中参照的预测方向、运动矢量以及参照图片索引的集合的候选即合并候选的步骤；从所述编码比特流取得用于确定在所述解码对象块的解码中参照的合并候选的索引的步骤；以及使用所取得的所述索引确定所述合并候选，使用所确定的所述合并候选对所述解码对象块进行解码的步骤，在取得所述合并候选的步骤中，执行:第一判定处理，按照与所述子块邻接的每个邻接块，判定该邻接块是否包含在所述解码对象块中，将未包含在所述解码对象块中的所述邻接块决定为合并对象块；以及第一导出处理，在决定了 I个以上的合并对象块的情况下，按照所述I个以上的合并对象块中的每个合并对象块，使用该合并对象块的预测图像的生成中使用的预测方向、运动矢量以及参照图片索引的集合来导出第一候选，作为所述合并候选的一部分。
[0115]并且，例如，也可以是，在所述第一判定处理中，还判定所述邻接块是否是根据帧内预测解码后的块、是否是位于包含所述解码对象块的切片或者图片的边界外的块、以及是否是还未被解码的块，将(I)判定为是不包含在所述解码对象块中、并且(2)判定为不是根据帧内预测解码后的块、并且(3)判定为不是位于包含所述解码对象块的切片或者图片的边界外的块、并且(4)判定为不是还未被解码的块的所述邻接块，决定为所述合并对象块。
[0116]并且，也可以是，还包含决定能够取得的合并候选的最大数的步骤，取得所述合并候选的步骤还进行:第二判定处理，判定所述第一候选的数量是否比所述最大数小；以及第二导出处理，在判定为所述第一候选的数量比所述最大数小的情况下导出新候选，该新候选具有针对在所述对象子块的解码中能够参照的图片的图片索引。
[0117]并且，例如，也可以是，还包含使用在选择所述合并候选的步骤中选择的所述合并候选，生成所述对象子块的预测图像的步骤。
[0118]本发明的一个方式的图像编码装置为，通过按照每个块对图像进行编码来生成比特流，该图像编码装置包括:第一分割部，将编码对象块分割为多个子块；第一取得部，按照所述多个子块中的每个子块，取得在所述编码对象块的编码中参照的预测方向、运动矢量以及参照图片索引的集合的候选即合并候选；第一选择部，从在取得所述合并候选的步骤中取得的所述合并候选，选择用于所述编码对象块的编码的合并候选；以及编码部，将用于确定在所述第一选择部中选择的所述合并候选的索引附加在所述编码比特流上，所述第一取得部执行:第一判定处理，按照与所述子块邻接的每个邻接块，判定该邻接块是否包含在所述编码对象块中，将未包含在所述编码对象块中的所述邻接块决定为合并对象块；以及第一导出处理，在决定了 I个以上的合并对象块的情况下，按照所述I个以上的合并对象块中的每个合并对象块，使用该合并对象块的预测图像的生成中使用的预测方向、运动矢量以及参照图片索引的集合来导出第一候选，作为所述合并候选的一部分。
[0119]本发明的一个方式的图像解码装置为，按照每个块对编码比特流中包含的图像数据进行解码，该图像解码装置包括:第二分割部，将解码对象块分割为多个子块；第二取得部，按照所述多个子块中的每个子块，取得在所述解码对象块的解码中参照的预测方向、运动矢量以及参照图片索引的集合的候选即合并候选的步骤；索引取得部，从所述编码比特流取得用于确定在所述解码对象块的解码中参照的合并候选的索引；以及解码部，使用所取得的所述索引确定所述合并候选，使用所确定的所述合并候选对所述解码对象块进行解码，所述第二取得部执行:第一判定处理，按照与所述子块邻接的每个邻接块，判定该邻接块是否包含在所述解码对象块中，将未包含在所述解码对象块中的所述邻接块决定为合并对象块；以及第一导出处理，在决定了 I个以上的合并对象块的情况下，按照所述I个以上的合并对象块中的每个合并对象块，使用该合并对象块的预测图像的生成中使用的预测方向、运动矢量以及参照图片索引的集合来导出第一候选，作为所述合并候选的一部分。
[0120]本发明的一个方式的图像编解码装置具有上述图像编码装置和上述图像解码装置。
[0121]另外，本发明的全盘或者具体的方式也能够以系统、方法、集成电路、计算机程序或者计算机能够读取的CD-ROM等存储介质的方式来实现，还能够以系统、方法、集成电路、计算机程序及存储介质的任意组合的方式来实现。
[0122]下面，参照附图具体说明本发明的一个方式的图像编码装置和图像解码装置。
[0123]另外，下面说明的实施方式均用于示出本发明的一个具体示例。在下面的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等仅是一例，其主旨不是限定本发明。并且，关于下面的实施方式的构成要素中、没有在表示本发明的最上位概念的独立权利要求中记载的构成要素，作为任意的构成要素进行说明。
[0124](实施方式I)
[0125]根据图12?图20对执行本实施方式中的图像编码方法的图像编码装置进行说明。本实施方式中对如下情况进行说明，即，根据将编码块单位CU (编码对象块)分割而得到的预测块单位PU (预测对象块)，导出合并块候选，并生成预测图像。
[0126][I 一 I图像编码装置的结构]
[0127]首先，根据图12对图像编码装置的结构进行说明。
[0128]图12是表示实施方式I的图像编码装置100的结构的块图。图像编码装置100通过按照每个块对图像进行编码来生成比特流。
[0129]图像编码装置100如图12所示具有减法部101、正交变换部102、量化部103、逆量化部104、逆正交变换部105、加法部106、块存储器107、帧存储器108、帧内预测部109、帧间预测部110、帧间预测控制部111、图片类型决定部112、开关113、合并块候选计算部114、colPic存储器115、和可变长度编码部116。
[0130]减法部101对于每个块(预测块单位TO)，从包含于输入图像列中的输入图像数据减去预测图像数据，由此生成预测误差数据。
[0131]正交变换部102对所生成的预测误差数据进行从图像区域向频域的变换。
[0132]量化部103对被变换到频域中的预测误差数据进行量化处理。
[0133]逆量化部104对由量化部103进行量化处理后的预测误差数据进行逆量化处理。
[0134]逆正交变换部105对于被实施逆量化处理后的预测误差数据，进行从频域向图像区域的变换。
[0135]加法部106对于每个块(预测块单位PU)，将预测图像数据、和由逆正交变换部105进行逆量化处理后的预测误差数据相加，由此生成重构建图像数据。
[0136]在块存储器107中以块单位保存重构建图像数据。
[0137]在帧存储器108中以帧单位保存重构建图像数据。
[0138]图片类型决定部112决定按照I图片、B图片、P图片中的哪种图片类型对输入图像数据进行编码。并且，图片类型决定部112生成表示所决定的图片类型的图片类型信息。
[0139]帧内预测部109使用在块存储器107中保存的块单位的重构建图像数据进行帧内预测，由此生成编码对象块的帧内预测图像数据。
[0140]帧间预测部110使用在帧存储器108中保存的帧单位的重构建图像数据、和通过运动检测等导出的运动矢量进行帧间预测，由此生成编码对象块的帧间预测图像数据。
[0141]在编码对象块被实施帧内预测编码的情况下，开关113将由帧内预测部109生成的帧内预测图像数据作为编码对象块的预测图像数据输出给减法部101和加法部106。另一方面，在编码对象块被实施了帧间预测编码的情况下，开关113将由帧间预测部110生成的帧间预测图像数据作为编码对象块的预测图像数据输出给减法部101和加法部106。
[0142]在本实施方式中，合并块候选计算部114根据图11的(a)?(f)所示的预测块单位PU导出合并块候选。另外，在本实施方式中，为了便于说明，以不选择图11的(g)以及(h)所示的预测块单位PU的情况为例进行说明。合并块候选计算部114使用编码对象块的邻接块的运动矢量等、以及被存储在colPic存储器115中的co-located块的运动矢量等(colPic信息)，导出合并模式的合并块候选。并且，合并块候选计算部114利用后述的方法计算可合并候选数。
[0143]并且，合并块候选计算部114对所导出的合并块候选分配合并块索引的值。并且，合并块候选计算部114将合并块候选和合并块索引发送给帧间预测控制部111。并且，合并块候选计算部114将计算出的可合并候选数发送给可变长度编码部116。
[0144]帧间预测控制部111选择使用通过运动检测而导出的运动矢量的预测模式(运动检测模式)、和使用从合并块候选导出的运动矢量的预测模式(合并模式)中、能够得到最小的预测误差的预测模式。并且，帧间预测控制部111将表示预测模式是否是合并模式的合并标志发送给可变长度编码部116。并且，在选择了合并模式作为预测模式的情况下，帧间预测控制部111将与所决定的合并块候选对应的合并块索引发送给可变长度编码部116。另外，帧间预测控制部111将包括预测对象块的运动矢量等的colPic信息传输给colPic存储器115。
[0145]可变长度编码部116对被实施量化处理后的预测误差数据、及合并标志和图片类型信息进行可变长度编码处理，由此生成比特流。并且，可变长度编码部116将可合并候选数设定为合并块候选列表尺寸。并且，可变长度编码部116对在进行编码时使用的合并块索引分配与合并块候选列表尺寸对应的比特序列，并对所分配的比特序列进行可变长度编码。
[0146][1- 2图像编码装置的图像编码方法的执行]
[0147]其次，根据图13?图20对图像编码装置100的处理动作(图像编码方法的执行)进行说明。
[0148]图13是表示本实施方式的图像编码装置100的处理动作的流程图。
[0149]这里，图像编码装置100首先将编码对象块分割为多个子块，将多个子块中的一个子块决定为预测对象块。
[0150]在步骤SlOl中，合并块候选计算部114取得在预测对象块的预测中要参照的预测方向、运动矢量以及参照图片索引的集合的候选即合并候选。具体而言，合并块候选计算部114例如从预测对象块的邻接块以及Co - located块导出合并块候选。并且，在本实施方式中，合并块候选计算部114利用后述的方法计算出合并块候选列表尺寸。
[0151]在合并块候选的导出中，合并块候选计算部114首先根据后述的方法从预测对象块的邻接块A?D以及Co - located块生成合并块候选。而且，合并块候选计算部114例如如图14A的(a)所示，对各合并块候选分配合并块索引。
[0152]合并块索引的值越小则分配的代码越短。即，合并块索引的值较小的情况下，合并块索引所需的信息量越少。
[0153]另一方面，在合并块索引的值增大时，合并块索引所需要的信息量增大。因此，如果对具有精度更高的运动矢量和参照图片索引的可能性较大的合并块候选，分配值较小的合并块索引，则编码效率提高。
[0154]因此，也可以是，合并块候选计算部114例如对于每个合并块候选测定被选择为合并块的次数，对其次数较多的块分配值较小的合并块索引。具体地讲，可以考虑确定在邻接块中被选择的合并块，在进行对象块的编码时，减小针对所确定的合并块的合并块索引的值。
[0155]而且，合并块候选计算部114利用后述的方法进行不能合并候选以及重复候选的删除。这时，合并块候选计算部114也可以进行新候选的追加。新候选的追加不需要一定执行。
[0156]在本实施方式中，将不能被利用于预测图像的生成的合并块候选称为不能合并候选。并且,将与不能合并候选对应的块称为合并对象外块。合并对象外块中包含同一编码对象块中所含有的邻接块。在本实施方式中，作为合并对象外块，包含:(1)不具有运动矢量等信息的块(利用帧内预测编码后的块)、(2)位于包含编码对象块的切片或图片的边界外的块、(3)尚未编码的块。
[0157]并且，将能够被利用于预测图像的生成的合并块候选称为可合并候选。而且，将与可合并候选对应的块称为合并对象块。
[0158]并且，在多个合并块候选中，将与其他的某个合并块候选的运动矢量、参照图片索弓丨、以及预测方向全部一致的候选称为重复候选。
[0159]例如，在图14A的(a)的情况下，邻接块C是利用帧内预测编码后的块，所以构成不能合并候选。并且，邻接块D由于与邻接块A的运动矢量、参照图片索引、以及预测方向全部一致，所以构成重复候选。
[0160]这里，图14A的(b)是表示不存在包含于相同编码对象块中的邻接块(合并对象外块)的情况下计算出的合并块候选列表的例子。并且，图14B是表示邻接块A是在相同编码对象块中包含的合并对象外块的情况下计算出的合并块候选列表的图。图14C是表示邻接块B是在相同编码对象块中包含的合并对象外块的情况下计算出的合并块候选列表的图。图14D是表示邻接块A以及邻接块B是在相同编码对象块中包含的合并对象外块的情况下计算出的合并块候选列表的图。后面将描述合并对象外块的判定。
[0161]在步骤S102，帧间预测控制部111利用后述的方法，将使用通过运动检测而导出的运动矢量生成的预测图像的预测误差、和使用从合并块候选得到的运动矢量生成的预测图像的预测误差进行比较，并选择预测模式(选择编码对象块的编码中使用的合并候选)。在此，如果所选择的预测模式是合并模式，帧间预测控制部111将合并标志设定为1，否则将合并标志设定为O。
[0162]可变长编码部116通过执行步骤S103?步骤S105，将用于确定选择出的合并候选的索引，附加在比特流中。
[0163]具体来说，在步骤S103，判定合并标志是否为I (即，预测模式是否是合并模式)。
[0164]在此，如果步骤S103的判定结果为真(S103:是)，在步骤S104，可变长度编码部116将合并标志附加在比特流中。另外，在步骤S105，可变长度编码部116对在进行编码时使用的合并块候选的合并块索引分配如图5所示的与合并块候选列表尺寸对应的比特序列。并且，可变长度编码部116对所分配的比特序列进行可变长度编码。
[0165]另一方面，如果步骤S103的判定结果为假(S103:否)，在步骤S106，可变长度编码部116将合并标志和运动检测矢量模式的信息附加在比特流中。
[0166]在本实施方式中，如图14A的(a)所示，对与邻接块A对应的合并块索引的值分配“O”。另外，对与邻接块B对应的合并块索引的值分配“I”。另外，对与co-loctaed合并块对应的合并块索引的值分配“2”。另外，对与邻接块C对应的合并块索引的值分配“3”。另外，对与邻接块D对应的合并块索引的值分配“4”。
[0167]另外，合并块索引的值的分配方式不一定限于该示例。例如，可变长编码部116也可以对co-loctaed合并块分配比邻接块大的合并块索引。例如，在使用后述的方法追加了新候选的情况下等，可变长度编码部116也可以对原来的合并块候选分配较小的值，而对新候选分配较大的值。即，可变长度编码部116也可以优先对原来的合并块候选分配较小的值的合并块索引。
[0168]另外，用于求出合并块候选的邻接块不一定局限于邻接块A?D和co-loctaed块。例如，也可以从图3的邻接块E等求出合并块候选。并且，不一定限定于使用邻接块A?D以及co-loctaed块的所有邻接块，例如，也可以仅将邻接块A、B用作合并块候选。
[0169]另外，在本实施方式中，在图13的步骤S105，可变长度编码部116将合并块索引附加在比特流中，但不需要一定将合并块索引附加在比特流中。例如，在合并块候选列表尺寸为“I”的情况下，可变长度编码部116也可以不将合并块索引附加在比特流中。由此，能够削减合并块索引的信息量。
[0170]图15是表示图13的步骤SlOl的具体处理的流程图。具体地讲，图15表示计算合并块候选及合并块候选列表尺寸的方法。下面，对图15进行说明。
[0171]在步骤S111，合并块候选计算部114利用后述的方法判定合并块候选[N]是否是可合并候选(第一导出处理的一部分)。并且，合并块候选计算部114按照判定结果更新可合并候选数。
[0172]其中，N是用于表不各合并块候选的索引值。在本实施方式中，N取O?4的值。具体地讲，对合并块候选[O]分配图3的邻接块A。并且，对合并块候选[I]分配图3的邻接块B。并且，对合并块候选[2]分配co-located合并块。并且，对合并块候选[3]分配图3的邻接块C。并且，对合并块候选[4]分配图3的邻接块D。
[0173]在步骤S112，合并块候选计算部114取得合并块候选[N]的运动矢量、参照图片索引和预测方向，并追加在合并块候选列表中(第一导出处理的一部分)。
[0174]在步骤S113，合并块候选计算部114按照图14A?图14C所示从合并块候选列表中检索并删除不能合并候选和重复候选(第一导出处理的一部分)。
[0175]在步骤SI 14，合并块候选计算部114利用后述的方法将新候选追加在合并块候选列表中。在此，在追加新候选时，合并块候选计算部114也可以进行合并块索引的值的再分配，以便优先对原来存在的合并块候选分配较小的值的合并块索引。即，也可以是，合并块候选计算部114进行合并块索引的值的再分配，使得对新候选分配数值较大的合并块索弓I。由此，能够削减合并块索引的代码量。
[0176]在步骤S115，合并块候选计算部114将在步骤Slll计算出的可合并候选数设定为合并块候选列表尺寸。在图14A的示例中，利用后述的方法计算出可合并候选数为“4”，合并块候选列表尺寸被设定为“4”。
[0177]另外，所谓步骤S114中的新候选是指在合并块候选数未达到可合并候选数的情况下，利用后述的方法新追加在合并块候选中的候选。例如，新候选可以是图3中的左上邻接块E等。并且，新候选例如也可以是与co-located块的邻接块A?D对应的块。另外，新候选例如也可以是参照图片的画面整体或者一定区域中的具有运动矢量、参照图片索引和预测方向的统计值等的块。这样，在合并块候选数未达到可合并候选数的情况下，合并块候选计算部114通过追加具有新的运动矢量、参照图片索引和预测方向的新候选，能够提高编码效率。
[0178]图16是表示图15的步骤Slll的具体处理的流程图。具体地讲，图16表示判定合并块候选[N]是否是可合并候选，并更新可合并候选数的方法。下面，对图16进行说明。
[0179]在步骤S121，合并块候选计算部114判定合并块候选[N]是否是(I)按照帧内预测被实施了编码的块、或者(2)位于包括编码对象块的切片或者图片的边界外的块、或者
(3)尚未被实施编码的块。
[0180]如果步骤S121的判定结果为真(S121:是)，合并块候选计算部114将与合并块候选[N]对应的块决定为合并对象外块。而且，在步骤S123中，将合并块候选[N]设定为不能合并候选。[0181]另一方面，如果步骤S121的判定结果为假(S121:否)，在步骤S122，利用后述的方法，判定合并块候选[N]是否是合并对象外块(第一判定处理)。
[0182]如果步骤S122的判定结果为真(步骤S122:是)，在步骤S123中，合并块候选计算部114将合并块候选[N]决定为不能合并候选。
[0183]另一方面，如果步骤S122的判定结果为假(步骤S121:否)，在步骤S124中，合并块候选计算部114将合并块候选[N]决定为可合并候选。
[0184]在步骤S125中，合并块候选计算部114判定合并块候选[N]是否是可合并候选、或者Co — located合并块候选。
[0185]如果步骤S125的判定结果是真(步骤S125:是)，在步骤S126中，合并块候选计算部114将合并块候选数加1，并更新合并块候选数。另一方面，如果步骤S125的判定结果是假(步骤S125:否)，则不更新可合并候选数。
[0186]这样，在合并块候选是co-located合并块的情况下,无论co-located合并块是可合并候选还是不能合并候选，合并块候选计算部114都将可合并候选数加I。由此，即使是co-located合并块的信息由于包损失等而丢失的情况下，在图像编码装置和图像解码装置中也不会产生可合并候选数的不一致。
[0187]该可合并候选数在图15的步骤S115被设定为合并块候选列表尺寸。另外，在图13的步骤S105，合并块候选列表尺寸被用于合并块索引的可变长度编码中。由此，即使是丢失了包括co-located块等的参照图片信息的情况下，图像编码装置100也能够生成能够正常对合并块索引进行解码的比特流。
[0188]另外，在本实施方式中，在图16中表示了按照步骤S121、步骤S122的顺序进行判定的例子，但不一定限定于此。例如，也可以按照步骤S122、步骤S121的顺序进行判定。并且，例如，也可以在一个步骤中执行步骤S121和步骤S122。而且，步骤S121不一定必须执行。
[0189]另外，本实施方式的主要构成是步骤S122。
[0190]图17是表示图16的步骤S122的具体处理的流程图。具体而言，图17表示判定与合并块候选[N]对应的块是否是合并对象外块的方法。以下，对图17进行说明。
[0191]另外，在步骤S122中，在判定对象的块是预测对象块所属的编码对象块中包含的块的情况下，将其决定为合并对象外块。
[0192]在步骤S151中，合并块候选计算部114判定预测对象块的预测块单位相当于2NXN、2NXnU、2NXnD、NX 2N、nLX 2N、或nRX 2N的哪个，并且，是否是在预测块单位PUl的分块I的合并块候选的计算中，并且，与合并块候选[N]对应的预测对象块是否位于同一编码块单位CU内。
[0193]如果步骤S151的判定结果是真(步骤S151:是)，合并块候选计算部114将与合并块候选[N]对应的预测对象块决定为合并对象外块。
[0194]这样，与合并块候选[N]对应的预测对象块是合并对象外块的情况下，合并块候选[N]构成不能合并候选，从合并块候选列表删除。
[0195]另外，在本实施方式中，如果步骤S151的判定结果是真(步骤S151:是)，合并块候选计算部114将与合并块候选[N]对应的预测对象块判定为合并对象外块，但不限于此。在步骤S151的判定结果是假(步骤S151:否)的情况下，合并块候选计算部114也可以将与合并块候选[N]对应的预测对象块决定为合并对象块。另外，即使是在步骤S151的判定结果是假的情况下将与合并块候选[N]对应的预测对象块决定为合并对象块时，也能够得到与在步骤S151的判定结果是真的情况下将与合并块候选[N]对应的预测对象块决定为合并对象外块时相同的结果。
[0196]该情况下，在图16的步骤S122中，合并块候选计算部114判定合并块候选[N]是否是合并对象块。在步骤S122的判定结果是合并对象块的情况下，合并块候选计算部114转移到步骤Sm。并且，在步骤S122的判定结果不是合并对象块的情况下，合并块候选计算部114转移到步骤S123。
[0197]图18是对于与图11的(a)?(f)对应的各预测块单位表示了构成合并对象外块的块的块图。另外，图18中，用粗线表示预测对象块(分块I)和与该预测对象块对应的合并对象外块。换言之，在邻接块内，不是用粗线而是用通常的线记载的邻接块是合并对象块。
[0198]并且，块L与图3的邻接块A对应。块T与图3的邻接块B对应。块TR与图3的邻接块C对应。块BL与图3的邻接块D对应。块TL与图3的邻接块E对应。
[0199]如图18的(a)?(C)所示，在预测块单位是2NXN、或2NXnU、或2NXnD的情况下计算分块I的合并块候选列表时，与预测块单位PU的上侧邻接的块T包含在同一编码块单位⑶中。因此，块T构成合并对象外块。因此，该情况下,块T (邻接块B)构成合并对象外块，所以在合并块候选的导出中，如图14C所示，将邻接块B从合并候选删除。
[0200]并且，如图18的(d)?(f)所示，预测块单位是NX2N、或nLX2N、或nRX2N的情况下计算分块I的合并块候选列表时，与预测块单位I3U的左侧邻接的块L包含在同一编码块单位中。因此，块L构成合并对象外块。因此，该情况下，块L (邻接块A)构成合并对象外块，所以在合并块候选的导出中，如图14B所示，将邻接块A从合并候选删除。
[0201]另外，在分块O与分块I具有同一预测方向、同一运动矢量、以及同一参照图片索引的情况下生成的预测图像，与利用不伴随编码块单位CU的分割的2NX2N的预测块单位(图11的(h))所生成的预测图像相同。因此，在分块I的合并块候选列表中，追加从分块O所包含的块得到的合并块候选，相当于是对冗长的合并块候选分配合并块索引。因此，如本实施方式那样，在利用将编码块单位分割为分块的预测块单位来生成预测图像的情况下，判定计算出合并块候选的邻接块是否位于同一编码块单位内，如果判定结果是真，则不将从该邻接块获得的合并块候选追加到合并块候选列表中。由此，不需要对冗长的合并块候选分配合并块索引，能够提高编码效率。并且，通过将冗长的合并块候选从合并块候选列表删除，能够追加通过后述的方法计算出的用于提高编码效率的候选即新候选。通过删除冗长的合并块候选并追加新候选，能够提高编码效率。
[0202]另外，在本实施方式中，表示了将不能合并候选暂时追加到合并块候选列表之后删除的例子，但不一定限定于此，例如，也可以从最初就不将不能合并候选追加到合并块候选列表中。
[0203]图19是表示图15的步骤SI 14的具体处理的流程图。具体地讲，图19表示追加新候选的方法。下面，对图19进行说明。
[0204]在步骤S131，合并块候选计算部114判定合并块候选数是否小于可合并候选数。即，合并块候选计算部114判定合并块候选数是否未达到可合并候选数。
[0205]在此，如果步骤S131的判定结果为真(S131:是)，在步骤S132，合并块候选计算部114判定是否存在能够作为合并块候选被追加在合并块候选列表中的新候选。在此，如果步骤S132的判定结果为真(S132:是)，在步骤S133，合并块候选计算部114对新候选分配合并块索引的值，并将新候选追加在合并块候选列表中。另外，在步骤S134，合并块候选计算部114将合并块候选数加I。
[0206]另一方面，如果步骤S131或者步骤S132的判定结果为假(S131或者S132:否)，结束新候选追加处理。即，在合并块候选数已达到可合并候选数的情况下、或者不存在新候选的情况下，结束新候选追加处理。
[0207]图20是表示图13的步骤S102的具体处理的流程图。具体地讲，图20表示与合并块候选的选择相关的处理。下面，对图20进行说明。
[0208]在步骤S141，帧间预测控制部111对合并块候选索引设定0，对最小预测误差设定运动矢量检测模式的预测误差(成本)，对合并标志设定O。在此，关于成本例如利用R-D最优化模型的下式进行计算。
[0209](式I)
[0210]Cost=D+λ R
[0211]在式I中，D表示编码失真。例如，D采用使用根据某个运动矢量生成的预测图像对编码对象块进行编码及解码而得到的像素值、与编码对象块的原来的像素值之差分绝对值和等。另外，R表示产生代码量。R采用对在生成预测图像时使用的运动矢量进行编码所需要的代码量等。另外，λ表示拉格朗日的未定乘数。
[0212]在步骤S142，帧间预测控制部111判定合并块候选索引的值是否小于编码对象块的合并块候选数。即，帧间预测控制部111判定是否存在还没有进行下面的步骤S143?S145的处理的合并块候选。
[0213]在此，如果步骤S142的判定结果为真(S142:是)，在步骤S143，帧间预测控制部111计算被分配了合并块候选索引的合并块候选的成本。并且，在步骤S144，帧间预测控制部111判定计算出的合并块候选的成本是否小于最小预测误差。
[0214]在此，如果步骤S144的判定结果为真(S144:是)，在步骤S145，帧间预测控制部111更新最小预测误差、合并块索引及合并标志的值。另一方面，如果步骤S144的判定结果为假(S144:否)，帧间预测控制部111不更新最小预测误差、合并块索引及合并标志的值。
[0215]在步骤S146，帧间预测控制部111将合并块候选索引的值加1，反复进行步骤S142?S146的处理。
[0216]另一方面，如果步骤S142的判定结果为假(S142:否)，即，如果不存在未处理的合并块候选，在步骤S147，帧间预测控制部111确定最终设定的合并标志及合并块索引的值。
[0217][1-3效果、变形例等]
[0218]这样，本实施方式的图像编码装置100在将编码块单位CU分割为预测块单位(分块)来进行预测图像的生成的情况下，当邻接块位于同一编码块单位CU内时，不将从该邻接块获得的合并块候选追加到合并块候选列表中。由此，本实施方式的图像编码装置100不需要对冗长的合并块候选分配合并块索引，能够提高编码效率。并且，通过将冗长的合并块候选从合并块候选列表中排除，由此能够追加更多的新候选，能够提高编码效率。
[0219]另外，在本实施方式中，以将编码块单位CU分割为预测块单位(分块)为例，对分割为2NXN、2NXnU、2NXnD、NX2N、nLX2N、以及nRX2N的情况为例进行了说明，但不一定限定于此。例如，也可以适用于如图11的(g)所示的预测块单位NXN的情况。该情况下，如果邻接块位于同一编码块单位内，图像编码装置100也不将该邻接块追加到合并块候选列表中，由此不需要对冗长的合并块候选分配合并块索引，能够提高编码效率。
[0220]并且，根据本实施方式的图像编码装置100，能够根据不依赖于包含Co - located块等的参照图片信息的方法来计算在编码或解码合并块索引时使用的合并块候选列表尺寸。由此，图像编码装置100能够提高错误容限。
[0221]更具体而言，本实施方式的图像编码装置100中，与Co — located合并块是否是可合并候选无关，如果合并块候选是Co - located合并块，则始终对可合并候选数加I。而且，图像编码装置100使用这样计算出的可合并候选数，来决定分配给合并块索引的比特序列。由此，即使在丢失了包含Co — located块的参照图片信息的情况下，图像编码装置100也能够生成能够将合并块索引正常解码的比特流。
[0222]并且，本实施方式的图像编码装置100中，在合并块候选数未达到可合并候选数的情况下，通过追加具有新的运动矢量、参照图片索引以及预测方向的新候选来作为合并块候选，能够提高编码效率。
[0223]另外，在本实施方式中，如图16的步骤S125所示，虽然仅针对Co — located合并块不考虑其是可合并候选还是不能合并候选，始终对合并块候选数加1，但不限定于此。对于其他块也可以与是可合并候选还是不能合并候选无关，而始终对合并块候选数加I。该情况下，图像编码装置100例如也可以始终将可合并候选数固定为合并块候选数的最大值Max。即，也可以是将所有邻接块的合并块候选视为可合并候选，将合并块候选列表尺寸固定为合并候选块候选数的最大值Max，对合并块索引进行编码。例如，在本实施方式中，由于合并块候选数的最大值Max是5 (邻接块A、邻接块B、Co — located合并块、邻接块C、邻接块D)，所以始终将合并块候选列表尺寸设定为“5”，来对合并块索引进行编码。
[0224]并且，例如，在是不参照Co-located合并块的图片(参照I图片的B图片或P图片)的情况等、合并块候选数的最大值Max是4 (邻接块A、邻接块B、邻接块C、邻接块D)的情况下，始终对合并块候选列表尺寸设定“4”，来对合并块索引进行编码。
[0225]这样，也可以根据合并块候选数的最大值Max来决定合并块候选列表尺寸。该情况下，图像编码装置100在图13的步骤S105中，使用最大值Max作为合并块候选列表尺寸来进行可变长度编码。
[0226]由此，图像解码装置的可变长度解码部能够不参照邻接块或Co - located块的信息来对比特流中的合并块索引进行解码而生成比特流，能够削减可变长度解码部的处理量。并且，也可以将合并块候选数的最大值Max埋入SPS (Sequence Parameter Set)、PPS(Picture Parameter Set)、或切片头等中。由此,能够根据编码对象图片来切换合并块候选数的最大值Max，能够实现处理量的削减并提高编码效率。
[0227]另外，在本实施方式中示出了在合并模式时合并标志始终被附加在比特流中的示例，但不限于此。例如，也可以根据在进行编码对象块的帧间预测时使用的块形状等强制选择合并模式。在这种情况下，也可以不将合并标志附加在比特流中，由此削减信息量。
[0228]另外，在本实施方式中示出了采用合并模式的示例，在该合并模式中，从编码对象块的邻接块复制预测方向、运动矢量和参照图片索引来进行编码对象块的编码，但不必限定于此。例如，也可以采用跳跃合并模式。在跳跃合并模式中，使用如图14A的(b)所示生成的合并块候选列表，与合并模式相同地从编码对象块的邻接块复制预测方向、运动矢量和参照图片索引来进行编码对象块的编码。如果其结果是编码对象块的所有预测误差数据为O，将跳跃标志设定为1，将跳跃标志和合并块索引附加在比特流中。另外，如果预测误差数据不是O，将跳跃标志设定为O，将跳跃标志、合并标志、合并块索引和预测误差数据附加在比特流中。
[0229]另外，在本实施方式中示出了采用合并模式的示例，在该合并模式中，从编码对象块的邻接块复制预测方向、运动矢量和参照图片索引来进行编码对象块的编码，但不限于此。例如，也可以使用如图14A的(b)所示而生成的合并块候选列表对运动矢量检测模式的运动矢量进行编码。即，从运动矢量检测模式的运动矢量减去利用合并块索引指定的合并块候选的运动矢量，由此求出差分。并且，也可以将所求出的差分和合并块索引附加在比特流中。
[0230]另外，也可以是，使用运动检测模式的参照图片索引RefIdX_ME、和合并块候选的参照图片索引RefIdx_Merge,对合并块候选的运动矢量MV_Merge进行调度,从运动检测模式的运动矢量减去调度后的合并块候选的运动矢量scaledMV_Merge，由此求出差分。并且，也可以将所求出的差分和合并块索引附加在比特流中。调度的式子的示例如下所示。
[0231](式2)
[0232]scaledMV_Merge=MV_Merge X (POC (Ref Idx_ME) -curPOC) / (POC (Ref Idx_Merge)-curPOC)
[0233]其中，P0C(RefIdx_ME)表示参照图片索引RefIdx_ME所示出的参照图片的显示顺序。POC(RefIdx_Merge)表示参照图片索引RefIdx_Merge所示出的参照图片的显示顺序。curPOC表示编码对象图片的显示顺序。
[0234](实施方式2)
[0235]针对执行本实施方式的图像解码方法的图像解码装置，根据图21?图24来进行说明。在本实施方式中，对通过将解码块单位CU (解码对象块)分割而得到的预测块单位PU (预测对象块)，导出合并块候选，并生成预测图像的情况进行说明。
[0236][2-1图像解码装置的结构]
[0237]图21是表示实施方式2的图像解码装置的结构的块图。该图像解码装置300是与实施方式I的图像编码装置100对应的装置。图像解码装置300例如按照每个块对由实施方式I的图像编码装置100生成的比特流中所包含的编码图像进行解码。
[0238]图像解码装置300如图21所示具有可变长度解码部301、逆量化部302、逆正交变换部303、加法部304、块存储器305、帧存储器306、帧内预测部307、帧间预测部308、帧间预测控制部309、开关310、合并块候选计算部311和colPic存储器312。
[0239]可变长度解码部301对所输入的比特流进行可变长度解码，并生成图片类型信息、合并标志和量化系数。并且，可变长度解码部301使用后述的可合并候选数进行合并块索引的可变长度解码处理。
[0240]逆量化部302对通过可变长度解码处理而得到的量化系数进行逆量化处理。
[0241]逆正交变换部303将通过逆量化处理而得到的正交变换系数从频域变换到图像区域中，由此生成预测误差数据。
[0242]在块存储器305中以块单位保存将预测误差数据和预测图像数据相加而生成的解码图像数据。
[0243]在帧存储器306中以帧单位保存解码图像数据。
[0244]帧内预测部307使用在块存储器305中保存的块单位的解码图像数据进行帧内预测，由此生成解码对象块的预测图像数据。
[0245]帧间预测部308使用在帧存储器306中保存的帧单位的解码图像数据进行帧间预测，由此生成解码对象块的预测图像数据。
[0246]在解码对象块将被实施帧内预测解码的情况下，开关310将由帧内预测部307生成的帧内预测图像数据，作为解码对象块的预测图像数据输出给加法部304。另一方面，在解码对象块将被实施帧间预测解码的情况下，开关310将由帧间预测部308生成的帧间预测图像数据，作为解码对象块的预测图像数据输出给加法部304。
[0247]在本实施方式中，合并块候选计算部311根据图11的(a)?(f)所示的预测块单位PU，导出合并块候选。另外，在本实施方式中，由于是与实施方式I的图像编码装置100对应的装置，因此以图11的(g)和(h)所示的预测块单位PU未被选择的情况为例进行说明。合并块候选计算部311使用预测对象块的邻接块的运动矢量等、以及在COlPiC存储器312中存储的co-located块的运动矢量等(colPic信息)，利用后述的方法导出合并模式的合并块候选。并且，合并块候选计算部311对所导出的各合并块候选分配合并块索引的值。并且,合并块候选计算部311将合并块候选和合并块索引发送给帧间预测控制部309。
[0248]如果被解码后的合并标志为“0”，帧间预测控制部309使用运动矢量检测模式的信息，使帧间预测部308生成帧间预测图像。另一方面，如果合并标志为“ 1”，帧间预测控制部309根据被解码后的合并块索引，从多个合并块候选中决定在进行帧间预测时使用的运动矢量、参照图片索引和预测方向。并且，帧间预测控制部309使用所决定的运动矢量、参照图片索引和预测方向，使帧间预测部308生成帧间预测图像。并且，帧间预测控制部309将包括解码对象块的运动矢量等的colPic信息传输给colPic存储器312。
[0249]最后，加法部304将预测图像数据和预测误差数据相加，由此生成解码图像数据。
[0250][2 - 2图像解码装置的图像解码方法的执行]
[0251]接着，针对图像解码装置300的处理动作(图像解码方法的执行)，根据图22?图24来进行说明。
[0252]图22是表示实施方式3的图像解码装置300的处理动作的流程图。
[0253]这里，图像解码装置300首先将解码对象块分割为多个子块，将多个子块中的一个决定为预测对象块。
[0254]在步骤S301，可变长度解码部301对合并标志进行解码。
[0255]在步骤S302，如果合并标志为“ I ”(S302:是)，在步骤S303，合并块候选计算部311利用后述的方法计算可合并候选数。并且，合并块候选计算部311将计算出的可合并候选数设定为合并块候选列表尺寸。
[0256]在步骤S304，可变长度解码部301使用合并块候选列表尺寸，对比特流中的合并块索引进行可变长度解码。
[0257]在步骤S305，合并块候选计算部311利用后述的方法从解码对象块的邻接块和co-located块生成合并块候选。
[0258]在步骤S306，帧间预测控制部309使用被解码后的合并块索引所示出的合并块候选的运动矢量、参照图片索引和预测方向，使帧间预测部308生成帧间预测图像。
[0259]在步骤S302，如果合并标志为“O” (S302:否)，在步骤S307，帧间预测部308使用由可变长度解码部301进行解码后的运动矢量检测模式的信息，生成帧间预测图像。
[0260]另外，当在步骤S303计算出的合并块候选列表尺寸为“I”的情况下，也可以不对合并块索引进行解码，而估计为“O”。
[0261]图23是表示图22的步骤S303的具体处理的流程图。具体地讲，图23表示判定合并块候选[N]是否是可合并候选，并计算可合并候选数的方法。下面，对图23进行说明。
[0262]在步骤S311，合并块候选计算部311判定合并块候选[N]是否是(I)已按照帧内预测被解码后的块、或者(2)位于包括解码对象块的切片或者图片的边界外的块、或者(3)尚未被解码的块。
[0263]如果步骤S311的判定结果为真(S311:是)，合并块候选计算部311将与合并块候选[N]对应的块设定为合并对象外块。而且，在步骤S313，合并块候选计算部311将合并块候选[N]设定为不可合并候选。
[0264]另一方面，如果步骤S311的判定结果为假(S311:否)，在步骤S312，合并块候选计算部311使用与图17的流程图所示的方法相同的方法，判定与合并块候选[N]对应的块是否是合并对象外块(第一判定处理)。
[0265]如果S312的判定结果为真(步骤S312:是)，在步骤S313中，合并块候选计算部311将将合并块候选[N]决定为不可合并候选。
[0266]这样，在将解码块单位分割为分块进行解码的情况下，如果邻接块位于同一解码块单位内，则不将该邻接块追加在合并块候选列表中，由此，能够对由图像编码装置100生成的比特流进行正常的解码。
[0267]另一方面，如果步骤S312的判定结果是假(步骤S312:否)，则在步骤S314中，合并块候选计算部311将合并块候选[N]决定为可合并候选。
[0268]在步骤S315中，合并块候选计算部311判定合并块候选[N]是可合并候选还是Co 一 located合并块候选。
[0269]如果步骤S315的判定结果是真(步骤S315:是)，则在步骤S316中，合并块候选计算部311对合并块候选数加I并更新值。
[0270]另一方面，如果步骤S315的判定结果是假(步骤S315:否)，则不更新可合并候选数。
[0271 ] 这样，在合并块候选是co-located合并块的情况下,无论co-located合并块是可合并候选还是不能合并候选，合并块候选计算部311都将可合并候选数加I。由此，即使是co-located合并块的信息由于包损失等而丢失的情况下，在图像编码装置和图像解码装置中也不会产生可合并候选数的不一致。
[0272]该可合并候选数在图22的步骤S303被设定为合并块候选列表尺寸。另外，在图22的步骤S304，合并块候选列表尺寸被用于合并块索引的可变长度解码中。由此，即使是丢失了包括co-located块等的参照图片信息的情况下，图像解码装置300也能够正常对合并块索引进行解码。
[0273]另外，在本实施方式中，在图23中表示了按照步骤S311、步骤S312的顺序进行判定的例子，但不一定限定于此。例如，也可以按照步骤S312、步骤S311的顺序进行判定。并且，例如，也可以将步骤S311和步骤S312在一个步骤中执行。而且，步骤S311不需要一定执行。
[0274]并且，在本实施方式中，在步骤S312中，合并块候选[N]包含在解码对象块中的情况下，合并块候选计算部311将其决定为合并对象外块，但不限定于此。也可以在合并块候选[N]不包含在解码对象块中的情况下，将其决定为合并对象块。该情况下，合并块候选计算部311在图23的步骤S312的判定结果是合并对象块的情况下，转移到步骤S314。并且，合并块候选计算部311在步骤S312的判定结果不是合并对象块的情况下，转移到步骤S313。
[0275]另外，本实施方式的主要结构是步骤S312。
[0276]图24是表示图22的步骤S305的具体处理的流程图。具体地讲，图24表示计算合并块候选的方法。下面，对图24进行说明。
[0277]在步骤S321，合并块候选计算部311取得合并块候选[N]的运动矢量、参照图片索引和预测方向，并追加在合并块候选列表中(第一导出处理的一部分)。
[0278]在步骤S322，合并块候选计算部311按照图14A?图14D所示从合并块候选列表中检索不能合并候选和重复候选并将其删除(第一导出处理的一部分)。
[0279]在步骤S323，合并块候选计算部311利用与图19相同的方法将新候选追加在合并块候选列表中。
[0280]图25表示将合并块索引附加在比特流中时的句法的一例。在图25中，merge_idx表示合并块索引，merge_flag表示合并标志。NumMergeCand表示合并块候选列表尺寸,在本实施方式中被设定为通过图23所示的处理流程而计算出的可合并候选数。
[0281][2-3效果、变形例等]
[0282]这样，根据本实施方式的图像解码装置300，在将解码块单位分割为分块进行解码的情况下，通过对于位于同一解码块单位内的邻接块，不将其追加为合并块候选，由此，不需对冗长的合并块候选分配合并块索引。这是因为如果使用全部的分块都相同的预测方向、运动矢量以及参照图片索引，实质上是与以解码块单位来生成预测图像是相同的结果，降低了将解码块单位分割为预测块单位PU的优点。由此，图像解码装置300能够对提高了编码效率的比特流进行适当的解码。并且，通过将冗长的合并块候选更多地从合并块候选列表删除，而能够追加更多的新候选。由此，图像解码装置300能够对提高了编码效率的比特流进行适当的解码。
[0283]并且，根据本实施方式的图像解码装置300，能够根据依赖于包含Co - located块等的参照图片信息来计算在解码或者编码合并块索引时使用的合并块候选列表尺寸。由此，图像解码装置300能够对提高了错误容限的比特流进行适当的解码。
[0284]更具体地讲,只要合并块候选是co-located合并块,无论co-located合并块是否是可合并候选，本实施方式的图像解码装置300都始终将可合并候选数加I。并且，图像解码装置300使用这样计算出的可合并候选数决定分配给合并块索引的比特序列。因此，即使是丢失了包括co-located块等的参照图片信息的情况下，图像解码装置300也能够正常对合并块索引进行解码。
[0285]并且，在合并块候选数未达到可合并候选数的情况下，本实施方式的图像解码装置300通过将具有新的运动矢量、参照图片索引和预测方向的新候选追加为合并块候选，能够适当地对提高了编码效率的比特流进行解码。
[0286]另外，在本实施方式中，作为将解码块单位CU分割为预测块单位PU (分块)的例子，对分割为2NXN、2NXnU、2NXnD、NX2N、nLX2N、以及nRX2N的情况进行了说明，但不一定限定于此。例如，也可以适用于图11的(g)所示的预测块单位NXN的情况。该情况下的图像解码装置300，如果邻接块位于同一解码块单位内，则通过不将该邻接块追加到合并块候选列表中，能够不需要对冗长的合并块候选分配合并块索引，而对提高了编码效率的比特流适当地解码。
[0287]另外，在本实施方式中，如图23的步骤S315所示，与是可合并候选还是不能合并候选无关，仅对于Co - located合并块计算为将合并块候选数始终加1，但不限定于此。对于其他块，也可以与是可合并候选还是不能合并候选无关，将合并块候选数始终加I。该情况下，图像解码装置300例如也可以始终将可合并候选数固定为合并块候选数的最大值Max。S卩，图像解码装置300将全部的合并块候选视作可合并候选，将合并块候选列表尺寸固定为合并块候选数的最大值N，对合并块索引进行解码。
[0288]例如，在本实施方式中，也可以是，由于合并块候选数的最大值Max是5 (邻接块A、邻接块B、Co — located合并块、邻接块C、邻接块D)，图像解码装直始终对合并块候选列表尺寸设定5，并对合并块索引进行解码。并且，在是不参照Co — located块的图片(参照I图片的B图片或P图片)的情况下，也可以将合并块候选数的最大值Max设定为4 (邻接块A、邻接块B、邻接块C、邻接块D)。由此，图像解码装置的可变长度解码部能够不参照邻接块或者Co — located块的信息就对比特流中的合并块索引进行解码。结果，例如，能够省略图23的步骤S314、以及步骤S315的处理等，并能够削减可变长度解码部的处理量。
[0289]图26表示将合并块候选列表尺寸固定为合并块候选数的最大值时的句法的一例。如图26所示，在将合并块候选列表尺寸固定为合并块候选数的最大值时，将NumMergeCand从句法删除。
[0290]并且，作为合并块候选数的最大值Max，可以使用被埋入在SPS、PPS、或者切片头等中的值。由此，能够根据解码对象图片切换合并块候选数的最大值Max，能够对削减了处理量并提高了编码效率的比特流正确地解码。
[0291](实施方式I以及实施方式2的变形例)
[0292]上述实施方式I以及实施方式2中说明了如下情况，即，根据图15或图24的处理，从与对象块(编码对象块或解码对象块)在空间上邻接的块(例如邻接块A?E等)以及在时间上邻接的块(例如Co - located块等)生成合并块候选，并生成图14A?图14D所示的合并块候选。
[0293]这里，在上述实施方式I以及实施方式2中，也可以在将合并块候选列表尺寸设为固定值的情况下，当合并块候选列表有空闲时，为了提高错误容限，在合并块候选列表的空闲部分中放入规定的错误容限提高用的合并块候选(第二候选)。
[0294]具体而言，例如，也可以是，如果对象图片(编码对象图片或解码对象图片)是B图片，则根据双向预测，分配预测方向O的参照图片索引是O、运动矢量是(0、0)的合并块候选、和预测方向I的参照图片索引是O、运动矢量是(0、0)的合并块候选。并且，例如，也可以是，如果对象图片是P图片，则根据单向预测，分配预测方向O的参照图片索引是O、运动矢量是(0、0)的合并块候选。由于第二候选是用于提高错误容限的候选，所以在追加多个第二候选时，也可以设定为全部是相同值。另外，由于新候选是用于提高编码效率的候选，所以在追加多个新候选的情况下，追加不同的候选。其中，在第一候选以及第二候选之间，结果是新候选也可以是存在相同的候选。
[0295]例如，在图14A的(a)的例子中，合并块候选数的最大值是5。并且，如图14A的(b)所示，合并块候选数(第一候选的数)是4。因此，在图14A所示的例子中，成为对合并块索引4未分配合并块候选的状态。也可以是对该合并块索引4分配第二候选，例如，根据双向预测，分配预测方向O的参照图片索引是O、运动矢量是(0、0)、和预测方向I的参照图片索引是O、运动矢量是(0、0)的合并块候选。
[0296]由此，例如，在图像解码装置300中，即使合并块候选的重复候选的删除中发生了错误等，也能够回避对解码了的合并块索引未分配合并块候选的状況。
[0297]另外，本变形例中，以对未被分配合并块候选的合并块索引分配参照图片是O、运动矢量是(0、0)的合并块候选的情况为例进行了说明，但不一定限定于此。作为第二候选，例如也可以复制分配给了其他合并块索引的合并块候选。并且，也可以例如对分配给了其他合并块索引的合并块候选求平均，而从分配给其他合并块索引的合并块候选中生成。
[0298]并且，也可以是在图22的步骤S306中，判定是否对解码了的合并块索引分配了合并块候选，在未分配合并块候选的情况下，使用第二候选。
[0299]并且，也可以是在图22的步骤S306中，判定解码了的合并块索引的值是否是步骤S305中求出的合并块候选数以上，在合并块索引的值是合并块候选数以上时，使用第二候选。
[0300]并且，也可以是在图22的步骤S306中，判定解码了的合并块索引的值是否是步骤S305中求出的合并块候选数以上，在解码了的合并块索引的值是合并块候选数以上的情况下，将合并块索引的值用合并块候选数的值进行剪取处理，以便使合并块索引的值成为比合并块候选数小的值。通过这样的处理，例如，即使是在合并块候选的重复候选的删除中发生了错误的情况下，也能够回避对解码了合并块索引未分配合并块候选的状況。
[0301](实施方式3)
[0302]通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
[0303]进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编解码装置。关于系统的其他结构，可以根据情况而适当变更。
[0304]图27是表示实现内容分发服务的内容供给系统exlOO的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站exl06、exl07、exl08、exl09、exllO。
[0305]该内容供给系统exlOO在因特网exlOl上经由因特网服务提供商exl02及电话网exl04、及基站 exl07 ?exllO 连接着计算机 exlll、PDA (Personal Digital Assistant)exll2、照相机exll3、便携电话exll4、游戏机exll5等的各设备。[0306]但是，内容供给系统exlOO并不限定于图27那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站exl07?exllO将各设备直接连接在电话网exl04上。此外，也可以将各设备经由近距离无线等直接相互连接。
[0307]照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机exll6是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evolution)方式、HSPA (High Speed Packet Access)的便携电话机、或 PHS(Personal Handyphone System)等，是哪种都可以。
[0308]在内容供给系统exlOO中，通过将照相机exl 13等经由基站exl09、电话网exl04连接在流媒体服务器exl03上，能够进行现场转播等。在现场转播中，对用户使用照相机exll3摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器exl03发送。另一方面，流媒体服务器exl03将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机eXlll、PDAeX112、照相机exll3、便携电话exll4、游戏机exll5等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
[0309]另外，摄影的数据的编码处理既可以由照相机exll3进行，也可以由进行数据的发送处理的流媒体服务器exl03进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器exl03进行，也可以相互分担进行。此外，并不限于照相机exll3，也可以将由照相机exll6摄影的静止图像及/或运动图像数据经由计算机exlll向流媒体服务器exl03发送。此情况下的编码处理由照相机exll6、计算机exlll、流媒体服务器exl03的哪个进行都可以，也可以相互分担进行。
[0310]此外，这些编码解码处理一般在计算机exlll或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机exlll等读取的某些记录介质(⑶一 ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话exll4是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话exll4具有的LSIex500编码处理的数据。
[0311]此外，也可以是，流媒体服务器exl03是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。
[0312]如以上这样，在内容供给系统exlOO中，客户端能够接收编码的数据而再现。这样，在内容供给系统exlOO中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
[0313]另外，并不限定于内容供给系统exlOO的例子，如图28所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB) ex217等的装置将接收到的复用数据解码并将其再现(S卩，作为本发明的一个方式的图像解码装置发挥作用)。
[0314]此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
[0315]图29是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
[0316]此外，电视机ex300具备:具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306 ;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机eX300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
[0317]首先，对电视机eX300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
[0318]此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另夕卜，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
[0319]此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
[0320]作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图30中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406 —边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追力口、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
[0321]以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。
[0322]在图31中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
[0323]以上，举I层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
[0324]此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另夕卜，车载导航仪ex211的结构可以考虑例如在图29所示的结构中添加GPS接收部的结构，在计算机exlll及便携电话exll4等中也可以考虑同样的结构。
[0325]图32A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话exll4的图。便携电话exll4具有由用来在与基站exllO之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话exll4还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
[0326]进而，使用图32B对便携电话exl 14的结构例进行说明。便携电话exl 14对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD (LiquidCrystal Display:液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
[0327]电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话exll4起动为能够动作的状态。
[0328]便携电话exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话exll4在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。
[0329]进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站exllO发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350o
[0330]在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。
[0331]复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
[0332]在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由IXD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码,从声音输出部ex357输出声音。
[0333]此外，上述便携电话exll4等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
[0334]这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
[0335]此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
[0336](实施方式4)
[0337]也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG - 2、MPEG4 — AVC、VC — I等不同的标准的运动图像编码方法或装置根据需要而适当切换,来生成影像数据。
[0338]这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
[0339]为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG - 2传输流形式的数字流。
[0340]图33是表示复用数据的结构的图。如图33所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的I个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG - 2、MPEG4 — AVC,VC 一 1等标准的运动图像编码方法或装置编码。音频流由杜比AC - 3, Dolby Digital Plus、MLP、DTS、DTS — HD、或线性 PCM 等的方式编码。
[0341 ] 包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到OxlllF，对演示图形分配0x1200到0xl21F，对交互图形流分配0x1400到0xl41F，对在电影的副影像中使用的视频流分配OxlBOO到OxlBlF，对与主声音混合的副声音中使用的音频流分配OxIAOO到OxlAlF。
[0342]图34是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到I条流中而构成。
[0343]图35更详细地表示在PES包序列中怎样保存视频流。图35的第I段表示视频流的视频帧序列。第2段表示PES包序列。如图35的箭头yyl、yy2、yy3、yy4所示,视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS (Presentation Time-Stamp)及作为图片的解码时刻的 DTS (Decoding Time-Stamp)?
[0344]图36表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD — ROM的情况下，对于TS包赋予4字节的TP_Extra_Header,构成192字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS (Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图36下段所示排列，从复用数据的开头起递增的号码被称作SPN (源包号)。
[0345]此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为
O。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC (Arrival Time Clock)与作为PTS及DTS的时间轴的STC (System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
[0346]图37是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
[0347]在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
[0348]复用数据信息文件如图38所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
[0349]复用数据信息如图38所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上I帧量的再现间隔的值。
[0350]流属性信息如图39所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
[0351]在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
[0352]此外，在图40中表示本实施方式的运动图像解码方法的步骤。在步骤exSlOO中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exSlOl中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。
[0353]这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。
[0354](实施方式5)[0355]在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图41中表示I芯片化的LSIex500的结构。LSIex500 具备以下说明的单元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
[0356]例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/0ex509从麦克风exl 17及照相机exl 13等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/0ex506向外部输出。将该输出的比特流向基站exl07发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
[0357]另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成I个芯片，也可以形成多个芯片。
[0358]此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,但控制部ex510的结构并不限定于该结构。例如,也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
[0359]另外，这里设为LSI，但根据集成度的差异，也有称作1C、系统LS1、超级(super)LS1、特级(ultra)LSI的情况。
[0360]此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA (Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
[0361]进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
[0362](实施方式6)
[0363]在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
[0364]为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图42表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
[0365]更具体地讲，驱动频率切换部ex803由图41的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图41的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式4中记载的识别信息。关于识别信息，并不限定于在实施方式4中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图44所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
[0366]图43表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG — 2、MPEG4 - AVC,VC 一 I等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
[0367]进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
[0368]此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4 - AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
[0369]进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG - 2、MPEG4 一 AVC, VC 一 I等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的影像数据的情况相比，将停止时间设定得短。
[0370]这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
[0371](实施方式7)
[0372]在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
[0373]为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的解码处理部一部分共用的结构。图45A的ex900表示该结构例。例如,在上述各实施方式中示出的运动图像解码方法和依据MPEG4 - AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容，共用对应于MPEG4 - AVC标准的解码处理部ex902，关于不对应于MPEG4 — AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构:关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4 - AVC标准所特有的处理内容，使用专用的解码处理部。
[0374]此外,用图45B的exlOOO表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部exlOOl、和与其他的以往标准所特有的处理内容对应的专用的解码处理部exl002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部exl003的结构。这里,专用的解码处理部exl001、exl002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIeX500安装本实施方式的结构。
[0375]这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
[0376]产业上的可利用性
[0377]本发明的一个方式涉及的图像编码方法及图像解码方法适合应用于运动图像的编码方法及解码方法。[0378]标号说明
[0379]100、1000图像编码装置；101、1001减法部；102、1002正交变换部；103、1003量化部;104、1004、302、2002 逆量化部;105、1005、303、2003 逆正交变换部；106,1006,304,2004加法部;107、1007、305、2005 块存储器;108、1008、306、2006 帧存储器；109,1009,307,2007帧内预测部;110、1010、308、2008帧间预测部;111、1011、309、2009帧间预测控制部；112、1012图片类型决定部；113、1013、310、2010开关;114、1014、311、2011合并块候选计算部；115、1015、312、2012colPic存储器;116、1016可变长度编码部;300、2000图像解码装置；301、2001可变长度解码部。
【权利要求】
1.一种图像编码方法，通过按照每个块对图像进行编码来生成比特流，该图像编码方法包括: 将编码对象块分割为多个子块的步骤； 按照每个子块，取得在所述编码对象块的编码中参照的预测方向、运动矢量以及参照图片索引的集合的候选即合并候选的步骤； 从在取得所述合并候选的步骤中取得的所述合并候选，选择用于所述编码对象块的编码的合并候选的步骤；以及 将用于确定在选择所述合并候选的步骤中选择的所述合并候选的索引附加在所述比特流上的步骤， 在取得所述合并候选的步骤中，执行: 第一判定处理，按照与所述子块邻接的每个邻接块，判定该邻接块是否包含在所述编码对象块中，将未包含在所述编码对象块中的所述邻接块决定为合并对象块；以及 第一导出处理，在决定了 I个以上的合并对象块的情况下，按照所述I个以上的合并对象块中的每个合并对象块，使用该合并对象块的预测图像的生成中使用的预测方向、运动矢量以及参照图片索引的集合来导出第一候选，作为所述合并候选的一部分。
2.如权利要求1所述的图像编码方法， 在所述第一判定处理中， 还判定所述邻接块是否是根据帧内预测编码后的块，是否是位于包含所述编码对象块的切片或者图片的边界外的块，以及是否是还未被编码的块， 将(1)判定为是不包含在所述编码对象块中、并且(2)判定为不是根据帧内预测编码后的块、并且(3)判定为不是位于包含所述编码对象块的切片或者图片的边界外的块、并且(4)判定为不是还未被编码的块的所述邻接块，决定为所述合并对象块。
3.如权利要求1或2所述的图像编码方法， 还包含决定能够取得的合并候选的最大数的步骤， 取得所述合并候选的步骤还进行: 第二判定处理，判定所述第一候选的数量是否比所述最大数小；以及第二导出处理，在判定为所述第一候选的数量比所述最大数小的情况下导出新候选，该新候选具有针对在所述对象子块的编码中能够参照的图片的图片索引。
4.如权利要求1~3中任一项所述的图像编码方法， 还包含使用在选择所述合并候选的步骤中选择的所述合并候选，生成所述对象子块的预测图像的步骤。
5.一种图像解码方法，按照每个块对编码比特流中包含的图像数据进行解码，包含: 将解码对象块分割为多个子块的步骤； 按照每个子块，取得在所述解码对象块的解码中参照的预测方向、运动矢量以及参照图片索引的集合的候选即合并候选的步骤； 从所述编码比特流取得用于确定在所述解码对象块的解码中参照的合并候选的索引的步骤；以及 使用所取得的所述索引确定所述合并候选，使用所确定的所述合并候选对所述解码对象块进行解码的步骤，在取得所述合并候选的步骤中，执行: 第一判定处理，按照与所述子块邻接的每个邻接块，判定该邻接块是否包含在所述解码对象块中，将未包含在所述解码对象块中的所述邻接块决定为合并对象块；以及 第一导出处理，在决定了 I个以上的合并对象块的情况下，按照所述I个以上的合并对象块中的每个合并对象块，使用该合并对象块的预测图像的生成中使用的预测方向、运动矢量以及参照图片索引的集合来导出第一候选，作为所述合并候选的一部分。
6.如权利要求5所述的图像解码方法， 在所述第一判定处理中， 还判定所述邻接块是否是根据帧内预测解码后的块、是否是位于包含所述解码对象块的切片或者图片的边界外的块、以及是否是还未被解码的块， 将(I)判定为是不包含在所述解码对象块中、并且(2)判定为不是根据帧内预测解码后的块、并且(3)判定为不是位于包含所述解码对象块的切片或者图片的边界外的块、并且(4)判定为不是还未被解码的块的所述邻接块，决定为所述合并对象块。
7.如权利要求5或6所述的图像解码方法， 还包含决定能够取得的合并候选的最大数的步骤， 取得所述合并候选 的步骤还进行: 第二判定处理，判定所述第一候选的数量是否比所述最大数小；以及第二导出处理，在判定为所述第一候选的数量比所述最大数小的情况下导出新候选，该新候选具有针对在所述对象子块的解码中能够参照的图片的图片索引。
8.如权利要求5~7中任一项所述的图像解码方法， 还包含使用在选择所述合并候选的步骤中选择的所述合并候选，生成所述对象子块的预测图像的步骤。
9.一种图像编码装置，通过按照每个块对图像进行编码来生成比特流，该图像编码装置包括: 第一分割部，将编码对象块分割为多个子块； 第一取得部，按照所述多个子块中的每个子块，取得在所述编码对象块的编码中参照的预测方向、运动矢量以及参照图片索引的集合的候选即合并候选； 第一选择部，从在取得所述合并候选的步骤中取得的所述合并候选，选择用于所述编码对象块的编码的合并候选；以及 编码部，将用于确定在所述第一选择部中选择的所述合并候选的索引附加在所述编码比特流上， 所述第一取得部执行: 第一判定处理，按照与所述子块邻接的每个邻接块，判定该邻接块是否包含在所述编码对象块中，将未包含在所述编码对象块中的所述邻接块决定为合并对象块；以及 第一导出处理，在决定了 I个以上的合并对象块的情况下，按照所述I个以上的合并对象块中的每个合并对象块，使用该合并对象块的预测图像的生成中使用的预测方向、运动矢量以及参照图片索引的集合来导出第一候选，作为所述合并候选的一部分。
10.一种图像解码装置，按照每个块对编码比特流中包含的图像数据进行解码，该图像解码装置包括:第二分割部，将解码对象块分割为多个子块； 第二取得部，按照所述多个子块中的每个子块，取得在所述解码对象块的解码中参照的预测方向、运动矢量以及参照图片索引的集合的候选即合并候选的步骤； 索引取得部，从所述编码比特流取得用于确定在所述解码对象块的解码中参照的合并候选的索引； 以及 解码部，使用所取得的所述索引确定所述合并候选，使用所确定的所述合并候选对所述解码对象块进行解码， 所述第二取得部执行: 第一判定处理，按照与所述子块邻接的每个邻接块，判定该邻接块是否包含在所述解码对象块中，将未包含在所述解码对象块中的所述邻接块决定为合并对象块；以及 第一导出处理，在决定了 I个以上的合并对象块的情况下，按照所述I个以上的合并对象块中的每个合并对象块，使用该合并对象块的预测图像的生成中使用的预测方向、运动矢量以及参照图片索引的集合来导出第一候选，作为所述合并候选的一部分。
11.一种图像编解码装置，具有: 权利要求9所述的图像编码装置、以及 权利要求10所述的图像解码装置。
【文档编号】H04N19/52GK103828373SQ201280046937
【公开日】2014年5月28日 申请日期:2012年9月21日 优先权日:2011年10月5日
【发明者】杉尾敏康, 西孝启, 柴原阳司, 谷川京子, 笹井寿郎, 松延彻, 寺田健吾 申请人:松下电器产业株式会社