图像解码方法、图像编码方法、图像解码装置、图像编码装置以及图像编解码装置制造方法

图像解码方法、图像编码方法、图像解码装置、图像编码装置以及图像编解码装置制造方法
【专利摘要】一种图像解码方法，按每个块对编码比特流中包含的图像数据进行解码，该图像解码方法包括以下步骤：合并候选取得步骤，取得固定的2以上的数量的合并候选，该合并候选是在解码对象块的解码中参照的预测方向、运动矢量及参照图片索引的候选；以及索引取得步骤，从编码比特流取得用于确定解码对象块的合并候选的索引；固定的2以上的数量的合并候选具备至少1个第一候选和至少1个第二候选，该第一候选基于与解码对象块在空间上或时间上相邻的相邻块的解码中使用的预测方向、运动矢量及参照图片索引而被导出，该第二候选具有预先决定的固定值。
【专利说明】图像解码方法、图像编码方法、图像解码装置、图像编码装置以及图像编解码装置【技术领域】
[0001]本发明涉及运动图像编码方法及运动图像解码方法。
【背景技术】
[0002]在运动图像编码处理中，通常利用运动图像所具有的空间方向及时间方向的冗余性来进行信息量的压缩。在此，作为利用空间方向的冗余性的方法，通常使用向频域的变换。此外，作为利用时间方向的冗余性的方法，使用图片间预测(以后称为“帧间预测”)编码处理。在帧间预测编码处理中，对某图片进行编码时，将相对于编码对象图片在显示时间顺序上位于前方或后方的已编码的图片作为参照图片使用。然后，通过编码对象图片相对于对该参照图片的运动检测 ，导出运动矢量。然后，计算基于导出的运动矢量进行运动补偿而得到的预测图像数据与编码对象图片的图像数据之间的差分，从而除去时间方向的冗余性(例如参照非专利文献I)。在此，在运动检测中，计算编码图片内的编码对象块与参照图片内的块之间的差分值，将差分值最小的参照图片内的块决定为参照块。然后，使用编码对象块和参照块检测运动矢量。
[0003]在先技术文献
[0004]非专利文献
[0005]非专利文献1:1TU_T Recommendation H.264 “Advanced video coding forgeneric audiovisual services，，, 2010 年 3 月
[0006]非专利文献2:JCT-VC, “WD3:Working Draft3of High-Efficiency VideoCoding”，JCTVC-E603，March201L
[0007]发明的概要
[0008]发明所要解决的课题
[0009]但是，在上述以往的技术中，在使用帧间预测的图像编码及解码中，希望提高容错性。

【发明内容】

[0010]因此，本发明的目的在于，提供一种图像编码方法及图像解码方法，在使用帧间预测的图像编码及解码中，能够提高容错性。
[0011 ] 解决课题所采用的手段
[0012]本发明的一个方式的图像解码方法，是按每个块对编码比特流中包含的图像数据进行解码的图像解码方法，包括以下步骤:合并候选取得步骤，取得2以上的固定数量的合并候选，该合并候选是在解码对象块的解码中参照的预测方向、运动矢量及参照图片索引的候选；索引取得步骤，从所述编码比特流取得用于从所述2以上的固定数量的合并候选中确定在所述解码对象块的解码中参照的合并候选的索引；以及解码步骤，使用取得的所述索引来确定所述合并候选，使用确定的所述合并候选将所述解码对象块解码；所述2以上的固定数量的合并候选包括至少I个第一候选和至少I个第二候选，该第一候选基于与所述解码对象块在空间上或时间上相邻的相邻块的解码中使用的预测方向、运动矢量及参照图片索引而被导出，该第二候选具有预先决定的固定值。
[0013]另外，这些整体或具体的方式可以通过系统、方法、集成电路、计算机程序或计算机可读取的⑶-ROM (Compact Disc Read Only Memory)等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。
[0014]发明效果
[0015]根据本发明的一个方式，在使用帧间预测的图像编码及解码中，能够提高容错性。【专利附图】

【附图说明】
[0016]图1A是用于说明B图片中的参照图片列表的一例的图。
[0017]图1B是表示B图片中的预测方向O的参照图片列表的一例的图。
[0018]图1C是表示B图片中的预测方向I的参照图片列表的一例的图。
[0019]图2是用于说明时间预测运动矢量模式中的运动矢量的图。
[0020]图3是表示在合并模式中使用的相邻块的运动矢量的一例的图。
[0021]图4是用于说明合并块候选列表的一例的图。
[0022]图5是表示合并块候选尺寸与对合并块索引分配的比特串之间的关系的图。
[0023]图6是表示使用合并模式的情况下的编码处理的一例的流程图。
[0024]图7是表示图像编码装置的构成的模块图。
[0025]图8是表示使用合并模式的情况下的解码处理的流程图。
[0026]图9是表示图像解码装置的构成的模块图。
[0027]图10是表示将合并块索引附加于编码比特流时的语法的图。
[0028]图11是表示实施方式I的图像编码装置的构成的模块图。
[0029]图12是表示实施方式I的图像编码装置的处理动作的流程图。
[0030]图13A是表不实施方式I中的合并块候选列表的一例的图。
[0031]图13B是表示实施方式的变形例中的合并块候选列表的一例的图。
[0032]图13C是表示实施方式的变形例中的合并块候选列表的一例的图。
[0033]图14A是表示实施方式I中的合并块候选及合并块候选列表尺寸的计算处理的流程图。
[0034]图14B是表示实施方式的变形例中的合并块候选及合并块候选列表尺寸的计算处理的流程图。
[0035]图14C是表示实施方式的变形例中的合并块候选及合并块候选列表尺寸的计算处理的流程图。
[0036]图15A是表示实施方式I中的判定合并块候选是否为可合并候选、并更新可合并候选数的处理的流程图。
[0037]图15B是表示实施方式的变形例中的判定合并块候选是否为可合并候选、并更新可合并候选数的处理的流程图。
[0038]图16是表示实施方式I中的新候选的追加处理的流程图。
[0039]图17是表示实施方式的变形例中的第二候选的追加处理的流程图。[0040]图18是表示实施方式I中的与合并块候选的选择有关的处理的流程图。
[0041]图19是表示实施方式2的图像解码装置的构成的模块图。
[0042]图20是表示实施方式2的图像解码装置的处理动作的流程图。
[0043]图21是表示实施方式2中的判定合并块候选是否为可合并候选、并更新可合并候选数的处理的流程图。
[0044]图22是表示实施方式2中的生成合并块候选列表的处理的流程图。
[0045]图23是表示将合并块索引附加于编码比特流时的语法的一例的图。
[0046]图24是表示将合并块候选列表尺寸固定为合并块候选数的最大值的情况下的语法的一例的图。
[0047]图25是实现内容分发服务的内容供给系统的整体结构图。
[0048]图26是数字广播用系统的整体结构图。
[0049]图27是表示电视机的结构例的模块图。
[0050]图28是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
[0051]图29是表示作为光盘的记录介质的构造例的图。
[0052]图30A是表示便携电话的一例的图。
[0053]图30B是表示便携电话的结构例的模块图。
[0054]图31是表示复用数据的结构的图。
[0055]图32是示意地表示各流在复用数据中怎样被复用的图。
[0056]图33是更详细地表示在PES包序列中视频流怎样被保存的图。
[0057]图34是表示复用数据的TS包和源包的构造的图。
[0058]图35是表示PMT的数据结构的图。
[0059]图36是表示复用数据信息的内部结构的图。
[0060]图37是表示流属性信息的内部结构的图。
[0061]图38是表示识别影像数据的步骤的图。
[0062]图39是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。
[0063]图40是表示切换驱动频率的结构的图。
[0064]图41是表示识别影像数据、切换驱动频率的步骤的图。
[0065]图42是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
[0066]图43A是表示将信号处理部的模块共用的结构的一例的图。
[0067]图43B是表示将信号处理部的模块共用的结构的另一例的图。
【具体实施方式】
[0068](本发明的基础知识)
[0069]在已经标准化的被称为H.264的运动图像编码方式中，为了进行信息量的压缩，使用I图片、P图片、B图片这3种图片类型。
[0070]I图片在帧间预测编码处理中不被编码。S卩，I图片在图片内预测(以后称为“帧内预测”)编码处理中被编码。P图片参照按照显示时间顺序位于编码对象图片的前方或后方的已编码的I个图片来进行帧间预测编码。B图片参照按照显示时间顺序位于编码对象图片的前方或后方的已编码的2个图片来进行帧间预测编码。
[0071]在帧间预测编码中，生成用于确定参照图片的参照图片列表。参照图片列表是对帧间预测中参照的已编码的参照图片分配参照图片索引而成的列表。例如，在B图片中能够参照2个图片进行编码，所以生成2个参照图片列表(L0、LI)。
[0072]图1A是用于说明B图片中的参照图片列表的一例的图。图1B表示双向预测中的预测方向O的参照图片列表O(LO)的一例。在此，在参照图片列表O中，参照图片索引O的值O被分配给显示顺序2的参照图片O。此外，参照图片索引O的值I被分配给显示顺序I的参照图片I。此外，参照图片索引O的值2被分配给显示顺序O的参照图片2。S卩，相对于编码对象图片，按照显示顺序越是时间上接近的参照图片，则分配具有越小的值的参照图片索引。
[0073]另一方面，图1C表示双向预测中的预测方向I的参照图片列表I (LI)的一例。在此，在参照图片列表I中，参照图片索引I的值O被分配给显示顺序I的参照图片I。此夕卜，参照图片索引I的值I被分配给显示顺序2的参照图片O。此外，参照图片索引I的值2被分配给显示顺序O的参照图片2。
[0074]这样，能够对各参照图片分配每个预测方向上不同的参照图片索引的值(图1A的参照图片0、1)或分配相同的参照图片索引的值(图1A的参照图片2)。
[0075]此外，在被称为H.264的运动图像编码方式(非专利文献I)中，作为B图片中的各编码对象块的帧间预测的编码模式，使用运动矢量检测模式。在运动矢量检测模式中，对预测图像数据与编码对象块的图像数据的差分值以及在预测图像数据生成中使用的运动矢量进行编码。此外，在运动矢量检测模式中，作为预测方向，能够选择双向预测和单向预测。在双向预测中，参照位于编码对象图片的前方或后方的已编码的2个图片来生成预测图像。在单向预测中，参照位于前方或后方的已编码的I个图片来生成预测图像。
[0076]此外，在被称为H.264的运动图像编码方式中，在B图片的编码中，在导出运动矢量时，能够选择被称为时间预测运动矢量模式的编码模式。使用图2说明时间预测运动矢量模式中的帧间预测编码方法。图2是用于说明时间预测运动矢量模式中的运动矢量的图。具体地说，图2表示以时间预测运动矢量模式对图片B2的块a进行编码的情况。
[0077]在此，利用位于图片B2的后方的参照图片即图片P3内的、位于与块a相同位置的块b (以下称为“co-located (相同位置)块”)的编码所使用的运动矢量vb。运动矢量vb是参照图片Pl而将块b编码时所使用的运动矢量。
[0078]使用平行于运动矢量vb的运动矢量，从作为前方参照图片的图片Pl和作为后方参照图片的图片P3取得用于块a的2个参照块。然后，基于取得的2个参照块进行2方向预测，从而将块a编码。即，对块a进行编码时所使用的运动矢量，对图片Pl来说是运动矢量val，对图片P3来说是运动矢量va2。
[0079]此外，作为B图片或P图片中的各编码对象块的帧间预测模式，讨论了合并模式(非专利文献2)。在合并模式中，将编码对象块的相邻块的编码中使用的预测方向、运动矢量及参照图片索引拷贝而进行编码对象块的编码。这时，在拷贝时使用的相邻块的索引等被附加到编码比特流(以下适当地简称为“比特流”)中。由此，能够在解码侧选择编码时使用的运动方向、运动矢量及参照图片索引。参照图3说明具体例。[0080]图3是表示在合并模式中使用的相邻块的运动矢量的一例的图。在图3中，相邻块A是编码对象块的左相邻的已编码块。相邻块B是编码对象块的上相邻的已编码块。相邻块C是编码对象块的右上相邻的已编码块。相邻块D是编码对象块的左下相邻的已编码块。
[0081]此外，相邻块A是通过预测方向O的单向预测被编码的块。相邻块A具有预测方向O的运动矢量MvL0_A作为相对于预测方向O的参照图片索引RefL0_AK示的参照图片的运动矢量。在此，MvLO表示参照由参照图片列表O (LO)确定的参照图片的运动矢量。此夕卜，MvLl表示参照由参照图片列表I (LI)确定的参照图片的运动矢量。
[0082]此外，相邻块B是通过预测方向I的单向预测而被编码的块。相邻块B具有预测方向I的运动矢量MvLl_B作为相对于预测方向I的参照图片索引RefLl_B所示的参照图片的运动矢量。
[0083]此外，相邻块C是通过帧内预测被编码的块。
[0084]此外，相邻块D是通过预测方向O的单向预测被编码的块。相邻块D具有预测方向O的运动矢量MvL0_D作为相对于预测方向O的参照图片索引RefL0_DK示的参照图片
的运动矢量。
[0085]这种情况下，例如在相邻块A?D的预测方向、运动矢量及参照图片索引、以及使用co-located块求出的时间预测运动矢量模式下的预测方向、运动矢量及参照图片索引中，选择编码效率最高者作为编码对象块的预测方向、运动矢量及参照图片索引。然后，将合并块索引附加到比特流中，该合并块索引表示所选择的预测方向、运动矢量及参照图片索引的块。
[0086]例如在选择了相邻块A的情况下，编码对象块使用预测方向O的运动矢量MvL0_A及参照图片索引RefL0_A而被编码。然后，仅将表示使用图4所示的相邻块A的合并块索弓丨的值O附加到比特流中。由此，能够削减预测方向、运动矢量及参照图片索引的信息量。
[0087]此外，如图4所示，在合并模式中，将无法在编码中使用的候选(以下称为“不可合并候选”)或者预测方向、运动矢量及参照图片索引的组合相互一致的候选(以下称为“重复候选”)从合并块候选删除。
[0088]这样，通过削减合并块候选数，削减对合并块索引分配的码量。在此，无法合并指的是，合并块候选是(I)通过帧内预测被编码的块、(2)包含编码对象块的切片或图片边界外的块、或(3)尚未编码的块等。
[0089]在图4的例中，相邻块C通过帧内预测被编码。因此，合并块索引3的合并块候选是不可合并候选，从合并块候选列表删除。此外，相邻块D与相邻块A的预测方向、运动矢量及参照图片索引一致。因此，将合并块索引4的合并块候选从合并块候选列表删除。其结果，最终合并块候选数成为3，合并块候选列表的列表尺寸被设定为3。
[0090]如图5所示，根据合并块候选列表尺寸的大小，对合并块索引分配比特串并进行可变长度编码。这样，在合并模式中，根据合并块候选列表尺寸的大小使对合并模式索引分配的比特串变化，从而削减码量。
[0091]图6是表示使用合并模式的情况下的编码处理的一例的流程图。在步骤S1001中，从相邻块及co-located块取得合并块候选的运动矢量、参照图片索引及预测方向。在步骤S1002中，从合并块候选将重复候选及不可合并候选删除。在步骤S1003中，将删除处理后的合并块候选数设定为合并块候选列表尺寸。在步骤S1004中，决定在编码对象块的编码中使用的合并块索引。在步骤S1005中，使用由合并块候选列表尺寸决定的比特串对决定的合并块索弓I进行可变长度编码。
[0092]图7是表示使用合并模式的情况下的图像编码装置的一例的模块图。在图7中，合并块候选计算部导出合并块候选列表(步骤S1001、S1002)，并将合并块候选数发送给可变长度编码部。可变长度编码部将合并块候选数设定为合并块候选列表尺寸(步骤S1003)。进而，可变长度编码部决定在编码对象块的编码中使用的合并块索引(步骤S1004)。进而，可变长度编码部使用与合并块候选列表尺寸相应的比特串，对所决定的合并块索引进行可变长度编码(步骤S1005)。
[0093]图8是表示使用合并模式的情况下的解码处理的一例的流程图。在步骤S2001中，从相邻块及co-located块取得合并块候选的运动矢量、参照图片索引及预测方向。在步骤S2002中，从合并块候选将重复候选及不可合并候选删除。在步骤S2003中，将删除处理后的合并块候选数设定为合并块候选列表尺寸。在步骤S2004中，使用合并块候选列表尺寸，从比特流将在解码对象块的解码中使用的合并块索引解码。在步骤S2005中，使用解码后的合并块索引所示的合并块候选，生成预测图像并进行解码处理。
[0094]图9是表示使用合并模式的情况下的图像解码装置的一例的模块图。在图9中，合并块候选计算部导出合并块候选列表(步骤S2001、步骤S2002)，并将合并块候选数发送给可变长度解码部。可变长度解码部将合并块候选数设定为合并块候选列表尺寸(步骤S2003 )。进而，可变长度解码部使用合并块候选列表尺寸，从比特流将在解码对象块的解码中使用的合并块索引解码(步骤S2004 )。
[0095]图10表示将合并块索引附加于比特流时的语法。在图10中，mergejdx表示合并块索引。merge_flag表示合并标志。NumMergeCand表示合并块候选列表尺寸。在该NumMergeCand中，设定了从合并块候选将不可合并候选及重复候选删除后的合并块候选数。
[0096]如以上那样，使用合并模式对图像进行编码或解码。
[0097]如上述那样，在以往的合并模式中，使用包含co-located块等的参照图片信息将不可合并候选及重复候选删除而导出合并块候选列表。然后，将删除后的合并块候选列表的合并块候选数设定为合并块候选列表尺寸。因此，在图像编码装置和图像解码装置中发生合并块候选数不一致的情况下等，在图像编码装置和图像解码装置中对合并块索引分配的比特串发生不一致，产生无法将比特流正确解码的问题。
[0098]例如，由于在传送路等中发生的丢包等而丢失了作为co-located块参照的参照图片的信息的情况下，co-located块的运动矢量及参照图片索引不确定，所以从co-located块生成的合并块候选的信息不确定。这样，在解码时无法从合并块候选将不可合并候选及重复候选正确地删除，无法正确地求出合并块候选列表尺寸，无法将合并块索引正常地解码。
[0099]另外，对于上述问题，考虑将合并块候选列表尺寸固定。如果将合并块候选列表尺寸固定，则不需要求出合并块候选列表尺寸。
[0100]但是，如果将合并块候选列表尺寸固定，从空间上相邻的块导出的候选(除去重复候选之外的可合并候选)及从时间上相邻的块(co-located块)导出的候选(第一候选)的总数为合并块候选列表尺寸以下的情况下，在合并块候选列表中产生空要素。这种情况下存在以下问题:在图像解码装置中由于发生错误等而参照了空要素的情况下，可能会执行预期之外的动作。
[0101]因此，本发明的一个方式的图像解码方法，是按每个块对编码比特流中包含的图像数据进行解码的图像解码方法，包括以下步骤:合并候选取得步骤，取得2以上的固定数量的合并候选，该合并候选是在解码对象块的解码中参照的预测方向、运动矢量及参照图片索引的候选；索引取得步骤，从所述编码比特流取得用于从所述2以上的固定数量的合并候选中确定在所述解码对象块的解码中参照的合并候选的索引；以及解码步骤，使用取得的所述索引来确定所述合并候选，使用确定的所述合并候选将所述解码对象块解码；所述2以上的固定数量的合并候选包括至少I个第一候选和至少I个第二候选，该第一候选基于与所述解码对象块在空间上或时间上相邻的相邻块的解码中使用的预测方向、运动矢量及参照图片索引而被导出，该第二候选具有预先决定的固定值。
[0102]根据上述构成的图像解码方法，在取得2以上的固定数量的合并候选、即固定合并块候选列表尺寸(以下适当地简称为“候选列表尺寸”)且导出第一候选等之后的空要素中加入第二候选，所以在参照空要素的情况下，也能够防止执行预期之外的动作，能够提高容错性。
[0103]另外，“具有预先决定的固定值”指的是，在同一合并块候选列表内存在多个第二候选的情况下，该多个第二候选具有相同的预测方向、运动矢量及参照图片索引。即，不同的合并块候选列表的第二候选的预测方向、运动矢量及参照图片索引可以不同。
[0104]另外，在上述构成的图像解码方法中，也可以追加用于提高编码效率的第三候选。这种情况下，在导出第一候选及第三候选之后产生了空候选的情况下，通过在合并块候选列表(以下适当简称为“候选列表”)的空要素中加入第二候选，能够提高容错性。另外，第三候选是用于提高编码效率的候选，所以与第二候选不同，在同一合并块候选列表内存在多个第三候选的情况下，在第三候选之间不存在预测方向、运动矢量及参照图片索引全部一致的候选(与第一候选及第二候选有时在结果上可能存在相同的候选)。
[0105]此外，例如也可以是，所述合并候选取得步骤包括:第一导出步骤，导出所述第一候选，并作为所述2以上的固定数量的合并候选的一部分追加；第二导出步骤，在所述第一候选的数量小于所述2以上的固定数量的情况下，导出至少I个第三候选，并作为所述2以上的固定数量的合并候选的一部分追加，该第三候选具有与在所述解码对象块的解码中能够参照的图片对应的图片索引；以及第三导出步骤，在所述第一候选的数量及所述第三候选的数量的合计小于所述2以上的固定数量的情况下，将至少I个所述第二候选作为所述2以上的固定数量的合并候选的一部分追加，以使所述第一候选的数量、所述第二候选的数量及所述第三候选的数量的合计与所述2以上的固定数量相等。
[0106]此外，例如也可以是，在所述第二导出步骤中，从预先准备的多个不同候选按照规定的优先顺序选择至少I个候选，从而导出至少I个所述第三候选。
[0107]此外，例如也可以是，所述合并候选取得步骤具有:初始化步骤，通过对所述2以上的固定数量的合并候选全部设定所述第二候选，将所述2以上的固定数量的合并候选初始化；第一导出步骤，导出至少I个所述第一候选，作为所述2以上的固定数量的合并候选的一部分而更新；以及第二导出步骤，在所述第一候选的数量小于所述2以上的固定数量的情况下，导出至少I个第三候选，并作为所述2以上的固定数量的合并候选的一部分而更新，该第三候选具有与在所述解码对象块的解码中能够参照的图片对应的图片索引。
[0108]因此，本发明的一个方式的图像编码方法，是按每个块对图像进行编码而生成编码比特流的图像编码方法，包括以下步骤:合并候选取得步骤，取得2以上的固定数量的合并候选，该合并候选是在编码对象块的编码中参照的预测方向、运动矢量及参照图片索引的候选；以及编码步骤，将用于从所述2以上的固定数量的合并候选确定在所述编码对象块的编码中参照的所述合并候选的索引附加到所述编码比特流中；所述2以上的固定数量的合并候选包括至少I个第一候选和至少I个第二候选，该第一候选基于与所述编码对象块在空间上或时间上相邻的相邻块的编码中使用的预测方向、运动矢量及参照图片索引而导出，该第二候选具有预先决定的固定值。
[0109]此外，例如也可以是，所述合并候选取得步骤包括:第一导出步骤，导出所述第一候选，并作为所述2以上的固定数量的合并候选的一部分追加；第二导出步骤，在所述第一候选的数量小于所述2以上的固定数量的情况下，导出至少I个第三候选，并作为所述2以上的固定数量的合并候选的一部分追加，该第三候选具有与在所述解码对象块的解码中能够参照的图片对应的图片索引；以及第三导出步骤，在所述第一候选的数量及所述第三候选的数量的合计小于所述2以上的固定数量的情况下，将至少I个所述第二候选作为所述2以上的固定数量的合并候选的一部分追加，以使所述第一候选的数量、所述第二候选的数量及所述第三候选的数量的合计与所述2以上的固定数量相等。
[0110]此外，例如也可以是，在所述第二导出步骤中，从预先准备的多个不同候选按照规定的优先顺序选择至少I个候选，从而导出至少I个所述第三候选。
[0111]此外，例如也可以是，所述合并候选取得步骤具有:初始化步骤，通过对所述2以上的固定数量的合并候选全部设定所述第二候选，将所述2以上的固定数量的合并候选初始化；第一导出步骤，导出至少I个所述第一候选，作为所述2以上的固定数量的合并候选的一部分而更新；以及第二导出步骤，在所述第一候选的数量小于所述2以上的固定数量的情况下，导出至少I个第三候选，并作为所述2以上的固定数量的合并候选的一部分而更新，该第三候选具有与在所述解码对象块的解码中能够参照的图片对应的图片索引。
[0112]因此，本发明的一个方式的图像解码装置，是按每个块对编码比特流中包含的图像数据进行解码的图像解码装置，该图像解码装置具备:合并候选取得部，取得2以上的固定数量的合并候选，该合并候选是在解码对象块的解码中参照的预测方向、运动矢量及参照图片索引的候选；索引取得部，从所述编码比特流取得用于从所述2以上的固定数量的合并候选中确定在所述解码对象块的解码中参照的合并候选的索引；以及解码部，使用取得的所述索引来确定所述合并候选，使用确定的所述合并候选将所述解码对象块解码；所述2以上的固定数量的合并候选包括至少I个第一候选和至少I个第二候选，该第一候选基于与所述解码对象块在空间上或时间上相邻的相邻块的解码中使用的预测方向、运动矢量及参照图片索引而导出，该第二候选具有预先决定的固定值。
[0113]因此，本发明的一个方式的图像编码装置，是按每个块对图像进行编码而生成编码比特流的图像编码装置，该图像编码装置具备:合并候选取得部，取得2以上的固定数量的合并候选，该合并候选是在编码对象块的编码中参照的预测方向、运动矢量及参照图片索引的候选；以及编码部，将用于从所述2以上的固定数量的合并候选确定在所述编码对象块的编码中参照的所述合并候选的索引附加到所述编码比特流中；所述2以上的固定数量的合并候选包括至少I个第一候选和至少I个第二候选，该第一候选基于与所述编码对象块在空间上或时间上相邻的相邻块的编码中使用的预测方向、运动矢量及参照图片索引而导出，该第二候选具有预先决定的固定值。
[0114]因此，本发明的一个方式的图像编解码装置具备上述图像解码装置和上述图像编码装置。
[0115]另外，这些整体或具体的方式可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
[0116]以下，参照附图来具体说明本发明的一个方式的图像编码装置及图像解码装置。
[0117]另外，以下说明的实施方式都只是示出本发明的一个具体例。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等只是一例，不意图限定本发明。此外，以下的实施方式的构成要素中的、未记载于表示最上位概念的独立权利要求中的构成要素作为任意的构成要素来说明。
[0118](实施方式I)
[0119]基于图11?图18说明本实施方式的使用了图像编码方法的图像编码装置。图11是表示本实施方式的图像编码装置的构成的模块图。图像编码装置100通过按每个块对图像进行编码而生成比特流。
[0120]如图11所示，图像编码装置100具备:减法部101、正交变换部102、量化部103、逆量化部104、逆正交变换部105、加法部106、块存储器107、帧存储器108、帧内预测部109、帧间预测部110、帧间预测控制部111、图片类型决定部112、开关113、合并块候选计算部
114、colPic (相同位置图片)存储器115、可变长度编码部116。
[0121]减法部101按每个块从输入图像列所包含的输入图像数据减去预测图像数据，从而生成预测误差数据。
[0122]正交变换部102对生成的预测误差数据进行从图像域向频域的变换。
[0123]量化部103对变换至频域的预测误差数据进行量化处理。
[0124]逆量化部104对由量化部103进行了量化处理后的预测误差数据进行逆量化处理。
[0125]逆正交变换部105对逆量化处理后的预测误差数据进行从频域向图像域的变换。
[0126]加法部106按每个块将预测图像数据和由逆正交变换部105进行逆量化处理后的预测误差数据相加，从而生成重构图像数据。
[0127]在块存储器107中以块为单位保存有重构图像数据。
[0128]在帧存储器108中以帧为单位保存有重构图像数据。
[0129]图片类型决定部112决定以I图片、B图片及P图片的哪个图片类型对输入图像数据进行编码。然后，图片类型决定部112生成表示所决定的图片类型的图片类型信息。
[0130]帧内预测部109使用保存在块存储器107中的块单位的重构图像数据进行帧内预测，从而生成编码对象块的帧内预测图像数据。
[0131]帧间预测部110使用保存在帧存储器108中的帧单位的重构图像数据和通过运动检测等导出的运动矢量来进行帧间预测，从而生成编码对象块的帧间预测图像数据。[0132]在编码对象块被进行帧内预测编码的情况下，开关113将由帧内预测部109生成的帧内预测图像数据作为编码对象块的预测图像数据而输出至减法部101及加法部106。另一方面，在编码对象块被进行帧间预测编码的情况下，开关113将由帧间预测部110生成的帧间预测图像数据作为编码对象块的预测图像数据而输出至减法部101及加法部106。
[0133]在本实施方式中，合并块候选计算部114制作具备固定数量的合并块候选的合并块候选列表。
[0134]具体地说，合并块候选计算部114使用编码对象块的相邻块的运动矢量等及保存在colPic存储器115中的co-located块的运动矢量等(colPic (相同位置图片)信息)导出合并模式的合并块候选(第一候选)。进而，合并块候选计算部114将导出的合并块候选追加到合并块候选列表中。
[0135]此外，在合并块候选列表中存在空项的情况下，为了提高编码效率，合并块候选计算部114从预先决定的合并块候选中选择新候选(第三候选)。进而，合并块候选计算部114将导出的新候选作为新的合并块候选追加到合并块候选列表中。进而，合并块候选计算部114计算合并块候选数。
[0136]此外，合并块候选计算部114对导出的各合并块候选分配合并块索引的值。然后，合并块候选计算部114将合并块候选和合并块索引发送给帧间预测控制部111。此外，合并块候选计算部114将计算出的合并块候选数发送给可变长度编码部116。
[0137]帧间预测控制部111在使用由运动检测导出的运动矢量的预测模式(运动检测模式)和使用从合并块候选导出的运动矢量的预测模式(合并模式)中，选择能够得到最小的预测误差的预测模式。此外，帧间预测控制部111将表示预测模式是否为合并模式的合并标志发送给可变长度编码部116。此外，在选择了合并模式作为预测模式的情况下，帧间预测控制部111将与决定的合并块候选对应的合并块索引发送给可变长度编码部116。进而，帧间预测控制部111将包含编码对象块的运动矢量等的colPic信息转送给colPic存储器
115。
[0138]可变长度编码部116通过对量化处理后的预测误差数据和合并标志及图片类型信息进行可变长度编码处理，生成比特流。此外，可变长度编码部116将合并块候选数设定为合并块候选列表尺寸。然后，可变长度编码部116对编码中使用的合并块索引分配与合并块候选列表尺寸相应的比特串，并对分配的比特串进行可变长度编码。
[0139]图12是表示本实施方式的图像编码装置100的处理动作的流程图。
[0140]在步骤SlOl中，合并块候选计算部114从编码对象块的相邻块及co-located块导出合并块候选。此外，在合并块候选列表尺寸被设定为可变的情况下，合并块候选计算部114通过后述的方法计算合并块候选列表尺寸。
[0141]例如，在如图3的情况下，合并块候选计算部114选择相邻块A?D作为合并块候选。进而，合并块候选计算部114计算co-located合并块作为合并块候选,该co-located合并块具有根据co-located块的运动矢量通过时间预测模式计算的运动矢量、参照图片索引及预测方向。
[0142]合并块候选计算部114对各合并块候选分配合并块索引。图13A的(a)是表示对相邻块分配了合并块索引的状态下的合并块候选列表的表。在图13A的(a)的合并块候选列表中，左栏表示合并块索引。此外，右栏表示预测方向、参照图片索引及运动矢量。此外，合并块候选计算部114通过后述的方法进行不可合并候选及重复候选的删除、以及新候选追加，从而更新合并块候选列表，计算合并块候选列表尺寸。图13A的(b)表示进行不可合并候选及重复候选的删除、新候选的追加之后的合并块候选列表。另外，在本实施方式中，相邻块A与相邻块D重复而删除相邻块D，但是也可以删除相邻块A。
[0143]合并块索引的值越小则分配越短的码。即，合并块索引的值小的情况下，合并块索引所需的信息量变少。
[0144]另一方面，合并块索引的值变大时，合并块索引所需的信息量变大。因此，对于具有更高精度的运动矢量及参照图片索引的可能性高的合并块候选，如果分配值小的合并块索引，则编码效率变高。
[0145]因此，例如也可以是，合并块候选计算部114按每个合并块候选计测被选择为合并块的次数，针对该次数多的块，分配值小的合并块索引。具体地说，可以考虑预先确定在相邻块中选择的合并块，在对象块的编码时，减小与所确定的合并块对应的合并块索引的值。
[0146]另外，在合并块候选不具有运动矢量等信息的情况下(是通过帧内预测被编码的块的情况、是位于图片或切片的边界外等的块的情况、或者是尚未编码的块的情况等)，无法用于编码。
[0147]在本实施方式中，将无法用于编码的合并块候选称为不可合并候选。此外，将能够用于编码的合并块候选称为可合并候选。此外，在多个合并块候选中，将与其他某个合并块候选的运动矢量、参照图片索引及预测方向全部一致的候选称为重复候选。
[0148]图3的情况下，相邻块C是通过帧内预测被编码的块，所以作为不可合并候选。此夕卜，相邻块D与相邻块A的运动矢量、参照图片索引及预测方向全部一致，所以作为重复候选。
[0149]在步骤S102中，帧间预测控制部111通过后述的方法，比较使用由运动检测导出的运动矢量来生成的预测图像的预测误差和使用从合并块候选得到的运动矢量来生成的预测图像的预测误差，选择预测模式。在此，如果选择的预测模式是合并模式，则帧间预测控制部111将合并标志设置为I，否则将合并标志设置为O。
[0150]在步骤S103中，判定合并标志是否为I (即预测模式是否为合并模式)。
[0151]在此，如果步骤S103的判定结果为“是”(S103:是)，则在步骤S104中，可变长度编码部116将合并标志附加到比特流中。进而，在步骤S105中，可变长度编码部116对编码中使用的合并块候选的合并块索引分配与图5所示的合并块候选列表尺寸相应的比特串。然后，可变长度编码部116对分配的比特串进行可变长度编码。
[0152]另一方面，如果步骤S103的判定结果为“否”(S103:否)，则在步骤S106中，可变长度编码部116将合并标志及运动检测矢量模式的信息附加到比特流中。
[0153]在本实施方式中，如图13A (a)所示，作为与相邻块A对应的合并块索引的值而分配“O”。此外，作为与相邻块B对应的合并块索引的值而分配“I”。此外，作为与co-located合并块对应的合并块索引的值而分配“2”。此外，作为与相邻块C对应的合并块索引的值而分配“3”。此外，作为与相邻块D对应的合并块索引的值而分配“4”。
[0154]另外，合并块索引的值的分配方法不限于该例。例如，使用后述的方法而追加了新候选的情况下等，可变长度编码部116也可以对原来的合并块候选分配小的值，对新候选分配大的值。即，可变长度编码部116可以优先对原来的合并块候选分配小的值的合并块索引。
[0155]此外，合并块候选不限于相邻块A?D的位置。例如，可以将位于左下相邻块D之上的相邻块等作为合并块候选使用。此外，并不是必须将全部相邻块作为合并块候选使用。例如，可以仅将相邻块A、B作为合并块候选使用。
[0156]此外，在本实施方式中，在图12的步骤S105中，可变长度编码部116将合并块索引附加于比特流，但是并不是必须将合并块索引附加于比特流。例如，在合并块候选列表尺寸为“I”的情况下，可变长度编码部116也可以不将合并块索引附加于比特流。由此，能够削减合并块索引的信息量。
[0157]图14A是表示图12的步骤SlOl的详细处理的流程图。具体地说，图14A表示计算合并块候选及合并块候选列表尺寸的方法。以下说明图14A。
[0158]在图14A的处理之前，合并块候选计算部114如图13A的(a)所示，对相邻块(相邻块A?D、co-located合并块)分配索引值。
[0159]在此，N是用于表不各合并块候选的索引值。在本实施方式中，N取O?4的值。具体地说，对合并块候选[O]分配图3的相邻块A。此外，对合并块候选[I]分配图3的相邻块B。此外，对合并块候选[2]分配co-located合并块。此外,对合并块候选[3]分配图3的相邻块C。此外，对合并块候选[4]分配图3的相邻块D。
[0160]合并块候选计算部114对相邻块分配索引值之后，对于合并块候选[O]?[4]分别判定是否为可合并候选(步骤S111)，以及取得图13A所示的合并块候选列表的右栏的信息(步骤SI 12)。
[0161]在步骤Slll中，合并块候选计算部114通过后述的方法判定合并块候选[N]是否为可合并候选，导出合并块候选数。
[0162]在步骤S112中，合并块候选计算部114取得合并块候选[N]的运动矢量、参照图片索引及预测方向，并追加到合并块候选列表(右栏)。
[0163]在步骤S113中，合并块候选计算部114如图13A的(b)所示，从合并块候选列表检索不可合并候选及重复候选并删除。进而，合并块候选计算部114从合并块候选数减去重复候选数。
[0164]在步骤SI 14中，合并块候选计算部114通过后述的方法在合并块候选列表中追加新候选(第三候选)。在此，也可以是，追加新候选时，以优先对原有的合并块候选分配小的值的合并块索引的方式，进行合并块索引的值的再分配。即，也可以是，合并块候选计算部114以对新候选分配值大的合并块索引的方式,进行合并块索引的值的再分配。由此,能够削减合并块索引的码量。
[0165]在步骤S115中，合并块候选计算部114将新候选追加后的合并块候选数设定为合并块候选列表尺寸。在图13A的(b)的例子中，通过后述的方法，将合并块候选数计算为“5”，对合并块候选列表尺寸设定“5”。另外，例如合并块候选列表尺寸不是可变而设定为2以上的固定数量的情况下，对合并块候选列表尺寸设定该2以上的固定数量。
[0166]另外，步骤S114中的新候选指的是，通过后述的方法，在合并块候选数未到达最大合并块候选数的情况下，对合并块候选新追加的候选。例如，可以考虑将如下的块作为新候选:位于图3中的左下相邻块D之上的相邻块、包含有co-located块的参照图片中的与相邻块A、B、C、D对应的块、具备根据参照图片的画面全体、或者一定的区域的运动矢量、参照图片索引及预测方向的统计等计算的值等的块。此外，也可以将相对于能够参照的各参照图片而具备值O的运动矢量的zero (零)候选作为新候选。进而，也可以通过将导出的相互不同的合并块候选所具备的预测方向O的运动矢量及参照图片索引与预测方向I的运动矢量及参照图片索引组合，而将2方向预测的合并块候选(以下称为“combined (组合)合并块候选”)作为新候选。
[0167]这样，在合并块候选数未达到最大合并块候选数的情况下，图像编码装置100通过追加新候选，能够提高编码效率。
[0168]图15A是表示图14A的步骤Slll的详细处理的流程图。具体地说，图15A表示判定合并块候选[N]是否为可合并候选并更新可合并候选数的方法。以下说明图15A。
[0169]在步骤S121中，合并块候选计算部114判定合并块候选[N]是否为(I)通过帧内预测被编码的块、或(2)位于包含编码对象块的切片或图片边界外的块、或(3)尚未编码的块。
[0170]在此，如果步骤S121的判定结果为“是”(步骤S121:是)，则在步骤S122中，合并块候选计算部114将合并块候选[N]设定为不可合并候选。另一方面，如果步骤S121的判定结果为“否”(步骤S121:否)，则在步骤S123中，合并块候选计算部114将合并块候选[N]设定为可合并候选。
[0171]在步骤S124中，合并块候选计算部114判定合并块候选[N]是否为可合并候选或co-located合并块候选。
[0172]如果步骤S124的判定结果为“是”(步骤S124:是)，则合并块候选计算部114在步骤S125中，将合并块候选数加I而更新值。如果步骤S124的判定结果为“否”(步骤S124:否)，则合并块候选计算部114不更新合并块候选数。
[0173]像这样,在本实施方式中，合并块候选计算部114在合并块候选为co-located合并块的情况下，无论co-located块是可合并候选还是不可合并候选，都将合并块候选数加I。由此，即使在由于丢包等而co-located合并块的信息丢失的情况下，也能够防止在图像编码装置和图像解码装置中发生合并块候选数不一致。合并块候选计算部114在图14A的步骤S115中，将合并块候选数设定为合并块候选列表尺寸。此外，合并块候选计算部114在图12的步骤S105中，分配与合并块候选列表尺寸相应的比特串，对合并块索引进行可变长度编码。由此，即使在丢失了包含co-located块等的参照图片信息的情况下，也能够生成能够将合并块索引正常解码的比特流。
[0174]图16是表示图14A的步骤S114的详细处理的流程图。具体地说，图16表示追加用于提高编码效率的新候选(第三候选)的方法。以下说明图16。
[0175]在步骤S131中，合并块候选计算部114判定合并块候选数是否小于合并块候选列表尺寸。更具体地说，合并块候选计算部114在合并块候选列表尺寸为可变的情况下，判定合并块候选数是否未到达候选列表尺寸的最大值(最大合并块候选数)。另一方面，在合并块候选列表尺寸固定的情况下(合并块候选列表尺寸为2以上的固定数量的情况)，判定合并块候选数是否未到达2以上的固定数量。
[0176]如果步骤S131的判定结果为“是”(步骤S131:是)，则在步骤S132中，合并块候选计算部114判定是否存在能够作为合并块候选追加到合并块候选列表的新候选。[0177]在此，新候选是预先准备的候选。新候选例如是相对于能够参照的各参照图片具备值O的运动矢量的zero候选。这种情况下，能够参照的参照图片的数量是能够作为新候选追加的候选的总数。另外，新候选如上述那样，也可以是combined候选等其他候选。
[0178]如果步骤S132的判定结果为“是”(步骤S132:是)，则在步骤S133中，合并块候选计算部114向新候选分配合并块索引的值并追加到合并块候选列表中。
[0179]进而，在步骤S134中，合并块候选计算部114将合并块候选数加I。
[0180]另一方面，如果步骤S131或步骤S132的判定结果为“否”(步骤S131或步骤S132:否)，则结束新候选的追加处理。即，合并块候选数达到最大合并块候选数或没有新候选的情况下(将全部新候选作为合并块候选追加到候选列表之后)，结束新候选的追加处理。
[0181]图18是表示图12的步骤S102的详细处理的流程图。具体地说，图18表示与合并块候选的选择有关的处理。以下说明图18。
[0182]在步骤S151中，帧间预测控制部111对合并块候选索引设置0，对最小预测误差设置运动矢量检测模式的预测误差(成本)，对合并标志设置O。在此，成本例如通过R-D最优化模型的下式来计算。
[0183](式I)
[0184]Cost = D + λ R
[0185]在式I中，D表示编码失真。例如，将使用由某运动矢量生成的预测图像对编码对象块进行编码及解码而得到的像素值与编码对象块的原来的像素值之间的差分绝对值和等作为D使用。此外，R表示产生码量。将对预测图像生成中使用的运动矢量进行编码所需的码量等作为R使用。此外，λ是拉格朗日待定乘数。
[0186]在步骤S152中，帧间预测控制部111判定合并块候选索引的值是否小于编码对象块的合并块候选数。即，帧间预测控制部111判定是否存在尚未进行以下的步骤S153?步骤S155的处理的合并块候选。
[0187]在此，如果步骤S152的判定结果为“是”(S152:是)，则在步骤S153中，帧间预测控制部111计算被分配了合并块候选索引的合并块候选的成本。然后，在步骤S154中，帧间预测控制部111判定计算出的合并块候选的成本是否小于最小预测误差。
[0188]在此，如果步骤S154的判定结果为“是”(S154:是)，则在步骤S155中，帧间预测控制部111更新最小预测误差、合并块索引及合并标志的值。另一方面，如果步骤S154的判定结果为“否”(S154:否)，则帧间预测控制部111不更新最小预测误差、合并块索引及合并标志的值。
[0189]在步骤S156中，帧间预测控制部111将合并块候选索引的值加1，重复进行步骤S152?步骤S156。
[0190]另一方面，如果步骤S152的判定结果为“否”(S152:否)、即不再有未处理的合并块候选，则在步骤S157中，帧间预测控制部111确定最终设定的合并标志及合并块索引的值。
[0191]像这样，根据本实施方式的图像编码装置100，通过不依赖于包含co-located块等的参照图片信息的方法，计算对合并块索引进行编码或解码时使用的合并块候选列表尺寸，从而能够提高容错性。更具体地说，在本实施方式的图像编码装置100中，无论co-located合并块是可合并候选还是不可合并候选，都总是将合并块候选数加I。然后，根据合并块候选数，决定对合并块索引分配的比特串。由此，即使丢失了包含co-located块的参照图片信息，在图像编码装置100和图像解码装置300中合并块候选数相同，能够生成能够将合并块索引正常解码的比特流。此外，在合并块候选数未达到可合并候选数的情况下，通过追加具备新的运动矢量、参照图片索引及预测方向的新候选，能够提高编码效率。
[0192]另夕卜，在本实施方式中，如图15A的步骤S125及步骤S126所示，仅对于co-located合并块，无论是可合并候选还是不可合并候选，都总是将合并块候选数加1，但是不限于此。对于其他块，也可以无论是可合并候选还是不可合并候选都总是将合并块候选数加I。
[0193]此外，在本实施方式中，也可以将合并块候选列表尺寸设为2以上的固定数量的情况下，2以上的固定数量可以是合并块候选数的最大值Max。即，也可以将全部相邻块中的合并块候选看作可合并候选，将合并块候选列表尺寸固定为合并候选块候选数的最大值Max，而对合并块索引进行编码。例如，在本实施方式中，合并块候选数的最大值Max为5(相邻块A、相邻块B、co-1 ocated合并块、相邻块C、相邻块D )，所以也可以总是对合并块候选列表尺寸设定“5”而对合并块索引进行编码。
[0194]此外，例如在不参照co-located合并块的图片(参照I图片的B图片或P图片)的情况等、合并块候选数的最大值Max为4 (相邻块A、相邻块B、相邻块C、相邻块D)的情况下，也可以总是对合并块候选列表尺寸设定“4”而对合并块索引进行编码。
[0195]像这样，在合并块候选列表尺寸为2以上的固定数量的情况下，也可以对2以上的固定数量设定合并块候选数的最大值Max，根据2以上的固定数量来决定合并块候选列表尺寸。这种情况下，图像编码装置100在图12的步骤S105中使用2以上的固定数量来进行可变长度编码。
[0196]由此，能够生成图像解码装置的可变长度解码部不参照相邻块或co-located块的信息就能够将比特流中的合并块索引解码的比特流，能够削减可变长度解码部的处理量。此外，也可以将2以上的固定数量(例如合并块候选数的最大值Max)嵌入SPS( SequenceParameter Set ;序列参数集)、PPS(Picture Parameter Set ;图片参数集)或切片头等。由此，能够根据编码对象图片来切换2以上的固定数量，能够实现处理量的削減及编码效率的提闻。
[0197]另外，在本实施方式中，示出了在合并模式中总是将合并标志附加于比特流的例子，但是不限于此。例如，也可以基于在编码对象块的帧间预测中使用的参照块的形状等强制地选择合并模式。这种情况下，可以不将合并标志附加于比特流而削减信息量。
[0198]另外，在本实施方式中，示出了使用合并模式的例子，该合并模式从编码对象块的相邻块拷贝预测方向、运动矢量及参照图片索引而进行编码对象块的编码，但是不限于此。例如，也可以使用跳过合并模式。在跳过合并模式中，使用像图13A的(b)那样制作的合并块候选列表，与合并模式同样地从编码对象块的相邻块拷贝预测方向、运动矢量及参照图片索引而进行编码对象块的编码。结果，如果编码对象块的全部预测误差数据为0，则将跳过标志设置为1，将跳过标志及合并块索引附加于比特流。此外，如果预测误差数据不为0，则将跳过标志设置为0，将跳过标志、合并标志、合并块索引及预测误差数据附加于比特流。
[0199]另外，在本实施方式中，示出了使用合并模式的例子，该合并模式从编码对象块的相邻块拷贝预测方向、运动矢量及参照图片索引而进行编码对象块的编码，但是不限于此。例如，也可以使用像图13A的(b)那样制作的合并块候选列表而对运动矢量检测模式的运动矢量进行编码。即，通过从运动矢量检测模式的运动矢量减去由合并块索引指定的合并块候选的运动矢量而求出差分。然后，将求出的差分及合并块索引附加于比特流亦可。
[0200]此外，也可以使用运动检测模式的参照图片索引RefIdx_ME和合并块候选的参照图片索引RefIdx_Merge对合并块候选的运动矢量MV_Merge进行缩放,从运动检测模式的运动矢量减去缩放后的合并块候选的运动矢量scaledMV_Merge而求出差分。然后,将求出的差分及合并块索引附加于比特流亦可。缩放的公式的例子如下所示。
[0201](式2)
[0202]scaledMV_Merge = MV_MergeX (POC (RefIdx_ME)— curPOC) / (POC (RefIdx_Merge) 一 curPOC)…(2)
[0203]在此，POC (RefIdx_ME)表示参照图片索引RefIdx_ME所示的参照图片的显示顺序。POC (RefIdx_Merge)表示参照图片索引RefIdx_Merge所示的参照图片的显示顺序。curPOC表示编码对象图片的显示顺序。
[0204]另外，在本实施方式中，在图12的步骤S105中，根据合并块候选列表尺寸而进行可变长度编码(参照图5)，但是例如也可以根据由图14A的步骤Slll (图15A)计算的合并块候选数(可合并候选数=第一候选+重复候选数)等其他参数来进行可变长度编码。 [0205](实施方式2)
[0206]基于图19~图22说明使用本实施方式的图像解码方法的图像解码装置。图19是表示本实施方式的图像解码装置300的构成的模块图。该图像解码装置300是与实施方式I的图像编码装置100对应的装置。图像解码装置300例如按每个块对由实施方式I的图像编码装置100生成的比特流中包含的编码图像进行解码。
[0207]如图19所示，图像解码装置300具备:可变长度解码部301、逆量化部302、逆正交变换部303、加法部304、块存储器305、帧存储器306、帧内预测部307、帧间预测部308、帧间预测控制部309、开关310、合并块候选计算部311和colPic存储器312。
[0208]可变长度解码部301对输入的比特流进行可变长度解码处理，生成图片类型信息、合并标志及量化系数。此外，可变长度解码部301使用合并块候选计算部311所计算出的合并块候选数，进行合并块索引的可变长度解码处理。
[0209]逆量化部302对于通过可变长度解码处理得到的量化系数进行逆量化处理。
[0210]逆正交变换部303通过将由逆量化处理得到的正交变换系数从频域向图像域变换，生成预测误差数据。
[0211]在块存储器305中，以块为单位保存将预测误差数据和预测图像数据相加而生成的解码图像数据。
[0212]在帧存储器306中以帧为单位保存解码图像数据。
[0213]帧内预测部307使用保存在块存储器305中的块单位的解码图像数据进行帧内预测，从而生成解码对象块的预测图像数据。
[0214]帧间预测部308使用保存在帧存储器306中的帧单位的解码图像数据进行帧间预测，从而生成解码对象块的预测图像数据。
[0215]在解码对象块被进行帧内预测解码的情况下，开关310将由帧内预测部307生成的帧内预测图像数据作为解码对象块的预测图像数据输出至加法部304。另一方面，在解码对象块被进行帧间预测解码的情况下，开关310将由帧间预测部308生成的帧间预测图像数据作为解码对象块的预测图像数据输出至加法部304。
[0216]合并块候选计算部311使用解码对象块的相邻块的运动矢量等、以及保存在colPic存储器312中的co-located块的运动矢量等(colPic信息)，导出合并块候选。进而，合并块候选计算部311将导出的合并块候选追加到合并块候选列表。
[0217]此外，合并块候选计算部311通过后述的方法，例如导出具备静止区域用的运动矢量及参照图片索引的合并块候选，作为用于提高编码效率的新候选(第三候选)。然后，合并块候选计算部311将导出的新候选作为新的合并块候选而追加到合并块候选列表。进而，在合并块候选列表尺寸为可变的情况下，合并块候选计算部311计算合并块候选数。
[0218]此外，合并块候选计算部311对导出的各合并块候选分配合并块索引的值。然后，合并块候选计算部311将被分配了合并块索引的值的合并块候选发送给帧间预测控制部309。此外，在合并块候选列表尺寸为可变的情况下，合并块候选计算部311将计算出的合并块候选数发送给可变长度解码部301。
[0219]如果解码后的合并标志为“0”，则帧间预测控制部309使用运动矢量检测模式的信息，使帧间预测部308生成帧间预测图像。另一方面，如果合并标志为“ 1”，则帧间预测控制部309从多个合并块候选中，基于解码后的合并块索引决定在帧间预测中使用的运动矢量、参照图片索引及预测方向。然后，帧间预测控制部309使用所决定的运动矢量、参照图片索引及预测方向，使帧间预测部308生成帧间预测图像。此外，帧间预测控制部309将包含解码对象块的运动矢量等的colPic信息转送给colPic存储器312。
[0220]最后，加法部304将预测图像数据和预测误差数据相加，从而生成解码图像数据。
[0221]图20是表示本实施方式的图像解码装置300的处理动作的流程图。
[0222]在步骤S301中，可变长度解码部301对合并标志进行解码。
[0223]在步骤S302中，如果合并标志为“I”(步骤S302:是)，则在步骤S303中，合并块候选计算部311计算合并块候选数，作为合并块候选列表尺寸。
[0224]在步骤S304中，可变长度解码部301使用计算出的合并块候选列表尺寸，对比特流中的合并块索引进行可变长度解码。
[0225]在步骤S305中，合并块候选计算部311通过与图12的步骤SlOl同样的方法，生成合并块候选(合并块候选列表)。此外，帧间预测控制部309基于解码后的合并块索引，从合并块候选计算部311所生成的合并块候选列表中，确定在解码对象块的解码中使用的合并块候选。
[0226]在步骤S306中，帧间预测控制部309使用由步骤S305确定的合并块候选的运动矢量、参照图片索引及预测方向，使帧间预测部308生成帧间预测图像。
[0227]在步骤S302中，如果合并标志为O (步骤S302:否)，则在步骤S307中，帧间预测部308使用由可变长度解码部301解码的运动矢量检测模式的信息生成帧间预测图像。
[0228]另外，由步骤S303计算的合并块候选列表尺寸为“I”的情况下，合并块索引也可以不进行解码而推测为“O”。
[0229]图21及图22是表示图20的步骤S303的详细处理的流程图。在此，在执行图21的处理之后执行图22的处理。
[0230]具体地说，图21表示计算合并块候选[N]及合并块候选列表尺寸的方法。以下简单说明图21。
[0231]合并块候选计算部311在开始处理时将N初始化为O。进而，合并块候选计算部311对相邻块(相邻块A?D、co-located合并块)分配索引值。
[0232]在步骤S311中，合并块候选计算部311判定合并块候选[N]是否为(I)通过帧内预测被解码的块、或(2)位于包含解码对象块的切片或图片边界外的块、或(3)尚未解码的块。
[0233]如果步骤S311的判定结果为“是”(步骤S311:是)，则在步骤S312中，合并块候选计算部311将合并块候选[N]设定为不可合并候选。另一方面，如果步骤S311的判定结果为“否”(步骤S311:否)，则在步骤S313中，合并块候选计算部311将合并块候选[N]设定为可合并候选。
[0234]在步骤S314中，合并块候选计算部311判定合并块候选[N]是否为可合并候选或co-located合并块候选。
[0235]如果步骤S314的判定结果为“是”(步骤S314:是)，则在步骤S315中，合并块候选计算部311将合并块候选数加I而更新值。如果步骤S314的判定结果为“否”(步骤S314:否)，则不更新合并块候选数。
[0236]像这样,在本实施方式中，合并块候选计算部311在合并块候选为co-located合并块的情况下，无论co-located块是可合并候选还是不可合并候选，都将合并块候选数加
I。由此，即使在由于丢包等而丢失了 co-located合并块的信息的情况下，也能够防止在图像编码装置和图像解码装置中发生合并块候选数不一致。
[0237]接着，执行图22所示的处理。图22表示计算合并块候选的方法。以下说明图22。
[0238]在步骤S321中，合并块候选计算部311取得合并块候选[N]的运动矢量、参照图片索引及预测方向，并追加到合并块候选列表。
[0239]在步骤S322中，合并块候选计算部311如图13A的(a)及(b)所示，从合并块候选列表检索不可合并候选及重复候选并删除。进而，合并块候选计算部311从合并块候选数减去重复候选数。
[0240]在步骤S323中，合并块候选计算部311通过与图像编码装置100中的图16同样的方法，向合并块候选列表追加新候选。这时，合并块候选数成为第一候选数+新候选数。
[0241]另外，在合并块候选列表尺寸为可变的情况下，合并块候选计算部311在图20的步骤S303中将该合并块候选数设定为合并块候选列表尺寸。此外，在合并块候选列表尺寸为2以上的固定数量的情况下，合并块候选计算部311在图20的步骤S303中将2以上的固定数量设定为合并块候选列表尺寸。
[0242]进而，合并块候选计算部311在图20的步骤S304中使用合并块候选列表尺寸对合并块索引进行可变长度解码。由此，在本实施方式的图像解码装置300中，即使在丢失了包含co-located块等的参照图片信息的情况下，也能够将合并块索引正常解码。
[0243]图23是表示将合并块索引附加于比特流时的语法的一例的图。在图23中，merge_idx表示合并块索引。此外，merge_flag表示合并标志。此外，NumMergeCand表示合并块候选列表尺寸。在本实施方式中，合并块候选列表尺寸被设定为通过图21所示的处理而计算出的合并块候选数。
[0244]这样，根据本实施方式的图像解码装置300，通过不依赖于包含co-located块等的参照图片信息的方法，计算对合并块索引进行编码或解码时使用的合并块候选列表尺寸。由此，图像解码装置300能够将提高了容错性的比特流适当地解码。更具体地说，无论co-located合并块是否为可合并候选，都总是将合并块候选数加I。使用这样计算的合并块候选数来决定对合并块索引分配的比特串。由此，即使在丢失了包含co-located块的参照图片信息的情况下，图像解码装置300也能够将合并块索引正常解码。此外，图像解码装置300在合并块候选数未达到可合并候选数的情况下，通过追加具备新的运动矢量、参照图片索引及预测方向的新候选，能够将提高了编码效率的比特流适当地解码。
[0245]另外，在本实施方式中，仅对于co-located合并块,无论是可合并候选还是不可合并候选，都总是将合并块候选数加1，但是不限于此。例如，在图21的步骤S314中，对于co-located合并块以外的合并块候选，也可以总是将合并块候选数加I。
[0246]此外，在本实施方式中，也可以将合并块候选列表尺寸设为2以上的固定数量的情况下，2以上的固定数量也可以是合并块候选数的最大值Max。即，也可以将全部合并块候选看作可合并候选，而将合并块候选列表尺寸固定为合并块候选数的最大值Max。例如，在本实施方式中，合并块候选数的最大值Max为5(相邻块A、相邻块B、co_located合并块、相邻块C、相邻块D)，因此也可以总是对合并块候选列表尺寸设定“5”而对合并块索引进行解码。
[0247]此外，例如在不参照co-located合并块的图片(参照I图片的B图片或P图片)的情况等、合并块候选数的最大值Max为4 (相邻块A、相邻块B、相邻块C、相邻块D)的情况下，也可以总是对合并块候选列表尺寸设定“4”而对合并块索引进行解码。
[0248]由此，图像解码装置300的可变长度解码部301能够不参照相邻块或co-located块的信息而将比特流中的合并块索引解码。这种情况下，例如能够省略图21的步骤S314、步骤S315的处理，能够削减可变长度解码部301的处理量。
[0249]此外，图24是表示将合并块候选列表尺寸固定为合并块候选数的最大值Max的情况下的语法的一例的图。如图24所示，将合并块候选列表尺寸设为2以上的固定数量(例如合并块候选数的最大值Max)的情况下,能够将NumMergeCand从语法中删除。即，能够不使用NumMergeCand而进行处理。此外，也可以使用将2以上的固定数量(例如合并块候选数的最大值 Max)嵌入 SPS (Sequence Parameter Set)、PPS (Picture Parameter Set)或切片头等的值。由此，根据解码对象图片切换2以上的固定数量，从而能够将来自图像编码装置100的比特流正确地解码。这种情况下，也可以从SPS、PPS或切片头等将2以上的固定数量解码，并使用该值对合并块索引进行解码。
[0250]另外，在本实施方式中，在图20的步骤S304中进行与合并块候选列表尺寸相应的可变长度解码(参照图5)，但是也可以根据其他参数进行可变长度编码。例如，在实施方式I的图像编码装置100中，使用由图14A的步骤Slll(图15A)计算的合并块候选数(可合并候选数=第一候选+重复候选数)的情况下，也可以使用由图21所示的处理计算出的合并块候选数进行可变长度解码。这种情况下，也可以在步骤S305中执行图22所示的处理。
[0251]在此，在图21所示的处理中，基于合并块候选[N]是否为(I)通过帧内预测被解码的块、或(2)位于包含解码对象块的切片或图片边界外的块、或(3)尚未解码的块，来进行判定。即，不使用预测方向、运动矢量及参照图片索引的信息，就能够求出在可变长度解码中使用的合并块候选数。因此，在独立执行求取预测方向、运动矢量及参照图片索引的处理和求取合并块索引的处理的情况下，不等待求取预测方向、运动矢量及参照图片索引的处理的执行结果，就能够进行求取合并块索引的处理，能够提高处理速度。
[0252](实施方式I及实施方式2的变形例)
[0253]在上述实施方式I及实施方式2中，在将合并块候选列表尺寸设为2以上的固定数量的情况下，在合并块候选列表中存在空项时，为了提高容错性，也可以在合并块候选列表的空部分加入规定的提高容错性用的合并块候选(第二候选)。
[0254]作为第二候选，例如也可以是，如果对象图片(编码对象图片或解码对象图片)为B图片，则在双向预测中，将预测方向O的参照图片索引为O且运动矢量为(0、0)的合并块候选、以及预测方向I的参照图片索引为O且运动矢量为(0、0)的合并块候选作为第二候选分配。此外，也可以是，如果编码对象图片为P图片，则在单向预测中，将预测方向O的参照图片索引为O且运动矢量为(0、0)的合并块候选作为第二候选分配。第二候选是用于提高容错性的候选，所以在追加多个第二候选的情况下，也可以全部设定为相同的值。另外，第三候选是用于提高编码效率的候选，所以在追加多个第三候选的情况下，追加不同的候选。但是，第三候选在与第一候选及第二候选之间在结果上也可以存在相同的候选。
[0255]另外，作为分配第二候选的方法，可以想到(I)在追加了新候选(第三候选)之后向空候选分配第二候选，或者(2)向合并块候选列表的全部要素加入第二候选并初始化。
[0256]首先，说明在图像编码装置100中(I)追加新候选(第三候选)之后向空候选分配第二候选的情况。
[0257]在此，图13B是表示在追加新候选(第三候选)之后向空候选分配第二候选的情况的合并块候选列表的表。在图13B中，例不了合并块候选数的最大值Max为6的情况。
[0258]此外，图14B是表示图12所示的步骤SlOl的详细处理的流程图。另外，在图14B中，步骤Slll?S114的处理与实施方式I的图像编码装置100中的图14A的步骤Slll?S114的处理相同，因此省略说明。
[0259]在步骤Slll?SI 14中，图像编码装置100的合并块候选计算部114从相邻块求出第一候选，将不可合并候选及重复候选删除后，追加新候选。在新候选的追加后，如图13B的(b)所不,合并块候选数为6,所以未对合并块候选[5]分配合并块候选。
[0260]在步骤S116中，合并块候选计算部114对空的候选列表分配第二候选。图17是表示图14B所示的步骤S116的详细处理的流程图。
[0261]在步骤S141中，合并块候选计算部114判定合并块候选数是否小于合并块候选列表尺寸(在图17中简称为候选列表尺寸)。即，判定是否存在空要素。
[0262]如果步骤S141的判定结果为“是”(步骤S141:是)，则在步骤S142中，合并块候选计算部114向空候选列表(空要素)追加第二候选。如上述那样，在刚追加了新候选之后的情况下，未向合并块候选[5]分配合并块候选。这时，合并块候选计算部114向合并块候选[5]追加第二候选。作为第二候选，如上述那样，例如在双向预测中，可以是作为预测方向O的参照图片索引为O且运动矢量为(0、0)、预测方向I的参照图片索引为O且运动矢量为(0、0)的合并块候选。进而，在步骤S143中，合并块候选计算部114将合并块候选数加
1
[0263]如果步骤S141的判定结果为“否”(步骤S141:否)，则结束处理。
[0264]图13B的(C)是表不第二候选追加后的合并块候选列表的一例的表。[0265]接着，说明在图像编码装置100中，(2)向合并块候选列表的全部要素加入第二候选并初始化的情况。
[0266]在此，图13C是表示以第二候选将合并块候选列表初始化的情况下的合并块候选列表的表。在图13C中，例不了合并块候选数的最大值Max为6的情况。
[0267]此外，图14C是表示图12所示的步骤SlOl的详细处理的流程图。
[0268]在步骤S117中，合并块候选计算部114将合并块候选列表(候选列表)初始化。图13C的(a)示出了初始化后的候选列表的一例。在图13C的(a)中，向合并块候选[O]?
[5]全部加入了第二候选。另外，虽然在图13C的(a)中未明确示出，但是第二候选全部相同。
[0269]在步骤S118中，合并块候选计算部114导出第一候选，将第一候选的数量更新为合并块候选数。NI是表示相邻块的值。在此，相邻块是相邻块A?D及co-located合并块这6个，因此以O?5规定。此外，这里的第一候选是去除了不可合并候选及重复候选后的候选。进而，合并块候选计算部114将第一候选追加到候选列表，取得运动矢量、参照图片索引及预测方向。图13C的(b)是表示第一候选追加后的合并块候选列表的表。
[0270]在步骤S114中，合并块候选计算部114通过与实施方式I相同的方法追加新候选。图13C的(c)是表不新候选追加后的合并块候选列表的表。
[0271]图15B是表示图14C的步骤S118的详细处理的流程图。
[0272]在步骤S126中，合并块候选计算部114判定相邻块是否为(I)通过帧内预测被编码的块、或(2 )位于包含编码对象块的切片或图片边界外的块、或(3 )尚未编码的块、或(4)具有与已经追加到候选列表的合并块候选中的某一个合并块候选相同的预测方向、运动矢量及参照图片索引的块(重复候选)。
[0273]步骤S126的判定结果为“是”的情况下(步骤S126:是)，合并块候选计算部114判定为不可合并候选。另一方面，步骤S126的判定结果为“否”的情况下(步骤S126:否)，合并块候选计算部114判定为可合并候选。
[0274]在步骤S124中，步骤S126的针对相邻块的判定结果为可合并候选的情况下或相邻块为co-located合并块的情况下，向合并块候选列表追加合并块候选并将合并块候选数加I。
[0275]另外，图13C的(C)与图13B的(C)相同，无论是在追加新候选后追加第二候选的情况下，还是在最初就以第二候选将合并块候选列表初始化的情况下，都能够得到相同的合并块候选列表。
[0276]在图像解码装置300中，也能够通过同样的方法制作合并块候选列表，从而将合并块索引正常地解码。
[0277]在合并块候选列表中存在空要素的情况下，在图像解码装置300中，在删除合并块候选的重复候选时可能会发生错误，重复候选未被删除而残留。这种情况下，合并块候选列表尺寸为2以上的固定数量的情况下,在合并块候选列表中可能存在未分配合并块候选的候选。
[0278]在该变形例中，向全部空候选列表追加第二候选，所以能够避免存在未分配合并块候选的候选的状況。
[0279]另外，在本变形例中，示出了对未分配合并块候选的合并块索引分配参照图片为O且运动矢量为(0、0)的合并块候选(第二候选)的例子，但是不限于此。作为其他的第二候选，例如可以拷贝其他相邻块的参照图片索引、运动矢量及预测方向并作为合并块候选。此夕卜，也可以求取从相邻块得到的候选的平均等、根据-从相邻块得到的候选来生成。
[0280]另外，在上述变形例中，作为分配第二候选的方法，说明了( I)在追加新候选(第三候选)之后向空候选分配第二候选、或者(2)向合并块候选列表的全部要素加入第二候选而初始化的方法，但是不限于此。
[0281]例如可以是，在图像解码装置300中，在图20的步骤S306中，判定是否未向解码后的合并块索引分配合并块候选，如果判定结果为“是”，则追加第二候选。即，在步骤S305中，不制作没有空要素的合并块候选列表，而是仅在解码后的合并块索引所示的要素为空要素的情况下，仅对该空要素追加第二候选。这种情况下，能够削减处理量。
[0282]另外，作为第二候选，也可以使用参照图片为O且运动矢量为(0、0)的合并块候选、向其他合并块索引分配的合并块候选、或者根据向其他合并块索引分配的合并块候选生成的合并块候选等。
[0283]此外，例如也可以是，在图像解码装置300中，在图20的步骤S306中，判定解码后的合并块索引是否为在步骤S303中求出的合并块候选数以上，如果判定结果为“是”，则追加第二候选。即，解码后的合并块索引为在步骤S303中求出的合并块候选数以下的情况下，省略追加第二候选的处理。这种情况下，能够削减处理量。
[0284]另外，作为第二候选，可以使用参照图片为O且运动矢量为(0、0)的合并块候选、向其他合并块索引分配的合并块候选、或者根据向其他合并块索引分配的合并块候选生成的合并块候选等。
[0285]此外，例如也可以是，在图像解码装置300中，在图20的步骤S306中，判定解码后的合并块索引是否为在步骤S303中求出的合并块候选数以上，如果判定结果为“是”，以合并块候选数的值来削减合并块索引的值，以使合并块索引的值小于合并块候选数的值。
[0286]根据本实施方式的图像编码装置100及图像解码装置300，通过执行这样的处理，例如在已将合并块索引正常解码的情况下，即使在删除合并块候选的重复候选时发生了错误，也能够避免未向解码后的合并块索引分配合并块候选的状況。由此，能够提高容错性。
[0287](实施方式3)
[0288]通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
[0289]进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。
[0290]图25是表示实现内容分发服务的内容供给系统exlOO的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站exl06、exl07、exl08、exl09、exllO。
[0291]该内容供给系统exlOO在因特网exlOl上经由因特网服务提供商exl02及电话网exl04、及基站 exl07 ?exllO 连接着计算机 exlll、PDA (Personal Digital Assistant)exll2、照相机exll3、便携电话exll4、游戏机exll5等的各设备。
[0292]但是，内容供给系统exlOO并不限定于图25那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站exl07?exllO将各设备直接连接在电话网exl04上。此外，也可以将各设备经由近距离无线等直接相互连接。
[0293]照相机exll3是能够进行数字摄像机等的运动图像摄影的设备，照相机exll6是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evolution)方式、HSPA (High Speed Packet Access)的便携电话机、或 PHS(Personal Handyphone System)等，是哪种都可以。
[0294]在内容供给系统exlOO中，通过将照相机exll3等经由基站exl09、电话网exl04连接在流媒体服务器exl03上，能够进行现场转播等。在现场转播中，对用户使用照相机exll3摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器exl03发送。另一方面，流媒体服务器exl03将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机eXlll、PDAeX112、照相机exll3、便携电话exll4、游戏机exll5等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
[0295]另外，摄影的数据的编码处理既可以由照相机exll3进行，也可以由进行数据的发送处理的流媒体服务器exl03进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器exl03进行，也可以相互分担进行。此外，并不限于照相机exll3，也可以将由照相机exll6摄影的静止图像及/或运动图像数据经由计算机exlll向流媒体服务器exl03发送。此情况下的编码处理由照相机exll6、计算机exlll、流媒体服务器exl03的哪个进行都可以，也可以相互分担进行。
[0296]此外，这些编码解码处理一般在计算机exlll或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机exlll等读取的某些记录介质(⑶一 ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话exll4是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话exll4具有的LSIex500编码处理的数据。
[0297]此外，也可以是，流媒体服务器exl03是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。
[0298]如以上这样，在内容供给系统exlOO中，客户端能够接收编码的数据而再现。这样，在内容供给系统exlOO中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
[0299]另外，并不限定于内容供给系统exlOO的例子，如图26所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB) ex217等的装置将接收到的复用数据解码并将其再现(S卩，作为本发明的一个方式的图像解码装置发挥作用)。
[0300]此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
[0301]图27是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
[0302]此外，电视机ex300具备:具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306 ;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另夕卜，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
[0303]首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
[0304]此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
[0305]此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
[0306]作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图28中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406 —边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追力口、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
[0307]以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。
[0308]在图29中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
[0309]以上，举I层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
[0310]此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另夕卜，车载导航仪ex211的结构可以考虑例如在图27所示的结构中添加GPS接收部的结构，在计算机exlll及便携电话exll4等中也可以考虑同样的结构。
[0311]图30A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话exll4的图。便携电话exll4具有由用来在与基站exllO之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话exll4还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
[0312]进而，使用图30B对便携电话exl 14的结构例进行说明。便携电话exl 14对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(LiquidCrystal Display:液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
[0313]电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话exll4起动为能够动作的状态。
[0314]便携电话exll4基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话exll4在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。
[0315]进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站exllO发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350o
[0316]在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。
[0317]复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
[0318]在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由IXD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码,从声音输出部ex357输出声音。
[0319]此外，上述便携电话exll4等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
[0320]这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
[0321]此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
[0322](实施方式4)
[0323]也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG - 2、MPEG4 — AVC、VC — I等不同的标准的运动图像编码方法或装置根据需要而适当切换,来生成影像数据。
[0324]这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
[0325]为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG - 2传输流形式的数字流。
[0326]图31是表示复用数据的结构的图。如图31所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的I个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG - 2、MPEG4 — AVC,VC 一 I等标准的运动图像编码方法或装置编码。音频流由杜比AC —3、Dolby Digital Plus、MLP、DTS、DTS — HD、或线性 PCM 等的方式编码 。
[0327]包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到OxlllF，对演示图形分配0x1200到0xl21F，对交互图形流分配0x1400到0xl41F，对在电影的副影像中使用的视频流分配OxlBOO到OxlBlF，对与主声音混合的副声音中使用的音频流分配OxIAOO到OxlAlF。
[0328]图32是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到I条流中而构成。
[0329]图33更详细地表示在PES包序列中怎样保存视频流。图33的第I段表示视频流的视频帧序列。第2段表示PES包序列。如图33的箭头yyl、yy2、yy3、yy4所示,视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS (Presentation Time-Stamp)及作为图片的解码时刻的 DTS (Decoding Time-Stamp)?
[0330]图34表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD — ROM的情况下，对于TS包赋予4字节的TP_Extra_Header,构成192字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS (Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图34下段所示排列，从复用数据的开头起递增的号码被称作SPN (源包号)。
[0331]此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为
O。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC (Arrival Time Clock)与作为PTS及DTS的时间轴的STC (System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
[0332]图35是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
[0333]在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
[0334]复用数据信息文件如图36所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
[0335]复用数据信息如图36所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上I帧量的再现间隔的值。
[0336]流属性信息如图37所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
[0337]在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
[0338]此外，在图38中表示本实施方式的运动图像解码方法的步骤。在步骤exSlOO中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exSlOl中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG - 2、MPEG4 — AVC,VC 一 I等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。
[0339]这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。
[0340](实施方式5)
[0341]在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图39中表示I芯片化的LSIex500的结构。LSIex500 具备以下说明的单元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
[0342]例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/0ex509从麦克风exl 17及照相机exl 13等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/0ex506向外部输出。将该输出的比特流向基站exl07发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
[0343]另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成I个芯片，也可以形成多个芯片。
[0344]此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,但控制部ex510的结构并不限定于该结构。例如,也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
[0345]另外，这里设为LSI，但根据集成度的差异，也有称作1C、系统LS1、超级(super)LS1、特级(ultra)LSI的情况。
[0346]此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA (Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
[0347]进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
[0348](实施方式6)
[0349]在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
[0350]为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图40表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
[0351]更具体地讲，驱动频率切换部ex803由图39的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图39的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式4中记载的识别信息。关于识别信息，并不限定于在实施方式4中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图42所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
[0352]图41表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG — 2、MPEG4 - AVC,VC 一 I等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
[0353]进而，通过与驱动频率的切换连动而变更对LSIeX500或包括LSIeX500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
[0354]此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4 - AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
[0355]进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的影像数据的情况相比，将停止时间设定得短。
[0356]这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
[0357](实施方式7)
[0358]在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
[0359]为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的解码处理部一部分共用的结构。图43A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4 - AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容，共用对应于MPEG4 - AVC标准的解码处理部ex902，关于不对应于MPEG4 — AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构:关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4 — AVC标准所特有的处理内容，使用专用的解码处理部。
[0360]此外,用图43B的exlOOO表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部exlOOl、和与其他的以往标准所特有的处理内容对应的专用的解码处理部exl002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部exl003的结构。这里,专用的解码处理部exl001、exl002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIeX500安装本实施方式的结构。
[0361]这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
[0362]工业实用性[0363]本发明的一个方式的图像解码方法及图像编码方法能够有效应用于运动图像的解码方法及编码方法。
[0364]标号说明:
[0365]100图像编码装置
[0366]101减法部
[0367]102正交变换部
[0368]103量化部
[0369]104、302 逆量化部
[0370]105、303逆正交变换部
[0371]106、304 加法部
[0372]107、305 块存储器
[0373]108、306 帧存储器
[0374]109、307帧内预测部
[0375]110、308帧间预测部
[0376]111、309帧间预测控制部
[0377]113、310 开关
[0378]114、311合并块候选计算部
[0379]115、312colPic 存储器
[0380]116可变长度编码部
[0381]300图像解码装置
[0382]301可变长度解码部。
【权利要求】
1.一种图像解码方法，按每个块对编码比特流中包含的图像数据进行解码，包括以下步骤: 合并候选取得步骤，取得2以上的固定数量的合并候选，该合并候选是在解码对象块的解码中参照的预测方向、运动矢量及参照图片索引的候选； 索引取得步骤，从所述编码比特流取得下述索引，该索引用于从所述2以上的固定数量的合并候选中确定在所述解码对象块的解码中参照的合并候选；以及 解码步骤，使用所取得的所述索引来确定所述合并候选，使用所确定的所述合并候选将所述解码对象块解码； 所述2以上的固定数量的合并候选包括至少I个第一候选和至少I个第二候选，该第一候选基于与所述解码对象块在空间上或时间上相邻的相邻块的解码中使用的预测方向、运动矢量及参照图片索引而被导出，该第二候选具有预先决定的固定值。
2.如权利要求1所述的图像解码方法， 所述合并候选取得步骤包括: 第一导出步骤，导出所述第一候选，并作为所述2以上的固定数量的合并候选的一部分追加； 第二导出步骤，在所述第一候选的数量小于所述2以上的固定数量的情况下，导出至少I个第三候选，并作为所述2以上的固定数量的合并候选的一部分追加，该第三候选具有与在所述解码对象块的解码中能够参照的图片对应的图片索引；以及 第三导出步骤，在所述第一候选的数量及所述第三候选的数量的合计小于所述2以上的固定数量的情况下，将至少I个所述第二候选作为所述2以上的固定数量的合并候选的一部分追加，以使所述第一候选的数量、所述第二候选的数量及所述第三候选的数量的合计与所述2以上的固定数量相等。
3.如权利要求2所述的图像解码方法， 在所述第二导出步骤中，从预先准备的多个不同候选中，按照规定的优先顺序选择至少I个候选，从而导出至少I个所述第三候选。
4.如权利要求1所述的图像解码方法， 所述合并候选取得步骤具有: 初始化步骤，对所述2以上的固定数量的合并候选全部设定所述第二候选，从而将所述2以上的固定数量的合并候选初始化； 第一导出步骤，导出至少I个所述第一候选，并作为所述2以上的固定数量的合并候选的一部分更新；以及 第二导出步骤，在所述第一候选的数量小于所述2以上的固定数量的情况下，导出至少I个第三候选，并作为所述2以上的固定数量的合并候选的一部分更新，该第三候选具有与在所述解码对象块的解码中能够参照的图片对应的图片索引。
5.一种图像编码方法，按每个块对图像进行编码从而生成编码比特流，包括以下步骤: 合并候选取得步骤，取得2以上的固定数量的合并候选，该合并候选是在编码对象块的编码中参照的预测方向、运动矢量及参照图片索引的候选；以及 编码步骤，将下述索引附加到所述编码比特流中，该索引用于从所述2以上的固定数量的合并候选中确定在所述编码对象块的编码中参照的所述合并候选； 所述2以上的固定数量的合并候选包括至少I个第一候选和至少I个第二候选，该第一候选基于与所述编码对象块在空间上或时间上相邻的相邻块的编码中使用的预测方向、运动矢量及参照图片索引而被导出，该第二候选具有预先决定的固定值。
6.如权利要求5所述的图像编码方法， 所述合并候选取得步骤包括: 第一导出步骤，导出所述第一候选，并作为所述2以上的固定数量的合并候选的一部分追加； 第二导出步骤，在所述第一候选的数量小于所述2以上的固定数量的情况下，导出至少I个第三候选，并作为所述2以上的固定数量的合并候选的一部分追加，该第三候选具有与在所述解码对象块的解码中能够参照的图片对应的图片索引；以及 第三导出步骤，在所述第一候选的数量及所述第三候选的数量的合计小于所述2以上的固定数量的情况下，将至少I个所述第二候选作为所述2以上的固定数量的合并候选的一部分追加，以使所述第一候选的数量、所述第二候选的数量及所述第三候选的数量的合计与所述2以上的固定数量相等。
7.如权利要求6所述的图像编码方法， 在所述第二导出步骤中，从预先准备的多个不同候选中，按照规定的优先顺序选择至少I个候选，从而导出至少I个所述第三候选。
8.如权利要求5所述的图像编码方法，` 所述合并候选取得步骤具有: 初始化步骤，对所述2以上的固定数量的合并候选全部设定所述第二候选，从而将所述2以上的固定数量的合并候选初始化； 第一导出步骤，导出至少I个所述第一候选，并作为所述2以上的固定数量的合并候选的一部分更新；以及 第二导出步骤，在所述第一候选的数量小于所述2以上的固定数量的情况下，导出至少I个第三候选，并作为所述2以上的固定数量的合并候选的一部分更新，该第三候选具有与在所述解码对象块的解码中能够参照的图片对应的图片索引。
9.一种图像解码装置，按每个块对编码比特流中包含的图像数据进行解码，该图像解码装置具备: 合并候选取得部，取得2以上的固定数量的合并候选，该合并候选是在解码对象块的解码中参照的预测方向、运动矢量及参照图片索引的候选； 索引取得部，从所述编码比特流取得下述索引，该索引用于从所述2以上的固定数量的合并候选中确定在所述解码对象块的解码中参照的合并候选；以及 解码部，使用所取得的所述索引来确定所述合并候选，使用所确定的所述合并候选将所述解码对象块解码； 所述2以上的固定数量的合并候选包括至少I个第一候选和至少I个第二候选，该第一候选基于与所述解码对象块在空间上或时间上相邻的相邻块的解码中使用的预测方向、运动矢量及参照图片索引而被导出，该第二候选具有预先决定的固定值。
10.一种图像编码装置，按每个块对图像进行编码从而生成编码比特流，该图像编码装置具备: 合并候选取得部，取得2以上的固定数量的合并候选，该合并候选是在编码对象块的编码中参照的预测方向、运动矢量及参照图片索引的候选；以及 编码部，将下述索引附加到所述编码比特流中，该索引用于从所述2以上的固定数量的合并候选中确定在所述编码对象块的编码中参照的所述合并候选； 所述2以上的固定数量的合并候选包括至少I个第一候选和至少I个第二候选，该第一候选基于与所述编码对象块在空间上或时间上相邻的相邻块的编码中使用的预测方向、运动矢量及参照图片索引而被导出，该第二候选具有预先决定的固定值。
11.一种图像编解码装置，具备: 权利要求9所述的图像解码装置；以及 权利要求10所述的图 像编码装置。
【文档编号】H04N19/513GK103535039SQ201280023179
【公开日】2014年1月22日 申请日期:2012年6月28日 优先权日:2011年6月30日
【发明者】杉尾敏康, 西孝启, 柴原阳司, 谷川京子, 笹井寿郎, 松延彻 申请人:松下电器产业株式会社