运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图 ...的制作方法
【专利摘要】运动图像编码装置（100）具备：预测运动矢量候选计算部（114），计算预测运动矢量候选及预测运动矢量候选数；帧间预测控制部（111），选择最优的预测运动矢量候选；可变长编码部（116），将预测运动矢量候选数设定为预测运动矢量候选列表尺寸，对在运动矢量编码中使用的预测运动矢量索引分配与预测运动矢量候选列表尺寸相对应的比特序列，进行可变长编码。
【专利说明】运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
【技术领域】
[0001]本发明涉及运动图像编码方法及运动图像解码方法。
[0002]在运动图像编码处理中，一般利用运动图像具有的空间方向及时间方向的冗余性进行信息量的压缩。这里，一般作为利用空间方向的冗余性的方法而使用向频域的变换。此夕卜，作为利用时间方向的冗余性的方法，使用图片间预测(以后称作“帧间(inter)预测”)编码处理。在帧间预测编码处理中，在将某个图片(picture)编码时，使用相对于编码对象图片在显示时间顺序上处于前方或后方的已编码的图片作为参照图片。并且，通过相对于该参照图片的编码对象图片的运动检测，导出运动矢量。并且，通过计算基于导出的运动矢量进行运动补偿而得到的预测图像数据与编码对象图片的图像数据之间的差分，将时间方向的冗余性去除(例如，参照非专利文献I )。这里，在运动检测中，计算编码图片内的编码对象块与参照图片内的块之间的差分值，决定差分值最小的参照图片内的块作为参照块。并且，使用编码对象块和参照块来检测运动矢量。
[0003]现有技术文献
[0004]非专利文献
[0005]非专利文献1:1TU — T Recommendation H.264 “Advanced video coding forgeneric audio visual services，，, 2010 年 3 月
[0006]非专利文献2:JCT — VC, “WD3:fforking Draft3of High — Efficiency VideoCoding”，JCTVC — E603, March2011.发明概要
[0007]发明要解决的问题
[0008]但是，在上述以往的技术中，在使用帧间预测的运动图像编码及解码中，希望使编码效率提闻。
[0009]
【发明内容】
[0010]所以，本发明的目的是提供一种在使用帧间预测的运动图像编码及解码中能够使编码效率提高的运动图像编码方法及运动图像解码方法。
[0011]用于解决问题的手段
[0012]有关本发明的一技术方案的运动图像编码方法，是计算在将编码对象块的运动矢量编码时使用的预测运动矢量、通过将上述编码对象块编码而生成比特流的运动图像编码方法，包括:第I导出步骤，基于在与编码对象块在空间或时间上邻接的块的编码中使用的运动矢量，导出第I预测运动矢量候选；第2导出步骤，导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选；选择步骤，从上述第I预测运动矢量候选及上述第2预测运动矢量候选中选择在上述编码对象块的上述运动矢量的编码中使用的上述预测运动矢量；编码步骤，将用来确定上述预测运动矢量的索引向上述比特流附加。
[0013]另外，这些全面的或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的⑶一 ROM (Compact Disc Read Only Memory)等的记录介质实现,也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
[0014]发明效果
[0015]根据本发明的一技术方案，能够使使用帧间预测的运动图像编码及解码的编码效率提闻。
【专利附图】
【附图说明】
[0016]图1A是用来说明B图片的参照图片列表的一例的图。
[0017]图1B是表示B图片的预测方向O的参照图片列表的一例的图。
[0018]图1C是表示B图片的预测方向I的参照图片列表的一例的图。
[0019]图2是用来说明时间预测运动矢量模式的运动矢量的图。
[0020]图3是表示在预测运动矢量指定模式中使用的邻接块的运动矢量的一例的图。
[0021]图4是用来说明预测方向O的预测运动矢量候选列表的一例的图。
[0022]图5是用来说明预测方向I的预测运动矢量候选列表的一例的图。
[0023]图6是表示向预测运动矢量索引的比特序列的分配的一例的图。
[0024]图7是表示使用预测运动矢量指定模式的情况下的编码处理的一例的流程图。
[0025]图8A是表示预测运动矢量的计算例的图。
[0026]图8B是表示预测运动矢量的计算例的图。
[0027]图9是表示使用预测运动矢量指定模式将运动图像编码的运动图像编码装置的结构的一例的框图。
[0028]图10是表示使用预测运动矢量指定模式的情况下的解码处理的一例的流程图。
[0029]图11是表示将使用预测运动矢量指定模式编码的运动图像解码的运动图像解码装置的结构的一例的框图。
[0030]图12是表示将预测运动矢量索引向比特流附加时的语法的图。
[0031]图13是表示有关实施方式I的运动图像编码装置的结构的框图。
[0032]图14是表示有关实施方式I的运动图像编码装置的处理动作的流程图。
[0033]图15是表示实施方式I的预测方向O的预测运动矢量候选列表的一例的图。
[0034]图16是表示实施方式I的预测方向I的预测运动矢量候选列表的一例的图。
[0035]图17是表示实施方式I的预测运动矢量候选及预测运动矢量候选列表尺寸的计算处理的流程图。
[0036]图18是表示实施方式I的可预测候选的判断处理的流程图。
[0037]图19是表示实施方式I的zero候选的追加处理的流程图。
[0038]图20是表示实施方式I的关于预测运动矢量候选的选择的处理的流程图。
[0039]图21是用来说明预测方向O的预测运动矢量候选列表的一例的图。
[0040]图22是表示有关实施方式2的运动图像编码装置的结构的框图。
[0041]图23是表示有关实施方式2的运动图像编码装置的处理动作的流程图。
[0042]图24是表示有关实施方式3的运动图像解码装置的结构的框图。
[0043]图25是表示有关实施方式3的运动图像解码装置的处理动作的流程图。
[0044]图26是表示有关实施方式4的运动图像解码装置的结构的框图。[0045]图27是表示有关实施方式4的运动图像解码装置的处理动作的流程图。
[0046]图28是表示有关实施方式5的运动图像编码装置的结构的框图。
[0047]图29是表示有关实施方式5的运动图像编码装置的处理动作的流程图。
[0048]图30是表不实施方式5的预测方向O的预测运动矢量候选列表的一例的图。
[0049]图31是表示实施方式5的预测方向I的预测运动矢量候选列表的一例的图。
[0050]图32是表示实施方式5的预测运动矢量候选及预测运动矢量候选列表尺寸的计算处理的流程图。
[0051]图33是表示实施方式5的可预测候选数的更新处理的流程图。
[0052]图34是表示实施方式5的新候选的追加处理的流程图。
[0053]图35是表示实施方式5的关于预测运动矢量候选的选择的处理的流程图。
[0054]图36是表示有关实施方式6的运动图像编码装置的结构的框图。
[0055]图37是表示有关实施方式6的运动图像编码装置的处理动作的流程图。
[0056]图38是表示有关实施方式7的运动图像解码装置的结构的框图。
[0057]图39是表示有关实施方式7的运动图像解码装置的处理动作的流程图。
[0058]图40是表示实施方式7的可预测候选数的计算处理的流程图。
[0059]图41是表示实施方式7的预测运动矢量候选的计算处理的流程图。
[0060]图42是表示将预测运动矢量索引向比特流附加时的语法的一例的图。
[0061]图43是表示将预测运动矢量候选列表尺寸固定为预测运动矢量候选数的最大值的情况下的语法的一例的图。
[0062]图44是表示有关实施方式8的运动图像解码装置的结构的框图。
[0063]图45是表示有关实施方式8的运动图像解码装置的处理动作的流程图。
[0064]图46是实现内容分发服务的内容供给系统的整体结构图。
[0065]图47是数字广播用系统的整体结构图。
[0066]图48是表示电视机的结构例的模块图。
[0067]图49是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
[0068]图50是表示作为光盘的记录介质的构造例的图。
[0069]图5IA是表示便携电话的一例的图。
[0070]图5IB是表示便携电话的结构例的模块图。
[0071]图52是表示复用数据的结构的图。
[0072]图53是示意地表示各流在复用数据中怎样被复用的图。
[0073]图54是更详细地表示在PES包序列中视频流怎样被保存的图。
[0074]图55是表示复用数据的TS包和源包的构造的图。
[0075]图56是表示PMT的数据结构的图。
[0076]图57是表示复用数据信息的内部结构的图。
[0077]图58是表示流属性信息的内部结构的图。
[0078]图59是表示识别影像数据的步骤的图。
[0079]图60是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。[0080]图61是表示切换驱动频率的结构的图。
[0081]图62是表示识别影像数据、切换驱动频率的步骤的图。
[0082]图63是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
[0083]图64A是表示将信号处理部的模块共用的结构的一例的图。
[0084]图64B是表不将信号处理部的模块共用的结构的另一例的图。
【具体实施方式】
[0085](作为本发明的基础的认识)
[0086]已经标准化的称作H.264的运动图像编码方式中，为了信息量的压缩，使用I图片、P图片、B图片的3种图片类型。
[0087]I图片并不是通过帧间预测编码处理而被编码的。S卩，I图片是通过图片内预测(以后，称作“帧内(intra)预测”)编码处理而被编码的。P图片参照在显示时间顺序上处于编码对象图片的前方或后方的已经编码的I个图片进行帧间预测编码。B图片参照在显示时间顺序上处于编码对象图片的前方或后方的已经编码的两个图片进行帧间预测编码。
[0088]在帧间预测编码中，生成用来确定参照图片的参照图片列表。参照图片列表是对在帧间预测中参照的已编码的参照图片分配了参照图片索引的列表。例如，在B图片中，由于能够参照两个图片进行编码，所以生成两个参照图片列表(L0，LI)。
[0089]图1A是用来说明B图片的参照图片列表的一例的图。图1B表示双向预测的预测方向O的参照图片列表O (LO)的一例。这里，在参照图片列表O中，参照图片索引O的值
O被分配给显示顺序2的参照图片O。此外，参照图片索引O的值I被分配给显示顺序I的参照图片I。此外，参照图片索引O的值2被分配给显示顺序O的参照图片2。S卩，相对于编码对象图片而言显示顺序在时间上越接近的参照图片，就被分配具有越小的值的参照图片索引。
[0090]另一方面，图1C表示双向预测中的预测方向I的参照图片列表I (LI)的一例。这里，在参照图片列表I中，参照图片索引I的值O被分配给显示顺序I的参照图片I。此夕卜，参照图片索引I的值I被分配给显示顺序2的参照图片O。此外，参照图片索引2的值2被分配给显示顺序O的参照图片2。
[0091]这样，能够对各参照图片分配按照每个预测方向而不同的参照图片索引的值(图1A的参照图片0、1)，或者分配相同的参照图片索引的值(图1A的参照图片2)。
[0092]此外，在称作H.264的运动图像编码方式(非专利文献I)中，作为B图片的各编码对象块的帧间预测的编码模式而使用运动矢量检测模式。在运动矢量检测模式中，将预测图像数据及编码对象块的图像数据的差分值、和在预测图像数据生成中使用的运动矢量编码。此外，在运动矢量检测模式中，作为预测方向而能够选择双向预测和单向预测。在双向预测中，参照处于编码对象图片的前方或后方的已经编码的两个图片而生成预测图像。在单向预测中，参照处于前方或后方的已经编码的I个图片而生成预测图像。
[0093]此外，在称作H.264的运动图像编码方式中，在B图片的编码中，在导出运动矢量时，能够选择称作时间预测运动矢量模式的编码模式。使用图2说明时间预测运动矢量模式中的帧间预测编码方法。
[0094]图2是用来说明时间预测运动矢量模式的运动矢量的图。具体而言，图2表示将图片B2的块a用时间预测运动矢量模式编码的情况。
[0095]这里，利用在作为处于图片B2的后方的参照图片的图片P3内的、处于与块a相同位置的块b (以下，称作“co — located(相同位置)块”)的编码中使用的运动矢量vb。运动矢量vb是在参照图片Pl将块b编码时使用的运动矢量。
[0096]使用与运动矢量vb平行的运动矢量，从作为前方参照图片的图片P1、和作为后方参照图片的图片P3，取得用于块a的两个参照块。并且，通过基于所取得的两个参照块进行双向预测，将块a编码。S卩，在将块a编码时使用的运动矢量对于图片Pl是运动矢量val，对于图片P3是运动矢量va2。
[0097]此外，作为对B图片或P图片中的各编码对象块的运动矢量进行编码的方法而研究了预测运动矢量指定模式(非专利文献2)。在预测运动矢量指定模式中，根据在编码对象块的邻接块的编码中使用的运动矢量生成预测运动矢量候选。并且，从预测运动矢量候选中选择预测运动矢量，进行编码对象块的运动矢量的编码。此时，将所选择的预测运动矢量的索引等附带到比特流中。由此，能够在解码时选择与在编码时使用的预测运动矢量相同的预测运动矢量。参照图3说明具体例。
[0098]图3是表示在预测运动矢量指定模式中使用的邻接块的运动矢量的一例的图。在图3中，邻接块A是编码对象块的左邻接的已编码块。邻接块B是编码对象块的上邻接的已编码块。邻接块C是编码对象块的右上邻接的已编码块。邻接块D是编码对象块的左下邻接的已编码块。
[0099]此外，在图3中，编码对象块是通过双向预测编码的块，并且作为运动检测等的结果具有预测方向O的运动矢量MvLO、作为相对于预测方向O的参照图片索引RefLO所表示的参照图片的运动矢量，具有预测方向I的运动矢量MvLl、作为相对于预测方向I的参照图片索引RefLl所表示的参照图片的运动矢量。这里，所谓MvLO，表示对通过参照图片列表O (LO)确定的参照图片进行参照的运动矢量。此外，所谓MvLl，表示对由参照图片列表
I(LI)确定的参照图片进行参照的运动矢量。
[0100]此外，邻接块A是通过预测方向O的单向预测编码的块。邻接块A作为相对于预测方向O的参照图片索引RefL0_AK表示的参照图片的运动矢量，具有预测方向O的运动矢量MvL0_A。此外，邻接块B是通过预测方向I的单向预测编码的块。邻接块B作为相对于预测方向I的参照图片索引RefLl_B表示的参照图片的运动矢量而具有预测方向I的运动矢量MvLl_B。此外，邻接块C是通过帧内预测编码的块。此外，邻接块D是通过预测方向O的单向预测编码的块。邻接块D作为相对于预测方向O的参照图片索引RefL0_D表示的参照图片的运动矢量而具有预测方向O的运动矢量MvL0_D。
[0101]在这样的情况下，例如从根据邻接块A、B、C、D的运动矢量及使用CO - located块求出的时间预测运动矢量模式的运动矢量而生产的预测运动矢量候选中，选择能够最有效地对编码对象块的运动矢量进行编码的预测运动矢量。并且，使表示所选择的预测运动矢量的预测运动矢量索引附带到比特流中。例如，在对编码对象块的预测方向O的运动矢量MvLO进行编码时，作为预测运动矢量选择了邻接块A的预测方向O的运动矢量MvL0_A情况下，如图4所示仅使表示使用了根据邻接块A生产的预测运动矢量候选的预测运动矢量索引的值“O”附带到比特流中。由此，能够削减编码对象块的预测方向O的运动矢量MvLO的信息量。[0102]这里，图4是表示预测方向O的预测运动矢量候选列表的一例的图。此外，如图4所示，在预测运动矢量指定模式中，将不能进行预测运动矢量的生成的候选(以下，称作“不可预测候选”)或值与其他预测运动矢量候选一致的候选(以下，称作“重复候选”)从预测运动矢量候选中删除。这样，通过削减预测运动矢量候选数，削减向预测运动矢量索引分配的代码量。这里，不能进行预测运动矢量的生成，表示邻接块是(I)是通过帧内预测被编码的块、(2)是包括编码对象块的切片(slice)或图片边界外的块、或者(3)是还没有被编码的块等。[0103]在图4的例子中，将邻接块C通过帧内预测编码。因此，预测运动矢量索引的值为“3”的预测候选是不可预测候选，被从预测运动矢量候选列表删除。此外，由于从邻接块D生成的预测方向O的预测运动矢量的值与从邻接块A生成的预测方向O的预测运动矢量一致，所以将预测运动矢量索引的值为“4”的预测候选从预测运动矢量候选列表中删除。结果，最终，预测方向O的预测运动矢量候选数为3，预测方向O的预测运动矢量候选列表的列表尺寸被设定为3。
[0104]此外，图5是表示预测方向I的预测运动矢量候选列表的一例的图。在图5所示的例子中，通过不可预测候选及重复候选的删除，最终预测方向I的预测运动矢量候选数成为2，预测方向I的预测运动矢量候选列表的列表尺寸被设定为2。
[0105]将预测运动矢量索引根据预测运动矢量候选列表尺寸的大小，如图6所示那样分配比特序列，进行可变长编码。此外，在预测运动矢量候选列表尺寸为I的情况下，不使预测运动矢量索引附带到比特流中，在解码侧推测为值O。这样，在预测运动矢量指定模式中，通过使向预测运动矢量索引分配的比特序列根据预测运动矢量候选列表尺寸的大小而变化，削减了代码量。
[0106]图7是表示使用预测运动矢量指定模式的情况下的编码处理的一例的流程图。
[0107]在步骤S1001中，根据邻接块及co - located块(以下，称作“预测块候选”)，计算预测方向X的预测运动矢量候选。这里，X取“O”或“I”的值，分别表示预测方向O或预测方向I。预测方向X的预测运动矢量候选SMvLX使用预测块候选的运动矢量MvLX_N和参照图片索引RefLX_N&编码对象块的参照图片索引RefLX，通过以下的式子计算。
[0108]sMvLX=
[0109]MvLX_NX (POC (RefLX) - curPOC) / (POC (RefLX_N) - curPOC)...(式 I)
[0110]这里，POC (RefLX)表示参照图片索引RefLX所表示的参照图片的显示顺序，POC(RefLX_N)表示参照图片索引RefLX_N所表示的参照图片的显示顺序，curPOC表示编码对象图片的显示顺序。另外，在预测块候选不具有预测方向X的运动矢量MvLX_N情况下，使用预测方向(I —X)的运动矢量MvL (I — X)_N和参照图片索引RefL (1—X)_N，通过式2计算预测运动矢量sMvLX。
[0111]sMvLX=
[0112]MvL (1- X)_NX (POC (RefLX) — curPOC) / (POC (RefL (I — X)_N)—curPOC)…(式 2)
[0113]在图8A、图SB中是表示式1、式2的预测运动矢量的计算例的图。另外，如式1、式2所示，在POC (RefLX)与POC (RefLX_N)的值相同的情况下，即在参照相同的图片的情况下，能够将缩放(scaling)省略。[0114]在步骤S1002中，从预测方向X的预测运动矢量候选中将重复候选及不可预测候选删除。在步骤S1003中，将删除处理后的预测运动矢量候选数设定为预测运动矢量候选列表尺寸。在步骤S1004中，决定在编码对象块的预测方向X的运动矢量编码中使用的预测运动矢量索引。在步骤S1005中，将所决定的预测运动矢量索引，使用由预测运动矢量候选列表尺寸决定的比特序列进行可变长编码。
[0115]图9是表示使用预测运动矢量指定模式将运动图像编码的运动图像编码装置1000的结构的一例的框图。
[0116]运动图像编码装置1000如图9所示，具备减法部1001、正交变换部1002、量化部1003、逆量化部1004、逆正交变换部1005、加法部1006，块存储器1007、帧存储器1008、帧内预测部1009、帧间预测部1010、帧间预测控制部1011、图片类型决定部1012、开关1013、预测运动矢量候选计算部1014、colPic存储器1015和可变长编码部1016。
[0117]在图9中，预测运动矢量候选计算部1014计算预测运动矢量候选。并且，预测运动矢量候选计算部1014将计算出的预测运动矢量候选数向可变长编码部1016发送。可变长编码部1016将预测运动矢量候选数设定为作为编码参数的预测运动矢量候选列表尺寸。并且，可变长编码部1016对在编码中使用的预测运动矢量索引分配与预测运动矢量候选列表尺寸对应的比特序列，进行可变长编码。
[0118]图10是表示使用预测运动矢量指定模式的情况下的解码处理的一例的流程图。
[0119]在步骤S2001中,根据邻接块及co — located块(预测块候选)计算预测方向X的预测运动矢量候选。在步骤S2002中，从预测运动矢量候选将重复候选及不可预测候选删除。在步骤S2003中，将删除处理后的预测运动矢量候选数设定为预测运动矢量候选列表尺寸。在步骤S2004中，根据比特流，将在解码对象块的解码中使用的预测运动矢量索引，使用预测运动矢量候选列表尺寸解码。在步骤S2005中，对解码后的预测运动矢量索引表示的预测运动矢量候选加上差分运动矢量来计算运动矢量，使用计算出的运动矢量生成预测图像，进行解码处理。
[0120]图11是表示将使用预测运动矢量指定模式编码的运动图像解码的运动图像解码装置的结构的一例的框图。
[0121]运动图像解码装置2000如图11所示，具备可变长解码部2001、逆量化部2002、逆正交变换部2003、加法部2004、块存储器2005、帧存储器2006、帧内预测部2007、帧间预测部2008、帧间预测控制部2009、开关2010、预测运动矢量候选计算部2011和colPic存储器2012。
[0122]在图11中，预测运动矢量候选计算部2011计算预测运动矢量候选。并且，预测运动矢量候选计算部2011将计算出的预测运动矢量候选数向可变长解码部2001发送。可变长解码部2001将预测运动矢量候选数设定为作为解码参数的预测运动矢量候选列表尺寸。并且，可变长解码部2001将包含在比特流中的预测运动矢量索引使用预测运动矢量候选列表尺寸解码。
[0123]图12是表示将预测运动矢量索引向比特流附加时的语法的图。在图12中，inter_pred_flag表示巾贞间预测的预测方向标志。mvp_idx表示预测运动矢量索引。NumMVPCand表示预测运动矢量候选列表尺寸。该NumMVPCand被设定有从预测运动矢量候选将不可预测候选及重复候选删除后的预测运动矢量候选数。[0124]如以上这样，使用预测运动矢量指定模式将运动图像编码或解码。
[0125]但是，在上述预测运动矢量指定模式中，根据在编码对象块的邻接块等中使用的运动矢量，计算将编码对象块的运动矢量编码时的预测运动矢量的候选。由此，例如在邻接块是运动物体区域、编码对象块是静止区域的情况下，编码对象块的预测运动矢量候选受到运动物体区域的影响。因此，在预测运动矢量候选中不存在用来将值比较小的编码对象块的运动矢量有效率地编码的预测运动矢量，有编码效率下降的情况。
[0126]所以，本发明的目的是提供一种通过对预测运动矢量候选列表追加静止区域用的预测运动矢量，能够提高编码效率的运动图像编码方法。
[0127]所以，有关本发明的一技术方案的运动图像编码方法，计算在将编码对象块的运动矢量编码时使用的预测运动矢量，通过将上述编码对象块编码而生成比特流，其特征在于，包括:第I导出步骤，基于在与编码对象块在空间或时间上邻接的块的编码中使用的运动矢量，导出第I预测运动矢量候选；第2导出步骤，导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选；选择步骤，从上述第I预测运动矢量候选及上述第2预测运动矢量候选中，选择在上述编码对象块的上述运动矢量的编码中使用的上述预测运动矢量；以及编码步骤，将用来确定上述预测运动矢量的索引向上述比特流附加。
[0128]据此，能够将具有预先设定的矢量作为运动矢量的预测运动矢量候选作为第2预测运动矢量候选导出。因而，能够将例如具有静止区域用的运动矢量的预测运动矢量候选作为第2预测运动矢量候选导出。即，能够将具有预先设定的运动的编码对象块有效率地编码，能够使编码效率提高。
[0129]例如，上述预先设定的矢量也可以是零矢量。
[0130]据此，由于预先设定的矢量是零矢量，所以能够将具有静止区域用的运动矢量的预测运动矢量候选导出。因而，在编码对象块是静止区域的情况下，能够使编码效率提高。
[0131]例如，也可以是，上述运动图像编码方法还包括:决定步骤，决定预测运动矢量候选的最大数；以及判断步骤，判断所导出的上述第I预测运动矢量候选的数量是否比上述最大数小；在判断为上述第I预测运动矢量候选的数量比上述最大数小的情况下，在上述第2导出步骤中导出上述第2预测运动矢量候选。
[0132]据此，在判断为第I预测运动矢量候选比最大数小的情况下，能够导出第2预测运动矢量候选。因而，能够在不超过最大数的范围内使预测运动矢量候选的数量增加，能够使编码效率提高。
[0133]例如，也可以是，在上述编码步骤中，使用所决定的上述最大数将上述索引编码，将编码后的上述索引向上述比特流附加。
[0134]据此，能够将用来确定预测运动矢量候选的索引使用所决定的最大数编码。S卩，能够不依存于实际导出的预测运动矢量候选的数量而将索引编码。因而，即使是丢失了预测运动矢量候选的导出所需要的信息(例如，co - located块等的信息)的情况，在解码侧也能够将索引解码，能够使容错性提高。此外，在解码侧，能够不依存于实际导出的预测运动矢量候选的数量而将索引解码。即，在解码侧，能够不等待预测运动矢量候选的导出处理而进行索引的解码处理。即，能够生成能并行地进行预测运动矢量候选的导出处理和索引的解码处理的比特流。
[0135]例如，也可以是，在上述编码步骤中，还将表示所决定的上述最大数的信息向上述比特流附加。
[0136]据此，能够将表示所决定的最大数的信息附加到比特流中。因而，能够以适当的单位切换最大数，能够使编码效率提高。
[0137]例如，也可以是，在上述第I导出步骤中，将在与上述编码对象块在空间上邻接的块中的除了通过帧内预测而编码后的块、位于包含上述编码对象块的切片或图片的边界外的块和还没有被编码的块以外的块的编码中使用的运动矢量，作为上述第I预测运动矢量候选导出。
[0138]据此，为了得到预测运动矢量候选而能够从适当的块导出第I预测运动矢量候选。
[0139]例如，也可以是，在上述第I导出步骤中，将与已经导出了运动矢量的第I预测运动矢量候选不重复的预测运动矢量候选，作为上述第I预测运动矢量候选导出。
[0140]据此，能够将运动矢量与已经导出的第I预测运动矢量候选重复的预测运动矢量候选从第I预测运动矢量候选中排除。结果，能够使第2预测运动矢量候选的数量增加，能够增加能选择为预测运动矢量候选的运动矢量的种类。因而，能够使编码效率进一步提高。
[0141]例如，也可以是，上述运动图像编码方法还包括:切换步骤，将编码处理切换为依据第I标准的第I编码处理或依据第2标准的第2编码处理；以及附加步骤，将表示切换后的上述编码处理所依据的上述第I标准或上述第2标准的识别信息向上述比特流附加；在上述编码处理被切换为上述第I编码处理的情况下，作为上述第I编码处理，进行上述第I导出步骤、上述第2导出步骤、上述选择步骤和上述编码步骤。
[0142]据此，能够切换依据第I标准的第I编码处理和依据第2标准的第2编码处理，
[0143]此外，有关本发明的一技术方案的运动图像解码方法，计算在将比特流中包含的解码对象块的运动矢量解码时使用的预测运动矢量，将上述解码对象块解码，其特征在于，包括:第I导出步骤，基于在与解码对象块在空间或时间上邻接的块的解码中使用的运动矢量，导出第I预测运动矢量候选；第2导出步骤，导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选；取得步骤，从上述比特流中取得用来确定上述预测运动矢量候选的索引；以及选择步骤，基于所取得的上述索引，从上述第I预测运动矢量候选及上述第2预测运动矢量候选中，选择在将上述解码对象块解码时使用的预测运动矢量。
[0144]据此，能够将具有预先设定的矢量作为运动矢量的预测运动矢量候选作为第2预测运动矢量候选导出。因而，能够将例如具有静止区域用的运动矢量等的预测运动矢量候选作为第2预测运动矢量候选导出。即，能够将有效地编码了具有预先设定的运动的块的比特流适当地解码，能够将提高了编码效率的比特流适当地解码。
[0145]例如，上述预先设定的矢量也可以是零矢量。
[0146]据此，由于预先设定的矢量是零矢量，所以能够导出具有静止区域用的运动矢量的预测运动矢量候选。因而，能够将提高了编码效率的比特流适当地解码。
[0147]例如，也可以是，上述运动图像解码方法还包括:决定步骤，决定预测运动矢量候选的最大数；以及判断步骤，判断所导出的上述第I预测运动矢量候选的数量是否比上述最大数小；在判断为上述第I预测运动矢量候选数比上述最大数小的情况下，在上述第2导出步骤中导出上述第2预测运动矢量候选。
[0148]据此，在判断为第I预测运动矢量候选的数量比最大数小的情况下，能够导出第2预测运动矢量候选。因而，能够在不超过最大数的范围内使预测运动矢量候选的数量增加，能够将提高了编码效率的比特流适当地解码。
[0149]例如，也可以是，在上述取得步骤中，通过将附加在上述比特流中的编码后的上述索引使用所决定的上述最大数解码，取得上述索引。
[0150]据此，能够将用来确定预测运动矢量候选的索引使用所决定的最大数解码。S卩，能够不依存于实际导出的预测运动矢量候选的数量而将索引解码。因而，即使是丢失了预测运动矢量候选的导出所需要的信息(例如，co - located块等的信息)的情况，也能够将索引解码，能够使容错性提高。进而，能够不等待预测运动矢量候选的导出处理而进行索引的解码处理，能够并行地进行预测运动矢量候选的导出处理和索引的解码处理。
[0151]例如，也可以是，在上述决定步骤中，基于附加在上述比特流中的表示最大数的信息，决定上述最大数。
[0152]据此，能够基于附加在比特流中的信息决定最大数。因而，能够以适当的单位切换最大数而将编码的图像解码。
[0153]例如，也可以是，在上述第I导出步骤中，将在与上述解码对象块在空间上邻接的块中的除了通过帧内预测而解码后的块、位于包含上述解码对象块的切片或图片的边界外的块和还没有被解码的块以外的块的解码中使用的运动矢量，作为上述第I预测运动矢量候选导出。
[0154]据此，能够为了得到预测运动矢量候选而从适当的块导出第I预测运动矢量候选。
[0155]例如，也可以是，在上述第I导出步骤中，将与已经导出了运动矢量的第I预测运动矢量候选不重复的预测运动矢量候选，作为上述第I预测运动矢量候选导出。
[0156]据此，能够将运动矢量与已经导出的第I预测运动矢量候选重复的预测运动矢量候选从第I预测运动矢量候选中排除。结果，能够使第2预测运动矢量候选的数量增加，能够增加能选择为预测运动矢量候选的预测方向、运动矢量及参照图片索引的组合的种类。因而，能够将进一步提高了编码效率的比特流适当地解码。
[0157]例如，也可以是，上述运动图像解码方法还包括:切换步骤，根据附加在上述比特流中的表示第I标准或第2标准的识别信息，将解码处理切换为依据上述第I标准的第I解码处理或依据上述第2标准的第2解码处理；在上述解码处理被切换为第I解码处理的情况下，作为上述第I解码处理，进行上述第I导出步骤、上述第2导出步骤、上述取得步骤和上述选择步骤。
[0158]据此，能够切换依据第I标准的第I解码处理和依据第2标准的第2解码处理。
[0159]另外，这些全面的或具体的形态也可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD - ROM等的记录介质实现，也可以通过系统、装置、集成电路、计算机程序及记录介质的任意的组合来实现。
[0160]以下，参照附图对有关本发明的一技术方案的图像编码装置及图像解码装置具体地说明。
[0161]另外，以下说明的实施方式都是表示本发明的一具体例的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，并不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，作为任意的构成要素进行说明。
[0162](实施方式I)
[0163]图13是表示有关实施方式I的运动图像编码装置100的结构的框图。
[0164]运动图像编码装置100如图13所示，具备减法部101，正交变换部102，量化部103，逆量化部104，逆正交变换部105、加法部106、块存储器107、帧存储器108、帧内预测部109、帧间预测部110、帧间预测控制部111、图片类型决定部112、开关113、预测运动矢量候选计算部114、colPic存储器115及可变长编码部116。
[0165]减法部101通过按照每个块从输入图像序列中包含的输入图像数据减去预测图像数据而生成预测误差数据。正交变换部102对所生成的预测误差数据进行从图像域向频域的变换。量化部103对被变换为频域的预测误差数据进行量化处理。
[0166]逆量化部104对由量化部103量化处理后的预测误差数据进行逆量化处理。逆正交变换部105对逆量化处理后的预测误差数据进行从频域向图像域的变换。
[0167]加法部106通过按照每个编码对象块将预测图像数据与由逆正交变换部105逆量化处理后的预测误差数据相加而生成重建图像数据。在块存储器107中，以块单位保存重建图像数据。在帧存储器108中，以帧单位保存重建图像数据。
[0168]图片类型决定部112决定以I图片、B图片及P图片的哪个图片类型将输入图像数据编码。并且，图片类型决定部112生成图片类型的图片类型信息。帧内预测部109通过使用保存在块存储器107中的块单位的重建图像数据进行帧内预测，从而生成编码对象块的帧内预测图像数据。帧间预测部110通过使用保存在帧存储器108中的帧单位的重建图像数据、和用运动检测等导出的运动矢量进行帧间预测，生成编码对象块的帧间预测图像数据。
[0169]开关113在编码对象块被进行帧内预测编码的情况下，将由帧内预测部109生成的帧内预测图像数据作为编码对象块的预测图像数据向减法部101及加法部106输出。另一方面，开关113在编码对象块被进行帧间预测编码的情况下，将由帧间预测部110生成的帧间预测图像数据作为编码对象块的预测图像数据向减法部101及加法部106输出。
[0170]预测运动矢量候选计算部114使用编码对象块的邻接块的运动矢量等及保存在colPic存储器115中的co - located块的运动矢量等的colPic信息，导出预测运动矢量指定模式的合并块候选。并且，预测运动矢量候选计算部114用后述的方法计算预测运动矢量候选数。此外，预测运动矢量候选计算部114对导出的预测运动矢量候选分配预测运动矢量索引的值。并且，预测运动矢量候选计算部114将预测运动矢量候选和预测运动矢量索引向帧间预测控制部111发送。此外，预测运动矢量候选计算部114将计算出的预测运动矢量候选数向可变长编码部116发送。
[0171]帧间预测控制部111控制帧间预测部110，以便使用利用通过运动检测导出的运动矢量生成的帧间预测图像进行帧间预测编码。此外，帧间预测控制部111用后述的方法选择对在帧间预测编码中使用的运动矢量的编码最适合的预测运动矢量候选。并且，帧间预测控制部111将与所选择的预测运动矢量候选对应的预测运动矢量索引和预测的误差信息(差分运动矢量)向可变长编码部116发送。进而，帧间预测控制部111将包含编码对象块的运动矢量等的COlPic信息向colPic存储器115转送。
[0172]可变长编码部116通过对量化处理后的预测误差数据、预测方向标志、图片类型信息及差分运动矢量进行可变长编码处理，从而生成比特流。此外，可变长编码部116将预测运动矢量候选数设定为预测运动矢量候选列表尺寸。并且，可变长编码部116对在运动矢量编码中使用的预测运动矢量索引，分配与预测运动矢量候选列表尺寸对应的比特序列，进行可变长编码。
[0173]图14是表示有关实施方式I的运动图像编码装置100的处理动作的流程图。
[0174]在步骤SlOl中，帧间预测控制部111通过运动检测决定编码对象块的预测方向、参照图片索引及运动矢量。这里，在运动检测中，例如计算编码图片内的编码对象块与参照图片内的块的差分值，将差分值最小的参照图片内的块决定为参照块。并且，使用根据编码对象块位置和参照块位置求出运动矢量的方法等，求出运动矢量。此外，帧间预测控制部111对预测方向O和预测方向I的参照图片分别进行运动检测，例如通过R — D优化模型的以下的式子等，对选择预测方向O、预测方向1、还是双向预测进行计算。
[0175]Cost=D+ λ XR...(式 3)
[0176]在式3中，D表示编码失真，使用用由某个运动矢量生成的预测图像将编码对象块编码及解码得到的像素值与编码对象块的原来的像素值的差分绝对值和等。此外，R表示产生代码量。使用为了将在预测图像生成中使用的运动矢量编码而需要的代码量等作为R。此外，λ是拉格朗日的未定乘数。
[0177]在步骤S102中，预测运动矢量候选计算部114根据编码对象块的邻接块及co —located块导出预测运动矢量候选。此外，预测运动矢量候选计算部114用后述的方法计算预测运动矢量候选列表尺寸。
[0178]例如，在图3那样的情况下，预测运动矢量候选计算部114作为编码对象块的预测运动矢量候选而选择例如邻接块A、B、C及D具有的运动矢量。进而，预测运动矢量候选计算部114将根据co - located块的运动矢量通过时间预测模式计算出的运动矢量等，计算为预测运动矢量候选。
[0179]预测运动矢量候选计算部114如图15 (a)及图16 (a)那样对预测方向O及预测方向I的预测运动矢量候选分配预测运动矢量索引。并且，预测运动矢量候选计算部114通过用后述的方法进行不可预测候选及重复候选的删除及zero候选，从而计算图15 (b)及图16 (b)那样的预测运动矢量候选列表及预测运动矢量候选列表尺寸。
[0180]预测运动矢量索引的值越小就被分配越短的代码。即，在预测运动矢量索引的值较小的情况下，预测运动矢量索引所需要的信息量变少。另一方面，如果预测运动矢量索引的值变大，则预测运动矢量索引所需要的信息量变大。因而，如果对成为精度更高的预测运动矢量的可能性较高的预测运动矢量候选分配值较小的预测运动矢量索引，则编码效率变闻。
[0181]所以，预测运动矢量候选计算部114例如也可以将被选择为预测运动矢量的次数按照每个预测运动矢量候选来计测，对其次数较多的预测运动矢量候选分配值较小的预测运动矢量索引。具体而言，可以考虑确定在邻接块中选择的预测运动矢量，在对象块的编码时使对于所确定的预测运动矢量候选的预测运动矢量索引的值变小。
[0182]另外，在邻接块不具有运动矢量等的信息的情况下(是通过帧内预测编码的块的情况、是位于图片或切片的边界外等的块的情况、是还没有被编码的块等情况下)，不能用作预测运动矢量候选。[0183]在本实施方式中，将不能用作预测运动矢量候选称作不可预测候选。此外，将能够用作预测运动矢量候选称作可预测候选。此外，将在多个预测运动矢量候选中值与其他某个预测运动矢量一致的候选称作重复候选。
[0184]在图3的情况下，邻接块C由于是通过帧内预测编码的块，所以为不可预测候选。此外，根据邻接块D生成的预测方向O的预测运动矢量sMvL0_D的值与根据邻接块A生成的预测方向O的预测运动矢量MvL0_A —致，为重复候选。
[0185]在步骤S103中，帧间预测控制部111用后述的方法决定在预测方向X的运动矢量编码中使用的预测运动矢量索引的值。
[0186]在步骤S104中，可变长编码部116对在预测方向X的运动矢量编码中使用的预测运动矢量候选的预测运动矢量索引，分配与图6所示那样的预测运动矢量候选列表尺寸对应的比特序列，进行可变长编码。
[0187]在本实施方式中，如图15 (a)及图16 (a)那样，作为与邻接块A对应的预测运动矢量索引的值而被分配“O”。此外，作为与邻接块B对应的预测运动矢量索引的值而被分配“I”。此外，作为与co — located块对应的预测运动矢量索引的值而被分配“2”。此外，作为与邻接块C对应的预测运动矢量索引的值而被分配“3”。此外，作为与邻接块D对应的预测运动矢量索引的值而被分配“4”。
[0188]另外，预测运动矢量索引的值的分配方式并不一定限定于该例。例如，可变长编码部116在使用后述的方法追加了 zero候选等情况下，也可以对原来的预测运动矢量候选分配较小的值，对zero候选分配较大的值。即，可变长编码部116也可以对原来的预测运动矢量候选优先分配较小的值的预测运动矢量块索引。
[0189]此外，预测运动矢量候选并不一定限定于邻接块A、B、C、D的位置。例如，也可以使用位于左下邻接块D的上方的邻接块等作为预测运动矢量候选。此外，并不需要一定使用全部的邻接块作为预测运动矢量候选。例如，也可以仅使用邻接块A、B作为预测运动矢量候选。或者，如果邻接块D是不可预测候选，则也可以使用邻接块A等、将邻接块依次扫描。
[0190]此外，在本实施方式中，在图14的步骤S104中，可变长编码部116将预测运动矢量索引附加到比特流中，但并不一定需要将预测运动矢量索引附加到比特流中。例如，可变长编码部116在预测运动矢量候选列表尺寸是I的情况下，也可以不将预测运动矢量索引向比特流附加。由此，能够削减预测运动矢量索引的信息量。
[0191]图17是表不图14的步骤S102的详细的处理的流程图。具体而目，图17表不计算预测运动矢量候选及预测运动矢量候选列表尺寸的方法。以下，对图17进行说明。
[0192]在步骤Slll中，预测运动矢量候选计算部114用后述的方法判断预测块候选[N]是否是可预测候选。
[0193]这里，N是用来表示各预测块候选的索引值。在本实施方式中，N取O到4的值。具体而言，对预测块候选[O]分配图3的邻接块A。此外，对预测块候选[I]分配图3的邻接块B。此外，对预测块候选[2]分配co - located块。此外，对预测块候选[3]分配图3的邻接块C。此外，对预测块候选[4]分配图3的邻接块D。
[0194]在步骤S112中，预测运动矢量候选计算部114根据预测块候选[N]，使用上述式1、式2计算预测方向X的预测运动矢量候选，向预测运动矢量候选列表追加。[0195]在步骤S113中，预测运动矢量候选计算部114如图15及图16所示，从预测运动矢量候选列表中搜索不可预测候选及重复候选并删除。
[0196]在步骤S114中，预测运动矢量候选计算部114用后述的方法向预测运动矢量候选列表追加zero候选。这里，当追加zero候选时,预测运动矢量候选计算部114也可以进行预测运动矢量索引的值的再分配，以对原来就有的预测运动矢量候选优先分配较小的预测运动矢量索引。即，预测运动矢量候选计算部114也可以进行预测运动矢量索引的值的再分配，以对zero候选分配值较大的预测运动矢量索引。由此，能够削减预测运动矢量索引的代码量。
[0197]在步骤SI 15中，预测运动矢量候选计算部114将在步骤SI 14中追加zero候选后的预测运动矢量候选数设定为预测运动矢量候选列表尺寸。在图15及图16的例子中，通过后述的方法，将预测方向O的预测运动矢量候选数计算为“4”，对预测方向O的预测运动矢量候选列表尺寸设定“4”。此外，将预测方向I的预测运动矢量候选数计算为“3”，对预测方向I的预测运动矢量候选列表尺寸设定为“3”。
[0198]这样，在预测运动矢量候选数没有达到最大预测运动矢量候选数的情况下，预测运动矢量候选计算部114通过追加zero候选,能够提高编码效率。
[0199]图18是表示图17的步骤Slll的详细的处理的流程图。具体而言，图18表示判断预测块候选[N]是否是可预测候选的方法。以下，对图18进行说明。
[0200]在步骤S121中，预测运动矢量候选计算部114判断预测块候选[N]是否是(I)通过帧内预测编码的块、或(2)位于包含编码对象块的切片或图片边界外的块、或(3)还没有被编码的块。
[0201]这里，如果步骤S121的判断结果是真(S121的“是”)，则在步骤S122中，预测运动矢量候选计算部114将预测块候选[N]设定为不可预测候选。另一方面，如果步骤S121的判断结果是伪(S121的“否”)，则在步骤S123中，预测运动矢量候选计算部114将预测块候选[N]设定为可预测候选。
[0202]图19是表不图17的步骤S114的详细的处理的流程图。具体而目，图19表不追加zero候选的方法。以下，对图19进行说明。
[0203]在步骤S131中，预测运动矢量候选计算部114判断预测运动矢量候选数是否比最大预测运动矢量候选数小。即，预测运动矢量候选计算部114判断预测运动矢量候选数是否没有达到最大预测运动矢量候选数。
[0204]这里，如果步骤S131的判断结果是真(S131的“是”)，则在步骤S132中，预测运动矢量候选计算部114判断具有值是“O”的运动矢量的zero候选是否不是重复候选。这里，如果步骤S132是真(S132的“是”)，则在步骤S133中，预测运动矢量候选计算部114对zero候选分配预测运动矢量索引的值,对预测运动矢量候选列表追加zero候选。进而,在步骤S134中，预测运动矢量候选计算部114对预测运动矢量候选数加I。
[0205]另一方面，如果步骤S131或步骤S132的判断结果是伪(S131或S132的“否”)，则结束zero候选追加处理。即，在预测运动矢量候选数达到了最大预测运动矢量候选数的情况下，或者在zero候选为重复候选的情况下，结束zero候选追加处理。
[0206]图20是表示图14的步骤S103的详细的处理的流程图。具体而言，图20表示关于预测运动矢量候选的选择的处理。以下，对图20进行说明。[0207]在步骤S141中，帧间预测控制部111作为初始化而对预测运动矢量候选索引mvp_idx设定0，对最小差分运动矢量设定值的最大值。
[0208]在步骤S142中，巾贞间预测控制部111判断预测运动矢量候选索引mvp_idx的值是否比预测运动矢量候选数小。即，帧间预测控制部111判断是否计算出了全部的预测运动矢量候选的差分运动矢量。
[0209]这里，如果还剩余有预测运动矢量候选(S142的“是”)，则在步骤S143中，帧间预测控制部111通过从由运动检测求出的运动矢量(运动检测结果矢量)减去预测运动矢量候选，计算差分运动矢量。
[0210]在步骤S144中，帧间预测控制部111判断在步骤S143中求出的差分运动矢量是否值比最小差分运动矢量小。
[0211]这里，如果步骤S144的判断结果是真(S144的“是”)，则在步骤S145中，帧间预测控制部111将最小差分运动矢量及预测运动矢量索引的值更新。另一方面，如果步骤S144的判断结果是伪(S144的“否”)，则帧间预测控制部111不将最小差分运动矢量及预测运动矢量索引的值更新。
[0212]在步骤S146中，帧间预测控制部111将预测运动矢量候选索引用+1更新，回到步骤S142，判断是否存在下个预测运动矢量候选。
[0213]另一方面，在步骤S2中，如果判断为对全部的预测运动矢量候选计算出了差分运动矢量(S142的“否”)，则在步骤S147中，帧间预测控制部111确定最终被设定的最小差分运动矢量及预测运动矢量索引。
[0214]这样，根据有关本实施方式的运动图像编码装置100，通过对预测运动矢量候选列表追加静止区域用的预测运动矢量，能够提高编码效率。更具体地讲，运动图像编码装置100在预测运动矢量候选数没有达到最大预测运动矢量候选数的情况，通过将具有值为“O”的运动矢量的zero候选作为预测运动矢量候选追加，能够提高编码效率。
[0215]另外，在本实施方式中，表示了运动图像编码装置100作为静止区域用的运动矢量而将具有值为“O”的运动矢量的zero候选向预测运动矢量候选追加的例子，但并不一定限定于此。
[0216]例如，运动图像编码装置100也可以为了考虑视频摄影时的微小的摄像机抖动等而将运动矢量(0，I)等、值比“O”的运动矢量(0，0)稍大或稍小的值追加到预测运动矢量候选中。
[0217]此外，运动图像编码装置100也可以向例如序列、图片或切片的头等附加偏移量参数(OffsetX, OffsetY)等,将运动矢量(OffsetX, OffsetY)向预测运动矢量候选追加。
[0218]此外，运动图像编码装置100例如也可以在制作预测运动矢量候选列表时，如图21 (a)所示那样作为预测运动矢量候选列表上的全部的预测运动矢量候选的初始值而设定值为“O”的运动矢量(0，0)。在此情况下，运动图像编码装置100计算预测运动矢量候选，当向预测运动矢量候选列表追加时，作为初始值的运动矢量(0，0)进行覆盖。并且，运动图像编码装置100在将计算出的预测运动矢量候选向预测运动矢量候选列表追加前，进行预测运动矢量候选是否是不可预测候选或重复候选的判断。由此，在有不可预测候选或重复候选的情况下，例如如图21 (b)所示，在预测运动矢量候选列表中剩下作为初始值的运动矢量(0，0)。通过这样的方法，也能够将zero候选作为预测运动矢量候选追加。[0219]此外，在本实施方式中，表示了采用从编码对象块的邻接块生成预测运动矢量候选、进行编码对象块的运动矢量的编码的预测运动矢量指定模式的例子，但并不一定限定于此。例如，也可以使用直接模式或跳过模式。在直接模式或跳过合并模式中，也可以从如图15 (b)及图16 (b)那样制作出的预测运动矢量候选中选择预测运动矢量，通过将所选择的预测运动矢量作为运动矢量直接生成预测图像，不将差分运动矢量附加到比特流中。
[0220](实施方式2)
[0221]本实施方式是上述有关实施方式I的运动图像编码装置的变形例。以下，具体地说明有关实施方式2的运动图像编码装置。
[0222]图22是表示有关实施方式2的运动图像编码装置200的结构的框图。该运动图像编码装置200通过将图像按照每个块编码而生成比特流。运动图像编码装置200具备预测运动矢量候选导出部210、预测控制部220和编码部230。
[0223]预测运动矢量候选导出部210对应于上述实施方式I的预测运动矢量块候选计算部114。预测运动矢量候选导出部210导出预测运动矢量候选。并且，预测运动矢量候选导出部210例如生成将所导出的各预测运动矢量候选与用来确定该预测运动矢量候选的索弓丨(以下，称作“预测运动矢量索引”)建立了对应的预测运动矢量候选列表。
[0224]所谓预测运动矢量候选，是在编码对象块的编码中使用的运动矢量的候选。
[0225]如图22所不，预测运动矢量候选导出部210具备第I导出部211和第2导出部212。
[0226]第I导出部211基于在与编码对象块在空间或时间上邻接的块的编码中使用的运动矢量导出第I预测运动矢量候选。并且，第I导出部211例如将这样导出的第I预测运动矢量候选与预测运动矢量索引建立对应而登记到预测运动矢量候选列表中。
[0227]所谓在空间上邻接的块，是包含编码对象块的图片内的块，是与编码对象块邻接的块。具体而言，在空间上邻接的块例如是图3所示的邻接块A?D。
[0228]所谓在时间上邻接的块，是在与包含编码对象块的图片不同的图片中包含的块，是与编码对象块对应的块。具体而言，在时间上邻接的块例如是co - located块。
[0229]另外，在时间上邻接的块并不需要一定是与编码对象块相同的位置的块(CO -located块)。例如，在时间上邻接的块也可以是与co — located块邻接的块。
[0230]另外，第I导出部211例如也可以将在与编码对象块在空间上邻接的块中的除了是不可预测候选的块以外的块的编码中使用的运动矢量，作为第I预测运动矢量候选导出。所谓是不可预测候选的块，是通过帧内预测编码的块、位于包含编码对象块的切片或图片边界外的块、或还没有被编码的块。由此，第I导出部211能够为了得到预测运动矢量候选而从适当的块导出第I预测运动矢量候选。
[0231]第2导出部212导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选。预先设定的矢量例如也可以如实施方式I那样是零矢量。由此，第2导出部212能够导出具有静止区域用的运动矢量的预测运动矢量候选。因而，运动图像编码装置200在编码对象块是静止区域的情况下，能够使编码效率提高。另外，预先设定的矢量并不需要一定是零矢量。
[0232]进而，第2导出部212例如将这样导出的第2预测运动矢量候选与预测运动矢量索引建立对应而登记到预测运动矢量候选列表中。此时，第2导出部212与实施方式I同样，也可以将第2预测运动矢量候选登记到预测运动矢量候选列表中，以对第I预测运动矢量候选分配比第2预测运动矢量候选小的值的预测运动矢量索引。由此，运动图像编码装置200在与第2预测运动矢量候选相比、第I预测运动矢量候选被选择为在编码中使用的预测运动矢量候选的可能性更高的情况下，能够削减代码量，能够使编码效率提高。
[0233]预测控制部220从导出的第I预测运动矢量候选及第2预测运动矢量候选中，选择在编码对象块的编码中使用的预测运动矢量候选。即，预测控制部220从预测运动矢量候选列表中，选择在编码对象块的编码中使用的预测运动矢量候选。
[0234]编码部230将用来确定所选择的预测运动矢量候选的索引(预测运动矢量索引)向比特流附加。例如，编码部230使用所导出的第I预测运动矢量候选的数量与第2预测运动矢量候选的数量之和(预测运动矢量候选数)，将预测运动矢量索引编码，将编码后的预测运动矢量索引向比特流附加。
[0235]接着，对如以上那样构成的运动图像编码装置200的各种动作进行说明。
[0236]图23是表示有关实施方式2的运动图像编码装置200的处理动作的流程图。
[0237]首先，第I导出部211导出第I预测运动矢量候选(S201)。接着，第2导出部212导出第2预测运动矢量候选(S202)。
[0238]并且，预测控制部220从第I预测运动矢量候选及第2预测运动矢量候选中，选择在编码对象块的编码中使用的预测运动矢量(S203)。例如，预测控制部220与实施方式I同样，从预测运动矢量候选列表中选择差分运动矢量为最小的预测运动矢量。
[0239]最后，编码部230将用来确定所选择的预测运动矢量候选的索引向比特流附加(S204)。
[0240]如以上这样，根据有关本实施方式的运动图像编码装置200，能够将具有预先设定的矢量作为运动矢量的第2预测运动矢量候选导出。因而，运动图像编码装置200能够将例如具有静止区域用的运动矢量等的第2预测运动矢量候选导出。即，运动图像编码装置200能够将具有预先设定的运动的编码对象块有效率地编码，能够使编码效率提高。
[0241 ] 另外，运动图像编码装置200与上述实施方式I同样，也可以在制作预测运动矢量候选列表时，作为预测运动矢量候选列表上的全部的预测运动矢量候选的初始值而设定第2预测运动矢量候选。在此情况下，预测运动矢量候选导出部210将第2预测运动矢量候选比第I预测运动矢量候选先导出。通过这样的方法，也能够将第2预测运动矢量候选作为预测运动矢量候选。
[0242](实施方式3)
[0243]图24是表示有关实施方式3的运动图像解码装置300的结构的框图。
[0244]运动图像解码装置300如图24所示，具备可变长解码部301、逆量化部302、逆正交变换部303、加法部304、块存储器305、帧存储器306、帧内预测部307、帧间预测部308、帧间预测控制部309、开关310、预测运动矢量候选计算部311及colPic存储器312。
[0245]可变长解码部301对输入的比特流进行可变长解码处理，生成图片类型信息、预测方向标志、量化系数及差分运动矢量。此外，可变长解码部301使用从预测运动矢量候选计算部311取得的预测运动矢量候选数，进行预测运动矢量索引的可变长解码处理。
[0246]逆量化部302对通过可变长解码处理得到的量化系数进行逆量化处理。逆正交变换部303通过将由逆量化处理得到的正交变换系数进行从频域向图像域的变换，生成预测误差数据。在块存储器305中，以块单位保存将预测误差数据与预测图像数据相加而生成的图像数据。在帧存储器306中，以帧单位保存图像数据。
[0247]帧内预测部307通过使用保存在块存储器305中的块单位的图像数据进行帧内预测，生成解码对象块的预测图像数据。帧间预测部308通过使用保存在帧存储器306中的帧单位的图像数据进行帧间预测，生成解码对象块的预测图像数据。
[0248]开关310在解码对象块被进行帧内预测解码的情况下，将由帧内预测部307生成的帧内预测图像数据作为解码对象块的预测图像数据向加法部304输出。另一方面，开关310在解码对象块被进行帧间预测解码的情况下，将由帧间预测部308生成的帧间预测图像数据作为解码对象块的预测图像数据向加法部304输出。
[0249]预测运动矢量候选计算部311使用解码对象块的邻接块的运动矢量等及保存在colPic存储器312中的co — located块的运动矢量等的colPic信息，用后述的方法导出预测运动矢量指定模式的预测运动矢量候选及预测运动矢量候选数。此外，预测运动矢量候选计算部311对所导出的各预测运动矢量候选分配预测运动矢量索引的值。并且，预测运动矢量候选计算部311将预测运动矢量候选及预测运动矢量索引向帧间预测控制部309发送。此外，预测运动矢量候选计算部311将预测运动矢量候选数向可变长解码部301发送。
[0250]帧间预测控制部309从预测运动矢量候选中基于解码后的预测运动矢量索引选择在帧间预测中使用的预测运动矢量。并且，帧间预测控制部309根据预测运动矢量及差分运动矢量计算解码对象块的运动矢量。并且，帧间预测控制部309使用计算出的运动矢量使帧间预测部308生成帧间预测图像。此外，帧间预测控制部309将包括解码对象块的运动矢量等的colPic信息向colPic存储器312转送。
[0251 ] 最后，加法部304通过将预测图像数据与预测误差数据相加，生成解码图像数据。
[0252]图25是表示有关实施方式2的运动图像解码装置的处理动作的流程图。
[0253]在步骤S301中，可变长解码部301将预测方向标志及参照图片索引解码。并且，根据解码后的预测方向标志决定预测方向X的值，进行从以下的步骤S302到步骤S305的处理。
[0254]在步骤S302中，预测运动矢量候选计算部311通过与图14的步骤S102同样的方法，根据解码对象块的邻接块及co — located块导出预测运动矢量候选。此外，预测运动矢量候选计算部311追加zero候选,计算预测运动矢量候选列表尺寸。
[0255]在步骤S303中，可变长解码部301使用计算出的预测运动矢量候选列表尺寸，对比特流中的预测运动矢量索引进行可变长解码。在步骤S304中，帧间预测控制部309对解码后的预测运动矢量索引表示的预测运动矢量候选加上解码后的差分运动矢量，计算运动矢量。并且，帧间预测控制部309使用计算出的运动矢量使帧间预测部308生成帧间预测图像。
[0256]另外，在由步骤S302计算出的预测运动矢量候选列表尺寸是“I”的情况下，也可以不将预测运动矢量索引解码而推测为O。
[0257]这样，根据有关本实施方式的运动图像解码装置300，通过对预测运动矢量候选列表追加静止区域用的预测运动矢量，能够将提高了编码效率的比特流适当地解码。更具体地讲，运动图像解码装置300在预测运动矢量候选数没有达到最大预测运动矢量候选数的情况下，通过将具有值为“O”的运动矢量的zero候选作为预测运动矢量候选进行追加，能够将提高了编码效率的比特流适当地解码。
[0258]另外，在本实施方式中，运动图像解码装置300在预测运动矢量候选数没有达到可预测候选数的情况下，将具有新的预测运动矢量的新候选作为预测运动矢量候选进行追力口，但并不限定于此。例如，与上述实施方式I同样，运动图像解码装置300在制作预测运动矢量候选列表时，也可以如图21 (a)所示那样，作为预测运动矢量候选列表上的全部的预测运动矢量候选的初始值而设定值为“O”的运动矢量(0，0)。
[0259](实施方式4)
[0260]本实施方式是上述有关实施方式3的运动图像解码装置的变形例。以下，具体地说明有关实施方式4的运动图像解码装置。
[0261]图26是表示有关实施方式4的运动图像解码装置400的结构的框图。该运动图像解码装置400例如对在由有关实施方式2的运动图像编码装置200生成的比特流中包含的编码图像，按照每个块进行解码。
[0262]如图26所示,运动图像解码装置400具备预测运动矢量候选导出部410、解码部420和预测控制部430。
[0263]预测运动矢量候选导出部410对应于上述实施方式3的预测运动矢量块候选计算部311。预测运动矢量候选导出部410导出预测运动矢量候选。并且，预测运动矢量候选导出部410例如生成将所导出的各预测运动矢量候选与用来确定该预测运动矢量候选的索引(预测运动矢量索引)建立了对应的预测运动矢量候选列表。
[0264]如图26所不，预测运动矢量候选导出部410具备第I导出部411和第2导出部412。
[0265]第I导出部411与实施方式2的第I导出部211同样导出第I预测运动矢量候选。具体而言，第I导出部411基于在与解码对象块在空间或时间上邻接的块的解码中使用的运动矢量导出第I预测运动矢量候选。并且，第I导出部411例如将这样导出的第I预测运动矢量候选与预测运动矢量索引建立对应而登记到预测运动矢量候选列表中。
[0266]第2导出部412导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选。具体而言，第2导出部412与实施方式2的第2导出部212同样导出第2预测运动矢量候选。并且，第2导出部212例如将这样导出的第2预测运动矢量候选与预测运动矢量索引建立对应登记到预测运动矢量候选列表中。
[0267]预先设定的矢量例如也可以如上述实施方式I那样是零矢量。由此，第2导出部412能够导出具有静止区域用的运动矢量的预测运动矢量候选。因而，运动图像解码装置400能够将提高了编码效率的比特流适当地解码。
[0268]解码部420从比特流取得用来确定预测运动矢量候选的索引。例如，解码部420通过使用所导出的第I预测运动矢量候选的数量与第2预测运动矢量候选的数量之和(预测运动矢量候选数)将附加在比特流中的编码的预测运动矢量索引解码，取得预测运动矢量索引。
[0269]预测控制部430基于所取得的索引，从第I预测运动矢量候选及第2预测运动矢量候选中，选择在解码对象块的解码中使用的预测运动矢量。即，预测控制部430从预测运动矢量候选列表中选择在解码对象块的解码中使用的预测运动矢量。[0270]接着，对如以上那样构成的运动图像解码装置400的各种动作进行说明。
[0271]图27是表示有关实施方式4的运动图像解码装置400的处理动作的流程图。
[0272]首先，第I导出部411导出第I预测运动矢量候选(S401)。接着，第2导出部412导出第2预测运动矢量候选(S402)。并且，解码部420从比特流取得预测运动矢量索引(S403)。
[0273]最后，预测控制部220基于所取得的索引，从第I预测运动矢量候选及第2预测运动矢量候选中，选择在解码对象块的解码中使用的预测运动矢量(S404)。
[0274]如以上这样，根据有关本实施方式的运动图像解码装置400，能够导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选。因而，运动图像解码装置400例如能够导出具有静止区域用的运动矢量等的第2预测运动矢量候选。即，运动图像解码装置400能够将有效率地编码了具有预先设定的运动的块的图像适当地解码，能够将提高了编码效率的比特流适当地解码。
[0275]另外，运动图像解码装置400与上述实施方式2同样，在制作预测运动矢量候选列表时，作为预测运动矢量候选列表上的全部的预测运动矢量候选的初始值，也可以设定第2预测运动矢量候选。在此情况下，预测运动矢量候选导出部410将第2预测运动矢量候选比第I预测运动矢量候选先导出。通过这样的方法，也能够将第2预测运动矢量候选作为预测运动矢量候选。
[0276](实施方式5)
[0277]在本实施方式中，对与实施方式I不同的预测运动矢量候选列表尺寸的导出方法详细地说明。
[0278]在上述预测运动矢量指定模式中，对于在将预测运动矢量索引编码或解码时使用的预测运动矢量候选列表尺寸设定预测运动矢量候选数。该预测运动矢量候选数在使用包含Co — located块等的参照图片信息将不可预测候选或重复候选删除后得到。因此，在运动图像编码装置和运动图像解码装置在预测运动矢量候选数上发生了不一致等情况下，在向预测运动矢量索引分配的比特序列上，在运动图像编码装置和运动图像解码装置中发生不一致。结果，有运动图像编码装置不能将比特流正确地解码的情况。
[0279]例如，在因在传送路等中发生的丢包等而丢失了作为CO - located块参照的参照图片的信息的情况下，CO — located块的运动矢量或参照图片索引变得不明。因此，根据Co - located块生成的预测运动矢量候选的信息变得不明。在这样的情况下，在解码时不再能够从预测运动矢量候选将不可预测候选或重复候选正确地删除。结果，运动图像编码装置不能正确地求出预测运动矢量候选列表尺寸，不能将预测运动矢量索引正常地解码。
[0280]相对于此，在本实施方式中说明的预测运动矢量候选列表尺寸的导出方法通过不依存于包含Co - located块等的参照图片信息的方法计算在将预测运动矢量索引编码或解码时使用的预测运动矢量候选列表尺寸。由此，运动图像编码装置能够提高比特流的容错性。
[0281]图28是表示有关实施方式3的运动图像编码装置500的结构的框图。
[0282]运动图像编码装置500如图28所示，具备减法部501、正交变换部502、量化部503、逆量化部504、逆正交变换部505、加法部506、块存储器507、帧存储器508、帧内预测部509、帧间预测部510、帧间预测控制部511、图片类型决定部512、开关513、预测运动矢量候选计算部514、colPic存储器515、及可变长编码部516。
[0283]减法部501通过按照每个块从包含在输入图像序列中的输入图像数据减去预测图像数据而生成预测误差数据。正交变换部502对所生成的预测误差数据进行从图像域向频域的变换。量化部503对变换为频域的预测误差数据进行量化处理。
[0284]逆量化部504对由量化部503量化处理后的预测误差数据进行逆量化处理。逆正交变换部505对逆量化处理后的预测误差数据进行从频域向图像域的变换。
[0285]加法部506通过按照每个编码对象块将预测图像数据与由逆正交变换部505逆量化处理后的预测误差数据相加，生成重建图像数据。在块存储器507中，以块单位保存重建图像数据。在帧存储器508中，以帧单位保存重建图像数据。
[0286]图片类型决定部512决定以I图片、B图片及P图片的哪个图片类型将输入图像数据编码。并且，图片类型决定部512生成图片类型信息。帧内预测部509通过使用保存在块存储器507中的块单位的重建图像数据进行帧内预测，生成编码对象块的帧内预测图像数据。帧间预测部510通过使用保存在帧存储器508中的帧单位的重建图像数据和通过运动检测等导出的运动矢量进行帧间预测，生成编码对象块的帧间预测图像数据。
[0287]开关513在编码对象块被进行帧内预测编码的情况下，将由帧内预测部509生成的帧内预测图像数据作为编码对象块的预测图像数据向减法部501及加法部506输出。另一方面，开关513在编码对象块被进行帧间预测编码的情况下，将由帧间预测部510生成的帧间预测图像数据作为编码对象块的预测图像数据向减法部501及加法部506输出。
[0288]预测运动矢量候选计算部514使用编码对象块的邻接块的运动矢量等及保存在colPic存储器515中的Co — located块的运动矢量等的colPic信息，导出预测运动矢量指定模式的预测运动矢量候选。并且，预测运动矢量候选计算部514用后述的方法计算可预测候选数。此外，预测运动矢量候选计算部514对所导出的预测运动矢量候选分配预测运动矢量索引的值。并且，预测运动矢量候选计算部514将预测运动矢量候选和预测运动矢量索引向帧间预测控制部511发送。此外，预测运动矢量候选计算部514将计算出的可预测候选数向可变长编码部516发送。
[0289]帧间预测控制部511控制帧间预测部510，以使用用通过运动检测导出的运动矢量而生成的帧间预测图像进行帧间预测编码。此外，帧间预测控制部511通过后述的方法选择最适合于在帧间预测编码中使用的运动矢量的编码的预测运动矢量候选。并且，帧间预测控制部511将与所选择的预测运动矢量候选对应的预测运动矢量索引和预测的误差信息(差分运动矢量)向可变长编码部516发送。进而，帧间预测控制部511将包括编码对象块的运动矢量等的colPic信息向colPic存储器515转送。
[0290]可变长编码部516通过对量化处理后的预测误差数据、预测方向标志、图片类型信息及差分运动矢量进行可变长编码处理而生成比特流。此外，可变长编码部516将可预测候选数设定为预测运动矢量候选列表尺寸。并且，可变长编码部516对在运动矢量编码中使用的预测运动矢量索引分配与预测运动矢量候选列表尺寸对应的比特序列，进行可变长编码。
[0291]图29是表示有关实施方式I的运动图像编码装置的处理动作的流程图。
[0292]在步骤S501中，帧间预测控制部511通过运动检测决定编码对象块的预测方向、参照图片索引及运动矢量。这里，在运动检测中，例如计算编码图片内的编码对象块与参照图片内的块的差分值，决定差分值最小的参照图片内的块作为参照块。并且，使用根据编码对象块位置和参照块位置求出运动矢量的方法等，求出运动矢量。此外，帧间预测控制部511对预测方向O和预测方向I的参照图片分别进行运动检测，例如通过R — D优化模型的以下的式子等对选择预测方向O、预测方向I还是双向预测进行计算。
[0293]Cost=D+λ XR...(式 3)
[0294]在式3中，D表示编码失真，使用用由某个运动矢量生成的预测图像将编码对象块编码及解码得到的像素值与编码对象块的原来的像素值的差分绝对值和等。此外，R表示产生代码量。使用为了将在预测图像生成中使用的运动矢量编码而需要的代码量等作为R。此外，λ是拉格朗日的未定乘数。
[0295]在步骤S502中，预测运动矢量候选计算部514根据编码对象块的邻接块及Co —located块导出预测运动矢量候选。此外，预测运动矢量候选计算部514用后述的方法计算预测运动矢量候选列表尺寸。
[0296]例如，在图3那样的情况下，预测运动矢量候选计算部514选择例如邻接块A、B、C及D具有的运动矢量，作为编码对象块的预测运动矢量候选。进而，预测运动矢量候选计算部514根据Co - located块的运动矢量通过时间预测模式将计算出的运动矢量等计算为预测运动矢量候选。
[0297]预测运动矢量候选计算部514如图30 (a)及图31 (a)那样对预测方向O及预测方向I的预测运动矢量候选分配预测运动矢量索引。并且，预测运动矢量候选计算部514通过用后述的方法进行不可预测候选及重复候选的删除及新候选追加，计算图30 (b)及图31 (b)那样的预测运动矢量候选列表及预测运动矢量候选列表尺寸。
[0298]预测运动矢量索引的值越小被分配越短的代码。即，在预测运动矢量索引的值较小的情况下，预测运动矢量索引所需要的信息量变少。另一方面，如果预测运动矢量索引的值变大，则预测运动矢量索引所需要的信息量变大。因而，如果对成为精度更高的预测运动矢量的可能性较高的预测运动矢量候选分配值较小的预测运动矢量索引，则编码效率变闻。
[0299]所以，预测运动矢量候选计算部514例如也可以将被选择为预测运动矢量的次数按照每个预测运动矢量候选进行计测，对其次数较多的块分配值较小的预测运动矢量索弓I。具体而言，可以考虑确定在邻接块中选择的预测运动矢量，在对象块的编码时使对于所确定的预测运动矢量候选的预测运动矢量索引的值变小。
[0300]另外，在邻接块不具有运动矢量等的信息的情况下(是通过帧内预测编码的块的情况、是位于图片或切片的边界外等的块的情况、是还没有被编码的块等情况下)，不能用于编码。
[0301]在本实施方式中，将不能用作预测运动矢量候选称作不可预测候选。此外，将能够用作预测运动矢量候选称作可预测候选。此外，将在多个预测运动矢量候选中值与其他某个预测运动矢量一致的候选称作重复候选。
[0302]在图3的情况下，邻接块C由于是通过帧内预测编码的块，所以为不可预测候选。此外，根据邻接块D生成的预测方向O的预测运动矢量sMvL0_D的值与根据邻接块A生成的预测方向O的预测运动矢量MvL0_A —致，为重复候选。
[0303]在步骤S503中，帧间预测控制部511用后述的方法决定在预测方向X的运动矢量编码中使用的预测运动矢量索引的值。
[0304]在步骤S504中，可变长编码部516对在预测方向X的运动矢量编码中使用的预测运动矢量候选的预测运动矢量索引分配与图6所示那样的预测运动矢量候选列表尺寸对应的比特序列，进行可变长编码。
[0305]在本实施方式中，如图30 (a)及图31 (a)那样，作为与邻接块A对应的预测运动矢量索引的值而被分配“O”。此外，作为与邻接块B对应的预测运动矢量索引的值而被分配“I”。此外，作为与Co — located块对应的预测运动矢量索引的值而被分配“2”。此外，作为与邻接块C对应的预测运动矢量索引的值而被分配“3”。此外，作为与邻接块D对应的预测运动矢量索引的值而被分配“4”。
[0306]另外，预测运动矢量索引的值的分配方式并不一定限定于该例。例如，可变长编码部516在使用实施方式I所记载的方法或后述的方法追加了新候选等情况下，也可以对原来的预测运动矢量候选分配较小的值，对新候选分配较大的值。即，可变长编码部516也可以向原来的预测运动矢量候选优先分配较小的值的预测运动矢量块索引。
[0307]此外，预测运动矢量候选并不一定限定于邻接块A、B、C、D的位置。例如，也可以使用位于左下邻接块D的上方的邻接块等作为预测运动矢量候选。此外，并不需要一定使用全部的邻接块作为预测运动矢量候选。例如，也可以仅使用邻接块A、B作为预测运动矢量候选。或者，如果邻接块D是不可预测候选，则也可以使用邻接块A等、将邻接块依次扫描。
[0308]此外，在本实施方式中，在图29的步骤S504中，可变长编码部516将预测运动矢量索引附加到比特流中，但并不一定需要将预测运动矢量索引附加到比特流中。例如，可变长编码部516在预测运动矢量候选列表尺寸是I的情况下，也可以不将预测运动矢量索引向比特流附加。由此，能够削减预测运动矢量索引的信息量。
[0309]图32是表示图29的步骤S502的详细的处理的流程图。具体而言，图32表示计算预测运动矢量候选及预测运动矢量候选列表尺寸的方法。以下，对图32进行说明。
[0310]在步骤S511中，预测运动矢量候选计算部514通过后述的方法判断预测块候选[N]是否是可预测候选。并且，预测运动矢量候选计算部514按照判断结果将可预测候选数更新。
[0311]这里，N是用来表示各预测块候选的索引值。在本实施方式中，N取O到4的值。具体而言，对预测块候选[O]分配图3的邻接块A。此外，对预测块候选[I]分配图3的邻接块B。此外，对预测块候选[2]分配Co - located块。此外，对预测块候选[3]分配图3的邻接块C。此外，对预测块候选[4]分配图3的邻接块D。
[0312]在步骤S512中，预测运动矢量候选计算部514根据预测块候选[N]，使用上述式1、式2计算预测方向X的预测运动矢量候选，向预测运动矢量候选列表追加。
[0313]在步骤S513中，预测运动矢量候选计算部514如图30及图31所示，从预测运动矢量候选列表中搜索不可预测候选及重复候选并删除。
[0314]在步骤S514中，预测运动矢量候选计算部514用实施方式I所记载的方法或后述的方法向预测运动矢量候选列表追加新候选。这里，当追加新候选时，预测运动矢量候选计算部514也可以进行预测运动矢量索引的值的再分配，以对原来就有的预测运动矢量候选优先分配较小的预测运动矢量索引。即，预测运动矢量候选计算部514也可以进行预测运动矢量索引的值的再分配，以对新候选分配值较大的预测运动矢量索引。由此，能够削减预测运动矢量索引的代码量。
[0315]在步骤S515中，预测运动矢量候选计算部514将在步骤S511中计算出的预测运动矢量候选数设定为预测运动矢量候选列表尺寸。在图30及图31的例子中，通过后述的方法，将预测方向O的预测运动矢量候选数计算为“4”，对预测方向O的预测运动矢量候选列表尺寸设定“4”。此外，将预测方向I的预测运动矢量候选数计算为“4”，对预测方向I的预测运动矢量候选列表尺寸设定为“4”。
[0316]另外,步骤S514中的新候选,是通过实施方式I所记载的方法追加的zero候选，或通过后述的方法在预测运动矢量候选数没有达到可预测候选数的情况下对预测运动矢量候选新追加的候选。例如，新候选也可以是根据图3中的位于左下邻接块D的上方的邻接块生成的预测运动矢量。此外，新候选例如也可以是根据与Co - located块的邻接块A、B、C、D对应的块生成的预测运动矢量。此外，新候选例如也可以是根据参照图片的画面整体或一定的区域的运动矢量的统计等计算出的预测运动矢量。这样，在预测运动矢量候选数没有达到可预测候选数的情况下，预测运动矢量候选计算部514通过追加新的预测运动矢量作为新候选，能够提高编码效率。
[0317]图33是表示图32的步骤S511的详细的处理的流程图。具体而言，图33表示判断预测块候选[N]是否是可预测候选、将可预测候选数更新的方法。以下，对图33进行说明。
[0318]在步骤S521中，预测运动矢量候选计算部514判断预测块候选[N]是否是(I)通过帧内预测编码的块、或(2)位于包含编码对象块的切片或图片边界外的块、或(3)还没有被编码的块。
[0319]这里，如果步骤S521的判断结果是真(S521的“是”)，则在步骤S522中，预测运动矢量候选计算部514将预测块候选[N]设定为不可预测候选。另一方面，如果步骤S521的判断结果是伪(S521的“否”)，则在步骤S523中，预测运动矢量候选计算部514将预测块候选[N]设定为可预测候选。
[0320]在步骤S524中，预测运动矢量候选计算部514判断预测块候选[N]是否是可预测候选或Co — located块候选。这里，如果步骤S524的判断结果是真(S524的“是”)，则在步骤S5中，预测运动矢量候选计算部514对可预测候选数加1，将预测运动矢量候选数更新。另一方面，如果步骤S524的判断结果是伪(S524的“否”)，则预测运动矢量候选计算部514不将可预测候选数更新。
[0321]这样,在预测块候选是Co — located块的情况下,预测运动矢量候选计算部514不论Co - located块是可预测候选还是不可预测候选，都对可预测候选数加I。由此，即使是因丢包等而丢失了 Co - located块的信息的情况，在运动图像编码装置和运动图像解码装置中在可预测候选数上也不会发生不一致。
[0322]将该可预测候选数在图32的步骤S515中设定为预测运动矢量候选列表尺寸。进而，在图29的S504中，将预测运动矢量候选列表尺寸用在预测运动矢量索引的可变长编码中。由此，即使是丢失了包含Co — located块等的参照图片信息的情况，运动图像编码装置500也能够生成能将预测运动矢量索引正常解码的比特流。
[0323]图34是表示图32的步骤S514的详细的处理的流程图。具体而言，图34表示追加新候选的方法。以下，对图34进行说明。
[0324]在步骤S531中，预测运动矢量候选计算部514判断预测运动矢量候选数是否比可预测候选数小。即，预测运动矢量候选计算部514判断预测运动矢量候选数是否没有达到可预测候选数。
[0325]这里，如果步骤S531的判断结果是真(S531的“是”)，则在步骤S532中，预测运动矢量候选计算部514判断是否存在能够作为预测运动矢量候选追加到预测运动矢量候选列表中的新候选。这里，如果步骤S532的判断结果是真(S532的“是”)，则在步骤S533中，预测运动矢量候选计算部514对新候选分配预测运动矢量索引的值，向预测运动矢量候选列表追加新候选。进而，在步骤S534中，预测运动矢量候选计算部514对预测运动矢量候选数加I。
[0326]另一方面，如果步骤S531或步骤S532的判断结果是伪(S531或S532的“否”)，则结束新候选追加处理。即，在预测运动矢量候选数达到了可预测候选数的情况下，或在不存在新候选的情况下，结束新候选追加处理。
[0327]图35是表示图29的步骤S503的详细的处理的流程图。具体而言，图35表示关于预测运动矢量候选的选择的处理。以下，对图35进行说明。
[0328]在步骤S541中，巾贞间预测控制部511进行初始化,对预测运动矢量候选索引mvp_idx设定0，对最小差分运动矢量设定值的最大值。
[0329]在步骤S542中，巾贞间预测控制部511判断预测运动矢量候选索引mvp_idx的值是否比预测运动矢量候选数小。即，帧间预测控制部511判断是否计算出了全部的预测运动矢量候选的差分运动矢量。
[0330]这里，如果还剩余有预测运动矢量候选(S542的“是”)，则在步骤S543中，帧间预测控制部511通过从在运动检测中求出的运动矢量(运动检测结果矢量)减去预测运动矢量候选来计算差分运动矢量。
[0331]在步骤S544中，帧间预测控制部511判断在步骤S543中求出的差分运动矢量是否值比最小差分运动矢量小。
[0332]这里，如果步骤S544的判断结果是真(S544的“是”)，则在步骤S545中，帧间预测控制部511将最小差分运动矢量及预测运动矢量索引的值更新。另一方面，步骤S544的判断结果是伪(S544的“否”)，则帧间预测控制部511不将最小差分运动矢量及预测运动矢量索引的值更新。
[0333]在步骤S546中，帧间预测控制部511将预测运动矢量候选索引通过+1而更新，回到步骤S542，判断是否存在下个预测运动矢量候选。
[0334]另一方面，在步骤S2中，如果判断为对全部的预测运动矢量候选计算了差分运动矢量(S542的“否”)，则在步骤S547中，帧间预测控制部511确定最终设定的最小差分运动矢量及预测运动矢量索引。
[0335]这样，根据有关本实施方式的运动图像编码装置500，能够通过不依存于包含Co - located块等的参照图片信息的方法，计算在将预测运动矢量索引编码或解码时使用的预测运动矢量候选列表尺寸。由此，运动图像编码装置500能够提高容错性。
[0336]更具体地讲，有关本实施方式的运动图像编码装置500不论Co - located块是否是可预测候选，只要预测块候选是Co - located块就总是对可预测候选数加I。并且，运动图像编码装置500使用这样计算出的可预测候选数决定向预测运动矢量索引分配的比特序列。由此，运动图像编码装置500即使是丢失了包含Co - located块的参照图片信息的情况，也能够生成能将预测运动矢量索引正常地解码的比特流。
[0337]此外，有关本实施方式的运动图像编码装置500在预测运动矢量候选数没有达到可预测候选数的情况下，通过将具有新的预测运动矢量的新候选作为预测运动矢量候选追力口，能够提高编码效率。
[0338]另外，在本实施方式中，运动图像编码装置500不论Co - located块是否是可预测候选，只要预测块候选是Co - located块，就总是使用加I而计算出的可预测候选数来决定向预测运动矢量索引分配的比特序列，但并不限定于此。例如，运动图像编码装置500在图33的步骤S524中，也可以对于Co - located块以外的预测块候选也必定总是使用加I而计算出的可预测候选数，来决定向预测运动矢量索引分配的比特序列。即，运动图像编码装置500也可以使用固定为预测运动矢量候选数的最大值N的预测运动矢量候选列表尺寸，向预测运动矢量索引分配比特序列。即，也可以将全部的预测块候选看作可预测候选，将预测运动矢量候选列表尺寸固定为预测运动矢量候选数的最大值N而将预测运动矢量索引编码。
[0339]例如，在本实施方式中，由于预测运动矢量候选数的最大值N是5 (邻接块A、邻接块B、co - located块、邻接块C、邻接块D)，所以运动图像编码装置500也可以总是对预测运动矢量候选列表尺寸设定5而将预测运动矢量索引编码。此外，例如在预测运动矢量候选数的最大值N是4 (邻接块A、邻接块B、邻接块C、邻接块D)的情况下，运动图像编码装置500也可以总是对预测运动矢量候选列表尺寸设定4而将预测运动矢量索引编码。
[0340]这样，运动图像编码装置500也可以根据预测运动矢量候选数的最大值来决定预测运动矢量候选列表尺寸。由此，运动图像解码装置500的可变长解码部516能够生成能将比特流中的预测运动矢量索引不参照邻接块或Co - located块的信息而解码的比特流，能够削减可变长解码部516的处理量。
[0341]此外，在本实施方式中，表示了采用根据编码对象块的邻接块生成预测运动矢量候选、进行编码对象块的运动矢量的编码的预测运动矢量指定模式的例子，但并不一定限定于此。例如也可以使用直接模式或跳过模式。在直接模式或跳过合并模式中，也可以从如图30 (b)及图31 (b)那样制作出的预测运动矢量候选中选择预测运动矢量，通过将所选择的预测运动矢量作为运动矢量直接生成预测图像，不将差分运动矢量向比特流附加。
[0342](实施方式6)
[0343]本实施方式是上述有关实施方式5的运动图像编码装置的变形例。以下，具体地说明有关实施方式6的运动图像编码装置。
[0344]图36是表示有关实施方式6的运动图像编码装置600的结构的框图。该运动图像编码装置600通过将图像按照每个块编码而生成比特流。运动图像编码装置600具备预测运动矢量候选导出部610、预测控制部620和编码部630。
[0345]预测运动矢量候选导出部610对应于上述实施方式5的预测运动矢量块候选计算部514。预测运动矢量候选导出部610导出预测运动矢量候选。并且，预测运动矢量候选导出部610例如生成将所导出的各预测运动矢量候选与用来确定该预测运动矢量候选的索引建立对应的预测运动矢量候选列表。[0346]如图36所示，预测运动矢量候选导出部610具备决定部611、第I导出部612、确定部613、判断部614和第2导出部615。
[0347]决定部611决定预测运动矢量候选的最大数。即，决定部611决定预测块候选数的最大值N。
[0348]例如，决定部611基于输入图像序列(序列、图片、切片或块等)的特征，决定预测运动矢量候选的最大数。此外，例如决定部611也可以将预先设定的数量决定为预测运动矢量候选的最大数。
[0349]第I导出部612基于在与编码对象块在空间或时间上邻接的块的编码中使用的运动矢量导出第I预测运动矢量候选。这里，第I导出部612导出第I预测运动矢量候选，以使第I预测运动矢量候选的数量不超过最大数。并且，第I导出部612例如将这样导出的第I预测运动矢量候选与预测运动矢量索引建立对应而登记到预测运动矢量候选列表中。
[0350]另外，第I导出部612例如也可以将在与编码对象块在空间上邻接的块中的除了是不可预测候选的块以外的块的编码中使用的运动矢量，作为第I预测运动矢量候选导出。所谓是不可预测候选的块，是通过帧内预测编码的块、位于包含编码对象块的切片或图片边界外的块或还没有被编码的块。由此，为了得到预测运动矢量候选而能够从适当的块导出第I预测运动矢量候选。
[0351]确定部613在导出了多个第I预测运动矢量候选的情况下，确定运动矢量与其他第I预测运动矢量候选重复的第I预测运动矢量候选(重复候选)。并且，确定部613将所确定的重复候选从预测运动矢量候选列表中删除。
[0352]判断部614判断第I预测运动矢量候选的数量是否比所决定的最大数小。这里，判断部614判断除了所确定的重复的第I预测运动矢量候选以外的第I预测运动矢量候选的数量是否比所决定的最大数小。
[0353]第2导出部615在判断为第I预测运动矢量候选的数量比所决定的最大数小的情况下，将具有预先设定的矢量作为运动矢量的第2预测运动矢量候选导出。具体而言，第2导出部615导出第2预测运动矢量候选，以使第I预测运动矢量候选的数量与第2预测运动矢量候选的数量之和不超过最大数。这里，第2导出部615导出第2预测运动矢量候选，以使除了重复候选以外的第I预测运动矢量候选的数量与第2预测运动矢量候选的数量之和不超过最大数。
[0354]预先设定的矢量例如与上述实施方式I同样，也可以是零矢量。另外，预先设定的
矢量并不需要一定是零矢量。
[0355]并且，第2导出部615例如将这样导出的第2预测运动矢量候选与预测运动矢量索引建立对应而向预测运动矢量候选列表登记。此时，第2导出部615也可以将第2预测运动矢量候选登记到预测运动矢量候选列表中，以对第I预测运动矢量候选分配比第2预测运动矢量候选小的值的预测运动矢量索引。由此，在与第2预测运动矢量候选相比、第I预测运动矢量候选被选择为在编码中使用的预测运动矢量候选的可能性较高的情况下，运动图像编码装置600能够削减代码量，能够使编码效率提高。
[0356]另外，第2导出部615并不需要导出第2预测运动矢量候选以使第I预测运动矢量候选的数量与第2预测运动矢量候选的数量之和必定与所决定的最大数一致。在第I预测运动矢量候选的数量与第2预测运动矢量候选的数量之和比所决定的最大数小的情况下，例如也可以存在没有与预测运动矢量候选建立对应的预测运动矢量索引的值。
[0357]预测控制部620从第I预测运动矢量候选及第2预测运动矢量候选中，选择在编码对象块的编码中使用的预测运动矢量。即，预测控制部620从预测运动矢量候选列表中选择在编码对象块的编码中使用的预测运动矢量。
[0358]编码部630将用来确定所选择的预测运动矢量候选的索引(预测运动矢量索引)使用所决定的最大数进行编码。具体而言，编码部630如图6所示，对分配给所选择的预测运动矢量候选的索引值的比特序列进行可变长编码。进而，编码部630将编码后的索引向比特流附加。
[0359]这里，编码部630也可以还将表示由决定部611决定的最大数的信息向比特流附力口。具体而言，编码部630也可以将表示最大数的信息向例如切片头等写入。由此，能够以适当的单位切换最大数，能够使编码效率提高。
[0360]另外，编码部630并不需要一定将表示最大数的信息附加到比特流中。例如，在最大数由标准预先决定的情况下、或在最大数与既定值相同等情况下，编码部630也可以不将表示最大数的信息向比特流附加。
[0361]接着，对如以上那样构成的运动图像编码装置600的各种动作进行说明。
[0362]图37是表示有关实施方式6的运动图像编码装置600的处理动作的流程图。
[0363]首先，决定部611决定预测运动矢量候选的最大数(S601)。第I导出部612导出第I预测运动矢量候选(S602)。确定部613在导出了多个第I预测运动矢量候选的情况下，确定运动矢量与其他第I预测运动矢量候选重复的第I预测运动矢量候选(重复候选)(S603)。
[0364]判断部614判断除了重复候选以外的第I预测运动矢量候选的数是否比所决定的最大数小(S604)。这里，在判断为除了重复候选以外的第I预测运动矢量候选的数量比所决定的最大数小的情况下(S604的“是”)，第2导出部615导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选(S605)。另一方面，在没有判断为除了重复候选以外的第I预测运动矢量候选的数量比所决定的最大数小的情况下(S604的“否”)，第2导出部615不导出第2预测运动矢量候选。这些步骤S604及步骤S605相当于实施方式5的步骤S514。
[0365]预测控制部620从第I预测运动矢量候选及第2预测运动矢量候选中，选择在编码对象块的编码中使用的预测运动矢量(S606)。例如，预测控制部620与实施方式I同样，从预测运动矢量候选列表中选择差分运动矢量为最小的预测运动矢量。
[0366]编码部630将用来确定所选择的预测运动矢量候选的索引，使用所决定的最大数进行编码(S607 )。进而，编码部630将编码后的索引向比特流附加。
[0367]如以上这样，根据有关本实施方式的运动图像编码装置600，能够导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选。因而，运动图像编码装置600能够将例如具有静止区域用的运动矢量等的预测运动矢量候选作为第2预测运动矢量候选导出。即，运动图像编码装置600能够将具有预先设定的运动的编码对象块有效率地编码，能够使编码效率提高。
[0368]进而，根据有关本实施方式的运动图像编码装置600，能够将用来确定预测运动矢量候选的索引使用所决定的最大数进行编码。即，能够不依存于实际导出的预测运动矢量候选的数量而将索引编码。因而，即使是丢失了预测运动矢量候选的导出所需要的信息(例如，CO - located块等的信息)的情况，在解码侧也能够将索引解码，能够使容错性提高。此夕卜，在解码侧，能够不依存于实际导出的预测运动矢量候选的数量而将索引解码。即，在解码侧，能够不等待预测运动矢量候选的导出处理而进行索引的解码处理。即，能够生成能并行进行预测运动矢量候选的导出处理和索引的解码处理的比特流。
[0369]进而，根据有关本实施方式的运动图像编码装置600，在判断为第I预测运动矢量候选的数量比最大数小的情况下，能够导出第2预测运动矢量候选。因而，能够在不超过最大数的范围中使预测运动矢量候选的数量增加，能够使编码效率提高。
[0370]此外，根据有关本实施方式的运动图像编码装置600，能够根据除了重复的第I预测运动矢量候选以外的第I预测运动矢量候选的数量导出第2预测运动矢量候选。结果，能够使第2预测运动矢量候选的数量增加，能够增加能选择为预测运动矢量候选的运动矢量的种类。因而，能够进一步使编码效率提高。
[0371]另外，在本实施方式中，运动图像编码装置600具备确定部613，但并不需要一定具备确定部613。即，在图37所示的流程图中，并不需要一定包含步骤S603。即使是这样的情况，运动图像编码装置600也能够将用来确定预测运动矢量候选的索引使用所决定的最大数编码，所以能够使容错性提高。
[0372]此外，在本实施方式中，如图37所示，在第I导出部612导出第I预测运动矢量候选后，确定部613确定重复候选，但并不需要一定这样依次处理。例如，第I导出部612也可以在导出第I预测运动矢量候选的过程中确定重复候选，导出第I预测运动矢量候选以使所确定的重复候选不包含在第I预测运动矢量候选中。即，第I导出部612也可以将运动矢量与已经导出的第I预测运动矢量候选不重复的预测运动矢量候选作为第I预测运动矢量候选导出。更具体地讲，例如也可以是，在基于左邻接块的预测运动矢量候选已经被作为第I预测运动矢量候选导出的情况下，如果基于上邻接块的预测运动矢量候选与基于左邻接块的预测运动矢量候选不重复，则第I导出部612将基于上邻接块的预测运动矢量候选作为第I预测运动矢量候选导出。由此，第I导出部612能够将运动矢量与已经导出的第I预测运动矢量候选重复的预测运动矢量候选从第I预测运动矢量候选中排除。结果，运动图像编码装置600能够使第2预测运动矢量候选的数量增加，能够增加能选择为预测运动矢量候选的运动矢量的种类。因而，能够使编码效率进一步提高。
[0373](实施方式7)
[0374]在本实施方式中，对与实施方式2不同的预测运动矢量候选列表尺寸的导出方法详细地说明。
[0375]图38是表示有关本实施方式4的运动图像解码装置700的结构的框图。
[0376]运动图像解码装置700如图38所示，具备可变长解码部701、逆量化部702、逆正交变换部703、加法部704、块存储器705、帧存储器706、帧内预测部707、帧间预测部708、帧间预测控制部709、开关710、预测运动矢量候选计算部711及colPic存储器712。
[0377]可变长解码部701对输入的比特流进行可变长解码处理，生成图片类型信息、预测方向标志、量化系数及差分运动矢量。此外，可变长解码部701使用后述的可预测候选数进行预测运动矢量索引的可变长解码处理。
[0378]逆量化部702对通过可变长解码处理得到的量化系数进行逆量化处理。逆正交变换部703通过将由逆量化处理得到的正交变换系数进行从频域向图像域的变换，生成预测误差数据。在块存储器705中，以块单位保存将预测误差数据与预测图像数据相加而生成的图像数据。在帧存储器706中，以帧单位保存图像数据。
[0379]帧内预测部707通过使用保存在块存储器705中的块单位的图像数据进行帧内预测，从而生成解码对象块的预测图像数据。帧间预测部708通过使用保存在帧存储器706中的帧单位的图像数据进行帧间预测，从而生成解码对象块的预测图像数据。
[0380]开关710在解码对象块被进行帧内预测解码的情况下，将通过帧内预测部707生成的帧内预测图像数据作为解码对象块的预测图像数据向加法部704输出。另一方面，开关710在解码对象块被进行帧间预测解码的情况下，将由帧间预测部708生成的帧间预测图像数据作为解码对象块的预测图像数据向加法部704输出。
[0381]预测运动矢量候选计算部711使用解码对象块的邻接块的运动矢量等及保存在colPic存储器712中的Co - located块的运动矢量等的colPic信息，将预测运动矢量指定模式的预测运动矢量候选用后述的方法导出。此外，预测运动矢量候选计算部711对导出的各预测运动矢量候选分配预测运动矢量索引的值。并且，预测运动矢量候选计算部711将预测运动矢量候选和预测运动矢量索引向帧间预测控制部709发送。
[0382]帧间预测控制部709从预测运动矢量候选中，基于解码后的预测运动矢量索引，选择在帧间预测中使用的预测运动矢量。并且，帧间预测控制部709根据预测运动矢量及差分运动矢量计算解码对象块的运动矢量。并且，帧间预测控制部709使用计算出的运动矢量使帧间预测部708生成帧间预测图像。此外，帧间预测控制部709将包含解码对象块的运动矢量等的colPic信息向colPic存储器712转送。
[0383]最后，加法部704通过将预测图像数据与预测误差数据相加，生成解码图像数据。
[0384]图39是表示有关实施方式2的运动图像解码装置的处理动作的流程图。
[0385]在步骤S701中，可变长解码部701将预测方向标志及参照图片索引解码。并且，根据解码后的预测方向标志决定预测方向X的值，进行以下的步骤S702到步骤S705的处理。
[0386]在步骤S702中，预测运动矢量候选计算部711通过实施方式I及实施方式2所记载的方法或后述的方法计算可预测候选数。并且，预测运动矢量候选计算部711将计算出的可预测候选数设定为预测运动矢量候选列表尺寸。
[0387]在步骤S703中，可变长解码部701使用计算出的预测运动矢量候选列表尺寸对比特流中的预测运动矢量索引进行可变长解码。在步骤S704中，预测运动矢量候选计算部711用后述的方法根据解码对象块的邻接块及Co - located块生成预测运动矢量候选。在步骤S705中，帧间预测控制部709对解码后的预测运动矢量索引表示的预测运动矢量候选加上解码后的差分运动矢量，计算运动矢量。并且，帧间预测控制部709使用计算出的运动矢量，使帧间预测部708生成帧间预测图像。
[0388]另外，在由步骤S702计算出的预测运动矢量候选列表尺寸是“I”的情况下，也可以将预测运动矢量索引不解码而推测为O。
[0389]图40是表不图39的步骤S702的详细的处理的流程图。具体而目，图40表不判断预测块候选[N]是否是可预测候选、计算可预测候选数的方法。以下，对图40进行说明。
[0390]在步骤S711中，预测运动矢量候选计算部711判断预测块候选[N]是否是(I)通过帧内预测解码的块、或(2)位于包含解码对象块的切片或图片边界外的块、或(3)还没有被解码的块。
[0391]这里，如果步骤S711的判断结果是真(S711的“是”)，则在步骤S712中，预测运动矢量候选计算部711将预测块候选[N]设定为不可预测候选。另一方面，如果步骤S711的判断结果是伪(S711的“否”)，则在步骤S713中，预测运动矢量候选计算部711将预测块候选[N]设定为可预测候选。
[0392]在步骤S714中，预测运动矢量候选计算部711判断预测块候选[N]是否是可预测候选或Co — located块候选。这里，如果步骤S714的判断结果是真(S714的“是”)，则在步骤S5中，预测运动矢量候选计算部711对可预测候选数加1，将值更新。另一方面，如果步骤S714是伪(S714的“否”)，则预测运动矢量候选计算部711不将可预测候选数更新。
[0393]这样,在预测块候选是Co — located块的情况下,预测运动矢量候选计算部711不论Co - located块是可预测候选还是不可预测候选，都对可预测候选数加I。由此，即使是因丢包等而丢失了 Co - located块的信息的情况，在运动图像编码装置和运动图像解码装置中在可预测候选数上也不会发生不一致。
[0394]将该可预测候选数在图39的步骤S702中设定为预测运动矢量候选列表尺寸。进而，在图39的S703中，将预测运动矢量候选列表尺寸用在预测运动矢量索引的可变长解码中。由此，即使是丢失了包含Co — located块等的参照图片信息的情况，运动图像解码装置700也能够将预测运动矢量索引正常地解码。
[0395]图41是表示图39的步骤S704的详细的处理的流程图。具体而言，图41表示计算预测运动矢量候选的方法。以下，对图41进行说明。
[0396]在步骤S721中，预测运动矢量候选计算部711根据预测块候选[N]，使用上述式
1、式2计算预测方向X的预测运动矢量候选，向预测运动矢量候选列表追加。
[0397]在步骤S722中，预测运动矢量候选计算部711如图30及图31所示，从预测运动矢量候选列表中搜索不可预测候选及重复候选并删除。
[0398]在步骤S723中，预测运动矢量候选计算部711通过与图34同样的方法，向预测运动矢量候选列表追加新候选。
[0399]图42是表示将预测运动矢量索引向比特流附加时的语法的一例的图。在图42中，inter_pred_flag表示预测方向标志，mvp_idx表示预测运动矢量索引。NumMVPCand表示预测运动矢量候选列表尺寸，在本实施方式中被设定通过图40的处理流程计算出的可预测候选数。
[0400]这样，根据有关本实施方式的运动图像解码装置700，能够通过不依存于包含Co - located块等的参照图片信息的方法计算在将预测运动矢量索引编码或解码时使用的预测运动矢量候选列表尺寸。由此，运动图像解码装置700能够将提高了容错性的比特流适当地解码。
[0401]更具体地讲,有关本实施方式的运动图像解码装置700不论Co — located块是否是可预测候选，只要预测块候选是Co - located块，就总是对可预测候选数加I。并且，运动图像解码装置700使用这样计算出的可预测候选数决定向预测运动矢量索引分配的比特序列。由此，运动图像解码装置700即使是丢失了包含Co - located块的参照图片信息的情况，也能够将预测运动矢量索引正常地解码。
[0402]此外，有关本实施方式的运动图像解码装置700在预测运动矢量候选数没有达到可预测候选数的情况下，通过追加具有新的预测运动矢量的新候选作为预测运动矢量候选，能够将提高了编码效率的比特流适当地解码。
[0403]另外，在本实施方式中，运动图像解码装置700不论Co - located块是否是可预测候选，只要预测块候选是Co - located块，就总是使用加I而计算出的可预测候选数来决定向预测运动矢量索引分配的比特序列，但并不限定于此。例如，运动图像解码装置700也可以在图40的步骤S714中对Co - located块以外的预测块候选也使用必定总是加I而计算出的可预测候选数来决定向预测运动矢量索引分配的比特序列。即，运动图像解码装置700也可以使用固定为预测运动矢量候选数的最大值N的预测运动矢量候选列表尺寸向预测运动矢量索引分配比特序列。即，也可以将全部的预测块候选看作可预测候选，将预测运动矢量候选列表尺寸固定为预测运动矢量候选数的最大值N，将预测运动矢量索引解码。
[0404]例如，在本实施方式中，由于预测运动矢量候选数的最大值N是5 (邻接块A、邻接块B、co - located块、邻接块C、邻接块D)，所以运动图像解码装置700也可以总是对预测运动矢量候选列表尺寸设定5，将预测运动矢量索引解码。由此，运动图像解码装置700的可变长解码部701能够将比特流中的预测运动矢量索引不参照邻接块或Co - located块的信息而解码。结果，例如能够将图40的步骤S714及步骤S715的处理等省略，能够削减可变长解码部701的处理量。
[0405]图43是表示将预测运动矢量候选列表尺寸固定为预测运动矢量候选数的最大值的情况下的语法的一例的图。在如图43那样将预测运动矢量候选列表尺寸固定为预测运动矢量候选数的最大值的情况下，能够将NumMVPCand从语法中删除。
[0406](实施方式8)
[0407]本实施方式是上述有关实施方式7的运动图像解码装置的变形例。以下，具体地说明有关本实施方式8的运动图像解码装置。
[0408]图44是表示有关实施方式8的运动图像解码装置800的结构的框图。该运动图像解码装置800将比特流中包含的编码图像按照每个块解码。具体而言，运动图像解码装置800例如将由有关实施方式6的运动图像编码装置600生成的比特流中所包含的编码图像按照每个块解码。运动图像解码装置800具备预测运动矢量候选导出部810、解码部820和预测控制部830。
[0409]预测运动矢量候选导出部810对应于上述实施方式7的预测运动矢量块候选计算部711。预测运动矢量候选导出部810导出预测运动矢量候选。并且，预测运动矢量候选导出部810例如生成将所导出的各预测运动矢量候选与用来确定该预测运动矢量候选的索引(预测运动矢量索引)建立对应的预测运动矢量候选列表。
[0410]如图44所示，预测运动矢量候选导出部810具备决定部811、第I导出部812、确定部813、判断部814和第2导出部815。
[0411]决定部811决定预测运动矢量候选的最大数。即，决定部811决定预测块候选数的最大值N。
[0412]例如，决定部811也可以通过与实施方式6的决定部611同样的方法决定预测运动矢量候选的最大数。此外，例如决定部811也可以基于附加在比特流中的表示最大数的信息来决定最大数。由此，运动图像解码装置800能够以适当的单位切换最大数而将编码的图像解码。[0413]另外，这里，决定部811装备在预测运动矢量候选导出部810中，但也可以装备在解码部820中。
[0414]第I导出部812与实施方式6的第I导出部612同样，导出第I预测运动矢量候选。具体而言，第I导出部812基于在与解码对象块在空间或时间上邻接的块的解码中使用的运动矢量，导出第I预测运动矢量候选。并且，第I导出部812例如将这样导出的第I预测运动矢量候选与预测运动矢量索引建立对应而登记到预测运动矢量候选列表中。
[0415]另外，第I导出部812例如也可以将在与解码对象块在空间上邻接的块中的除了是不可预测候选的块以外的块的解码中使用的运动矢量作为第I预测运动矢量候选导出。由此，为了得到预测运动矢量候选，能够从适当的块导出第I预测运动矢量候选。
[0416]确定部813在导出了多个第I预测运动矢量候选的情况下，确定运动矢量与其他第I预测运动矢量候选重复的第I预测运动矢量候选(重复候选)。并且，确定部813将所确定的重复候选从预测运动矢量候选列表中删除。
[0417]判断部814判断第I预测运动矢量候选的数量是否比所决定的最大数小。这里，判断部814判断除了所确定的重复的第I预测运动矢量候选以外的第I预测运动矢量候选的数量是否比所决定的最大数小。
[0418]第2导出部815在判断为第I预测运动矢量候选的数量比所决定的最大数小的情况下，导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选。具体而言，第2导出部815导出第2预测运动矢量候选，以使第I预测运动矢量候选的数量与第2预测运动矢量候选的数量之和不超过最大数。这里，第2导出部815导出第2预测运动矢量候选，以使除了重复候选以外的第I预测运动矢量候选的数量与第2预测运动矢量候选的数量之和不超过最大数。
[0419]预先设定的矢量例如与上述实施方式3同样，也可以是零矢量。由此，第2导出部815能够将具有静止区域用的运动矢量的预测运动矢量候选导出。因而，运动图像解码装置800能够将提高了编码效率的比特流适当地解码。另外，预先设定的矢量并不需要一定
是零矢量。
[0420]并且，第2导出部815例如将这样导出的第2预测运动矢量候选与预测运动矢量索引建立对应而登记到预测运动矢量候选列表中。此时，第2导出部815也可以将第2预测运动矢量候选登记到预测运动矢量候选列表中，以对第I预测运动矢量候选分配值比第2预测运动矢量候选小的预测运动矢量索引。由此，运动图像解码装置800能够将提高了编码效率的比特流适当地解码。
[0421]另外，第2导出部815并不需要将第2预测运动矢量候选导出以使第I预测运动矢量候选的数量与第2预测运动矢量候选的数量之和必定与所决定的最大数一致。在第I预测运动矢量候选的数量与第2预测运动矢量候选的数量之和比所决定的最大数小的情况下，例如也可以存在没有与预测运动矢量候选建立对应的预测运动矢量索引的值。
[0422]解码部820将作为附加在比特流中的编码的索引的、用来确定预测运动矢量候选的索引，使用所决定的最大数解码。
[0423]预测控制部830基于解码后的索引，从第I预测运动矢量候选及第2预测运动矢量候选中，选择在解码对象块的解码中使用的预测运动矢量。即，预测控制部830从预测运动矢量候选列表中选择在解码对象块的解码中使用的预测运动矢量。[0424]接着，对如以上那样构成的运动图像解码装置800的各种动作进行说明。
[0425]图45是表示有关实施方式8的运动图像解码装置800的处理动作的流程图。
[0426]首先，决定部811决定预测运动矢量候选的最大数(S801)。第I导出部812导出第I预测运动矢量候选(S802)。确定部813在导出了多个第I预测运动矢量候选的情况下，确定运动矢量与其他第I预测运动矢量候选重复的第I预测运动矢量候选(重复候选)(S803)。
[0427]判断部814判断除了重复候选以外的第I预测运动矢量候选的数量是否比所决定的最大数小(S804)。这里，在判断为除了重复候选以外的第I预测运动矢量候选的数量比所决定的最大数小的情况下(S804的“是”)，第2导出部815将第2预测运动矢量候选导出(S805)。另一方面，在没有判断为除了重复候选以外的第I预测运动矢量候选的数量比所决定的最大数小的情况下(S804的“否”)，第2导出部815不导出第2预测运动矢量候选。
[0428]解码部820将作为附加在比特流中的编码后的索引的、用来确定预测运动矢量候选的索引，使用所决定的最大数解码(S806)。
[0429]预测控制部830基于解码后的索引，从第I预测运动矢量候选及第2预测运动矢量候选中，选择在解码对象块的解码中使用的预测运动矢量(S807)。
[0430]另外，这里，索引的解码处理(S806)在将预测运动矢量候选导出后进行，但并不需要一定以这样的顺序进行。例如，也可以在索引的解码处理(S806)后进行预测运动矢量候选的导出处理(S802?S805)。此外，索引的解码处理(S806)和预测运动矢量候选的导出处理(S802?S805)也可以并行进行。由此，能够使解码的处理速度提高。
[0431]如以上这样，根据有关本实施方式的运动图像解码装置800，能够导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选。因而，运动图像解码装置800能够将例如具有静止区域用的运动矢量等的预测运动矢量候选作为第2预测运动矢量候选导出。即，运动图像解码装置800能够将有效率地编码了具有预先设定的运动的块的比特流适当地解码，能够将提高了编码效率的比特流适当地解码。
[0432]进而，根据有关本实施方式的运动图像解码装置800，能够将用来确定预测运动矢量候选的索引使用所决定的最大数解码。即，能够不依存于实际导出的预测运动矢量候选的数量而将索引解码。因而，即使是丢失了预测运动矢量候选的导出所需要的信息(例如，Co - located块等的信息)的情况，运动图像解码装置800也能够将索引解码，能够使容错性提高。进而，运动图像解码装置800能够不等待预测运动矢量候选的导出处理而进行索引的解码处理，能够并行地进行预测运动矢量候选的导出处理和索引的解码处理。
[0433]进而，根据有关本实施方式的运动图像解码装置800，在判断为第I预测运动矢量候选的数量比最大数小的情况下，能够导出第2预测运动矢量候选。因而，运动图像解码装置800能够在不超过最大数的范围中使预测运动矢量候选的数量增加，能够将提高了编码效率的比特流适当地解码。
[0434]此外，根据有关本实施方式的运动图像解码装置800，能够根据除了重复的第I预测运动矢量候选以外的第I预测运动矢量候选的数量导出第2预测运动矢量候选。结果，运动图像解码装置800能够使第2预测运动矢量候选的数量增加，能够增加能选择为预测运动矢量候选的运动矢量的种类。因而，运动图像解码装置800能够将进一步提高了编码效率的比特流适当地解码。[0435]另外，在本实施方式中，运动图像解码装置800具备确定部813，但与实施方式6同样，并不需要一定具备确定部813。即，在图45所示的流程图中不需要必定包括步骤S803。即使是这样的情况，运动图像解码装置800也能够将用来确定预测运动矢量候选的索引使用所决定的最大数解码，所以能够使容错性提高。
[0436]此外，在本实施方式中，如图45所示，在第I导出部812导出第I预测运动矢量候选后，确定部813确定重复候选，但并不需要一定这样依次处理。例如，第I导出部812也可以导出与已经导出了运动矢量的第I预测运动矢量候选不重复的预测运动矢量候选，作为第I预测运动矢量候选。由此，第I导出部812能够将与已经导出了运动矢量的第I预测运动矢量候选重复的预测运动矢量候选从第I预测运动矢量候选中排除。结果，运动图像解码装置800能够使第2预测运动矢量候选的数量增加，能够增加能选择为预测运动矢量候选的运动矢量的种类。因而，运动图像解码装置800能够将进一步提高了编码效率的比特流适当地解码。
[0437]以上，基于实施方式对有关本发明的I个或多个技术方案的运动图像编码装置及运动图像解码装置进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也包含在本发明的I个或多个技术方案的范围内。
[0438]另外，在上述各实施方式中，各构成要素也可以由专用的硬件构成、或者通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序并执行来实现。这里，实现上述各实施方式的运动图像编码装置或运动图像解码装置等的软件是以下这样的程序。
[0439]S卩，该程序使计算机执行运动图像编码方法，是计算在将编码对象块的运动矢量编码时使用的预测运动矢量、通过将上述编码对象块编码而生成比特流的运动图像编码方法，包括:第I导出步骤，基于在与编码对象块在空间或时间上邻接的块的编码中使用的运动矢量，导出第I预测运动矢量候选；第2导出步骤，导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选；选择步骤，从上述第I预测运动矢量候选及上述第2预测运动矢量候选中选择在上述编码对象块的上述运动矢量的编码中使用的上述预测运动矢量；编码步骤，将用来确定上述预测运动矢量的索引向上述比特流附加。
[0440]或者，该程序使计算机执行运动图像解码方法，是计算在将比特流中包含的解码对象块的运动矢量解码时使用的预测运动矢量、将上述解码对象块解码的运动图像解码方法，包括:第I导出步骤，基于在与解码对象块在空间或时间上邻接的块的解码中使用的运动矢量，导出第I预测运动矢量候选；第2导出步骤，导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选；取得步骤，从上述比特流中取得用来确定上述预测运动矢量候选的索引；选择步骤，基于所取得的上述索引，从上述第I预测运动矢量候选及上述第2预测运动矢量候选中，选择在将上述解码对象块解码时使用的预测运动矢量。
[0441](实施方式9)
[0442]通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。[0443]进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。
[0444]图46是表示实现内容分发服务的内容供给系统exlOO的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站exl06、exl07、exl08、exl09、exllO。
[0445]该内容供给系统exlOO在因特网exlOl上经由因特网服务提供商exl02及电话网exl04、及基站 exl07 ?exllO 连接着计算机 exlll、PDA (Personal Digital Assistant)exll2、照相机exll3、便携电话exll4、游戏机exll5等的各设备。
[0446]但是，内容供给系统exlOO并不限定于图46那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站exl07?exllO将各设备直接连接在电话网exl04上。此外，也可以将各设备经由近距离无线等直接相互连接。
[0447]照相机exll3是能够进行数字摄像机等的运动图像摄影的设备，照相机exll6是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evolution)方式、HSPA (High Speed Packet Access)的便携电话机、或 PHS(Personal Handyphone System)等，是哪种都可以。
[0448]在内容供给系统exlOO中，通过将照相机exl 13等经由基站exl09、电话网exl04连接在流媒体服务器exl03上，能够进行现场转播等。在现场转播中，对用户使用照相机exll3摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器exl03发送。另一方面，流媒体服务器exl03将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机eXlll、PDAeX112、照相机exll3、便携电话exll4、游戏机exll5等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
[0449]另外，摄影的数据的编码处理既可以由照相机exll3进行，也可以由进行数据的发送处理的流媒体服务器exl03进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器exl03进行，也可以相互分担进行。此外，并不限于照相机exll3，也可以将由照相机exll6摄影的静止图像及/或运动图像数据经由计算机exlll向流媒体服务器exl03发送。此情况下的编码处理由照相机exll6、计算机exlll、流媒体服务器exl03的哪个进行都可以，也可以相互分担进行。
[0450]此外,这些编码解码处理一般在计算机exlll或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机exlll等读取的某些记录介质(⑶一 ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话exl 14是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话exll4具有的LSIex500编码处理的数据。[0451]此外，也可以是，流媒体服务器exl03是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。
[0452]如以上这样，在内容供给系统exlOO中，客户端能够接收编码的数据而再现。这样，在内容供给系统exlOO中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
[0453]另外，并不限定于内容供给系统exlOO的例子，如图47所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB) ex217等的装置将接收到的复用数据解码并将其再现(S卩，作为本发明的一个方式的图像解码装置发挥作用)。
[0454]此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
[0455]图48是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
[0456]此外，电视机ex300具备:具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306 ;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机eX300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。[0457]首先，对电视机eX300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
[0458]此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另夕卜，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
[0459]此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
[0460]作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图49中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406 —边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追力口、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
[0461]以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。
[0462]在图50中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
[0463]以上，举I层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
[0464]此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另夕卜，车载导航仪ex211的结构可以考虑例如在图48所示的结构中添加GPS接收部的结构，在计算机exlll及便携电话exll4等中也可以考虑同样的结构。
[0465]图51A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话exll4的图。便携电话exll4具有由用来在与基站exllO之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话exll4还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
[0466]进而，使用图51B对便携电话exll4的结构例进行说明。便携电话exll4对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD (LiquidCrystal Display:液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
[0467]电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话exll4起动为能够动作的状态。
[0468]便携电话exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话exll4在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。
[0469]进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站exllO发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350o
[0470]在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。
[0471]复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
[0472]在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由IXD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码,从声音输出部ex357输出声音。
[0473]此外，上述便携电话exll4等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
[0474]这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
[0475]此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
[0476](实施方式10)
[0477]也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG - 2、MPEG4 — AVC、VC — I等不同的标准的运动图像编码方法或装置根据需要而适当切换,来生成影像数据。[0478]这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
[0479]为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG - 2传输流形式的数字流。
[0480]图52是表示复用数据的结构的图。如图52所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的I个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG - 2、MPEG4 — AVC,VC 一 I等标准的运动图像编码方法或装置编码。音频流由杜比AC —3、Dolby Digital Plus、MLP、DTS、DTS — HD、或线性 PCM 等的方式编码。
[0481 ] 包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到OxlllF，对演示图形分配0x1200到0xl21F，对交互图形流分配0x1400到0xl41F，对在电影的副影像中使用的视频流分配OxlBOO到OxlBlF，对与主声音混合的副声音中使用的音频流分配OxIAOO到OxlAlF。
[0482]图53是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到I条流中而构成。
[0483]图54更详细地表示在PES包序列中怎样保存视频流。图54的第I段表示视频流的视频帧序列。第2段表示PES包序列。如图54的箭头yyl、yy2、yy3、yy4所示,视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS (Presentation Time-Stamp)及作为图片的解码时刻的 DTS (Decoding Time-Stamp)?
[0484]图55表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD — ROM的情况下，对于TS包赋予4字节的TP_Extra_Header,构成192字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS (Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图55下段所示排列，从复用数据的开头起递增的号码被称作SPN (源包号)。
[0485]此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为
O。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC (Arrival Time Clock)与作为PTS及DTS的时间轴的STC (System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
[0486]图56是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
[0487]在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
[0488]复用数据信息文件如图57所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
[0489]复用数据信息如图57所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上I帧量的再现间隔的值。
[0490]流属性信息如图58所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
[0491]在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
[0492]此外，在图59中表示本实施方式的运动图像解码方法的步骤。在步骤exSlOO中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exSlOl中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。
[0493]这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。
[0494](实施方式11)
[0495]在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图60中表示I芯片化的LSIex500的结构ο LSIex500 具备以下说明的单元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
[0496]例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/0ex509从麦克风exl 17及照相机exl 13等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/0ex506向外部输出。将该输出的比特流向基站exl07发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
[0497]另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成I个芯片，也可以形成多个芯片。
[0498]此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,但控制部ex510的结构并不限定于该结构。例如,也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
[0499]另外，这里设为LSI，但根据集成度的差异，也有称作1C、系统LS1、超级(super)LS1、特级(ultra)LSI的情况。
[0500]此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA (Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
[0501]进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
[0502](实施方式12)
[0503]在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
[0504]为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图61表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
[0505]更具体地讲，驱动频率切换部ex803由图60的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图60的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式10中记载的识别信息。关于识别信息，并不限定于在实施方式10中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图63所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
[0506]图62表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG — 2、MPEG4 - AVC,VC 一 I等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
[0507]进而，通过与驱动频率的切换连动而变更对LSIeX500或包括LSIeX500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
[0508]此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4 - AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
[0509]进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG - 2、MPEG4 — AVC、VC 一 I等的标准的影像数据的情况相比，将停止时间设定得短。
[0510]这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
[0511](实施方式13)
[0512]在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
[0513]为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的解码处理部一部分共用的结构。图64A的ex900表示该结构例。例如,在上述各实施方式中示出的运动图像解码方法和依据MPEG4 - AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容，共用对应于MPEG4 - AVC标准的解码处理部ex902，关于不对应于MPEG4 — AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在运动补偿方面具有特征，因此可以考虑例如对于运动补偿使用专用的解码处理部ex901，对于除此之外的熵解码、解块滤波、逆量化中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构:关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4 - AVC标准所特有的处理内容，使用专用的解码处理部。[0514]此外，用图64B的exlOOO表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部exlOOl、和与其他的以往标准所特有的处理内容对应的专用的解码处理部exl002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部exl003的结构。这里,专用的解码处理部exl001、exl002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIeX500安装本实施方式的结构。
[0515]这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
[0516]产业上的可利用性
[0517]有关本发明的运动图像编码方法及运动图像解码方法能够应用于所有的多媒体数据，能够使编码效率提高，例如作为使用便携电话、DVD装置及个人计算机等的储存、传送、通信等中的运动图像编码方法及运动图像解码方法是有用的。
[0518]标号说明
[0519]100、200、500、600运动图像编码装置
[0520]101、501 减法部
[0521]102,502正交变换部
[0522]103、503 量化部
[0523]104、302、504、702 逆量化部
[0524]105、303、505、703 逆正交变换部
[0525]106、304、506、704 加法部
[0526]107、305、507、705 块存储器
[0527]108、306、508、706 帧存储器
[0528]109、307、509、707 帧内预测部
[0529]110、308、510、708 帧间预测部
[0530]111、309、511、709帧间预测控制部
[0531]112,512图片类型决定部
[0532]113、310、513、710 开关
[0533]114、311、514、711预测运动矢量候选计算部
[0534]115、312、515、712colPic 存储器
[0535]116、516可变长编码部
[0536]210、410、610、810预测运动矢量候选导出部
[0537]211、411、612、812 第 I 导出部
[0538]212、412、615、815 第 2 导出部
[0539]220、430、620、830 预测控制部
[0540]230、630 编码部
[0541]300、400、700、800运动图像解码装置
[0542]301、701可变长解码部
[0543]420、820 解码部聪掬陳 H8、H9 [91790]聪革_ CT8VCT9 [91790]
【权利要求】
1.一种运动图像编码方法，计算在将编码对象块的运动矢量编码时使用的预测运动矢量，通过将上述编码对象块编码而生成比特流，其特征在于，包括: 第I导出步骤，基于在与编码对象块在空间或时间上邻接的块的编码中使用的运动矢量，导出第I预测运动矢量候选； 第2导出步骤，导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选；选择步骤，从上述第I预测运动矢量候选及上述第2预测运动矢量候选中，选择在上述编码对象块的上述运动矢量的编码中使用的上述预测运动矢量；以及编码步骤，将用来确定上述预测运动矢量的索引向上述比特流附加。
2.如权利要求1所述的运动图像编码方法，其特征在于， 上述预先设定的矢量是零矢量。
3.如权利要求1或2所述的运动图像编码方法，其特征在于， 上述运动图像编码方法还包括: 决定步骤，决定预测运动矢量候选的最大数；以及 判断步骤，判断所导出的上述第I预测运动矢量候选的数量是否比上述最大数小； 在判断为上述第I预测运动矢量候选的数量比上述最大数小的情况下，在上述第2导出步骤中导出上述第2预测运动矢量候选。
4.如权利要求3所述的运动图像编码方法，其特征在于， 在上述编码步骤中，使用所决定的上述最大数将上述索引编码，将编码后的上述索引向上述比特流附加。
5.如权利要求3或4所述的运动图像编码方法，其特征在于， 在上述编码步骤中，还将表示所决定的上述最大数的信息向上述比特流附加。
6.如权利要求1~5中任一项所述的运动图像编码方法，其特征在于， 在上述第I导出步骤中， 将在与上述编码对象块在空间上邻接的块中的除了通过帧内预测而编码后的块、位于包含上述编码对象块的切片或图片的边界外的块和还没有被编码的块以外的块的编码中使用的运动矢量，作为上述第I预测运动矢量候选导出。
7.如权利要求1~6中任一项所述的运动图像编码方法，其特征在于， 在上述第I导出步骤中，将与已经导出了运动矢量的第I预测运动矢量候选不重复的预测运动矢量候选，作为上述第I预测运动矢量候选导出。
8.如权利要求1所述的运动图像编码方法，其特征在于， 上述运动图像编码方法还包括: 切换步骤，将编码处理切换为依据第I标准的第I编码处理或依据第2标准的第2编码处理；以及 附加步骤，将表示切换后的上述编码处理所依据的上述第I标准或上述第2标准的识别信息向上述比特流附加； 在上述编码处理被切换为上述第I编码处理的情况下，作为上述第I编码处理，进行上述第I导出步骤、上述第2导出步骤、上述选择步骤和上述编码步骤。
9.一种运动图像编码装置，计算在将编码对象块的运动矢量编码时使用的预测运动矢量，通过将上述编码对象块编码而生成比特流，其特征在于，具备:第I导出部，基于在与编码对象块在空间或时间上邻接的块的编码中使用的运动矢量，导出第I预测运动矢量候选； 第2导出部，导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选；预测控制部，从上述第I预测运动矢量候选及上述第2预测运动矢量候选中，选择在上述编码对象块的上述运动矢量的编码中使用的上述预测运动矢量；以及编码部，将用来确定上述预测运动矢量的索引向上述比特流附加。
10.一种运动图像解码方法，计算在将比特流中包含的解码对象块的运动矢量解码时使用的预测运动矢量，将上述解码对象块解码，其特征在于，包括: 第I导出步骤，基于在与解码对象块在空间或时间上邻接的块的解码中使用的运动矢量，导出第I预测运动矢量候选； 第2导出步骤，导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选； 取得步骤，从上述比特流中取得用来确定上述预测运动矢量候选的索引；以及选择步骤，基于所取得的上述索引，从上述第I预测运动矢量候选及上述第2预测运动矢量候选中，选择在将上述解码对象块解码时使用的预测运动矢量。
11.如权利要求10所述的运动图像解码方法，其特征在于， 上述预先设定的矢量是零矢量。
12.如权利要求10或11所述的运动图像解码方法，其特征在于， 上述运动图像解码方法还包 括: 决定步骤，决定预测运动矢量候选的最大数；以及 判断步骤，判断所导出的上述第I预测运动矢量候选的数量是否比上述最大数小； 在判断为上述第I预测运动矢量候选数比上述最大数小的情况下，在上述第2导出步骤中导出上述第2预测运动矢量候选。
13.如权利要求12所述的运动图像解码方法，其特征在于， 在上述取得步骤中，通过将附加在上述比特流中的编码后的上述索引使用所决定的上述最大数解码，取得上述索引。
14.如权利要求12或13所述的运动图像解码方法，其特征在于， 在上述决定步骤中，基于附加在上述比特流中的表示最大数的信息，决定上述最大数。
15.如权利要求10~14中任一项所述的运动图像解码方法，其特征在于， 在上述第I导出步骤中， 将在与上述解码对象块在空间上邻接的块中的除了通过帧内预测而解码后的块、位于包含上述解码对象块的切片或图片的边界外的块和还没有被解码的块以外的块的解码中使用的运动矢量，作为上述第I预测运动矢量候选导出。
16.如权利要求10~15中任一项所述的运动图像解码方法，其特征在于， 在上述第I导出步骤中，将与已经导出了运动矢量的第I预测运动矢量候选不重复的预测运动矢量候选，作为上述第I预测运动矢量候选导出。
17.如权利要求10所述的运动图像解码方法，其特征在于， 上述运动图像解码方法还包括: 切换步骤，根据附加在上述比特流中的表示第I标准或第2标准的识别信息，将解码处理切换为依据上述第I标准的第I解码处理或依据上述第2标准的第2解码处理；在上述解码处理被切换为第I解码处理的情况下，作为上述第I解码处理，进行上述第I导出步骤、上述第2导出步骤、上述取得步骤和上述选择步骤。
18.—种运动图像解码装置，计算在将比特流中包含的解码对象块的运动矢量解码时使用的预测运动矢量，将上述解码对象块解码，其特征在于，具备: 第I导出部，基于在与解码对象块在空间或时间上邻接的块的解码中使用的运动矢量，导出第I预测运动矢量候选； 第2导出部，导出具有预先设定的矢量作为运动矢量的第2预测运动矢量候选；解码部，从上述比特流中取得用来确定上述预测运动矢量候选的索引；以及预测控制部，基于所取得的上述索引，从上述第I预测运动矢量候选及上述第2预测运动矢量候选中，选择在将上述解码对象块解码时使用的预测运动矢量。
19.一种运动图像编码解码装置，其特征在于，具备: 权利要求9所记载的运动图像编码装置；以及 权利要求18所记载的运动图像·解码装置。
【文档编号】H04N19/52GK103548351SQ201280024467
【公开日】2014年1月29日 申请日期:2012年5月29日 优先权日:2011年5月31日
【发明者】杉尾敏康, 西孝启, 柴原阳司, 谷川京子, 笹井寿郎, 松延彻 申请人:松下电器产业株式会社