图像编码方法、图像解码方法、图像编码装置及图像解码装置制造方法

图像编码方法、图像解码方法、图像编码装置及图像解码装置制造方法
【专利摘要】一种将多视点影像编码的图像编码方法，包括：决定步骤(S101)，使用表(T1)，根据表示编码处理的级别的级别信号(126)，决定最大画面内像素数(127)和作为非多视点编码中的参照候选图像的最大张数的最大缓冲器尺寸(128)；第1计算步骤(S102)，使用上述最大画面内像素数(127)、输入图像的图像尺寸(125)和多视点影像编码的缩放因子，计算作为在视点间预测编码中使用的参照候选视点的最大张数的最大视点数(129)；第2计算步骤(S103)，使用上述最大视点数(129)和上述最大缓冲器尺寸(128)，计算作为多视点影像编码中的参照候选图像的最大张数的MVC最大缓冲器尺寸(130)。
【专利说明】图像编码方法、图像解码方法、图像编码装置及图像解码装

【技术领域】
[0001]本发明涉及图像编码方法及图像解码方法。

【背景技术】
[0002]运动图像由多个图片(picture)构成，各图片由规定数量的像素构成。运动图像的编码被按照每个图片进行，各图片的编码以划分图片的块为单位进行。
[0003]通常，在运动图像的编码中，通过将时间方向及空间方向的冗余性削减来进行信息量的压缩。
[0004]在以削减时间上的冗余性为目的的图片间预测编码中，通过参照在时间上位于编码对象图片的前方或后方的图片并以块单位进行对编码对象图片的运动的检测及运动补偿而生成预测信息，将预测信息与编码对象图片的信息之间的差分编码。这里，相对于编码对象图片在时间上位于前方的图片是显示时间比编码对象图片早的图片(前方图片)，相对于编码对象图片在时间上位于后方的图片是显示时间比编码对象图片晚的图片(后方图片)。
[0005]在作为图像编码方法(运动图像编码方法)之一的、由IS0/IEC14496 —1Advanced Video Coding (AVC)规定的 MPEG — 4AVC/H.264 方式(以后称作 H.264 方式)中，能够同时参照相对于作为编码对象的编码对象图片在时间上处于前方或后方的任意的两张图片，进行对于编码对象图片的运动补偿(例如参照非专利文献I)。因此，在H.264方式中，在进行图片间预测编码及图片间预测解码的情况下，需要将有可能被参照的前方及后方的图片(以后称作参照候选图片)全部储存到图片存储器中。
[0006]现有技术文献
[0007]非专利文献
[0008]非专利文献I JS0/IEC14496 — 10 “MPEG — 4Part1Advanced Video Coding”


【发明内容】

[0009]发明要解决的问题
[0010]但是，在这样的图像编码方法及图像解码方法中，希望能够有效率地利用图片存储器的存储器区域。此外，在多视点影像编码(MVC:Multiview Video Coding)中，由于进行视点间参照，所以该图片存储器的控制更加复杂化。
[0011]所以，本发明的目的是提供能够有效率地利用存储器区域的、进行多视点影像编码或多视点影像解码的图像编码方法或图像解码方法。
[0012]有关本发明的一技术方案的图像编码方法，将多视点影像编码，其特征在于，包括:决定步骤，使用表示编码处理的级别与表示图像编码装置及图像解码装置能够处理的最大的图像的像素数的最大画面内像素数以及非多视点编码中的参照候选图像的最大张数之间的关系的表，根据表示上述编码处理的级别的级别信号，决定最大画面内像素数和非多视点编码中的参照候选图像的最大张数；第I计算步骤，使用上述最大画面内像素数、输入图像的图像尺寸和多视点影像编码的缩放因子，计算在视点间预测编码中使用的参照候选视点的最大张数；以及第2计算步骤，使用上述参照候选视点的最大张数和上述非多视点编码中的参照候选图像的最大张数，计算多视点影像编码中的参照候选图像的最大张数。
[0013]另外，这些包含性或具体的形态也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD - ROM等的记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
[0014]发明效果
[0015]本发明能够提供能够有效率地利用存储器区域的、进行多视点影像编码或多视点影像解码的图像编码方法或图像解码方法。

【专利附图】

【附图说明】
[0016]图1是用来说明图片存储器的管理的图。
[0017]图2是表示级别识别符与最大画面内像素数及最大缓冲器尺寸的对应关系的表的一例的图。
[0018]图3是有关实施方式I的图像编码装置的框图。
[0019]图4是有关实施方式I的MVC编码器的框图。
[0020]图5是表不有关实施方式I的各视点的输入图像的一例的图。
[0021]图6是用来说明有关实施方式I的与多视点影像编码对应的图片存储器的管理的图。
[0022]图7是有关实施方式I的图像编码处理的流程图。
[0023]图8是表示有关实施方式I的级别识别符与最大画面内像素数、最大缓冲器尺寸及缩放因子的对应关系的表的一例的图。
[0024]图9是有关实施方式2的图像解码装置的框图。
[0025]图10是有关实施方式2的图像解码处理的流程图。
[0026]图11是实现内容分发服务的内容供给系统的整体结构图。
[0027]图12是数字广播用系统的整体结构图。
[0028]图13是表示电视机的结构例的模块图。
[0029]图14是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
[0030]图15是表示作为光盘的记录介质的构造例的图。
[0031]图16A是表示便携电话的一例的图。
[0032]图16B是表示便携电话的结构例的模块图。
[0033]图17是表示复用数据的结构的图。
[0034]图18是示意地表示各流在复用数据中怎样被复用的图。
[0035]图19是更详细地表示在PES包序列中视频流怎样被保存的图。
[0036]图20是表示复用数据的TS包和源包的构造的图。
[0037]图21是表示PMT的数据结构的图。
[0038]图22是表示复用数据信息的内部结构的图。
[0039]图23是表示流属性信息的内部结构的图。
[0040]图24是表示识别影像数据的步骤的图。
[0041]图25是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。
[0042]图26是表示切换驱动频率的结构的图。
[0043]图27是表示识别影像数据、切换驱动频率的步骤的图。
[0044]图28是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
[0045]图29A是表示将信号处理部的模块共用的结构的一例的图。
[0046]图29B是表不将信号处理部的模块共用的结构的另一例的图。

【具体实施方式】
[0047](作为本发明的基本的认识)
[0048]关于在“【背景技术】”栏中记载的图像编码方法及图像解码方法，本发明的
【发明者】发现会发生以下的问题。
[0049]在H.264方式中，在图片间预测编码或图片间预测解码时参照的图片(参照图片)按照作为编码或解码的处理对象的对象图片的每个块，从储存在图片存储器中的多个已处理的图片中选择。例如，在对象图片是最多能够参照两张图片的B图片的情况下，使用从储存在图片存储器中的多个已处理的图片中选择的最多两张图片作为参照图片。此外，在对象图片是仅能够参照I张图片的P图片的情况下，使用从储存在图片存储器中的多个已处理的图片中选择的I张图片作为参照图片。
[0050]S卩，在H.264方式中，作为参照图片的候选的参照候选图片在对象图片是P图片的情况及是B图片的情况下，都是图像数据储存在图片存储器中的多个已处理的图片。这里，由于按照对象图片的每个块选择参照图片，所以如果用图片单位来考虑，则参照图片的张数与P图片及B图片无关地有可能为相当的数量。换言之，对于对象图片的参照图片的最大张数和对于对象图片的参照候选图片的数量相等。
[0051]图1是用来说明对应于H.264方式的具体的图片存储器的管理的图。在该例中，能够储存到图片存储器中的图片的张数是4。即，有可能被参照的参照候选图片是从该4张的图片去除作为处理对象的I张图片后的3张图片。
[0052]例如，如图1所示，在将作为处理对象图片的图片P5进行图片间预测编码或图片间预测解码的情况下，参照候选图片是图像数据储存在图片存储器中的图片P2?P4。这里，图片Pl?P5被以编码顺序(解码顺序)排列，各图片Pl?P5以所提及的顺序被编码或解码。
[0053]此外，在图像解码装置中，即使已解码图片是在对于对象图片的图片间预测解码时所参照的参照候选图片以外的已解码图片(即没有被用作参照图片的已解码图片)，在轮到其显示的次序之前，也需要作为待显示图片将其图像数据储存到图片存储器中。即，在图片存储器管理中需要考虑待显示图片，从图片存储器的存储区域减去待显示图片的张数的量的区域后的区域，为参照候选图片能够利用的区域。其中，在以后的说明中，为了说明的方便，以仅由不存在待显示图片的帧内(intra)图片及P图片构成的比特流(IPPPIPPPIPPP…等)为前提。由此，不需要考虑待显示图片。但是，在之后说明的本实施方式包含待显示图片的情况下也能够应用，不能根据不考虑待显示图片的记载而解释为本实施方式限定于不包含待显示图片的情况。
[0054]如以上的说明那样，在各块的编码或解码中参照的图片(参照图片)最多是I张或2张。但是，由于按照编码对象图片内的每个块而参照的图片不同，所以需要将编码对象图片内的块有可能参照的全部的已解码图片(参照候选图片)储存到图片存储器中。
[0055]另外，如果要能由图像编码装置自由设定参照候选图片的数量，则无法决定应搭载到图像解码装置中的图片存储器的存储区域的容量。所以，在H.264方式中，根据编码级别(level)，设置对于在图片间预测编码及图片间预测解码时使用的参照候选图片的最大张数的限制。由此，图像解码装置能够预先知道要对该图像解码装置搭载的图片存储器的存储区域的容量。
[0056]具体而言，根据编码级别，在规格书中决定预先需要的存储区域的容量(要搭载的图片存储器的存储容量)的值(MaxDpbMbs)。这里，具体而言，MaxDpbMbs将预先需要的存储区域的容量用块(宏块)的数量表示。与特定的编码级别对应的图像解码装置(能够将满足特定的编码级别而编码的比特流解码的图像解码装置)必须搭载具有在规格书中指定的存储容量的图片存储器。通过将在规格书中指定的存储容量的图片存储器搭载到图像解码装置中，保障图像解码装置能够将属于该编码级别的编码数据不破坏地解码。即，在与H.264方式对应的图像解码装置中，搭载能够储存由MaxDpbMbs指定的个数的块(宏块)的容量的图片存储器。
[0057]另外，在H.264方式中，参照候选图片的最大张数(MaxDpbFrames)使用以下的数式(式I)计算。
[0058]MaxDpbFrames = Min(MaxDpbMbs/(PicffidthInMbs^FrameHeightInMbs),16)(式I)
[0059]这里，PicWidthInMbs及FrameHeightInMbs是将编码对象图片的宽度和高度分别用宏块的个数来表示的值。根据数式(式I)可知，MaxDpbFrames的上限值被用16限制，但MaxDpbFrames的值根据编码对象图片的尺寸而可变。例如,如果编码对象图片的尺寸较大，则MaxDpbFrames的值为较小的值,相反，如果编码对象图片的尺寸较小，则MaxDpbFrames的值为较大的值。
[0060]H.264方式的图像编码装置在不超过参照候选图片的最大张数(MaxDpbFrames)的范围中进行图片间预测编码，将实际在编码中使用的参照候选图片的张数(maX_dec_frame_buffering)包含在编码数据中而向图像解码装置通知。在图像解码装置中，搭载具有由MaxDpbMbs指定的存储容量的图片存储器，图像解码装置对于编码数据的图片尺寸的区域(图片缓冲器)，为了其编码数据的解码处理而确保用编码数据中包含的max_deC_frame_buffering( = MaxDpbFrames)表不的张数的量。
[0061]由于图像解码装置有用硬件实现的情况，所以要搭载到图像解码装置中的图片存储器的存储容量必须预先决定。在H.264方式中，通过使参照候选图片的最大张数(MaxDpbFrames)为与编码数据的图片尺寸对应的可变值，能够有效率地利用存储器区域而实现高画质编码。
[0062]另一方面，在作为当前正在推进标准化的图像编码方法的High Efficiency VideoCoding(高效视频编码，以后称作HEVC方式)中，也预先决定要搭载到图像解码装置中的图片存储器的存储容量。但是，由于参照候选图片的最大张数(最大缓冲器尺寸:MaxDpbSize)被固定，所以不能根据编码数据的图片尺寸有效率地利用存储器区域。
[0063]以下，对本发明要解决的问题进行具体说明。图2是表示级别识别符的值与最大画面内像素数(MaxLumaFS)及参照候选图片的最大张数(最大缓冲器尺寸:MaxDpbSize)的对应关系的表Tl。
[0064]对于由级别识别符确定的各编码级别，设定了固有的最大画面内像素数(MaxLumaFS)及最大缓冲器尺寸(MaxDPBSize)。例如，在表Tl中表示12个编码级别，各编码级别对应于级别识别符的值⑴?(6)。此外，级别识别符的值⑴?(6)分别被与最大画面内像素数(MaxLumaFS)的具体的数值及最大缓冲器尺寸(MaxDPBSize)的具体的数值建立了对应。
[0065]此外，最大画面内像素数(MaxLumaFS)表示能够由该图像编码装置编码、并且能够由对编码数据进行解码的图像解码装置来解码的最大的输入图像(运动图像)的尺寸。即，最大画面内像素数表示输入图像的纵像素数(h)与横像素数(W)的乘积的值所能够取的最大值。
[0066]根据编码级别，最大储存像素数(要搭载到图像解码装置中的图片存储器的存储容量)的值可以用以下的数式(式2)计算。
[0067]最大储存像素数=MaxDpbSize*MaxLumaFS(式 2、
[0068]因而，与H.264方式同样，根据编码级别规定要搭载的图片存储器的存储容量，图像解码装置能够预先知道要搭载到该图像解码装置中的图片存储器的存储区域的容量。但是,与H.264方式不同，由于参照候选图片的最大张数(MaxDpbSize)在表Tl中被规定为固定值￠)，所以不能有效地利用存储器区域。
[0069]并且，在进行多视点影像编码(MVC:Multiview Video Coding)的情况下,低效率的存储器管理的影响变得更显著。
[0070]在以下的实施方式中，对于特别在进行多视点影像编码(MVC)的情况下能够根据编码数据的图片尺寸有效率地利用存储器区域的图像编码方法及图像解码方法进行说明。此外，对根据编码数据的图片尺寸有效率地利用存储器区域的图像编码装置及图像解码装置进行说明。
[0071]有关本发明的一技术方案的图像编码方法，将多视点影像编码，其特征在于，包括:决定步骤，使用表示编码处理的级别与表示图像编码装置及图像解码装置能够处理的最大的图像的像素数的最大画面内像素数以及非多视点编码中的参照候选图像的最大张数之间的关系的表，根据表示上述编码处理的级别的级别信号，决定最大画面内像素数和非多视点编码中的参照候选图像的最大张数；第I计算步骤，使用上述最大画面内像素数、输入图像的图像尺寸和多视点影像编码的缩放因子，计算在视点间预测编码中使用的参照候选视点的最大张数；以及第2计算步骤，使用上述参照候选视点的最大张数和上述非多视点编码中的参照候选图像的最大张数，计算多视点影像编码中的参照候选图像的最大张数。
[0072]据此，该图像编码方法能够适当地计算多视点影像编码中的参照候选图片(参照候选视点)的最大张数。此外，该图像编码方法能够根据输入图像的图像尺寸改变图片间预测的参照候选图片的张数或视点间预测的参照候选视点的张数。由此，该图像编码方法能够有效率地利用存储器区域。
[0073]例如也可以是，在上述第I计算步骤中，使用以下的数式计算上述参照候选视点的最大张数，
[0074]MaxView = Floor(mvcScaleFactor*MaxLumaFS/(PicHeight*PicWidth))
[0075]MaxView是上述参照候选视点，
[0076]mvcScaleFactor是上述缩放因子，
[0077]MaxLumaFs是上述最大画面内像素数。
[0078]据此，该图像编码方法能够适当地计算参照候选视点的最大张数。
[0079]例如也可以是，在上述第2计算步骤中，使用以下的数式，计算上述多视点影像编码中的参照候选图像的最大张数，
[0080]MvcMaxDPBSize = MaxView*MaxDPBSize
[0081]MvcMaxDPBSize是上述多视点影像编码中的参照候选图像的最大张数，
[0082]MaxDPBSize是上述非多视点编码中的参照候选图像的最大张数。
[0083]据此，该图像编码方法能够适当地计算多视点影像编码中的参照候选图像的最大张数。
[0084]例如也可以是，上述图像编码方法还包括:设定步骤，在不超过上述多视点影像编码中的参照候选图像的最大张数的范围内，设定在解码图片缓冲器中使用的上述多视点影像编码中的参照候选图像的张数。
[0085]据此，该图像编码方法能够适当地设定多视点影像编码中的参照候选图像的张数。
[0086]此外，有关本发明的一技术方案的图像解码方法，将进行了多视点影像编码的数据解码，其特征在于，包括:取得步骤，从上述数据取得多视点影像编码中的参照候选图像的张数和图像尺寸；以及在解码图片缓冲器中，对上述图像尺寸的图片区域确保上述多视点影像编码中的参照候选图像的张数的步骤。
[0087]据此，该图像解码方法能够有效率地利用存储器区域。
[0088]例如也可以是，上述数据中包含的上述多视点影像编码中的参照候选图像的张数通过以下步骤设定:决定步骤，使用表示编码处理的级别与表示图像编码装置及图像解码装置能够处理的最大的图像的像素数的最大画面内像素数以及非多视点编码中的参照候选图像的最大张数之间的关系的表，根据表示上述编码处理的级别的级别信号，决定最大画面内像素数和非多视点编码中的参照候选图像的最大张数；第I计算步骤，使用上述最大画面内像素数、输入图像的图像尺寸和多视点影像编码的缩放因子，计算在视点间预测编码中使用的参照候选视点的最大张数;第2计算步骤，使用上述参照候选视点的最大张数和上述非多视点编码中的参照候选图像的最大张数，计算多视点影像编码中的参照候选图像的最大张数；以及设定步骤，在不超过上述多视点影像编码中的参照候选图像的最大张数的范围内，设定在解码图片缓冲器中使用的上述多视点影像编码中的参照候选图像的张数。
[0089]据此，该图像解码方法能够将适当地设定了视点间预测的参照候选视点的张数的数据解码。
[0090]此外，有关本发明的一技术方案的图像编码装置，将多视点影像编码，其特征在于，具备:处理电路；以及存储装置，能够从上述处理电路访问；上述处理电路使用上述存储装置执行如下步骤:决定步骤，使用表示编码处理的级别与表示图像编码装置及图像解码装置能够处理的最大的图像的像素数的最大画面内像素数以及非多视点编码中的参照候选图像的最大张数之间的关系的表，根据表示上述编码处理的级别的级别信号，决定最大画面内像素数和非多视点编码中的参照候选图像的最大张数；第I计算步骤，使用上述最大画面内像素数、输入图像的图像尺寸和多视点影像编码的缩放因子，计算在视点间预测编码中使用的参照候选视点的最大张数；以及第2计算步骤，使用上述参照候选视点的最大张数和上述非多视点编码中的参照候选图像的最大张数，计算多视点影像编码中的参照候选图像的最大张数。
[0091]据此，该图像编码装置能够适当地计算多视点影像编码中的参照候选图片(参照候选视点)的最大张数。此外，该图像编码装置能够根据输入图像的图像尺寸改变图片间预测的参照候选图片的张数或视点间预测的参照候选视点的张数。由此，该图像编码装置能够有效率地利用存储器区域。
[0092]此外，有关本发明的一技术方案的图像解码装置，将进行了多视点影像编码的数据解码，其特征在于，具备:处理电路；以及存储装置，能够从上述处理电路访问；上述处理电路使用上述存储装置执行如下步骤:取得步骤，从上述数据取得多视点影像编码中的参照候选图像的张数和图像尺寸；以及在解码图片缓冲器中，对上述图像尺寸的图片区域确保上述多视点影像编码中的参照候选图像的张数的步骤。
[0093]据此，该图像解码装置能够有效率地利用存储器区域。
[0094]此外，有关本发明的一技术方案的图像编码解码装置具备上述图像编码装置和上述图像解码装置。
[0095]另外，这些包含性或具体的形态也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD - ROM等的记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
[0096]以下，参照附图对本发明的实施方式进行说明。
[0097]另外，以下说明的实施方式都是表示包含性或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定发明范围的意思。此外，关于以下的实施方式的构成要素中的在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。
[0098](实施方式I)
[0099]图3是表示具备有关本实施方式的多视点影像编码(MVC)编码器的图像编码装置(运动图像编码装置)的结构的框图。
[0100]图3所示的图像编码装置100具备输入图像控制部101、MVC编码器102、级别解析部103、最大视点数计算器104及MVC最大缓冲器尺寸计算器105。
[0101]输入图像控制部101将按照每个图片输入的输入图像信号121按照每个视点(view)进行存储，将存储的扩展视点图像122及基本视点图像123向MVC编码器102内的负责各视点的编码的编码部发送。此外，输入图像控制部101将表示输入图像的尺寸的信息(图像尺寸125)向最大视点数计算器104输出。该图像尺寸125包括表示输入图像的纵像素数的信息(PicHeight)和表示输入图像的横像素数的横像素数信息(PicWidth)。
[0102]MVC编码器102通过将输入的扩展视点图像122及基本视点图像123进行多视点影像编码而生成MVC比特流124。
[0103]级别解析部103基于通过用户操作而输入的表示编码处理的级别的级别识别符的信号(级别信号126)，决定作为表示能够编码处理的最大的画面内的像素数的信息的最大画面内像素数127 (MaxLumaFS)、以及表示参照候选图片的最大张数的最大缓冲器尺寸128 (MaxDpbSize)。另外，该级别解析部103具有图2所示的表Tl的信息。
[0104]最大视点数计算器104基于从级别解析部103输出的最大画面内像素数127、从输入图像控制部101输出的图像尺寸125和多视点影像编码的缩放因子(mvcScaleFactor),计算最大视点数129 (MaxView)。另外,最大视点数计算器104预先具有mvcScaleFactor的值。即，缩放因子是预先设定的系数。
[0105]MVC最大缓冲器尺寸计算器105基于从级别解析部103输出的最大缓冲器尺寸128 (MaxDpbSize)和从最大视点数计算器104输出的最大视点数129 (MaxView),计算表示多视点影像编码的参照候选图片的最大张数的MVC最大缓冲器尺寸130 (多视点影像编码的最大缓冲器尺寸=MvcMaxDpbSize)，将计算出的MVC最大缓冲器尺寸130向MVC编码器102输出。MvcMaxDpbSize在对某个视点的编码对象图片(编码对象视点)进行图片间预测编码或图片间预测解码的情况，是表示储存在图片缓冲器(解码图片缓冲器:DPB)中的已解码图片的最大张数的值。
[0106]另外，最大视点数计算器104及MVC最大缓冲器尺寸计算器105既可以通过基于输入数据实际进行数值计算来计算并输出输出数据，也可以预先保持表示代表性的输入数据的值和与其对应的输出数据的值的对应关系的表，基于输入数据的值参照该表而取得输出数据。
[0107]接着，对MVC编码器102的内部结构进行说明。图4是表示MVC编码器102的结构的框图。
[0108]MVC编码器102如图4所示，具备基本视点编码部142、扩展视点编码部141及视点复用部143。
[0109]基本视点编码部142具有与不进行多视点影像编码的通常的图像编码装置同样的功能，通过将基本视点图像123编码而生成基本视点编码信号153。此外，基本视点编码部142在基本视点编码部142的内部被编码后，将通过解码得到的基本视点的重建视点图像151向扩展视点编码部141输出。
[0110]扩展视点编码部141通过使用重建视点图像151将从输入图像控制部101输出的扩展视点图像122编码而生成扩展视点编码信号152。具体而言，扩展视点编码部141对于编码对象图片(编码对象扩展视点图像)，按照每个块选择使用已经编码的扩展视点图像的重建图像的图片间预测编码、和使用基本视点图像123的重建图像(重建视点图像151)的视点间预测编码中的一方，将扩展视点图像122编码。
[0111]视点复用部143通过将作为各视点即基本视点和扩展视点的编码信息的基本视点编码信号153和扩展视点编码信号152复用，生成作为进行了多视点影像编码的比特流的MVC比特流124。
[0112]另外，图4所示的MVC编码器102作为例子而将基本视点及扩展视点这两个视点编码，但也可以通过将扩展视点编码部141多级地结合而实现包括两个以上的扩展视点的多视点影像的编码。
[0113]图5表示MVC编码器102中的各视点的输入图像的一例。该输入图像包括I个基本视点和两个扩展视点。基本视点(视点I)、扩展视点(视点2，视点3)的图像分辨率相同。一般而言，各视点是从稍稍不同的视点在同时刻摄影的图像，相互具有相关性。所以，在某个视点的编码中，能够利用其他视点作为预测图像。多视点影像编码当前被作为立体图像(3D)的编码方法使用。
[0114]多视点影像编码在进行扩展视点的编码时，通过使用其他视点的重建图像作为参照图像进行图片间预测，能够提高编码效率。另外，在将扩展视点编码时，将使用其他视点的重建图像称作视点间参照(预测)。在多视点影像图像编码中，作为在通常的图像编码中使用的时间方向的图片间预测(帧间(inter)预测)的参照图像，使用其他视点的重建图像。但是，不能使用与编码对象图像在时间上不同的其他视点的重建图像作为参照图像。另外，图像编码装置中的视点间预测与时间方向的图片间预测(帧间预测)的差异只是在于是参照图像不同的视点的图片、还是相同视点的在时间上不同的图片这样的差异，本质的编码方法相同。
[0115]在使用视点间预测的情况下，选择要参照的视点。图5所示的虚线箭头表示视点间预测及图片间预测的参照目标。在扩展视点(视点2)的视点间预测中，参照基本视点(视点I)。另一方面，在扩展视点(视点3)的视点间预测中，参照扩展视点(视点2)。另夕卜，是否进行视点间预测以块单位进行切换。此外，视点间的参照关系(编码顺序)是确定的，但如果时间不同，则视点间的参照关系也可以不同。即，在同时刻的视点，不允许扩展视点(视点2)参照扩展视点(视点3)且扩展视点(视点3)参照扩展视点(视点2)，但允许在某个时刻扩展视点(视点2)参照扩展视点(视点3)、而在别的时刻扩展视点(视点3)参照扩展视点(视点2)。
[0116]图6是用来说明与多视点影像编码对应的具体的图片存储器的管理的图。另外，如在图5中说明那样，当将视点编码时，本来也可以选择图片间预测，但在图6中，为了说明的方便而表示仅选择视点间预测的情况。即，这里假定MVC编码器102仅使用视点间预测。图6表示能够将图像数据储存到图片存储器中的图片(视点)的张数是4的情况。S卩，在此情况下，有可能被参照的参照候选视点为从上述4张图片(视点)除去了作为编码处理对象的I张图片(视点)的3张图片(视点)。
[0117]例如在如图6所示那样将视点5作为处理对象图片进行视点间预测编码或视点间预测解码的情况下，参照候选视点是图像数据储存在图片存储器中的视点2?视点4。
[0118]这样，按照编码对象图片内的每个块，要参照的视点不同，所以需要将编码对象图片内的块有可能参照的全部的已解码视点(参照候选视点)储存到图片存储器中。另外，所谓参照候选视点，当然必须是能够按照视点间的参照关系、编码对象图片能参照的视点。
[0119]另外，如果要能够由图像编码装置自由地设定参照候选视点的数量，则无法决定要搭载到图像解码装置中的图片存储器的存储区域的容量。所以，需要设置对于在视点间预测编码及视点间预测解码时使用的参照候选视点的最大张数(MaxView)的限制。作为参照候选视点的最大张数(MaxView)，可以考虑使用预先决定的规定的值。但是，实际有可能在多视点影像编码中使用的视点数最大是1024，如果将参照候选视点的最大张数(MaxView)固定，则出现如果实际在多视点影像编码中使用的视点数较少则存储器浪费的问题。此外，还有如果实际在多视点影像编码中使用的视点数较多则因为参照候选视点的数量变少而不能进行高画质的编码的问题。
[0120]此外，在图6的图片存储器管理的说明中，为了说明的方便而假设MVC编码器102仅选择视点间预测，但在实际的多视点影像编码中，按照编码对象图片内的每个块而选择使用参照候选视点的视点间预测编码和使用参照候选图片的图片间预测(帧间预测)编码中的一方，进行所选择的预测编码。
[0121]因而，需要适当计算作为多视点影像编码中的参照候选图片的最大张数的MVC最大缓冲器尺寸130 (多视点影像编码中的最大缓冲器尺寸MvcMaxDpbSize)。在多视点影像编码中，也必须预先决定要搭载到图像解码装置中的图片存储器的存储容量。在该有限的资源之中，增加参照候选图片的最大张数、能够实现更高画质是本实施方式的目的之一。另夕卜，多视点影像编码中的参照候选图片，包括视点间预测编码中的参照候选视点和图片间预测(帧间预测)编码中的参照候选图片。另外，图片和视点的图像尺寸相等。
[0122]本实施方式的图像编码方法在进行多视点影像编码(MVC)的情况下，根据编码数据的图片尺寸决定MvcMaxDpbSize，以便能够有效率地利用存储器区域。
[0123]以下，与图像编码装置100的动作的说明一起,对MvcMaxDpbSize的决定的方式进行说明。
[0124]图7是由有关本实施方式的图像编码装置100进行的图像编码处理的流程图。
[0125]在有关本实施方式的图像编码装置100中，在进行输入图像的编码之前，基于该图像编码装置100的存储器等的结构及有可能将编码数据解码的图像解码装置的存储器等的结构，从预先定义的多个编码级别中选择作为编码条件使用的编码级别。具体而言，上述编码级别的选择由用户参照上述表Tl进行，通过用户操作，将表示与所选择的级别对应的级别识别符的级别信号126向级别解析部103输入。
[0126]另外，在表Tl中没有关于最大储存像素数(要搭载的图片存储器的存储容量)的明示的记载，但在进行不是多视点影像编码的通常的编码的情况下，能够基于数式(式
2)得到在编码级别中所需要的最大储存像素数的值。在进行多视点影像编码的情况下，如数式(式3)所示，对数式(式2)的最大储存像素数的值乘以多视点影像编码的缩放因子(mvcScaleFactor)后的值是多视点影像编码的最大储存像素数。另外，在3D编码中，取使用将右眼用的图像编码的解码器和使用将左眼用的图像编码的解码器的2解码器结构的情况较多，通常作为mvcScaleFactor的值而使用2。
[0127]最大储存像素数(多视点影像编码时)
[0128]= mvcScaleFactor* (MaxDpbSize^MaxLumaFS)(式 3)
[0129]另外，最大储存像素数表示与上述图像编码装置100对应的图像解码装置具有的图片存储器需要能储存与多少数量的像素相对应的图像数据。换言之，最大储存像素数表示与能够储存到图片存储器中的图像数据的最大量相当的像素数。例如在将来自上述图像编码装置100的编码比特流解码的图像解码装置的图片存储器中，储存参照候选图片、待显示的已解码图片、解码对象图片等的图片的数据，但上述最大储存像素数是这些图片的像素的总数。
[0130]在该图像编码装置100中，如果通过用户的操作进行编码级别的选择，则将级别信号126向级别解析部103输入。并且，级别解析部103参照保持在内部的上述表Tl (参照图2)，根据由用户选择的上述级别信号126所表示的编码级别，决定最大画面内像素数127 (MaxLumaFS)及参照候选图片的最大张数(最大缓冲器尺寸128 =MaxDpbSize) (SlOl)。这里，最大缓冲器尺寸128表示非多视点编码(不是多视点编码的通常的编码)中的参照候选图像的最大张数。最大画面内像素数127 (MaxLumaFS)被输入到最大视点数计算器104中，最大缓冲器尺寸128 (MaxDpbSize)被输入到MVC最大缓冲器尺寸计算器105中。
[0131]并且，如果将输入图像信号121的图像数据按照每个视点以显示时间顺序输入到输入图像控制部101中，则在输入图像控制部101内的未图示的存储部中依次保存与视点的各图片对应的图像数据。并且，从存储部将所保存的图像数据按照每个视点作为基本视点图像123或扩展视点图像122以编码顺序向MVC编码器102输出。此时，图像数据被按照构成图片的每个块向MVC编码器102输出。进而，从输入图像控制部101将表示输入图像的尺寸的信息(图像尺寸125)向最大视点数计算器104输出。
[0132]另外，这里也可以是，上述块的尺寸是可变的，在图片内混合存在有各种各样大小的块。图像编码装置100中的编码处理以块单位进行。此外，图像尺寸125如上述那样，包括表示输入图像的纵像素数的信息(PicHeight)和表示输入图像的横像素数的横像素数信息(Picffidth) ο
[0133]最大视点数计算器104基于从输入图像控制部101输出的图像尺寸125和从级别解析部103输出的最大画面内像素数127 (MaxLumaFS)，使用数式(式4)计算在视点间预测编码及视点间预测解码时使用的参照候选视点的最大张数(最大视点数129 =MaxView)(S102)。
[0134]MaxView = Floor(mvcScaleFactor*MaxLumaFS/(PicHeight*PicWidth))
[0135](式4)
[0136]这里，最大视点数129表示参照候选视点的最大数。即，可以将从最大视点数129除去编码对象的视点后的数量(MaxView-1)的参照候选视点用于视点间预测。
[0137]根据数式(式4)可知，最大视点数129 (MaxView)是根据图像尺寸125变动的值。S卩，最大视点数129当图像尺寸125较小时为更大的值，当图像尺寸125较大时为更小的值。图像尺寸125的上限被最大画面内像素数127(MaxLumaFS)限制，所以最大视点数129在图像尺寸125与最大画面内像素数127 (MaxLumaFS)相等的情况下为最小值(mvcScaleFactor)。将由最大视点数计算器104计算出的最大视点数129向MVC最大缓冲器尺寸计算器105输出。
[0138]另夕卜，数式(式4)将最大画面内像素数127 (MaxLumaFS)用图像尺寸125 (PicHeight^Picffidth)除。这意味着，由于在图片存储器中每I个图片存在最大画面内像素数127 (MaxLumaFS)个区域，所以只要能够储存输入图像，就确保最大的储存张数。但是，由于除法处理复杂或运算负荷较高，所以数式(式4)也可以使用预先定义的图片尺寸(LumaFS)，用以下的数式或逻辑式((式4a)、(式4b))代替。
[0139]a = Floor (MaxLumaFS/LumaFS)
[0140]If(PicHeight*Picffidth = LumaFS)
[0141]MaxView = mvcScaleFactor*MaxLumaFS* α (式 4a)
[0142]Else
[0143]MaxView = mvcScaleFactor*MaxLumaFS (式 4b)
[0144]这里，α是基于预先定义的图片尺寸(LumaFS)事前设定的值，不需要图像编码装置及图像解码装置通过运算动态地取得。例如在图片尺寸(LumaFS)是MaxLumaFS的一半的大小的情况下，α是2。在此情况下,在图像尺寸125 (PicHeight*PicWidth)与LumaFS相同或较小的情况下，如数式(式4a)那样对(mvcScaleFactor*MaxLumaFS)乘以α。由此，该情况下的MaxView为图像尺寸125 (PicHeight*PicWidth)比LumaFS大的情况下的MaxView(数式(式4b))的2倍。另外，也可以根据图片尺寸(LumaFS)的决定方式而将α设定为3或4等。进而,也可以代替LumaFS而如LumaFS_l、LumaFS_2那样定义多个不同的值，将上述数式或逻辑式((式4a)及(式4b))如以下那样变形。
[0145]a = Floor (MaxLumaFS/LumaFS_l)
[0146]β = Floor (MaxLumaFS/LumaFS_2)
[0147]If(LumaFS_2〈PicHeight*PicWidth = LumaFS_l)
[0148]MaxView = mvcScaleFactor*MaxLumaFS* α (式 4c)
[0149]Else if(PicHeight*Picffidth = LumaFS_2)
[0150]MaxView = mvcScaleFactor*MaxLumaFS*β (式 4d)
[0151]Else
[0152]MaxView = mvcScaleFactor*MaxLumaFS (式 4e)
[0153]例如，在图片尺寸(LumaFS_l)是MaxLumaFS的一半的大小的情况下，α是2,在图片尺寸(LumaFS_2)是MaxLumaFS的4分之I的大小的情况下，β是4。在图像尺寸125 (PicHeight^Picffidth)比LumaFS_2小的情况下，如数式(式4d)那样，对(mvcScaleFactor*MaxLumaFS)乘以β。由此，该情况下的MaxView为图像尺寸125 (PicHeight^Picffidth)比 LumaFS_l 大的情况下的 MaxView (数式(式 4e))的 4 倍。另夕卜，很明显同样作为LumaFS可以定义3个以上的不同的值，可以进行同样的处理。
[0154]此外，mvcScaleFactor是预先决定的固定值,最大视点数计算器104在内部保持有mvcScaleFactor的值。本来，mvcScaleFactor的值对应于多视点影像编码的视点数而设定(例如在视点数较多的情况下设定为较大的值)。但是，由于将要搭载到图像解码装置中的图片存储器的存储容量预先决定，所以不能改变mvcScaleFactor的值。所以，例如也可以根据级别来改变mvcScaleFactor的值。具体而言，也可以将图2的表Tl如图8那样扩展，级别I?3.1作为mvcScaleFactor而使用2,级别4?4.3作为mvcScaleFactor而使用3，级别5以上作为mvcScaleFactor而使用4。在此情况下，级别解析部103基于表示级别识别符的级别信号126,将对应的mvcScaleFactor向最大视点数计算器104输出。
[0155]接着，MVC最大缓冲器尺寸计算器105基于被输入的最大视点数129 (MaxView)和最大缓冲器尺寸128 (MaxDPBSize)，使用数式(式5)，计算作为多视点影像编码中的参照候选图片的最大张数的MVC最大缓冲器尺寸130(多视点影像编码中的最大缓冲器尺寸:MvcMaxDpbSize)(S103)。
[0156]MvcMaxDPBSize = MaxView^MaxDPBSize(式 5)
[0157]所谓MVC最大缓冲器尺寸130(MvCMaxDPBSiZe)，表示图片存储器要储存的总的参照候选图片(或视点)的张数。另外，参照候选图片(或视点)具有从输入图像控制部101输出的图像尺寸125的图片尺寸。
[0158]将从MVC最大缓冲器尺寸计算器105输出的MvcMaxDPBSize向MVC编码器102输入。MVC编码器102如数式(式6)那样在不超过MvcMaxDPBSize的范围中设定作为进行多视点影像编码时、或将编码的数据用MVC解码器进行解码时使用的解码图片缓冲器(DPB)的图片(视点)数的 DPB 图片(视点)数(max_dec_pic_buffering) (S104)。
[0159]max_dec_pic_bufTering 兰 MvcMaxDPBSize (式 6)
[0160]另外,将max_dec_pic_buffering的值设定为多少由图像编码装置侧负责。例如通过将max_dec_pic_buffering设定为与MvcMaxDPBSize相同的值，图片间预测的参照候选图片及视点间预测的参照候选视点的张数成为最大，所以能够期待更高画质的编码。但是，如果将max_dec_pic_buffering的值设定得较大,贝U编码处理复杂化,所以处理负荷变高，所以在实际中考虑平衡来决定max_dec_pic_buffering的值。
[0161]此外，该图像编码装置100能够决定将max_dec_pic_buffering对图片间预测的参照候选图片分配几张、对视点间预测的参照候选视点分配几张。还允许将图片间预测的参照候选图片的张数减少而将视点间预测的参照候选视点的张数增加，或者相反。例如当max_dec_pic_buffering的值为48时，可以将视点间预测的参照候选视点的张数设定为去除编码对象视点后的7( = 8 -1)，将图片间预测的参照候选图片的张数设定为5( = 6 -1)。此外，例如可以将视点间预测的参照候选视点的张数设定为11( = 12 — I)，将图片间预测的参照候选图片的张数设定为3( = 4 — I)。此外，例如可以将视点间预测的参照候选视点的张数设定为5( = 6 -1)，将图片间预测的参照候选图片的张数设定为7( = 8 -1)。
[0162]另夕卜，为了用于上述分配，MVC最大缓冲器尺寸计算器105也可以与MvcMaxDPBSize—起将MaxView及MaxDPBSize向MVC编码器102输出。进而，也可以在MVC编码器102内部设置MVC最大缓冲器尺寸计算器105，将最大视点数计算器104输出的MaxView和级别解析部103输出的MaxDPBSize直接向MVC编码器102输入。通过做成这样的结构，MVC编码器102能够在不超过(MaxView — I)的范围内设定视点间预测的参照候选视点的张数、在不超过(MaxDPBSize — I)的范围内设定图片间预测的参照候选图片的张数。
[0163]接着，对MVC编码器102的多视点影像编码的动作进行说明。
[0164]将从输入图像控制部101输出的基本视点图像123和扩展视点图像122向对应的各视点的编码部输入。即，将基本视点图像123向基本视点编码部142输入，将扩展视点图像122向扩展视点编码部141输入。另外，图4所示的MVC编码器102作为例子是将基本视点及扩展视点的两个视点编码的结构，但通过将扩展视点编码部141多级地结合，能够实现使用两个以上的扩展视点的多视点影像的编码。
[0165]基本视点编码部142具有与不进行多视点影像编码的通常的图像编码装置同样的功能，将基本视点图像123编码。此外，基本视点编码部142将通过在基本视点编码部142的内部编码后解码而得到的基本视点的重建视点图像151向扩展视点编码部141输出。
[0166]扩展视点编码部141使用重建视点图像151将从输入图像控制部101输出的扩展视点图像122进行视点间预测编码。另外，扩展视点编码部141还可以使用作为相同的扩展视点内的图片的、在时间上不同的图片的重建图像，进行图片间预测(帧间预测)编码。使用哪种编码按照块决定。
[0167]视点复用部143通过将各视点即基本视点及扩展视点的编码信息复用，生成作为多视点影像编码的比特流的MVC比特流124。
[0168]另外，MVC编码器102如果从MVC最大缓冲器尺寸计算器104输入MvcMaxDPBSize，则按照数式(式6)决定max_dec_pic_buffering的值。并且,MVC编码器102在MVC编码器102内部的未图示的图片存储器中，将图像尺寸125(PicHeight*PicWidth)的区域确保max_dec_pic_buffering的数量。将所确保的区域如上述那样对视点间预测的参照候选视点和图片间预测的参照候选图片分配。
[0169]此外，MVC编码器102在编码时进行决定，生成将在编码中使用的max_dec_pic_buffering的值作为参数之一而包含在序列参数集(SPS)中的比特流。序列参数集是与能够在I张以上的图片中共通使用的头(header)相当的参数集。在序列参数集中，包括最大能参照图片数、图像尺寸及视频显示信息(VU1:Video Usability Informat1n,视频可用性信息)等。
[0170]另外，max_dec_pic_buffering的值并不限于包含在SPS中，也可以包含在视频参数集(VPS)等的其他参数集中。此外，max_dec_pic_buffering的值也可以包含在补充信息(SEI !Supplemental Enhancement Informat1n)中。在此情况下，将 max_dec_pic_buffering的值通过SEI消息向图像解码装置通知。
[0171]如以上这样，有关本实施方式的图像编码装置100在预先决定了图片存储器的存储容量的状况(例如数式(式3)等)下，适当计算多视点影像编码中的参照候选图片(视点)的最大张数(MvcMaxDpbSize)。此外，图像编码装置100通过根据编码数据(输入图像)的图片尺寸改变图片间预测的参照候选图片的张数或视点间预测的参照候选视点的张数，由此能够有效率地利用存储器区域。
[0172](实施方式2)
[0173]接着，对实施方式2进行说明。
[0174]图9是表示具备有关本实施方式的MVC解码器的图像解码装置200(运动图像解码装置)的结构的框图。该图像解码装置200接受包括一个以上的视点的进行了多视点影像编码的MVC比特流221，由MVC解码器进行MVC解码，将一个以上的解码后的输出图像225 (视点)向显示装置等输出。例如，该图像解码装置200将有关实施方式I的图像编码装置100编码的MVC比特流124解码。
[0175]图像解码装置200具备取得保存在被输入的MVC比特流221的头区域及SPS区域中的数据并进行解析的编码序列解析部201、和将包括一个以上的视点的编码数据222解码的MVC解码器202。
[0176]编码序列解析部201取得保存在被输入的MVC比特流221的头区域及SPS区域中的数据并解析。在SPS中包括最大能参照图片数、图像尺寸及视频显示信息(VUI =VideoUsability Informat1n)等。编码序列解析部201例如取得VUI中包含的max_dec_pic_buffering的值。另外，在被输入了 SEI消息的情况下，编码序列解析部201将SEI消息中包含的信息解析，取得需要的信息。
[0177]MVC解码器202将MVC比特流221中包含的基本视点的编码数据和扩展视点的编码数据分别解码，将通过解码得到的输出图像225 (视点)输出。在各视点的解码处理中，作为参数而使用从编码序列解析部201输出的参数信息、和包含在比比特流更下位的层(切片(slice)头等)中由MVC解码器202提取出的参数信息。在从编码序列解析部201输出的参数信息中，包括图像尺寸信息223 (PicHeight及PicWidth)和DPB图片(视点)数224(max_dec_pic_buffering)。
[0178]接着，对该图像解码装置的动作进行说明。图10是表示由图像解码装置200进行的图像解码处理的流程的流程图。
[0179]如果对该图像解码装置200输入MVC比特流221，则首先，编码序列解析部201从MVC比特流224中提取图像尺寸223 (PicHeight及PicWidth) ,DPB图片(视点)数224 (max_dec_pic_buffering)及编码数据222等的各种信息(S201)。将提取出的图像尺寸信息223 (PicHeight 及 Picffidth)、DPB 图片(视点)数 224 (max_dec_pic_buffering)和编码数据222向MVC解码器202输出。另外，虽然没有特别记载，但将提取出的其他信息也根据需要而向MVC解码器202输出。
[0180]MVC解码器202如果接收到图像尺寸223 (PicHeight，PicWidth)和DPB图片(视点)数224(max_dec_pic_buffering),则在编码数据222的解码处理之前,进行未图示的图片存储器的区域确保(S202)。具体而言，MVC解码器202在图片存储器(DPB)中对于图像尺寸 223 (PicHeight*PicWidth)的图片区域,确保max_dec_pic_buffering 的值的张数。另外，图像解码装置200预先搭载有在由上述表Tl (参照图2)的级别识别符确定的各编码级别中的支持的编码级别下所需要的存储容量的图片存储器。即，图像解码装置200搭载有具有由数式(式3)给出的最大储存像素数(多视点影像编码时)的存储容量的图片存储器。
[0181]如已经说明那样，有关实施方式I的图像编码装置100决定多视点影像编码时的最大缓冲器尺寸(MVC最大缓冲器尺寸130:MvCMaXDPBSize)，以使其不超过该最大储存像素数(多视点影像编码时)。所谓多视点影像编码时的最大缓冲器尺寸(MvcMaxDPBSize)，表示图片存储器要储存的总的参照候选图片(或视点)的张数。并且，如数式(式6)那样，通过图像编码装置100决定max_dec_pic_buffering的值，以使其不超过MvcMaxDPBSize。因而，图像解码装置200能够将图像尺寸223(PicHeight*PicWidth)的图片区域确保max_dec_pic_buffering的值的张数这一点通过图像编码装置100得到保障,MVC解码器202不会区域不足，而能够确保图片存储器的区域。
[0182]如果图片存储器的区域确保完成，则MVC解码器202将编码数据222中包含的基本视点的编码数据和扩展视点的编码数据分别解码，将通过解码得到的输出图像225 (视点)输出。另外，在解码处理时，在图片存储器中储存参照候选图片(视点)、待显示的已解码图片及解码对象图片等的图片的数据。
[0183]如以上那样，有关本实施方式的图像解码装置200基于由编码序列解析部201提取出的图像尺寸223 (PicHeight*PicWidth)和max_dec_pic_buffering的值，进行图片缓冲器(DPB)的区域确保。由此，图像解码装置200能够不超过图像解码装置200搭载的图片存储器的最大储存像素数(最大存储容量)且在解码时不会发生破坏(图片缓冲器不足等)而将MVC比特流221解码。
[0184]此外，图像解码装置200在图片存储器的存储容量为一定的状况(例如数式(式
3)等)中，由于使用由能够根据图像尺寸适当计算多视点影像编码中的参照候选图片(视点)的最大张数(MvcMaxDpbSize)的图像编码装置所决定的max_dec_pic_buffering,所以有关本实施方式的图像解码装置200能够有效率地利用存储器区域。
[0185]以上，对有关实施方式的图像编码装置及图像解码装置进行了说明，但本发明并不限定于该实施方式。
[0186]此外，在有关上述实施方式的图像编码装置及图像解码装置中包含的各处理部典型地作为集成电路即LSI实现。它们既可以分别I芯片化，也可以包含一部分或全部而I芯片化。
[0187]此外，集成电路化并不限定于LSI，也可以由专用电路或通用处理器实现。也可以使用在LSI制造后能够编程的FPGA(Field Programmable Gate Array:现场可编程门阵列)或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。
[0188]另外，在上述各实施方式中，各构成要素也可以由专用的硬件构成、或通过执行与各构成要素适合的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。
[0189]换言之，图像编码装置及图像解码装置具备处理电路(processing circuitry)和电连接在该处理电路上的(能够从该控制电路访问的)存储装置(storage)。处理电路包括专用的硬件及程序执行部的至少一方。此外，存储装置在处理电路包括程序执行部的情况下，存储由该程序执行部执行的软件程序。处理电路使用存储装置执行有关上述实施方式的图像编码方法或图像解码方法。
[0190]进而，本发明也可以是上述软件程序，也可以是记录有上述程序的非暂时性的计算机可读取的记录介质。此外，上述程序当然能够经由因特网等的传送媒体流通。
[0191]此外，在上述中使用的数字全部是为了具体地说明本发明而例示的，本发明并不限制于例示的数字。
[0192]此外，框图中的功能块的划分是一例，也可以将多个功能块作为一个功能块实现，或将一个功能块划分为多个，或将一部分功能转移到其他功能块中。此外，也可以由单一的硬件或软件将具有类似的功能的多个功能块的功能并行或时间划分来处理。
[0193]此外，在上述图像编码方法或图像解码方法中包含的步骤被执行的顺序是为了具体地说明本发明而例示的，也可以是上述以外的顺序。此外，也可以将上述步骤的一部分与其他步骤同时(并行)执行。
[0194]以上，基于实施方式对有关本发明的一个或多个形态的图像编码装置及图像解码装置进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域的技术人员想到的各种变形的形态、或将不同实施方式的构成要素组合而构建的形态也包含在本发明的一个或多个形态的范围内。
[0195](实施方式3)
[0196]通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
[0197]进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。
[0198]图11是表示实现内容分发服务的内容供给系统exlOO的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站exl06、exl07、exl08、exl09、exllO。
[0199]该内容供给系统exlOO在因特网exlOl上经由因特网服务提供商exl02及电话网 exl04、及基站 exl07 ?exllO 连接着计算机 exl 11、PDA (Personal Digital Assistant)exll2、照相机exll3、便携电话exll4、游戏机exll5等的各设备。
[0200]但是，内容供给系统exlOO并不限定于图11那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站exl07?exllO将各设备直接连接在电话网exl04上。此外，也可以将各设备经由近距离无线等直接相互连接。
[0201]照相机exll3是能够进行数字摄像机等的运动图像摄影的设备，照相机exll6是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话exll4是GSM (Global System for Mobile Communicat1ns)方式、CDMA (Code Divis1n MultipleAccess)方式、W — CDMA (Wideband — Code Divis1n Multiple Access)方式、或 LTE (LongTerm Evolut1n)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。
[0202]在内容供给系统exlOO中，通过将照相机exl 13等经由基站exl09、电话网exl04连接在流媒体服务器exl03上，能够进行现场转播等。在现场转播中，对用户使用照相机exll3摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器exl03发送。另一方面，流媒体服务器exl03将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机eXlll、PDAeX112、照相机exll3、便携电话exll4、游戏机exll5等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
[0203]另外，摄影的数据的编码处理既可以由照相机exll3进行，也可以由进行数据的发送处理的流媒体服务器exl03进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器exl03进行，也可以相互分担进行。此外，并不限于照相机exll3，也可以将由照相机exll6摄影的静止图像及/或运动图像数据经由计算机exlll向流媒体服务器exl03发送。此情况下的编码处理由照相机exll6、计算机exlll、流媒体服务器exl03的哪个进行都可以，也可以相互分担进行。
[0204]此外，这些编码解码处理一般在计算机exlll或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机exlll等读取的某些记录介质(CD — ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话exll4是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话exll4具有的LSIex500编码处理的数据。
[0205]此外，也可以是，流媒体服务器exl03是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。
[0206]如以上这样，在内容供给系统exlOO中，客户端能够接收编码的数据而再现。这样，在内容供给系统exlOO中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
[0207]另外，并不限定于内容供给系统exlOO的例子，如图12所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(S卩，作为本发明的一个方式的图像解码装置发挥作用)。
[0208]此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
[0209]图13是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
[0210]此外，电视机eX300具备:具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306 ;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另夕卜，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
[0211]首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
[0212]此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另夕卜，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
[0213]此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
[0214]作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图14中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406 —边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追力口、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
[0215]以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。
[0216]在图15中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
[0217]以上，举I层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
[0218]此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另夕卜，车载导航仪ex211的结构可以考虑例如在图13所示的结构中添加GPS接收部的结构，在计算机exlll及便携电话exll4等中也可以考虑同样的结构。
[0219]图16A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话exll4的图。便携电话exll4具有由用来在与基站exllO之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话exll4还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
[0220]进而，使用图16B对便携电话exll4的结构例进行说明。便携电话exll4对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD (LiquidCrystal Display:液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
[0221]电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话exll4起动为能够动作的状态。
[0222]便携电话exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话exll4在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。
[0223]进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站exllO发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350o
[0224]在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。
[0225]复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
[0226]在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由IXD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码,从声音输出部ex357输出声音。
[0227]此外，上述便携电话exll4等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
[0228]这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
[0229]此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
[0230](实施方式4)
[0231]也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG - 2、MPEG4 — AVC、VC — I等不同的标准的运动图像编码方法或装置根据需要而适当切换,来生成影像数据。
[0232]这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
[0233]为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG - 2传输流形式的数字流。
[0234]图17是表示复用数据的结构的图。如图17所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的I个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG - 2、MPEG4 — AVC,VC 一 I等标准的运动图像编码方法或装置编码。音频流由杜比AC —3、Dolby Digital Plus、MLP、DTS、DTS — HD、或线性 PCM 等的方式编码。
[0235]包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到OxlllF，对演示图形分配0x1200到0xl21F，对交互图形流分配0x1400到0xl41F，对在电影的副影像中使用的视频流分配OxlBOO到OxlBlF，对与主声音混合的副声音中使用的音频流分配OxIAOO到OxlAlF。
[0236]图18是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到I条流中而构成。
[0237]图19更详细地表示在PES包序列中怎样保存视频流。图19的第I段表示视频流的视频巾贞序列。第2段表示PES包序列。如图19的箭头yyl、yy2、yy3、yy4所示,视频流中的多个作为Video Presentat1n Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentat1n Time-Stamp)及作为图片的解码时刻的 DTS(Decoding Time-Stamp) ?
[0238]图20表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD — ROM的情况下，对于TS包赋予4字节的TP_Extra_Header,构成192字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS (Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图20下段所示排列，从复用数据的开头起递增的号码被称作SPN (源包号)。
[0239]此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有 PAT(Program Associat1n Table) > PMT(Program Map Table) > PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为O。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
[0240]图21是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
[0241]在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
[0242]复用数据信息文件如图22所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
[0243]复用数据信息如图22所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上I帧量的再现间隔的值。
[0244]流属性信息如图23所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
[0245]在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
[0246]此外，在图24中表示本实施方式的运动图像解码方法的步骤。在步骤exSlOO中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exSlOl中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。
[0247]这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。
[0248](实施方式5)
[0249]在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图25中表示I芯片化的LSIex500的结构。LSIex500 具备以下说明的单元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
[0250]例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/0ex509从麦克风exl 17及照相机exl 13等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/0ex506向外部输出。将该输出的比特流向基站exl07发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
[0251]另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成I个芯片，也可以形成多个芯片。
[0252]此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,但控制部ex510的结构并不限定于该结构。例如,也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
[0253]另外，这里设为LSI，但根据集成度的差异，也有称作1C、系统LS1、超级(super)LS1、特级(ultra)LSI的情况。
[0254]此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array:现场可编程门阵列)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。这样的可编程逻辑设备典型地通过装载或者从存储器等中读出构成软件或者固件的程序，从而能够实现上述各个实施方式所示的运动图像编码方法或者运动图像解码方法。
[0255]进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
[0256](实施方式6)
[0257]在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
[0258]为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图26表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
[0259]更具体地讲，驱动频率切换部ex803由图25的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图25的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式4中记载的识别信息。关于识别信息，并不限定于在实施方式4中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图28所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
[0260]图27表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG — 2、MPEG4 - AVC,VC 一 I等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
[0261]进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
[0262]此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4 - AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
[0263]进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的影像数据的情况相比，将停止时间设定得短。
[0264]这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
[0265](实施方式7)
[0266]在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
[0267]为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的解码处理部一部分共用的结构。图29A的ex900表示该结构例。例如,在上述各实施方式中示出的运动图像解码方法和依据MPEG4 - AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容，共用对应于MPEG4 - AVC标准的解码处理部ex902，关于不对应于MPEG4 — AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在缓冲器控制方面具有特征，因此可以考虑例如对于缓冲器控制使用专用的解码处理部ex901，对于除此之外的逆量化、熵解码、解块滤波器、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构:关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4 —AVC标准所特有的处理内容，使用专用的解码处理部。
[0268]此外,用图29B的exlOOO表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部exlOOl、和与其他的以往标准所特有的处理内容对应的专用的解码处理部exl002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部exl003的结构。这里,专用的解码处理部exl001、exl002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIeX500安装本实施方式的结构。
[0269]这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
[0270]产业上的可利用性
[0271]本发明能够应用到图像编码方法、图像解码方法、图像编码装置及图像解码装置中。此外，本发明能够在具备图像编码装置的电视机、数字视频记录器、车载导航仪、便携电话、数字照相机及数字摄像机等的高分辨率的信息显示设备或摄像设备中使用。
[0272]标号说明
[0273]100图像编码装置
[0274]101输入图像控制部
[0275]102 MVC 编码器
[0276]103级别解析部
[0277]104最大视点数计算器
[0278]105 MVC最大缓冲器尺寸计算器
[0279]121输入图像信号
[0280]122扩展视点图像
[0281]123基本视点图像
[0282]124、221 MVC 比特流
[0283]125,223 图像尺寸
[0284]126级别信号
[0285]127最大画面内像素数
[0286]128最大缓冲器尺寸
[0287]129最大视点数
[0288]130 MVC最大缓冲器尺寸
[0289]141扩展视点编码部
[0290]142基本视点编码部
[0291]143视点复用部
[0292]151重建视点图像
[0293]152扩展视点编码信号
[0294]153基本视点编码信号
[0295]200图像解码装置
[0296]201编码序列解析部
[0297]202 MVC 解码器
[0298]222编码数据
[0299]224 DPB图片(视点)数
[0300]225输出图像
【权利要求】
1.一种图像编码方法，将多视点影像编码，其特征在于，包括: 决定步骤，使用表示编码处理的级别与表示图像编码装置及图像解码装置能够处理的最大的图像的像素数的最大画面内像素数以及非多视点编码中的参照候选图像的最大张数之间的关系的表，根据表示上述编码处理的级别的级别信号，决定最大画面内像素数和非多视点编码中的参照候选图像的最大张数； 第I计算步骤，使用上述最大画面内像素数、输入图像的图像尺寸和多视点影像编码的缩放因子，计算在视点间预测编码中使用的参照候选视点的最大张数；以及 第2计算步骤，使用上述参照候选视点的最大张数和上述非多视点编码中的参照候选图像的最大张数，计算多视点影像编码中的参照候选图像的最大张数。
2.如权利要求1所述的图像编码方法，其特征在于， 在上述第I计算步骤中，使用以下的数式计算上述参照候选视点的最大张数，
MaxView = Floor(mvcScaleFactor*MaxLumaFS/(PicHeight^Picffidth)) MaxView是上述参照候选视点， mvcScaleFactor是上述缩放因子， MaxLumaFs是上述最大画面内像素数。
3.如权利要求2所述的图像编码方法，其特征在于， 在上述第2计算步骤中，使用以下的数式，计算上述多视点影像编码中的参照候选图像的最大张数，
MvcMaxDPBSize = MaxV i ew*MaxDPBS i z e MvcMaxDPBSize是上述多视点影像编码中的参照候选图像的最大张数， MaxDPBSize是上述非多视点编码中的参照候选图像的最大张数。
4.如权利要求1?3中任一项所述的图像编码方法，其特征在于， 上述图像编码方法还包括: 设定步骤，在不超过上述多视点影像编码中的参照候选图像的最大张数的范围内，设定在解码图片缓冲器中使用的上述多视点影像编码中的参照候选图像的张数。
5.一种图像解码方法，将进行了多视点影像编码的数据解码，其特征在于，包括: 取得步骤，从上述数据取得多视点影像编码中的参照候选图像的张数和图像尺寸；以及 在解码图片缓冲器中，对上述图像尺寸的图片区域确保上述多视点影像编码中的参照候选图像的张数的步骤。
6.如权利要求5所述的图像解码方法，其特征在于， 上述数据中包含的上述多视点影像编码中的参照候选图像的张数通过以下步骤设定: 决定步骤，使用表示编码处理的级别与表示图像编码装置及图像解码装置能够处理的最大的图像的像素数的最大画面内像素数以及非多视点编码中的参照候选图像的最大张数之间的关系的表，根据表示上述编码处理的级别的级别信号，决定最大画面内像素数和非多视点编码中的参照候选图像的最大张数； 第I计算步骤，使用上述最大画面内像素数、输入图像的图像尺寸和多视点影像编码的缩放因子，计算在视点间预测编码中使用的参照候选视点的最大张数； 第2计算步骤，使用上述参照候选视点的最大张数和上述非多视点编码中的参照候选图像的最大张数，计算多视点影像编码中的参照候选图像的最大张数；以及 设定步骤，在不超过上述多视点影像编码中的参照候选图像的最大张数的范围内，设定在解码图片缓冲器中使用的上述多视点影像编码中的参照候选图像的张数。
7.一种图像编码装置，将多视点影像编码，其特征在于， 具备: 处理电路；以及 存储装置，能够从上述处理电路访问； 上述处理电路使用上述存储装置执行如下步骤: 决定步骤，使用表示编码处理的级别与表示图像编码装置及图像解码装置能够处理的最大的图像的像素数的最大画面内像素数以及非多视点编码中的参照候选图像的最大张数之间的关系的表，根据表示上述编码处理的级别的级别信号，决定最大画面内像素数和非多视点编码中的参照候选图像的最大张数； 第I计算步骤，使用上述最大画面内像素数、输入图像的图像尺寸和多视点影像编码的缩放因子，计算在视点间预测编码中使用的参照候选视点的最大张数；以及 第2计算步骤，使用上述参照候选视点的最大张数和上述非多视点编码中的参照候选图像的最大张数，计算多视点影像编码中的参照候选图像的最大张数。
8.一种图像解码装置，将进行了多视点影像编码的数据解码，其特征在于， 具备: 处理电路；以及 存储装置，能够从上述处理电路访问； 上述处理电路使用上述存储装置执行如下步骤: 取得步骤，从上述数据取得多视点影像编码中的参照候选图像的张数和图像尺寸；以及 在解码图片缓冲器中，对上述图像尺寸的图片区域确保上述多视点影像编码中的参照候选图像的张数的步骤。
【文档编号】H04N19/597GK104429075SQ201380036063
【公开日】2015年3月18日 申请日期:2013年6月28日 优先权日:2012年7月9日
【发明者】小宫大作, 西孝启, 笹井寿郎, 柴原阳司, 杉尾敏康, 谷川京子, 松延彻, 寺田健吾 申请人:松下电器（美国）知识产权公司