视点视频之中的一个视频而关于多视点视频按照每个帧I个视点I个视点地对全部视点的视频进行编码并解码的构造。然后，在此，说明对编码对象视频中的某I帧进行编码的处理。通过按照每个帧重复进行在以下说明的处理，从而能够实现视频的编码。
[0082]首先，编码对象视频输入部101接收编码对象图片(帧)并将其存储到输入视频存储器102中，深度图输入部104接收深度图并将其存储到深度图存储器105中(步骤S101)。
[0083]再有，假设编码对象视频中的若干个帧已经被编码，其解码结果被存储到参照图片存储器103中。此外，假设在与编码对象图片相同的帧之前的能够参照的另外的视点的视频也已经被编码并解码，并且，被存储到参照图片存储器103中。
[0084]深度图为通常与多视点视频一起被编码并复用的深度图之中的与存储到参照图片存储器103中的参照图片的每一个对应的深度图，在编码对象图像之前已经被编码并解码。
[0085]但是，只要能够通过编码装置和解码装置参照同一深度图，则也可以为不与视频一起被编码的深度图，也可以为非压缩的深度图。
[0086]在此输入的深度图只要为能够使用任一个方法来决定各像素的视差的深度图，则为怎样的种类的深度图都可以。在通常的深度图中，存在记述了图片的各像素的进深值的深度图，但是，除此之外，也可以为记述了进深的倒数值的深度图，也可以为记述了视差的深度图。
[0087]此外，输入的顺序不在此限，以怎样的顺序输入都可。例如，关于深度图，在开始编码对象视频的编码之前在执行深度图的编码的时间点输入并存储到深度图存储器105中也可。此外，也可以将另外的深度图编码装置中的深度图存储器用作本装置的深度图存储器105。
[0088]在视频输入之后，将编码对象图片分割为编码对象块，按照每个块对编码对象图片的视频信号进行编码(步骤S102?S111)。
[0089]在以下，将成为编码对象的块的图像称为编码对象块或编码对象图像。以下的步骤S103?S110的处理针对图片的全部的块重复执行。
[0090]在按照每个编码对象块重复的处理中，首先，预测部106针对编码对象块进行对参照图片存储器内的参照图片进行参照的帧间预测，决定示出作为参照目的地的第一参照区域的信息即第一参照信息，生成第一参照信息或者作为能够特别指定第一参照信息的信息的预测信息(步骤S103)。
[0091]关于预测，使用怎样的方法来进行都可以，第一参照信息和预测信息为怎样的信息都可以。
[0092]作为示出参照区域的参照信息，存在对参照图片进行特别指定的参照图片索引信息和示出在参照图片上的参照位置的矢量的组合等来作为通常的信息。
[0093]作为预测方法，存在在成为候补的参照图片上进行匹配(matching)来决定参照信息的方法、被称为直接方式(direct mode)或合并方式(merge mode)的继承用于已经编码完毕的周边块的编码时的预测的参照信息的方法等来作为通常的方法。
[0094]此外，预测信息只要为能够决定第一参照信息的信息，则为怎样的信息都可以。也可以将第一参照信息本身作为预测信息，也可以将能够特别指定在合并方式等中使用的块的识别信息作为预测信息。此外，使用怎样的预测方法、参照信息、预测信息都可以。
[0095]关于预测信息，也可以进行编码并与视频的码数据复用，在如前述那样从周边的预测信息或候补名单导出的情况下也可以不进行编码。此外，也可以对预测信息进行预测而对其残差进行编码。
[0096]在预测完成之后，第二参照信息决定部107参照基于示出第一参照信息的预测信息的第一参照区域，基于与第一参照区域对应的深度图来决定示出作为另外的参照目的地的第二参照区域的第二参照信息(步骤S104)。
[0097]第二参照信息只要与第一参照信息同样地为能够特别指定参照图片和参照位置的信息，则为怎样的信息都可以。此外，参照图片也可以为预先确定的图片，也可以另外决定。例如，假设第二参照区域必须设定在某个特定的视点的视频上，作为第二参照信息，也可以不包含指定参照图片的信息。作为指定参照位置的信息，也可以为视差矢量或深度图等信息，为其他的怎样的信息都可以。
[0098]此外，第二参照信息的决定怎样进行都可以。在以下对第一参照区域处于与编码对象视点相同的视点的不同的帧的图片上的例子进行说明。
[0099]图3为如下情况下的例子:编码对象图像为视点B的帧η的图片的一部分，由第一参照信息示出的第一参照区域处于视点B的帧m(在η)的参照图片上，将第二参照区域设定在视点A(在B)的帧η的参照图片上。
[0100]在该情况下，基于示出视点A的帧η的参照图片的参照图片索引和与第一参照区域对应的深度图来决定视差矢量来作为第二参照信息，由此，能够基于第二参照信息来进行视差补偿预测等。
[0101]此外，也能够进行将与第一参照区域对应的深度图本身作为第二参照信息而基于该深度图的值取得按照各像素或子块的每一个不同的视点的像素来生成预测图像的视点合成预测等。
[0102]此外，作为另外的方法，基于深度图来决定视差矢量，使用该视差矢量来参照已经解码完毕的另外的视点的视频，使用该视频的编码时的预测信息来决定第二参照信息等也可。
[0103]从深度图向视差矢量的变换怎样进行都可以。如果需要，则也可以使用将深度值变换为视差值的查找表(look-up table)或单应矩阵(homography matrix)或者另外使用摄像机参数等附加信息。关于附加信息，也可以进行编码并与视频复用，只要能够通过解码装置参照同一信息，则不进行也可。
[0104]在上述的例子中，对第一参照区域处于与编码对象视点相同的视点的不同的帧的图片上的情况进行了说明，但是，在第一参照区域处于与编码对象视点不同的视点的相同的帧的图片上的情况下，也能够使用同样的方法。
[0105]或者，进而，也能够基于第一参照区域的候补名单中的预测信息或NBDV来决定第二参照信息。此外，使用怎样的方法来决定都可以。
[0106]关于第二参照信息，按照怎样的单位的每一个来决定都可以。也可以为每个编码对象块，也可以将其以下的尺寸的区域设为子块而按照每个子块来决定。此外，子块尺寸怎样决定都可以。也可以为预先确定了的尺寸，也可以从预先确定的尺寸的组之中选择，也可以适当地决定其他的任意的尺寸，也可以按照每个像素来决定第二参照信息。
[0107]在适当地决定的情况下，能够基于例如深度图的编码时的分割信息来决定等。例如，在编码对象图像按照进一步分割编码对象块后的16X16块的每一个具有第一参照信息而在编码时按照8X8块的每一个预测与第一参照区域对应的深度图的情况下，关于编码对象图像，按照8X8块的每一个决定第二参照区域等。此外，也可以参照深度图本身来决定分割尺寸。
[0108]此外，例如，在针对子块来决定一个视差矢量的情况下，选择子块内的深度值之中的一个来用于第二参照信息的决定也可，使用多个来决定也可。例如，也可以预先确定为必须使用子块内的左上的深度值，也可以确定为使用多个深度值的平均值或中间值等。此外，在决定一个深度值之后变换为视差矢量也可，根据多个深度值变换多个视差矢量而在此后决定一个视差矢量也可。
[0109]此外，在对第一参照区域的预测信息施加校正之后决定第二参照信息也可。关于校正的方法，为怎样的方法都可以。
[0110]例如，能够根据编码对象块的候补名单(周边块的预测信息)中的矢量或NBDV和第一参照区域的周边的深度图来决定将第一参照区域的深度图与编码对象图像配合的校正系数等。关于校正系数，为怎样的系数都可以。也可以为缩放(scaling)或偏移用的参数，也可以为从预先确定的参数之中指定所使用的参数的标识符。
[0111]作为其他的方法，也可以使用摄像机参数等视频以外的信息来进行校正。
[0112]例如，也可以以将第一参照区域的帧中的摄像机参数中的视频的深度范围和编码对象图像的帧的深度范围加在一起的方式来决定校正系数等也可。此外，对校正用的信息进行编码并与视频复用也可。也可以对校正系数本身进行编码，也可以对在预先确定的校正系数的组之中的指定所使用的系数的标识符进行编码。此外，在解码侧得到同样的信息的情况下也可以不进行编码。
[0113]在第二参照信息生成完成之后，预测图像生成部108基于第二参照信息来生成预测图像(步骤S105)。
[0114]关于预测图像，也可以仅使用第二参照信息根据视差补偿或视差合成预测来生成。此外，进而，使用第一参照信息通过运动补偿或视差补偿来生成另一个预测图像，将2个预测图像混合，由此，生成最终的预测图像也可。此外，在双向预测中，进行加权混合而任意地决定其权重也可。此外，在第二参照信息为深度图的情况下进行视点合成预测也可。
[0115]此外，假设按照编码对象块或更小的子块等任意的单位的每一个进行任一个预测或双向预测，对示出按照每个单位进行哪一个预测的信息进行编码或在进行加权的混合的情况下对其权重进行编码并与视频一起复用也可。在解码侧能够决定预测方法或权重的情况下，也可以不进行编码。
[0116]接着，减法运算部109取得预测图像与编码对象块的差分来生成预测残差(步骤S106)。
[0117]接着，在预测残差的生成结束之后，变换、量化部110对预测残差进行变换、量化来生成量化数据(步骤S107)。该变换、量化只要是能够在解码侧正确地进行逆量化、逆变换的变换、量化，则使用怎样的方法都可以。
[0118]然后，在变换、量化结束之后，逆量化、逆变换部111对量化数据进行逆量化、逆变换来生成解码预测残差(步骤S108)。
[0119]接着，在解码预测残差的生成结束之后，加法运算部112将解码预测残差和预测图像相加来生成解码图像并将其存储到参照图片存储器103中(步骤S109)。
[0120]此时，只要需要，则也可以对解码图像施加环路滤波(loop filter)。在通常的视频编码中，使用去块滤波(deblocking filter)或其他的滤波来除去编码噪声。
[0121 ]接着，熵编码部113对量化数据进行熵编码来生成码数据，只要需要，则也对预测信息或残差预测信息等附加信息进行编码并与码数据复用(步骤S110)，在针对全部的块结束处理之后(步骤S111)，输出码数据(步骤S112)。
[0122]接着，对视频解码装置进行说明。图4是示出本发明的第一实施方式的视频解码装置的结构的框图。
[0123]视频解码装置200如图4所示那样具备:码数据输入部201、码数据存储器202、参照图片存储器203、深度图输入部204、深度图存储器205、熵解码部206、逆量化、逆变换部207、第二参照信息决定部208、预测图像生成部209、加法运算部210。
[0124]码数据输入部201将成为解码对象的视频码数据输入到视频解码装置200中。将该成为解码对象的视频码数据称为解码对象视频码数据，将特别地进行处理的帧称为解码