对象帧或解码对象图片。
[0125]码数据存储器202对所输入的解码对象视频的码数据进行存储。参照图片存储器203存储已经解码完毕的图像。
[0126]深度图输入部204将与参照图片对应的深度图输入到视频解码装置200中。深度图存储器205存储在此之前输入的深度图。
[0127]熵解码部206对解码对象图片的码数据进行熵解码来生成量化数据，逆量化、逆变换部207对量化数据实施逆量化/逆变换来生成解码预测残差。
[0128]第二参照信息决定部208根据基于从熵解码部206接收等的预测信息设定的第一参照区域所对应的深度图来决定第二参照信息。
[0129]预测图像生成部209基于第二参照信息来生成预测图像。
[0130]加法运算部210将解码预测残差和预测图像相加来生成解码图像。
[0?31 ] 接着，参照图5来说明图4所示的视频解码装置200的处理工作。图5是示出图4所示的视频解码装置200的处理工作的流程图。
[0132]在此，假设采用解码对象视频为多视点视频之中的一个视频而关于多视点视频按照每个帧一个视点一个视点地对全部视点的视频进行解码的构造。然后，在此，说明对码数据中的某I帧进行解码的处理。按照每个帧重复进行所说明的处理，由此，能够实现视频的解码。
[0133]首先，码数据输入部201接收码数据并将其存储到码数据存储器202中，深度图输入部204接收深度图并将其存储到深度图存储器205中(步骤S201)。
[0134]再有，假设解码对象视频中的若干个帧已经被解码，其解码结果被存储到参照图片存储器203中。此外，假设在与解码对象图片相同的帧之前的能够参照的另外的视点的视频也已经被解码，并且，被存储到参照图片存储器203中。
[0135]深度图为通常与多视点视频一起被编码并复用的深度图之中的与存储到参照图片存储器103中的参照图片的每一个对应的深度图，在解码对象图像之前已经被解码。
[0136]但是，只要能够通过编码装置和解码装置参照同一深度图，则也可以为不与视频一起被编码的深度图，也可以为非压缩的深度图。
[0137]在此输入的深度图只要为能够使用任一个方法来决定各像素的视差的深度图，则为怎样的种类的深度图都可以。在通常的深度图中，存在记述了图片的各像素的进深值的深度图，但是，除此之外，也可以为记述了进深的倒数值的深度图，也可以为记述了视差的深度图。
[0138]此外，输入的顺序不在此限，以怎样的顺序输入都可。例如，关于深度图，在开始编码对象图像的解码之前在执行深度图的解码的时间点输入并存储到深度图存储器205中也可。此外，也可以将另外的深度图解码装置中的深度图存储器用作本装置的深度图存储器205。
[0139]接着，在视频输入之后，将解码对象图片分割为解码对象块，按照每个块对解码对象图片的视频信号进行解码(步骤S202?S208)。
[0140]在以下，将成为解码对象的块的图像称为解码对象块或解码对象图像。针对帧全部的块重复执行步骤S203?S207的处理。
[0141]在按照每个解码对象块重复的处理中，首先，熵解码部206对码数据进行熵解码(步骤 S203)。
[0142]逆量化、逆变换部207进行逆量化、逆变换来生成解码预测残差(步骤S204)。在预测信息或其他的附加信息被包含在码数据中的情况下，也对它们进行解码来适当生成需要的信息也可。
[0143]第二参照信息决定部208参照基于预测信息的第一参照信息所所示的参照图片上的区域即第一参照区域，基于与第一参照区域对应的深度图来决定第二参照信息(步骤S205)o
[0144]预测信息、第一参照信息和第二参照信息的细节以及其决定方法与视频编码装置同样。在第二参照信息生成完成之后，预测图像生成部209基于第二参照信息来生成预测图像(步骤S206)。
[0145]接着，在预测图像的生成结束之后，加法运算部210将解码预测残差和预测图像相加来生成解码图像并将其存储到参照图片存储器中(步骤S207)。
[0146]只要需要，则也可以对解码图像施加环路滤波。在通常的视频解码中，使用去块滤波或其他的滤波来除去编码噪声。
[0147]然后，在针对全部的块结束处理之后(步骤S208)，输出为解码帧(步骤S209)。
[0148]〈第二实施方式〉
接着，对第二实施方式进行说明。图6是示出本发明的第二实施方式的视频编码装置10a的结构的框图。在该图中，对与图1所示的装置相同的部分标注相同的附图标记并省略其说明。
[0149]该图所示的装置与图1所示的装置不同的方面为新具备预测方法切换部114的方面。预测方法切换部114决定切换判定信息，所述切换判定信息示出在预测图像生成部108中使用利用第一参照信息和第二参照信息的任一个或者双方的帧间预测之中的哪一个预测方法来生成预测图像。
[0150]接着，参照图7来对图6所示的视频编码装置10a的处理工作进行说明。图7是示出图6所示的视频编码装置10a的处理工作的流程图。在图7中，对与图2所示的处理相同的部分标注相同的附图标记并省略其说明。
[0151]首先，从步骤SlOl到步骤S103，进行与图2所示的处理工作同样的处理。
[0152]然后，预测方法切换部114决定切换判定信息(步骤S103a)，所述切换判定信息示出在预测图像生成部108中使用利用第一参照信息和第二参照信息的任一个或者双方的帧间预测或视点合成预测等之中的哪一个预测方法来生成预测图像。
[0153]关于上述的切换判定，使用怎样的方法来进行都可以。此外，与第一实施方式的情况同样地，判定按照怎样的单位的每一个来进行都可以。
[0154]作为切换判定的方法，也能够例如使用第一参照区域的编码时的预测残差来决定预测方法。在这样的方法中，在某个块中第一参照区域的预测残差多的情况下，假设在该区域中第二参照信息的精度低，能够进行仅使用第一参照信息来进行预测那样的切换。
[0155]此外，作为另外的方法，也能够通过参照第二参照区域的编码时的预测信息来与第一参照信息进行比较来决定预测方法。例如，在第二参照区域的编码时的参照图片为与第一参照信息所示的参照图片相同的帧或视点的情况下，假设在示出它们的参照目的地的矢量彼此较大地不同的块中第二参照信息的精度低，能够进行仅使用第一参照信息来进行预测的那样的切换。
[0156]此外，作为另外的方法，也存在参照与第一参照区域对应的其他的参照图片上的参照目的地即第三参照区域来决定预测方法这样的方法。关于第三参照区域，怎样决定都可以。例如，也可以参照与第一参照区域对应的深度图来决定，也可以先执行步骤S104来先决定第二参照区域的信息而根据该信息来决定。
[0157]在以下，对第一参照区域处于与编码对象视点相同的视点的不同的帧的图片上的例子进行说明。
[0158]图8为如下情况下的例子:编码对象图像为视点B的帧η的图片的一部分，由第一参照信息示出的第一参照区域处于视点B的帧m(在η)的参照图片上，将第二参照区域设定在视点Α(在B)的帧η的参照图片上。
[0159]在该情况下，第三参照区域处于视点A(在B)的帧m的参照图片上。
[0160]在该情况下，能够应用如下这样的方法:取得例如第一参照区域的图像与第三参照区域的图像的差分来作为差分图像，基于其来估计利用第二参照信息的预测的精度，在精度低的情况下不使用第二参照信息而使用第一参照信息。
[0161]在该情况下，预测精度的估计怎样进行都可以。例如，能够应用如下方法:假设差分图像为在利用第二参照信息的预测中产生的残差，估计块内的残差的绝对量或平均量或者变换编码后的情况下的码量。此外，基于所估计的预测精度或码量等的判定怎样进行都可以。例如，能够应用使用预先确定的阈值来判定的方法等。
[0162]此外进而，如图9所示那样，取得第二参照区域的图像与第三参照区域的图像的差分来作为第二差分图像并且与第一差分图像(图8所示的差分图像)一起用于判定也可。在该情况下，能够假设使用所估计的预测精度高的一个来进行判定。
[0163]像这样，在也使用第二参照区域的信息来进行判定的情况下，也可以在步骤S103a之前执行步骤S104。
[0164]此外，进而，也可以参照与第三参照区域对应的深度图来决定。例如，在将与第一参照区域对应的深度图和与第二参照区域对应的深度图分别作为第一深度图和第三深度图时，求取从每一个朝向彼此的方向的视差矢量，测量其一致性，由此，也可以估计预测精度。
[0165]步骤S104的处理与图2所示的处理工作同样地执行。但是，关于通过切换判定而判定为仅使用第一参照信息的子块，也可以不进行步骤S104的第二参照信息决定。
[0166]接着，预测图像生成部108基于切换判定信息和第一参照信息或第二参照信息或其双方来生成预测图像(步骤S105a)。在此，在图7的流程图的流程中，采用“第一参照信息或第二参照信息”。
[0167]以下，到步骤S106?S112为止的处理与图2所示的处理工作同样地执行。
[0168]接着，对视频解码装置进行说明。图10是示出本发明的第二实施方式的视频解码装置200a的结构的框图。在该图中，对与图4所示的装置相同的部分标注相同的附图标记并省略其说明。
[0169]该图所示的装置与图4所示的装置不同的方面为新具备预测方法切换部211的方面。预测方法切换部211决定切换判定信息，所述切换判定信息示出在预测图像生成部209中使用利用第一参照信息和第二参照信息的任一个或者双方的帧间预测之中的哪一个预测方法来生成预测图像。
[0170]接着，参照图11来说明图10所示的视频解码装置的处理工作。图11是示出图10所示的视频解码装置200a的处理工作的流程图。在图11中，对与图5所示的处理相同的部分标注相同的附图标记并省略其说明。
[0171]首先，从步骤S201到S204，进行与图5所示的处理工作同样的处理。
[0172]然后，预测方法切换部211决定切换判定信息(步骤S204a)，所述切换判定信息示出在预测图像生成部209中使用利用第一参照信息和第二参照信息的任一个或者双方的帧间预测之中的哪一个预测方法来生成预测图像。切换方法或其他的详细的说明与视频编码装置同样。
[0173]步骤S205的处理与图5所示的处理工作同样地执行。但是，关于通过切换判定而判定为仅使用第一参照信息的子块，也可以不进行步骤S205的第二参照信息决定。
[0174]接着，预测图像生成部209基于切换判定信息和第一参照信息或第二参照信息或其双方来生成预测图像(步骤S206a)。
[0175]以下，到步骤S207?S209为止的处理与图5所示的处理工作同样地执行。
[0176]〈第三实施方式〉
接着，对第三实施方式进行说明。图12是示出本发明的第三实施方式的视频编码装置10b的结构的框图