。在该图中，对与图1所示的装置相同的部分标注相同的附图标记并省略其说明。
[0177]该图所示的装置与图1所示的装置不同的方面为新具备二次预测图像生成部115的方面。二次预测图像生成部115基于与第一参照区域对应的深度图，参照与第一参照区域对应的另外的参照图片上的参照目的地即第三参照区域，生成作为第一参照区域的预测图像的二次预测图像。
[0178]接着，参照图13来对图12所示的视频编码装置10b的处理工作进行说明。图13是示出图12所示的视频编码装置10b的处理工作的流程图。在图13中，对与图2所示的处理相同的部分标注相同的附图标记并省略其说明。
[0179]首先，从步骤SlOl到S104，进行与图2所示的处理工作同样的处理。
[0180]然后，二次预测图像生成部115基于与第一参照区域对应的深度图，参照与第一参照区域对应的另外的参照图片上的参照目的地即第三参照区域，通过运动补偿或视差补偿或视点合成预测来生成上述的二次预测图像(步骤S105b)。
[0181]第三参照区域的决定怎样实施都可以。例如，也可以使用在步骤S104中生成的第二参照信息来决定，也可以另外参照与第一参照区域对应的深度图。此外，与第一实施方式中的决定第二参照区域的情况同样地，按照怎样的单位的每一个来进行决定都可以。该单位也可以为与决定第二参照信息时相同的单位，也可以为不同的单位。
[0182]在生成二次预测图像之后，预测图像生成部108基于第一参照信息来生成第一一次预测图像，基于第二参照信息来生成第二一次预测图像，根据第一一次预测图像、第二一次预测图像和二次预测图像来生成预测图像(步骤S105c)。
[0183]预测图像的生成怎样进行都可以。在以下，对第一参照区域处于与编码对象视点相同的视点的不同的帧的图片上的例子进行说明。
[0184]图14为如下情况下的例子:编码对象图像为视点B的帧η的图片的一部分，由第一参照信息示出的第一参照区域处于视点B的帧m(在η)的参照图片上，将第二参照区域设定在视频A(在B)的帧η的参照图片上。
[0185]在该情况下，第三参照区域处于视频A(在B)的帧m的参照图片上。
[0186]在该例子中，在对第一一次预测图像实施残差预测来生成预测图像的情况下，将第二一次预测图像与二次预测图像的差分(图14中的第一差分图像)作为其运动补偿中的残差的预测值并与第一一次预测图像相加，由此，能够生成预测图像。
[0187]在此，在将第一一次预测图像设为I1、将第二一次预测图像设为12、将二次预测图像设为I3时，预测图像I由(I)式来表示。
[0188]I=Id(I2-13)."(I)0
[0189]在预测图像生成中，也可以基于上述(I)式来一次生成预测图像，也可以通过在另外生成差分图像之后进一步与第一一次预测图像相加来生成预测图像。此外，使用怎样的顺序进行残差预测来生成预测图像都可以。
[0190]此外，在对第二一次预测图像实施残差预测的情况下，也能够使用相同的式子来生成预测图像(当对第二一次预测图像加上图14中的第二差分图像时与(I)式等效)。
[0191]再有，在上述的例子中，对第一参照区域处于与编码对象视点相同的视点的不同的帧的图片上的情况进行了说明，但是，在第一参照区域处于与编码对象视点不同的视点的相同的帧的图片上的情况下，也能够使用同样的方法。
[0192]以下，到步骤S106?S112为止的处理与图2所示的处理工作同样地执行。
[0193]接着，对视频解码装置进行说明。图15是示出本发明的第三实施方式的视频解码装置200b的结构的框图。在该图中，对与图4所示的装置相同的部分标注相同的附图标记并省略其说明。
[0194]该图所示的装置与图4所示的装置不同的方面为新具备二次预测图像生成部212的方面。二次预测图像生成部212基于与第一参照区域对应的深度图，参照与第一参照区域对应的另外的参照图片上的参照目的地即第三参照区域，生成作为与第一参照区域对应的预测图像的二次预测图像。
[0195]接着，参照图16来对图15所示的视频解码装置200b的处理工作进行说明。图16是示出图15所示的视频解码装置200b的处理工作的流程图。在图16中，对与图5所示的处理相同的部分标注相同的附图标记并省略其说明。
[0196]首先，从步骤S201到S205，进行与图5所示的处理工作同样的处理。
[0197]然后，二次预测图像生成部212基于与第一参照区域对应的深度图，参照与第一参照区域对应的另外的参照图片上的参照目的地即第三参照区域，生成作为与第一参照区域对应的预测图像的二次预测图像(步骤S206b)。详细的说明与视频编码装置同样，因此，在此，进行省略。
[0198]在生成二次预测图像之后，预测图像生成部209基于第一参照信息来生成第一一次预测图像，基于第二参照信息来生成第二一次预测图像，根据第一一次预测图像、第二一次预测图像和二次预测图像来生成预测图像(步骤S206c)。详细的工作与视频编码装置的说明同样，因此，在此，进行省略。
[0199]以下，到步骤S207?S209为止的处理与图5所示的处理工作同样地执行。
[0200]再有，在前述的第二实施方式中，按照每个块或子块切换预测方法来生成预测图像，但是，假设不进行切换而进行使用了第一参照区域和第二参照区域双方的双向预测，决定进行双向预测时的权重也可。
[0201]该权重也可以通过使用前述那样的第一参照区域的预测残差或者第二参照区域的预测残差或者第三参照区域或差分图像来估计预测精度的方法来决定。此外，作为另外的方法，参照编码对象块的周边块以及第一参照区域和第二参照区域的周边块来决定最适合的权重等也可。
[0202]此外，在前述的第三实施方式中，基于与第一参照区域对应的深度图，参照与第一参照区域对应的另外的参照图片上的参照目的地即第三参照区域来生成二次预测图像而用于残差预测，但是，作为另外的方法，蓄积第一参照区域的编码时的预测残差而使用该蓄积的预测残差来进行残差预测也可。
[0203]将所蓄积的预测残差设为R，在该情况下，(I)式如下述的(2)式那样变形，能够仅根据第一参照区域的预测残差和第二参照区域来生成预测图像。或者，也能够通过从第一参照区域的图像减去所蓄积的预测残差，从而生成二次预测图像，使用其以与第三实施方式相同的方法生成预测图像。
[0204]I=Ii+R ---(2)0
[0205]此外，在前述的第一?第三实施方式中，说明了将所决定的第二参照信息用于编码对象块的预测的情况下的处理，但是，在编码对象块的处理中不使用所决定的第二参照信息而在合并方式中对所使用的候补名单(candidate list)进行追加也可。或者，在用于预测之后进一步对候补名单进行追加也可。或者，在第二参照信息为视差矢量的情况下，也可以进行存储，以便在以后的块中作为NBDV使用。此外，也可以用作矢量预测的预测值，也可以对为此的候补名单进行追加。
[0206]此外，在前述的第一?第三实施方式中，说明了基于与第一参照区域对应的深度图来决定第二参照信息的情况下的处理，但是，进而根据第一参照区域的编码时的候补名单或NBDV等周边块的信息来决定第二参照信息也可。也可以从候补之中选择一个，也可以使用多个候补来决定。
[0207]此外，进而，也可以使用编码对象块的候补名单或NBDV等周边块的信息。例如，通常在决定编码对象块的NBDV时，从周边块的编码时的视差矢量的名单中基于预先确定的规则来决定NBDV，但是，假设在此时与第一参照区域的周边块的编码时的视差矢量的名单对照来选择适用的视差矢量也可。
[0208]再有，在前述的第一?第三实施方式中，对编码对象块与单向预测同样地具有I个第一参照信息的情况下的处理进行了说明，但是，如通常的双向预测那样提供2个以上的第一参照信息也可。在该情况下，针对双向决定第二参照信息来实施前述的处理也可，仅对于一个方向来实施也可。
[0209]此外，在前述的第一?第三实施方式中，对将在第二参照信息的决定中使用的第一参照区域用于预测的方法进行了说明，但是，也可以将与在第二参照区域的决定中使用的第一参照区域不同的区域用于预测。
[0210]例如，对两个预测信息进行编码，将一个用于预测，将另一个用于第二参照区域的决定等也可。或者，编码后的预测信息仅用于通常的预测，使用候补名单或NBDV等来另外决定用于决定第二参照信息的第一参照信息等也可。
[0211]此外，使用第二参照信息来校正或新生成第一参照信息等也可。例如，在第一参照信息为运动矢量而根据运动矢量所示的参照目的地的深度图来得到第二参照信息的情况下，取得第二参照信息所示的参照目的地的编码时的运动矢量来作为新的第一参照信息而用于预测等也可。
[0212]此外，将在前述的第一?第三实施方式中说明了的方法彼此组合也可，组合其他的怎样的方法都可以。
[0213]例如，利用在第一实施方式中说明了的方法使用编码后的运动矢量根据深度图来取得视差矢量，通过视差补偿预测来生成一次预测图像，进而使用上述的编码后的运动矢量来进行残差预测等也可。
[0214]此外，代替原来的编码后的运动矢量而使用视差矢量所示的参照目的地的编码时的运动矢量来进行残差预测等也可。
[0215]此外，使用编码后的运动矢量和参照目的地的编码时的运动矢量来进行所取得的视差矢量的校正等也可。
[0216]此外，关于前述的第一?第三实施方式中的一部分处理，其顺序也可以进行前后颠倒。
[0217]如以上说明的那样，使用编码后的运动/视差矢量或者通过直接方式/合并方式或视点间运动预测或其他的方法得到的运动/视差矢量，参照已经编码完毕的图片上的区域，此外，进而，取得与该参照区域对应的已经编码完毕的深度图，进行视差矢量的生成等。由此，在不对追加的矢量进行编码此外不能参照与编码对象图像对应的深度图的情况下，也高精度地实施精度高的帧间预测或视点合成预测或者利用与原来的运动/视差矢量组合的双向预测或残差预测等，提高预测图像的精度，由此，能够削减预测残差编码所需要的码量。
[0218]也可以使用计算机来实现前述的实施方式中的视频编码装置、视频解码装置。在该情况下，将用于实现该功能的程序记录在计算机可读取的记录介质中，使计算机系统读入记录在该记录介质中的程序并执行，由此，也可以实现。
[0219]再有，在此所说的“计算机系统”包含OS、周围设备等硬件。
[0220]此外，“计算机可读取的记录介质”是指软盘、光磁盘、R0M、CD-R0M等可移动介质、内置在计算机系统中的硬盘等存储装置。
[0221]进而，“计算机可读取的记录介质”还可以包含像在经由因特网等网络或电话线路等通信线路来发送程序的情况下的通信线那样在短时间的期间动态地保持程序的记录介质、像在该情况下的成为服务器或客户端的计算机系统内部的易失性存储器那样将程序保持固定时间的记录介质。
[0222]