生成针对所述预测方法的编码信息。
[0034]优选的是，所述利用可否判定部基于所述解码对象区域中的所述视点合成图像的品质判定所述视点合成图像的利用可否。
[0035]优选的是，所述图像解码装置还具备遮挡图生成部，所述遮挡图生成部使用所述参考深度图来在所述解码对象图像上的像素中生成表示所述参考图像的遮盖像素的遮挡图，所述利用可否判定部使用所述遮挡图，基于在所述解码对象区域内存在的所述遮盖像素的数目来判定所述视点合成图像的利用可否。
[0036]本发明的一个方式是，一种图像编码方法，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行编码，其中，所述图像编码方法具有:视点合成图像生成步骤，使用所述参考图像和所述参考深度图，生成针对所述编码对象图像的视点合成图像；利用可否判定步骤，按照分割了所述编码对象图像后的编码对象区域的每个来判定是否能够利用所述视点合成图像；以及图像编码步骤，按照每个所述编码对象区域，在所述利用可否判定步骤中判定为不能够利用所述视点合成图像的情况下，一边选择预测图像生成方法一边对所述编码对象图像进行预测编码。
[0037]本发明的一个方式是，一种图像解码方法，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像不同的视点的解码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行解码，其中，所述图像解码方法具有:视点合成图像生成步骤，使用所述参考图像和所述参考深度图，生成针对所述解码对象图像的视点合成图像；利用可否判定步骤，按照分割了所述解码对象图像的解码对象区域的每个来判定是否能够利用所述视点合成图像；以及图像解码步骤，按照每个所述解码对象区域，在所述利用可否判定步骤中判定为不能够利用所述视点合成图像的情况下，一边生成预测图像一边根据所述码数据对所述解码对象图像进行解码。
[0038]本发明的一个方式是，一种图像编码程序，用于使计算机执行所述图像编码方法。
[0039]本发明的一个方式是，一种图像解码程序，用于使计算机执行所述图像解码方法。
[0040]发明效果
根据本发明，可得到如下这样的效果:在将视点合成图像用作预测图像中的一个时，基于被遮挡区域的有无所代表的视点合成图像的品质，按照每个区域来适合地切换仅将视点合成图像作为预测图像的编码和将视点合成图像以外作为预测图像的编码，由此，能够一边防止遮挡区域中的编码效率的降低一边作为整体用少的码量对多视点图像和多视点活动图像进行编码。
【附图说明】
[0041]图1是示出本发明的一个实施方式中的图像编码装置的结构的框图。
[0042]图2是示出图1所示的图像编码装置10a的工作的流程图。
[0043]图3是示出生成和利用遮挡图(occlus1n map)的情况下的图像编码装置的结构例的框图。
[0044]图4是示出图像编码装置生成解码图像的情况下的处理工作的流程图。
[0045]图5是示出针对能够利用视点合成图像的区域进行编码对象图像与视点合成图像的差分信号的编码的情况下的处理工作的流程图。
[0046]图6是示出图5所示的处理工作的变形例的流程图。
[0047]图7是示出使得能够针对判定为能够利用视点合成图像的区域生成编码信息而在对另外的区域、另外的帧进行编码时参考编码信息的情况下的图像编码装置的结构的框图。
[0048]图8是示出图7所示的图像编码装置10c的处理工作的流程图。
[0049]图9是示出图8所示的处理工作的变形例的流程图。
[0050]图10是示出求取视点合成可能区域数目来进行编码的情况下的图像编码装置的结构的框图。
[0051]图11是示出图10所示的图像编码装置10d对视点合成可能区域数目进行编码的情况下的处理工作的流程图。
[0052]图12是示出图11所示的处理工作的变形例的流程图。
[0053]图13是示出本发明的一个实施方式中的图像解码装置的结构的框图。
[0054]图14是示出图13所示的图像解码装置200a的工作的流程图。
[0055]图15是示出为了判定是否能够利用视点合成图像而生成遮挡图来使用的情况下的图像解码装置的结构的框图。
[0056]图16是示出图15所示的图像解码装置200b按照每个区域生成视点合成图像的情况下的处理工作的流程图。
[0057]图17是示出针对能够利用视点合成图像的区域根据位流进行解码对象图像与视点合成图像的差分信号的解码的情况下的处理工作的流程图。
[0058]图18是示出使得能够针对判定为能够利用视点合成图像的区域生成编码信息而在对另外的区域、另外的帧进行解码时参考编码信息的情况下的图像解码装置的结构的框图。
[0059]图19是示出图18所示的图像解码装置200c的处理工作的流程图。
[0060]图20是示出根据位流对解码对象图像与视点合成图像的差分信号进行解码来进行解码对象图像的生成的情况下的处理工作的流程图。
[0061]图21是示出根据位流对视点合成可能区域数目进行解码的情况下的图像解码装置的结构的框图。
[0062]图22是示出对视点合成可能区域数目进行解码的情况下的处理工作的流程图。
[0063]图23是示出一边对设为不能够利用视点合成图像而进行解码的区域的数目进行计数一边进行解码的情况下的处理工作的流程图。
[0064]图24是示出一边对设为能够利用视点合成图像而进行解码的区域的数目进行计数还一边进行处理的情况下的处理工作的流程图。
[0065]图25是示出通过计算机和软件构成图像编码装置100a~100d的情况下的硬件结构的框图。
[0066]图26是示出通过计算机和软件构成图像解码装置200a~200d的情况下的硬件结构的框图。
[0067]图27是示出在摄像机间产生的视差的概念图。
[0068]图28是极几何约束的概念图。
【具体实施方式】
[0069]以下，参考附图来说明本发明的实施方式的图像编码装置和图像解码装置。
[0070]在以下的说明中，设为如下的情况进行说明:设想对由第一摄像机(称为摄像机A)、第二摄像机(称为摄像机B)这2个摄像机拍摄的多视点图像进行编码的情况，并将摄像机A的图像作为参考图像来对摄像机B的图像进行编码或解码。
[0071]再有，设为另外提供为了根据深度信息得到视差所需要的信息。具体地，该信息是表示摄像机A和摄像机B的位置关系的外部参数、表示利用摄像机的向图像平面的投影信息的内部参数，但是，即使是这些以外的方式，只要根据深度信息得到视差，则也可以提供另外的信息。与这些摄像机参数相关的详细的说明例如被记载在文献“Olivier Faugeras,“Three-Dimens1nal Computer Vis1n”， pp.33-66， MIT Press; BCTC/UFF-006.37F259 1993，ISBN:0-262-06158-9.”中。在该文献记载有与示出多个摄像机的位置关系的参数、表示利用摄像机的向图像平面的投影信息的参数相关的说明。
[0072]在以下的说明中，对图像、影像帧、深度图附加能够特别指定以记号[]夹持的位置的信息(坐标值或能够与坐标值对应的索引)，由此，设为示出通过该位置的像素采样的图像信号、针对其的深度的情况。此外，设为通过能够与坐标值、块对应的索引值和矢量的相加来表示将该坐标、块错开矢量的量的位置的坐标值、块的情况。
[0073]图1是示出本实施方式中的图像编码装置的结构的框图。图像编码装置10a如图1所示那样具备:编码对象图像输入部101、编码对象图像存储器102、参考图像输入部103、参考深度图输入部104、视点合成图像生成部105、视点合成图像存储器106、视点合成可否判定部107、以及图像编码部108。
[0074]编码对象图像输入部101输入成为编码对象的图像。在以下，将该成为编码对象的图像称为编码对象图像。在此，设为输入摄像机B的图像的情况。此外，将拍摄编码对象图像的摄像机(在此为摄像机B)称为编码对象摄像机。编码对象图像存储器102存储被输入的编码对象图像。参考图像输入部103输入在生成视点合成图像(视差补偿图像)时参考的图像。在以下，将在此输入的图像称为参考图像。在此，设为输入摄像机A的图像的情况。
[0075]参考深度图输入部104输入在生成视点合成图像时参考的深度图。在此，设为输入针对参考图像的深度图的情况，但是，也可以是针对另外的摄像机的深度图。在以下，将该深度图称为参考深度图。再有，深度图是指表示在所对应的图像的各像素中显现的被摄物的三维位置的图。关于深度图，只要是利用另外提供的摄像机参数等信息得到三维位置的信息，则是怎样的信息都可以。例如，能够使用从摄像机到被摄物的距离、相对于与图像平面不平行的轴的坐标值、针对另外的摄像机(例如摄像机B)的视差量。此外，在此只要得到视差量即可，因此，也可以不使用深度图而使用直接表现视差量的视差图。再有，设为在此深度图以图像的方式被给出的情况，但是，只要得到同样的信息，则也可以不是图像的方式。在以下，将与参考深度图对应的摄像机(在此为摄像机A)称为参考深度摄像机。
[0076]视点合成图像生成部105使用参考深度图来求取编码对象图像的像素与参考图像的像素的对应关系，生成针对编码对象图像的视点合成图像。视点合成图像存储器106存储被生成的针对编码对象图像的视点合成图像。视点合成可否判定部107按照分割了编码对象图像的区域的每个来判定是否能够利用针对该区域的视点合成图像。图像编码部108基于视点合成可否判定部107的判定，按照分割了编码对象图像的区域的每个来对编码对象图像进行预测编码。
[0077]接着，参考图2来说明图1所示的图像编码装置10a的工作。图2是示出图1所示的图像编码装置10a的工作的流程图。首先，编码对象图像输入部101输入编码对象图像Org，并将所输入的编码对象图像Org存储到编码对象图像存储器102中(步骤SlOl )。接着，参考图像输入部103输入参考图像，并将所输入的参考图像向视点合成图像生成部105输出，参考深度图输入部104输入参考深度图，并将所输入的参考深度图像向视点合成图像生成部105输出(步骤S102)。
[0078]再有，设为如下的情况:关于在步骤S102中输入的参考图像、参考深度图，对已经编码过的信息进行解码后的信息等与在解码侧得到的信息相同。这是因为，通过使用与由图像解码装置得到的信息完全相同的信息，从而抑制漂移(drift)等编码噪声的产生。但是，在容许这样的编码噪声发生的情况下，也可以输入编码前的信息等仅在编码侧得到的信息。关于参考深度图，能够设为如下的情况来进行使用:除了对已经编码过的信息进行解码后的信息以外，对于通过对针对多个摄像机进行解码的多视点图像应用立体匹配(stereo matching)等从而估计出的深度图、使用解码的视差矢量、运动矢量等而估计出的深度图等，也可在解码侧得到相同的信息。
[0079]接着，视点合成图像生成部105生成针对编码对象图像的视点合成图像Synth，并将所生成的视点合成图像Synth存储到视点合成图像存储器106中(步骤S103)。关于在此的处理，只要是使用参考图像和参考深度图来合成编码对象摄像机中的图像的方法，则使用怎样的方法都可。例如，也可以使用记载在非专利文献2或文献“Y.Mori, N.Fukushimaj T.Fujiij and M.Tanimotoj aView Generat1n with 3D Warping UsingDepth Informat1n for FTV”， In Proceedings of 3DTV-C0N2008， pp.229-232， May2008.”中的方法。
[0080]接着，若是得到视点合成图像，则按照分割了编码对象图像后的区域的每个，一边判定视点合成图像的利用可否一边对编码对象图像进行预测编码。即，在用零对示出分割了编码对象图像后的进行编码处理的单位的区域的索引的变量blk进行初始化之后(步骤104)，一边对blk进行逐次加I的加法运算(步骤S107)，一边重复以下的处理(步骤S105和步骤S106)直到blk变为编码对象图像内的区域数目numBlks为止(步骤S108)。
[0081]在按照分割了编码对象图像后的区域的每个