像编码装置的变形例。图10是示出求取视点合成可能区域数目来进行编码的情况下的图像编码装置的结构的框图。图10所示的图像编码装置10d与图1所示的图像编码装置10a不同之处在于，具备视点合成可能区域决定部113和视点合成可能区域数目编码部114来代替视点合成可否判定部107。再有，在图10中，对与图1所示的图像编码装置10a相同的结构标注相同的附图标记并省略其说明。
[0111]视点合成可能区域决定不113按照分割了编码对象图像的区域的每个来判定是否能够利用针对其区域的视点合成图像。视点合成可能区域数目编码部114对在视点合成可能区域决定部113中决定为能够利用视点合成图像的区域的数目进行编码。
[0112]接着，参考图11来说明图10所示的图像编码装置10d的处理工作。图11是示出图10所示的图像编码装置10d对视点合成可能区域数目进行编码的情况下的处理工作的流程图。图11所示的处理工作与图2所示的处理工作不同，在生成视点合成图像之后，决定设为能够利用视点合成图像的区域(步骤S114)，并对作为该区域的数目的视点合成可能区域数目进行编码(步骤S115)。编码结果的位流成为图像编码装置10d的输出的一部分。此外，按照每个区域进行的是否能够利用视点合成图像的判断(步骤S116)以与在前述的步骤S114中的决定相同的方法进行。再有，在步骤S114中，生成示出在各区域中是否能够利用视点合成图像的图，在步骤S116中，也可以使得通过参考该图来判定视点合成图像的利用可否。
[0113]再有，对于能够利用视点合成图像的区域的决定，使用怎样的方法都可以。但是需要能够在解码侧使用同样的基准来特别指定区域。例如，针对遮挡区域所包含的像素数目、视点合成图像的品质等，也可以以预先确定的阈值为基准来决定是否能够利用视点合成图像。在那时，也可以根据目标比特率、品质来决定阈值，控制设为能够利用视点合成图像的区域。再有，虽然不需要对所使用的阈值进行编码，但是也可以对阈值进行编码来传输被编码的阈值。
[0114]在此，设为图像编码装置输出2种位流的情况，但是，也可以对图像编码部108的输出和视点合成可能区域编码部114的输出进行复用而将作为其结果得到的位流作为图像编码装置的输出。此外，在图11所示的处理工作中，在进行各区域的编码前对视点合成可能区域数目进行了编码，但是，也可以使得如图12所示那样在按照图2所示的处理工作进行编码之后，对作为结果判断为能够利用视点合成图像的区域数目进行编码(步骤S117)。图12是示出图11所示的处理工作的变形例的流程图。
[0115]进一步地，在此，在判断为能够利用视点合成图像的区域中省略编码处理的情况下进行了说明，但是，明显也可以在参考图3~图8说明了的方法中组合对视点合成可能区域数目进行编码的方法。
[0116]像这样将视点合成可能区域数目包含在位流中，由此，成为在由于某些错误而在编码侧和解码侧得到不同的参考图像、参考深度图的情况下，也能够防止由于该错误所致的位流的读取错误的发生。再有，当在比在编码时设想的区域数目更多的区域中判断为能够利用视点合成图像时，不读入在该帧中本来应该读入的位，在下一个帧等的解码中，将错误的位判断为是排头位，成为不能进行正常的位读入。另一方面，当在比在编码时设想的区域数目更少的区域中判断为能够利用视点合成图像时，使用针对下一个帧等的位进行解码处理，变为不能够从该帧进行正常的位读入。
[0117]接着，对本实施方式中的图像解码装置进行说明。图13是示出本实施方式中的图像解码装置的结构的框图。如图13所示，图像解码装置200a具备:位流输入部201、位流存储器202、参考图像输入部203、参考深度图输入部204、视点合成图像生成部205、视点合成图像存储器206、视点合成可否判定部207以及图像解码部208。
[0118]位流输入部201输入成为解码对象的图像的位流。在以下，将该成为解码对象的图像称为解码对象图像。在此，解码对象图像指摄像机B的图像。此外，在以下，将拍摄解码对象图像的摄像机(在此为摄像机B)称为解码对象摄像机。位流存储器202存储针对所输入的解码对象图像的位流。参考图像输入部203输入在生成视点合成图像(视差补偿图像)时参考的图像。在以下，将在此所输入的图像称为参考图像。在此，设为输入摄像机A的图像的情况。
[0119]参考深度图输入部204输入在生成视点合成图像时参考的深度图。在此，设为输入针对参考图像的深度图的情况，但是，也可以是针对另外的摄像机的深度图。在以下，将该深度图称为参考深度图。再有，深度图是指表示在所对应的图像的各像素显现的被摄物的三维位置的图。关于深度图，只要是可利用另外提供的摄像机参数等信息得到三维位置的信息，则是怎样的信息都可以。例如，能够使用从摄像机到被摄物的距离、相对于与图像平面不平行的轴的坐标值、针对另外的摄像机(例如摄像机B)的视差量。此外，在此只要得到视差量即可，因此，也可以不使用深度图而使用直接表现视差量的视差图。再有，在此设为深度图以图像的方式被给出的情况，但是，只要可得到同样的信息，则也可以不是图像的方式。在以下，将与参考深度图对应的摄像机(在此为摄像机A)称为参考深度摄像机。
[0120]视点合成图像生成部205使用参考深度图来求取解码对象图像的像素与参考图像的像素的对应关系，生成针对解码对象图像的视点合成图像。视点合成图像存储器206存储被生成的针对解码对象图像的视点合成图像。视点合成可否判定部207按照分割了解码对象图像后的区域的每个来判定是否能够利用针对该区域的视点合成图像。图像解码部208按照分割了解码对象图像后的区域的每个基于视点合成可否判定部207的判定根据位流对解码对象图像进行解码或者根据视点合成图像生成解码对象图像并输出。
[0121]接着，参考图14来说明图13所示的图像解码装置200a的工作。图14是示出图13所示的图像解码装置200a的工作的流程图。首先，位流输入部201输入对解码对象图像进行编码后的位流，将所输入的位流存储到位流存储器202 (步骤S201)。接着，参考图像输入部203输入参考图像，将所输入的参考图像向视点合成图像生成部205输出，参考深度图输入部204输入参考深度图，将所输入的参考深度图向视点合成图像生成部205输出(步骤 S202)。
[0122]再有，设为在步骤S202中输入的参考图像、参考深度图与在编码侧所使用的相同的情况。这是因为，通过使用与由图像编码装置得到的信息完全相同的信息，从而抑制漂移等编码噪声的发生。但是，在容许这样的编码噪声的发生的情况下，也可以输入与在编码时使用的信息不同的信息。关于参考深度图，除了另外解码的深度图以外，有时使用通过对针对多个摄像机进行解码的多视点图像应用立体匹配等而估计出的深度图、使用解码的视差矢量、运动矢量等而估计出的深度图等。
[0123]接着，视点合成图像生成部205生成针对解码对象图像的视点合成图像Synth，并将所生成的视点合成图像Synth存储到视点合成图像存储器206 (步骤S203)。在此的处理与前述的步骤S103相同。再有，为了抑制漂移等编码噪声的发生，需要使用与在编码时使用的方法相同的方法，但是，在容许这样的编码噪声的产发生的情况下，也可以使用与在编码时使用的方法不同的方法。
[0124]接着，在得到视点合成图像之后，按照分割了解码对象图像后的区域的每个一边判定视点合成图像的利用可否一边解码或生成解码对象图像。即，在用零对示出分割了解码对象图像后的进行解码处理的单位的区域的索引的变量blk进行初始化之后(步骤204)，一边对blk进行逐次加I的加法运算(步骤S208)，一边重复以下的处理(步骤S205~步骤S207)直到blk变为解码对象图像内的区域数目numBlks为止(步骤S209)。
[0125]在按照分割了解码对象图像后的区域的每个来进行的处理中，首先，视点合成可否判定部207针对区域blk判定是否能够利用视点合成图像(步骤S205)。在此的处理与前述的步骤S105相同。
[0126]在判断为能够利用视点合成图像的情况下，将区域blk的视点合成图像设为解码对象图像(步骤S206)。另一方面，在判断为不能够利用视点合成图像的情况下，图像解码部208用指定的方法一边生成预测图像一边根据位流对解码对象图像进行解码(步骤S207)。再有，所得到的解码对象图像成为图像解码装置200a的输出。在将本发明用于活动图像解码、多视点图像解码等的情况等将解码对象图像使用于解码其它帧时的情况下，将解码对象图像存储到另外确定的解码图像存储器。
[0127]在根据位流对解码对象图像进行解码的情况下，使用与在编码时使用的方式对应的方法。例如，在使用非专利文献I所记载的H.264/AVC为标准的方式进行编码的情况下，根据位流解码示出预测方法的信息、预测残差，按照解码后的预测方法对所生成的预测图像施加预测残差，由此对解码对象图像进行解码。再有，在通过在编码时在识别预测模式的表中删除针对视点合成图像的条目或使用不存在针对视点合成图像的条目的表来从预测图像的候补排除视点合成图像的情况下，需要通过同样的处理在识别预测模式的表中删除针对视点合成图像的条目或按照原来不存在针对视点合成图像的条目的表进行解码处理。
[0128]在此，向图像解码装置200a输入针对图像信号的位流。即，设为根据需要在图像解码装置200a的外侧解释示出图像尺寸等信息的参数集合、标题，将解码所需要的信息向图像解码装置200a通知。
[0129]在步骤S205中，为了判定是否能够利用视点合成图像，也可以生成并使用遮挡图。在图15示出该情况下的图像解码装置的结构例。图15是示出为了判定是否能够利用视点合成图像而生成并使用遮挡图的情况下的图像解码装置的结构的框图。图15所示的图像解码装置200b与图13所示的图像解码装置200a不同之处在于，具备视点合成部209和遮挡图存储器210来代替视点合成图像生成部205这一点。再有，在图15中，对与图13所示的图像解码装置200a相同的结构标注相同的附图标记并省略其说明。
[0130]视点合成部209使用参考深度图来求取解码对象图像的像素与参考图像的像素的对应关系，生成针对解码对象图像的视点合成图像和遮挡图。在此，遮挡图是表示是否针对解码对象图像的各像素取得在参考图像上在其像素显现的被摄物的对应的图。在遮挡图的生成中，只要为与编码侧相同的处理，则使用怎样的方法都可以。遮挡图存储器210存储所生成的遮挡图。
[0131]此外，在视点合成图像的生成方法之中，存在通过对遮挡区域进行时间空间预测来生成某些像素值的方法。该处理被称为图像修复。在该情况下，利用图像修复生成像素值的像素也可以作为遮挡区域，也可以不作为遮挡区域。再有，在将利用图像修复生成像素值的像素处理为遮挡区域的情况下，不能将视点合成图像使用于遮挡判定，因此，需要生成遮挡图。
[0132]在使用遮挡图来判定是否能够利用视点合成图像的情况下，也可以使得不针对解码对象图像整体生成视点合成图像而按照每个区域来生成视点合成图像。通过像这样做，从而能够削减用于存储视点合成图像的存储器量、运算量。但是，需要能够按照每个区域制作视点合成图像，以便得到那样的效果。
[0133]接着，参考图16来说明图15所示的图像解码装置的处理工作。图16是示出图15所示的图像解码装置200b按照每个区域生成视点合成图像的情况下的处理工作的流程图。如图16所示那样，以帧为单位生成遮挡图(步骤S213)，使用遮挡图判定是否能够利用视点合成图像(步骤S205’)。之后，针对判断为能够利用视点合成图像的区域，生成视点合成图像来作为解码对象图像(步骤S214)。
[0134]作为能够按照每个区域制作视点合成图像的状况，存在可得到针对解码对象图像的深度图的状况。例如，也可以提供针对解码对象图像的深度图来作为参考深度图，也可以设为根据参考深度图生成针对解码对象图像的深度图而使用于视点合成图像的生成。再有，在根据参考深度图生成针对视点合成图像的深度图时，也可以在以不能取得的深度值初始化合成深度图之后，通过利用每个像素的投影处理来生成合成深度图，从而利用合成深度图来作为遮挡图。
[0135]在到前述为止的说明中，针对能够利用视点合成图像的区域，将视点合成图像按原样作为解码对象图像，但是，在位流中对解码对象图像与视点合成图像的差分信号进行编码的情况下，也可以使得一边对其进行使用一边对解码对象图像进行解码。再有，在此，差分信号是指对视点合成图像相对于解码对象图像的误差进行校正的信息，也可以表现为单纯的差分，也可以表现为解码对象图像的剩余。但是必须知晓在编码时使用的表现方法。例如，也可以设为总是使用特定的表现的情况，也可以设为按照每