来进行的处理中，首先，视点合成可否判定部107针对区域blk判定是否能够利用视点合成图像(步骤S105)，根据判定结果，对针对块blk的编码对象图像进行预测编码(步骤S106)。在以后说明在步骤S105中进行的判定是否能够利用视点合成图像的处理。
[0082]在判断为能够利用视点合成图像的情况下，结束区域blk的编码处理。另一方面，在判断为不能够利用视点合成图像的情况下，图像编码部108对区域blk的编码对象图像进行预测编码，生成位流(步骤S106)。如果能够在解码侧正确地进行解码，则在预测编码中使用怎样的方法都可以。再有，所生成的位流为图像编码装置10a的输出的一部分。
[0083]在MPEG-2、H.264、JPEG等通常的活动图像编码或图像编码中，按照每个区域从多个预测模式之中选择I个模式来生成预测图像，对编码对象图像与预测图像的差分信号实施DCT (离散余弦变换)等频率变换，对作为其结果而得到的值依次应用量化、二值化、熵编码的处理，由此进行编码。再有，在编码中，也可以将视点合成图像用作预测图像的候补中的一个，但是，从预测图像的候补中排除视点合成图像，由此，能够削减模式信息涉及的码量。对于从预测图像的候补中排除视点合成图像的方法，也可以使用在识别预测模式的表中删除针对视点合成图像的条目(entry)或使用不存在针对视点合成图像的条目的表这样的方法。
[0084]在此，图像编码装置10a输出针对图像信号的位流。S卩，设为根据需要对图像编码装置10a输出的位流另外追加示出图像尺寸等信息的参数集合、标题(header)的情况。
[0085]关于在步骤S105中进行的判定是否能够利用视点合成图像的处理，如果能够在解码侧利用相同的判定方法，则使用怎样的方法都可以。例如，按照针对区域blk的视点合成图像的品质来判断利用可否，也就是说，只要视点合成图像的品质为另外确定的阈值以上，则判断为可利用，在视点合成图像的品质为不足阈值的情况下，判断为不可利用也可。但是，由于不能在解码侧利用针对区域blk的编码对象图像，所以，需要使用视点合成图像、对邻接区域中的编码对象图像进行编码而解码后的结果来评价品质。作为仅使用视点合成图像来评价品质的方法，能够使用NR画质评价尺度(No-reference image qualitymetric，无参考图像质量尺度)。此外，也可以将在邻接区域中对编码对象图像编码而解码后的结果与视点合成图像的误差量作为评价值。
[0086]作为另外的方法，存在按照区域blk中的遮挡区域的有无进行判定的方法。也就是说，只要区域blk中的遮挡区域的像素数目为另外确定的阈值以上，则判断为不可利用，也可以在区域blk中的遮挡区域的像素数目不足阈值的情况下判断为能够利用。特别地，在将阈值设为I并且在遮挡区域中包含I个像素的情况下，也可以判断为不可利用。
[0087]再有，为了正确地得到遮挡区域，需要在生成视点合成图像的情况下一边适当地判定被摄物的前后关系一边进行视点合成。也就是说，关于编码对象图像的像素之中的在参考图像上被其它被摄物遮盖的像素，需要使得不生成合成图像。在使得不生成合成图像的情况下，在生成视点合成图像之前，以不能取得的值初始化视点合成图像的各像素的像素值，由此，能够使用视点合成图像来判定遮挡区域的有无。此外，也可以在生成视点合成图像时，同时生成示出遮挡区域的遮挡图，使用其进行判定。
[0088]接着，参考图3来说明图1所示的图像编码装置的变形例。图3是示出生成和利用遮挡图的情况下的图像编码装置的结构例的框图。图3所示的图像编码装置10b与图1所示的图像编码装置10a不同之处在于，具备视点合成部110和遮挡图存储器111来代替视点合成图像生成部105。再有，对与图1所示的图像编码装置10a相同的结构标注相同的附图标记并省略其说明。
[0089]视点合成部110使用参考深度图来求取编码对象图像的像素与参考图像的像素的对应关系，生成针对编码对象图像的视点合成图像和遮挡图。在此，遮挡图是表示是否针对编码对象图像的各像素取得在参考图像上在该像素显现的被摄物的对应的图。遮挡图存储器111存储所生成的遮挡图。
[0090]在遮挡图的生成中，只要能够在解码侧进行相同的处理，则使用怎样的方法都可以。例如，也可以对如前述那样以不能取得的值初始化各像素的像素值而生成的视点合成图像进行解析，由此求取遮挡图，也可以设为在全部像素中为遮挡而对遮挡图进行初始化，每当针对像素生成视点合成图像时，以示出不是遮挡区域这一情况的值覆盖针对该像素的值，由此生成遮挡图。此外，还存在如下方法:通过参考深度图的解析来估计遮挡区域，由此生成遮挡图。例如，存在提取参考深度图中的边缘(edge)，根据其强度和方向来估计遮挡范围的方法。
[0091]在视点合成图像的生成方法之中，存在通过对遮挡区域进行时间空间预测来生成某些像素值的方法。该处理被称为图像修复(inpainting)。在该情况下，利用图像修复生成像素值的像素也可以作为遮挡区域，也可以不作为遮挡区域。再有，在将利用图像修复生成像素值的像素处理为遮挡区域的情况下，由于不能在遮挡判定中使用视点合成图像，因此，需要生成遮挡图。
[0092]进一步地作为另外的方法，也可以组合根据视点合成图像的品质的判定和根据遮挡区域的有无的判定。例如，存在在组合双方的判定而在双方的判定中不满足基准的情况下判定为不可利用的方法。此外，也存在按照遮挡区域所包含的像素数目而使视点合成图像的品质的阈值变化的方法。进一步地，也存在仅在遮挡区域的有无的判定中不满足基准的情况下使得进行根据品质的判定的方法。
[0093]在到前述为止的说明中未生成编码对象图像的解码图像，但是，在将编码对象图像的解码图像被用于另外的区域、另外的帧的编码的情况下，生成解码图像。图4是示出图像编码装置生成解码图像的情况下的处理工作的流程图。在图4中，对与图2所示的处理工作相同的处理工作标注相同的附图标记来省略其说明。图4所示的处理工作与图2所示的处理工作不同，判定是否能够利用视点合成图像(步骤S105)，在判定为能够利用的情况下追加将视点合成图像作为解码图像的处理(步骤S109)以及在判定为不能够利用的情况下追加生成解码图像的处理(步骤S110)。
[0094]再有，关于在步骤SllO中进行的解码图像的生成处理，只要可得到与解码侧相同的解码图像，则以怎样的方法进行都可以。例如，也可以通过对在步骤S106中生成的位流进行解码来进行，也可以通过对用二值化和熵编码无损编码后的值进行逆量化和逆变换并将其结果得到的值施加到预测图像来简单地进行。
[0095]此外，在到前述为止的说明中，对于能够利用视点合成图像的区域不生成位流，但是，也可以使得对编码对象图像与视点合成图像的差分信号进行编码。再有，在此，关于差分信号，只要能够校正视点合成图像相对于编码对象图像的误差，则也可以表现为单纯的差分，也可以表现为编码对象图像的剩余。但是，需要能够在解码侧判定使用怎样的方法来表现差分信号。例如，也可以设为使用常有的表现的情况，也可以按照每个帧对传达表现方法的信息进行编码来进行通知。使用视点合成图像、参考深度图、遮挡图等在解码侧也可得到的信息来决定表现方法，由此，也可以按照像素、帧来使用不同的表现方法。
[0096]图5是示出针对能够利用视点合成图像的区域进行编码对象图像与视点合成图像的差分信号的编码的情况下的处理工作的流程图。图5所示的处理工作与图2所示的处理工作不同之处在于追加步骤S111，其它是相同的。对进行相同的处理的步骤标注相同的附图标记并省略其说明。
[0097]在图5所示的处理工作中，在判定为在区域blk中能够利用视点合成图像的情况下，对编码对象图像与视点合成图像的差分信号进行编码来生成位流(步骤S111)。如果能够在解码侧正确地解码，则对差分信号的编码使用怎样的方法都可以。所生成的位流成为图像编码装置10a的输出的一部分。
[0098]再有，在生成/存储解码图像的情况下，如图6所示，通过对视点合成图像施加编码后的差分信号来生成/存储解码图像(步骤S112)。图6是示出图5所示的处理工作的变形例的流程图。在此，编码后的差分信号是指以位流表现的差分信号，是与在解码侧得到的差分信号相同的信号。
[0099]在MPEG-2、H.264、JPEG等通常的活动图像编码或图像编码中的差分信号的编码中，按照每个区域实施DCT等频率变换，对作为其结果而得到的值依次应用量化、二值化、熵编码的处理，由此进行编码。在该情况下，与步骤S106中的预测编码处理不同，省略了预测块尺寸、预测模式、运动/视差矢量等预测图像的生成所需要的信息的编码，不会生成针对其的位流。因此，与针对全部区域编码预测模式等的情况相比，能够削减码量来实现高效的编码。
[0100]在到前述为止的说明中，针对能够利用视点合成图像的区域不生成编码信息(预测信息)。可是，也可以使得生成不被位流包含的区域的每个的编码信息，能够在对另外的帧进行编码时参考编码信息。在此，编码信息是指使用于预测块尺寸、预测模式、运动/视差矢量等在预测图像的生成、预测残差的解码的信息。
[0101]接着，参考图7来说明图1所示的图像编码装置的变形例。图7是示出使得能够针对判定为能够利用视点合成图像的区域生成编码信息而在对另外的区域或另外的帧进行编码时参考编码信息的情况下的图像编码装置的结构的框图。图7所示的图像编码装置10c与图1所示的图像编码装置10a不同之处在于进一步具备编码信息生成部112。再有，在图7中，对图1所示的相同的结构标注相同的附图标记并省略其说明。
[0102]编码信息生成部112针对判定为能够利用视点合成图像的区域生成编码信息并向对另外的区域或另外的帧进行编码的图像编码装置进行输出。在本实施方式中，设为另外的区域或另外的帧的编码也在图像编码装置10c中进行，将生成的信息向图像编码部108给出。
[0103]接着，参考图8来说明图7所示的图像编码装置10c的处理工作。图8是示出图7所示的图像编码装置10c的处理工作的流程图。图8所示的处理工作与图2所示的处理工作不同之处在于，在视点合成图像的利用可否判定(步骤S105)中判定为可利用之后，追加生成针对区域blk的编码信息的处理(步骤S113)这一点。再有，关于编码信息的生成，只要解码侧能够生成相同的信息，则生成怎样的信息都可以。
[0104]例如，作为预测块尺寸，也可以设为尽可能大的块尺寸，也可以设为尽可能小的块尺寸。此外，也可以根据所使用的深度图、所生成的视点合成图像来进行判定，由此，按照每个区域设定不同的块尺寸。也可以以成为具有类似的像素值、深度值的像素的尽可能大的集合的方式来适当地决定块尺寸。
[0105]作为预测模式、运动/视差矢量，也可以针对全部区域设定示出在进行每个区域的预测的情况下使用了视点合成图像的预测的模式信息、运动/视差矢量。此外，也可以将与视点间预测模式对应的模式信息和根据深度等得到的视差矢量分别设定为模式信息、运动/视差矢量。关于视差矢量，也可以通过将针对其区域的视点合成图像作为样板(template)而在参考图像上进彳丁探索来求取。
[0106]作为另外的方法，也可以通过将视点合成图像当作编码对象图像来进行解析，从而估计并生成最适合的块尺寸、预测模式。在该情况下，也可以使得能够选择帧内预测、运动补偿预测等来作为预测模式。
[0107]像这样，生成无法根据位流得到的信息，在对另外的帧进行编码时，使得能够参考所生成的信息，由此，能够提高另外的帧的编码效率。这是因为，在对时间上连续的帧、拍摄相同的被摄物的帧等类似的帧进行编码的情况下，由于还与运动矢量、预测模式相关，因此能够利用这些相关来去除冗余性。
[0108]在此，进行了在能够利用视点合成图像的区域中不生成位流的情况下的说明，但是，如图9所示，也可以进行前述的编码对象图像与视点合成图像的差分信号的编码。图9是示出图8所示的处理工作的变形例的流程图。再有，在将编码对象图像的解码图像用于另外的区域或另外的帧的编码的情况下，若是结束针对区域blk的处理，则如前述的说明那样，使用对应的方法来生成/存储解码图像。
[0109]在前述的图像编码装置中，关于设为能够利用视点合成图像而被编码的区域的数目的信息未被包含在所输出的位流中。可是，也可以在进行每个块的处理之前，求取能够利用视点合成图像的区域的数目，使得将示出该数目的信息埋入到位流中也可。在以下，将能够利用视点合成图像的区域的数目称为视点合成可能区域数目。再有，明显也可以使用不能够利用视点合成图像的区域的数目，因此，说明使用能够利用视点合成图像的区域的数目的情况。
[0110]接着，参考图10来说明图1所示的图