个帧对传送表现方法的信息进行编码。在后者的情况下，需要在适当的定时根据位流对示出表现形式的信息进行解码。此外，也可以设为通过使用视点合成图像、参考深度图、遮挡图等与编码侧相同的信息来决定表现方法，从而可使用按照每个像素、帧而不同的表现方法。
[0136]图17是示出针对能够利用视点合成图像的区域根据位流进行解码对象图像与视点合成图像的差分信号的解码的情况下的处理工作的流程图。图17所示的处理工作与图14所示的处理工作不同之处在于，进行步骤S210和步骤S211来代替步骤S206这一点，其它是相同的。在图17中对进行与图14所示的处理相同的处理的步骤标注相同的附图标记并省略其说明。
[0137]在图17所示的流程中，在判断为在区域blk中能够利用视点合成图像的情况下，首先，根据位流对解码对象图像与视点合成图像的差分信号进行解码(步骤S210)。在此的处理使用与在编码侧使用的处理对应的方法。例如，在使用与在MPEG-2、H.264、JPEG等通常的活动图像编码或图像编码中的差分信号的编码相同的方式进行编码的情况下，对熵解码位流而得到的值实施逆二值化、逆量化、IDCT (反离散余弦变换)等频率逆变换，由此解码差分信号。
[0138]接着，使用视点合成图像和解码后的差分信号来生成解码对象图像(步骤S211)。在此的处理配合差分信号的表现方法来进行。例如，在以单纯的差分表现差分信号的情况下，对视点合成图像施加差分信号，进行按照像素值的值域的裁剪(clipping)处理，由此生成解码对象图像。在差分信号示出解码对象图像的剩余的情况下，求取最接近视点合成图像的像素值并且与差分信号的剩余相同的像素值，由此生成解码对象图像。此外，在差分信号成为错误订正码的情况下，使用差分信号来订正视点合成图像的错误，由此生成解码对象图像。
[0139]再有，与步骤S207中的解码处理不同，不进行根据位流对预测块尺寸、预测模式、运动/视差矢量等预测图像的生成所需要的信息进行解码的处理。因此，与针对全部区域编码预测模式等的情况相比，能够削减码量，实现高效的编码。
[0140]在到前述为止的说明中，对于能够利用视点合成图像的区域，不生成编码信息。可是，也可以使得能够生成不包含于位流的区域的每个的编码信息而在解码另外的帧时参考编码信息。在此，编码信息是指预测块尺寸、预测模式、运动/视差矢量等使用于预测图像的生成、预测残差的解码的信息。
[0141]接着，参考图18来说明图13所示的图像解码装置的变形例。图18是示出使得能够针对判定为能够利用视点合成图像的区域生成编码信息而在对另外的区域、另外的帧进行解码时参考编码信息的情况下的图像解码装置的结构的框图。图18所示的图像解码装置200c与图13所示的图像解码装置200a不同之处在于进一步具备编码信息生成部211。再有，在图18中对与图13所示的结构相同的结构标注相同的附图标记并省略其说明。
[0142]编码信息生成部211针对判定为能够利用视点合成图像的区域生成编码信息，并向对另外的区域、另外的帧进行解码的图像解码装置进行输出。在此，表示也用图像解码装置200c进行另外的区域、另外的帧的解码的情况，将所生成的信息向图像解码部208给出。
[0143]接着，参考图19来说明图18所示的图像解码装置200c的处理工作。图19是示出图18所示的图像解码装置200c的处理工作的流程图。图19所示的处理工作与图14所示的处理工作不同之处在于，在视点合成图像的利用可否判定(步骤S105)中判定为可利用而生成解码对象图像之后，追加生成针对区域bilk的编码信息的处理(步骤S212)。再有，在编码信息的生成处理中，只要生成与在编码侧生成的信息相同的信息，则生成怎样的信息都可以。
[0144]例如，作为预测块尺寸，也可以设为尽可能大的块尺寸，也可以设为尽可能小的块尺寸。此外，根据所使用的深度图、所生成的视点合成图像来进行判定，由此也可以按照每个区域来设定不同的块尺寸也可。也可以以成为具有类似的像素值、深度值的像素的尽可能大的集合的方式来适当地决定块尺寸。
[0145]作为预测模式、运动/视差矢量，也可以针对全部区域设定示出在进行每个区域的预测的情况下使用了视点合成图像的预测的模式信息、运动/视差矢量。此外，也可以将与视点间预测模式对应的模式信息和根据深度等得到的视差矢量分别设定为模式信息、运动/视差矢量。关于视差矢量，也可以通过将针对其区域的视点合成图像作为样板而在参考图像上进行探索来求取。
[0146]作为另外的方法，也可以通过将视点合成图像当作解码对象图像的编码前的图像进行解析，从而估计并生成最适合的块尺寸、预测模式。在该情况下，也可以使得能够选择画面内预测、运动补偿预测等来作为预测模式。
[0147]像这样，生成无法根据位流得到的信息，在对另外的帧进行解码时，使得能够参考所生成的信息，由此能够提高另外的帧的编码效率。这是因为，在对时间上连续的帧、拍摄相同的被摄物的帧等类似的帧进行编码的情况下，由于在运动矢量、预测模式上也存在相关，因此能够利用这些相关来去除冗余性。
[0148]在此，进行了在能够利用视点合成图像的区域中将视点合成图像作为解码对象图像的情况下的说明，但是，如图20所示，也可以根据位流对解码对象图像与视点合成图像的差分信号进行解码(步骤S210)，进行解码对象图像的生成(步骤S211)。图20是示出根据位流对解码对象图像与视点合成图像的差分信号进行解码来进行解码对象图像的生成的情况下的处理工作的流程图。此外，也可以组合以前述的帧单位生成遮挡图并且关于视点合成图像按照每个区域来进行生成的方法以及生成编码信息的方法来进行使用。
[0149]在前述的图像解码装置中，关于设为能够利用视点合成图像而进行编码的区域的数目的信息未被包含在所输入的位流。可是，也可以使得根据位流对能够利用视点合成图像的区域的数目(或不能够利用的区域的数目)进行解码，按照该数目来控制解码处理。在以下，将解码后的能够利用视点合成图像的区域的数目称为视点合成可能区域数目。
[0150]图21是示出根据位流对视点合成可能区域数目进行解码的情况下的图像解码装置的结构的框图。图12所示的图像解码装置200d与图13所示的图像解码装置200a不同之处在于，具备视点合成可能区域数目解码部212和视点合成可能区域决定部213来代替视点合成可否判定部207。再有，在图21中对与图13所示的图像解码装置200a相同的结构标注相同的附图标记并省略其说明。
[0151]视点合成可能区域数目解码部212根据位流对分割了解码对象图像后的区域之中的判断为能够利用视点合成图像的区域的数目进行解码。视点合成可能区域决定部213基于所解码的视点合成可能区域数目按照分割了解码对象图像后的区域的每个决定是否能够利用视点合成图像。
[0152]接着，参考图22来说明图21所示的图像解码装置200d的处理工作。图22是示出对视点合成可能区域数目进行解码的情况下的处理工作的流程图。图22所示的处理工作与图14所示的处理工作不同，在生成视点合成图像之后，根据位流解码视点合成可能区域数目(步骤S213)，使用所解码的视点合成可能区域数目按照分割了解码对象图像后的区域的每个来决定是否设为能够利用视点合成图像(步骤214)。此外，按照每个区域进行的是否能够利用视点合成图像的判断(步骤S215)使用与在步骤S214中的决定相同的方法来进行。
[0153]在设为能够利用视点合成图像的区域的决定中，使用怎样的方法都可以。可是，需要使用与编码侧相同的基准来决定区域。例如，也可以使得以视点合成图像的品质、遮挡区域所包含的像素数目为基准对各区域排列顺序而按照视点合成可能区域数目决定设为能够利用视点合成图像的区域。由此，成为能够根据目标比特率、品质来控制设为能够利用视点合成图像的区域的数目，成为能够实现从使得能够进行高品质的解码对象图像的传输的编码到使得能够进行利用低比特率的图像传输的编码的灵活的编码。
[0154]再有，在步骤S214中，生成示出在各区域中是否能够利用视点合成图像的图，在步骤S215中，也可以使得通过参考该图来判定视点合成图像的利用可否。此外，在不生成表示视点合成图的利用可否的图的情况下，在步骤S214中在使用所设定的基准时决定满足所解码的视点合成可能区域数目的阈值，在步骤S215的判定中，也可以使得以是否满足所决定的阈值来进行判定。通过像这样做，从而能够削减按照每个区域进行的视频合成图像的利用可否所涉及的运算量。
[0155]在此，设为如下的情况:向图像解码装置输入I种位流，所输入的位流被向包含适当的信息的部分位流分离，适当的位流被输入到图像解码部208和视点合成可能区域数目解码部212。可是，也可以使得在图像解码装置的外部进行位流的分离而将各个位流输入到图像解码部208和视点合成可能区域数目解码部212。
[0156]此外，在前述的处理工作中，在进行各区域的解码前鉴于图像整体而进行了能够利用视点合成图像的区域的决定，但是，也可以使得一边考虑在此之前处理的区域的判定结果一边按照每个区域判定是否能够利用视点合成图像。
[0157]例如，图23是示出一边对设为不能够利用视点合成图像而进行解码的区域的数目进行计数一边进行解码的情况下的处理工作的流程图。在该处理工作中，在进行每个区域的处理之前，对视点合成可能区域数目numSynthBlks进行解码(步骤S214)来求取表示余下的位流内的视点合成可能区域数目以外的区域数目的numNonSynthBlks (步骤S216)。
[0158]在每个区域的处理中，在最初，检查numNonSynthBlks是否比O大(步骤S217)。在numNonSynthBlks比O大的情况下，与到此为止的说明同样地判定在该区域中是否能够利用视点合成图像(步骤S205)。另一方面，在numNonSynthBlks为O以下(正确地是O)的情况下，跳过针对该区域的视点合成图像的利用可否的判定而进行在该区域中能够利用视点合成图像的情况下的处理。此外，每当在设为不能够利用视点合成图像而进行处理时，将numNonSynthBlks 逐次减 I (步骤 S218)。
[0159]在针对全部区域完成解码处理之后，检查numNonSynthBlks是否比O大(步骤S219)。在numNonSynthBlks比O大的情况下，从位流读入相当于与numNonSynthBlks相同的区域数目的位(步骤S221)。关于所读入的位，也可以直接废弃，也可以用于鉴别出错误位置。
[0160]通过像这样做，从而即使在由于某些错误在编码侧和解码侧得到不同的参考图像、参考深度图的情况下，也成为能够防止由于该错误所致的位流的读取错误的发生。具体地，能够防止如下情况:在比在编码时设想的区域数目多的区域中判断为能够利用视点合成图像，不读入在该帧中本来应该读入的位，在下一个帧等的解码中，将错误的位判断为是排头位，成为不能进行正常的位读入。此外，还能够防止如下情况:在比在编码时设想的区域数目少的区域中判断为能够利用视点合成图像，设为使用针对下一个帧等的位进行解码处理，变得不能够从该帧进行正常的位读入。
[0161]此外，在图24中示出如下情况下的处理工作:不仅对设为不能够利用视点合成图像而解码的区域的数目进行计数而且还在对设为能够利用视点合成图像而解码的区域的数目进行计数的同时进行处理。图24是示出一边对设为能够利用视点合成图像而解码的区域的数目进行计数一边进行处理的情况下的处理工作的流程图。关于图24所示的处理工作，与图23所示的处理工作相比基本的处理工作是相同的。
[0162]说明图24所示的处理工作与图23所示的处理工作的不同。首先，在进行每个区域的处理时，在最初判定numSynthBlks是否比O大(步骤S219)。在numSynthBlks比O大的情况下，特别地，什么都不进行。另一方面，在numSynthBlks为O以下(正确地是O)的情况下，强制地设为在该区域中不能够利用视点合成图像来进行处理。接着，每当在设为能够利用视点合成图像而进行处理时，将numSynthBlks逐次减I (步骤S220)。在最后，在针对全部区域完成解码处理之后立刻结束解码处理。
[0163]在此，在判断为能够利用视点合成图像的区域中省略解码处理的情况下进行了说明，但是，明显也可以将参考图15~图20说明了的方法和对视点合成可能区域数目进行解码的方法进行组合。
[0164]在前述的说明中，说明了对I个帧进行编码和解码的处理，但是，通过针对多个帧重复进行处理，从而也能够将本方法应用于活动图像编码。此外，也能够将本方法仅应用于活动图像的一部分的帧、一部分的块。进一步地，在