出图1所示的图像编码装置100的工作的流程图。首先，编码对象图像输入部101输入编码对象图像，将所输入的编码对象图像存储在编码对象图像存储器102中(步骤SI)。接下来，参考摄像机图像输入部103输入参考摄像机图像，将所输入的参考摄像机图像存储器参考摄像机图像存储器104中。与此并行地，参考摄像机深度图输入部105输入参考摄像机深度图，向深度图变换部106输出所输入的参考摄像机深度图(步骤S2)。
[0073]再有，在步骤S2输入的参考摄像机图像、参考摄像机深度图为与对已经编码完毕的信息进行解码的信息等能在解码侧得到的信息相同的信息。这是因为通过使用与在解码装置得到的信息完全相同的信息来抑制漂移等编码噪声的产生。但是，在容许这样的编码噪声的产生的情况下，也可以输入编码前的信息等只能在编码侧得到的信息。关于参考摄像机深度图，除了对已经编码完毕的信息进行解码的信息以外，也能够将通过对针对多个摄像机解码的多视点图像应用立体声匹配等而估计的深度图、使用解码后的视差矢量、运动矢量等而估计的深度图等用作能在解码侧得到相同信息的信息。
[0074]接下来，深度图变换部106基于从参考摄像机深度图输入部105输出的参考摄像机深度图来生成假想深度图，将所生成的假想深度图存储在假想深度图存储器107中(步骤S3)。再有，假想深度图的分辨率只要是与解码侧相同，则无论设定怎样的分辨率都可。例如，可以设定针对编码对象图像预先确定的缩小率的分辨率。后面叙述了此处的处理的细节。
[0075]接下来，视点合成图像生成部108根据存储在参考摄像机图像存储器104中的参考摄像机图像和存储在假想深度图存储器107中的假想深度图来生成针对编码对象图像的视点合成图像，向图像编码部109输出所生成的视点合成图像(步骤S4)。此处的处理只要是使用分辨率比编码对象图像低的针对编码对象摄像机的深度图和用与编码对象摄像机不同的摄像机所拍摄的图像来合成编码对象摄像机的图像的方法，则无论使用怎样的方法都可。
[0076]例如，首先，选择假想深度图的一个像素，求取在编码对象图像上对应的区域，根据深度值求取参考摄像机图像上的对应区域。接下来，求取该对应区域中的图像的像素值。然后，将得到的像素值分配为在编码对象图像上等同的区域的视点合成图像的像素值。通过对假想深度图的全部的像素进行该处理，从而能得到I帧量的视点合成图像。再有，在参考摄像机图像上的对应点为帧外的情况下，既可以设为无像素值，也可以分配预先确定的像素值，还可以分配最近的帧内的像素的像素值或在极线上最近的帧内的像素的像素值。但是，如何决定像素值需要做成与解码侧相同。进而，也可以在得到I帧量的视点合成图像之后施加低通滤波器等滤波器。
[0077]接下来，在得到视点合成图像之后，图像编码部109将视点合成图像作为预测图像，对编码对象图像进行预测编码，输出编码结果(步骤S5)。编码的结果所得的位流为图像编码装置100的输出。再有，只要能够在解码侧正确地解码，则无论对编码使用怎样的方法都可。
[0078]在MPEG-2、H.264、JPEG等一般的活动图像编码或者图像编码中，将图像分割为预先确定的大小的块，按每个块生成编码对象图像与预测图像的差分信号，对差分图像施行DCT (Discrete Cosine Transform:离散余弦变换)等频率变换，对其结果所得的值按顺序应用量化、二值化、熵编码的处理，由此，进行编码。
[0079]再有，在按每个块进行预测编码处理的情况下，也可以通过按每个块交替地重复视点合成图像的生成处理(步骤S4)和编码对象图像的编码处理(步骤S5)来对编码对象图像进行编码。参考图3来说明该情况下的处理工作。图3是示出通过按每个块交替地重复视点合成图像的生成处理和编码对象图像的编码处理来对编码对象图像进行编码的工作的流程图。在图3中，对与图2所示的处理工作相同的部分标注相同的附图标记，简单地进行其说明。在图3所示的处理工作中，将成为进行预测编码处理的单位的块的索引设为blk，用numBlks来表示编码对象图像中的块数。
[0080]首先，编码对象图像输入部101输入编码对象图像，将所输入的编码对象图像存储在编码对象图像存储器102中(步骤SI)。接下来，参考摄像机图像输入部103输入参考摄像机图像，将所输入的参考摄像机图像存储在参考摄像机图像存储器104中。与此并行地，参考摄像机深度图输入部105输入参考摄像机深度图，向深度图变换部106输出所输入的参考摄像机深度图(步骤S2)。
[0081]接下来，深度图变换部106基于从参考摄像机深度图输入部105输出的参考摄像机深度图来生成假想深度图，将所生成的假想深度图存储在假想深度图存储器107中(步骤S3)。然后，视点合成图像生成部108将O代入到变量blk (步骤S6)。
[0082]接下来，视点合成图像生成部108根据存储在参考摄像机图像存储器104中的参考摄像机图像和存储在假想深度图存储器107中的假想深度图来生成针对块blk的视点合成图像，向图像编码部109输出所生成的视点合成图像(步骤S4a)。接着，在得到视点合成图像之后，图像编码部109将视点合成图像作为预测图像来对针对块blk的编码对象图像进行预测编码，输出编码结果(步骤S5a)。然后，视点合成图像生成部108使变量blk递增(blk — blk+Ι，步骤S7)，判定是否满足blk < numBlks (步骤S8)。如果该判定的结果满足blk < numBlks，则回到步骤S4a，重复处理，在满足blk = numBlks的时间点结束处理。
[0083]接下来，参考图4~图6来说明图1所示的深度图变换部106的处理工作。图4~图6是示出图2、图3所示的变换参考摄像机深度图的处理(步骤S3)的处理工作的流程图。此处，说明了 3种不同的方法来作为根据参考深度图生成假想深度图的方法。虽然无论使用哪一种方法都可以，但是，需要使用与解码侧相同的方法。再有，在按照帧等每一定的大小而变更使用的方法的情况下，也可以对示出使用的方法的信息进行编码并通知到解码侧。
[0084]开始，参考图4来说明根据第一方法的处理工作。首先，深度图变换部106根据参考摄像机深度图来合成针对编码对象图像的深度图(步骤S21)。即，此处所得的深度图的分辨率与编码对象图像相同。在此处的处理中，只要是能够在解码侧执行的方法，则无论使用怎样的方法都可，例如可以使用参考文献2 “Y.Mori, N.Fukushima, T.Fujii, and Μ.Tanimoto, 〃View Generat1n with 3D Warping Using Depth Informat1n for FTV〃， InProceedings of 3DTV-C0N2008, pp.229-232，May 2008.” 中记载的方法。
[0085]作为其他的方法，为了根据参考摄像机深度图得到各像素的三维位置也可以对被摄体空间的三维模型进行恢复，求取从编码对象摄像机观测恢复后的模型时的深度，由此，生成针对该区域(编码对象图像)的假想深度图。进而，作为其他的方法，还可以按参考摄像机深度图的每个像素使用该像素的深度值来求取假想深度图上的对应点，对该对应点分配变换后的深度值，由此，生成假想深度图。此处，变换后的深度值是指将针对参考摄像机深度图的深度值变换为针对假想深度图的深度值后的深度值。在参考摄像机深度图和假想深度图中使用共同的坐标系来作为表现深度值的坐标系的情况下，不进行变换而使用参考摄像机深度图的深度值。
[0086]再有，对应点当然未必作为假想深度图的整数像素位置而得到，因此，需要通过假定在参考摄像机深度图上邻接的像素所分别对应的假想深度图上的位置之间的连续性，从而对针对假想深度图的各像素的深度值进行内插来生成对应点。但是，对于在参考摄像机深度图上邻接的像素，仅在该深度值的变化为预先确定的范围内的情况下假定连续性。这是因为，对于深度值较大地不同的像素，考虑不同的被摄体进行映现而不能假定实空间中的被摄体的连续性。此外，也可以根据得到的对应点求取一个或多个整数像素位置，对处于该整数像素位置的像素分配变换后的深度值。在此情况下，不需要进行深度值的内插，能够削减运算量。
[0087]此外，由于被摄体的前后关系，在参考摄像机图像的一部分的区域中映现的被摄体被在参考摄像机图像的其他的区域中映现的被摄体所遮蔽，存在未映现于编码对象图像的被摄体存在的参考摄像机图像上的区域，因此，在使用该方法的情况下，需要一边考虑前后关系一边对对应点分配深度值。但是，在编码对象摄像机和参考摄像机的光轴存在于同一平面上的情况下，能够通过依照编码对象摄像机与参考摄像机的位置关系来决定处理参考摄像机深度图的像素的顺序并且依照该决定的顺序来进行处理，从而在不考虑前后关系的情况下对得到的对应点通常进行重写处理，由此，生成假想深度图。具体而言，在编码对象摄像机存在于比参考摄像机右的情况下，按照在各行从左到右扫描的顺序处理参考摄像机深度图的像素，在编码对象摄像机存在于比参考摄像机左的情况下，按照在各行从右到左扫描的顺序处理参考摄像机深度图的像素，由此，不需要考虑前后关系。再有，由于不需要考虑前后关系，所以能够削减运算量。
[0088]进而，在根据针对由某一摄像机所拍摄的图像的深度图来合成针对由其他摄像机所拍摄的图像的深度图的情况下，只能对在这两者共同地映现的区域得到有效的深度。关于不能得到有效的深度的区域，既可以使用专利文献I中记载的方法等来分配估计的深度值，也可以采用保持没有有效的值的状态。
[0089]接下来，在针对编码对象图像的深度图的合成结束了之后，深度图变换部106通过缩小合成而得到的深度图来生成作为目标的分辨率的假想深度图(步骤S22)。只要能够在解码侧使用相同的方法，则无论使用怎样的方法来作为缩小深度图的方法都可。例如，存在如下方法:按假想深度图的每个像素设定在合成而得到的深度图中对应的多个像素，求取针对这些像素的深度值的平均值、中间值、最频值等来作为假想深度图的深度值。再有，也可以不是单纯地求取平均值而是根据像素间的距离来计算权重，使用该权重来求取平均值、中间值等。再有，在步骤S21中，关于采用了保持没有有效的值的状态的区域，在平均值等的计算中不考虑其像素的值。
[0090]作为其他的方法，存在如下方法:按假想深度图的每个像素设定在合成而得到的深度图中对应的多个像素，从针对这些像素的深度值之中选择示出与摄像机最近的深度。由此，提高针对存在于根据主观重要的跟前的被摄体的预测效率，因此，能够以少的符号量实现主观上优秀的编码。
[0091]再有，在步骤S21中保持针对一部分的区域不能得到有效的深度的状态的情况下，最后也可以在生成的假想深度图中，针对不能得到有效的深度的区域，使用专利文献I所记载的方法等来分配估计的深度值。
[0092]接下来，参考图5，对根据第二方法的处理工作进行说明。首先，深度图变换部106缩小参考摄像机深度图(步骤S31)。只要能够在解码侧执行相同的处