图像 编码装置100的变形例的框图。模拟运动矢量编码部111对模拟运动矢量设定部107设定 的模拟运动矢量进行编码。复用部112对模拟运动矢量的位流和编码对象图像的位流进行 复用并输出。
[0063] 再有，也可以不是按照每个块设定模拟运动矢量来进行编码，而是按照帧、片 (slice)等比块大的每个单位设定全局的模拟运动矢量，在该帧、片内的块中将设定的全局 模拟运动矢量用作针对该块的模拟运动矢量。在该情况下，在按照每个块进行的处理之前， 设定全局模拟运动矢量，而跳过按照每个块设定模拟运动矢量的步骤(步骤S14)。
[0064] 虽然无论将怎样的矢量设定为模拟运动矢量都可以，但是为了达成高的编码效 率，需要以使用设定的模拟运动矢量在之后的处理中生成的摄像机间预测图像与编码对象 图像的误差变小的方式进行设定。此外，在对设定的模拟运动矢量进行编码的情况下，也可 以将使得摄像机间预测图像与编码对象图像的误差和从模拟运动矢量的码量计算出的率 失真成本最小的矢量设定为模拟运动矢量。
[0065] 回到图2,接着，在参照区域深度生成部108和摄像机间预测图像生成部109中，生 成针对块blk的摄像机间预测图像(步骤S15)。在后文详细地说明此处的处理。
[0066] 在得到了摄像机间预测图像之后，接着，图像编码部110将摄像机间预测图像作 为预测图像，对编码对象图像进行预测编码并输出（步骤S16)。编码的结果所得的位流成为 图像编码装置100的输出。再有，只要能够在解码侧正确地解码，则无论对编码使用怎样的 方法都可以。
[0067] 在MPEG-2、H. 264、JPEG等一般的活动图像编码或图像编码中，按照每个块，生成 编码对象图像与预测图像的差分信号，针对差分图像施行DCT (离散余弦变换)等频率变换， 对其结果所得的值按顺序应用量化、二值化、熵编码的处理，由此，进行编码。
[0068] 再有，在本实施方式中，在全部的块中将摄像机间预测图像用作预测图像，但是， 也可以将用按照每个块不同的方法生成的图像用作预测图像。在该情况下，需要能够在解 码侧判别将用哪个方法生成的图像用作了预测图像。例如，可以如H. 264那样对示出了生 成预测图像的方法(模式、矢量信息等）的信息进行编码并包括于位流，由此，能够在解码侧 进行判断。
[0069] 接着，参照图4来说明图1所示的参照区域深度生成部108和摄像机间预测图像 生成部109的处理工作。图4是示出图2所示的生成针对块blk的摄像机间预测图像的处 理(步骤S15)的处理工作的流程图。此处的处理按照对块进一步分割后的每个子块进行。 即，在将示出子块的索引的变量sblk初始化为0之后(步骤S1501)，一边对sblk每次加一 (步骤S1505)，一边重复以下的处理(步骤S1502~S1504)直到sblk变为numSBlks (步骤 S1506)。在此，numSBlks表示块blk内的子块的个数。
[0070] 再有，虽然无论对子块的大小、形状使用怎样的大小、形状都可以，但是，需要能在 解码侧得到相同的子块分割。例如，可以使用预先确定的分割，而使得各子块按照纵X横 为2像素 X2像素、4像素 X4像素、8像素 X8像素等。再有，作为预先确定的分割，也可 以使用1像素 Xl像素（即每个像素)、与块blk相同的尺寸（即，不进行分割)。
[0071 ] 作为使用与解码侧相同的子块分割的其他的方法，也可以通过对子块分割的方法 进行编码来向解码侧通知。在该情况下，针对子块分割的方法的位流与编码对象图像的位 流进行复用，成为图像编码装置100输出的位流的一部分。再有，在选择子块分割的方法的 情况下，选择使得包括于一个子块的像素针对参照图像具有尽可能相同的视差并且分割为 数量尽可能少的子块的方法，由此，能够通过后述的摄像机间预测图像的生成处理来以少 的处理量生成高品质的预测图像。此外，在该情况下，在解码侧，从位流解码示出子块分割 的信息，依照基于所解码的信息的方法来进行子块分割。
[0072] 进而，作为其他的方法，也可以根据针对由在步骤S14中设定的模拟运动矢量mv 所示的深度图上的块blk+mv的深度来决定子块分割。例如，能够通过对深度图的块blk+mv 的深度进行聚集（clustering)来求取子块分割。此外，也可以不是进行聚集，而是从预先 确定的分割的种类之中选择最正确地分类深度的分割。在使用预先确定的分割以外的情况 下，需要在步骤S1501之前，进行决定子块分割的处理，依照该子块分割来设定numSBlks。
[0073] 在按照每个子块进行的处理中，首先使用深度图和模拟运动矢量mv来针对子块 sblk设定一个深度值(步骤S1502)。具体而言，求取与子块sblk内的像素组对应的深度图 上的像素组，使用针对这些像素组的深度值来决定一个深度值，并进行设定。再有，针对子 块内的像素 P的深度图上的像素由P+mv提供。
[0074] 对从针对子块内的像素组的深度值决定一个深度值的方法，无论使用怎样的方法 都可以。但是，需要使用与解码侧相同的方法。例如，可以使用针对子块内的像素组的深度 值的平均值/最大值/最小值/中间值的任一个。此外，也可以使用针对子块的4个顶点 的像素的深度值的平均值/最大值/最小值/中间值的任一个。进而，还可以使用子块的 特别指定的地方(左上、中央等）的深度值。在仅使用针对子块内的一部分的像素的深度值 的情况下，也可以不求取针对其他的像素的深度图上的像素、深度值。
[0075] 再有，在模拟运动矢量mv示出小数像素的情况下，由于深度图上的对应像素 p+mv 为小数像素位置，所以在深度图的数据中不存在对应的深度值。在该情况下，可以通过使用 针对p+mv的周围的整数像素的深度值的内插处理来生成深度值。此外，也可以不是内插 而是将P+mv向整数像素位置化成整数而直接使用针对周围的整数像素位置的像素的深度 值。
[0076] 在对子块sblk得到了深度值之后，接着，求取与该深度值对应的参照图像和编码 对象图像的视差矢量dv (步骤S1503)。从深度值向视差矢量的变换依照所提供的深度和 摄像机参数的定义而进行。例如，在由（1)式来定义图像上的像素和三维点的关系的情况 下，视差矢量dv由（2)式表示。
[0077] [数式 1]
【主权项】
1. 一种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时， 使用针对与编码对象图像不同的视点的编码完毕的参照图像和针对所述编码对象图像的 深度图来一边在不同的视点之间对图像进行预测一边进行编码，其中，所述图像编码装置 具备： 模拟运动矢量设定部，针对分割了所述编码对象图像的编码对象区域设定示出所述深 度图上的区域的模拟运动矢量； 深度区域设定部，将由所述模拟运动矢量所示的所述深度图上的所述区域设定为深度 区域； 参照区域深度生成部，使用所述深度图的整数像素位置的深度信息针对与所述编码对 象区域内的整数像素位置的像素对应的所述深度区域内的整数或小数位置的像素来生成 作为参照区域深度的深度信息；以及 视点间预测部，使用所述参照区域深度和所述参照图像来生成针对所述编码对象区域 的视点间预测图像。
2. -种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时， 使用针对与编码对象图像不同的视点的编码完毕的参照图像和针对所述编码对象图像的 深度图来一边在视点之间对图像进行预测一边进行编码，其中，所述图像编码装置具备： 小数像素精度深度信息生成部，在所述深度图生成针对小数像素位置的像素的深度信 息来作为小数像素精度深度图； 视点合成图像生成部，使用所述小数像素精度深度图和所述参照图像来生成针对所述 编码对象图像的整数和小数像素位置的像素的视点合成图像； 模拟运动矢量设定部，针对分割了所述编码对象图像的编码对象区域设定示出所述视 点合成图像上的区域的小数像素精度的模拟运动矢量；以及 视点间预测部，将针对由所述模拟运动矢量所示的所述视点合成图像上的所述区域的 图像信息作为视点间预测图像。
3. -种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时， 使用针对与编码对象图像不同的视点的编码完毕的参照图像和针对所述编码对象图像的 深度图来一边在不同的视点之间对图像进行预测一边进行编码，其中，所述图像编码装置 具备： 模拟运动矢量设定部，针对分割了所述编码对象图像的编码对象区域设定示出所述编 码对象图像上的区域的模拟运动矢量； 参照区域深度设定部，将针对与所述编码对象区域内的像素对应的所述深度图上的像 素的深度信息设定为参照区域深度；以及 视点间预测部，针对由所述模拟运动矢量所示的所述区域，设为该区域的深度为所述 参照区域深度，使用所述参照图像来生成针对所述编码对象区域的视点间预测图像。
4. 一种图像解码装置，在根据由多个不同的视点的图像构成的多视点图像的码数据对 解码对象图像进行解码时，使用针对与所述解码对象图像不同的视点的解码完毕的参照图 像和针对