057]在按照每个编码对象区域重复的处理中，首先，运动信息生成部105生成编码对象 区域blk中的运动信息(步骤S104)。在此的处理在后面详细地说明。在得到针对编码对象区 域blk的运动信息之后，视点合成图像生成部106按照该运动信息根据蓄积在参照图像存储 器109中的图像来生成针对编码对象区域blk的视点合成图像Syn(步骤S105)。具体地，视点 合成图像生成部106按照编码对象区域blk所包含的像素 p的每一个如由下面的数式表示的 那样求取由运动信息表示的参照图像上的对应点的像素值，由此，生成视点合成图像Syn。 [0058] S y η [ p,]二 D e ο K;; s [ p + m V ( p )〕。
[0059] mv(p)和Ref (p)表示针对像素 p的运动信息所示的运动矢量和其时间间隔，Decdi 于编码对象图像表示时间间隔T的蓄积在参照图像存储器109中的图像(参照图像）。再有， 在对应点p+mv(p)不是整数像素位置的情况下，将最近的整数像素位置的像素值作为对应 点的像素值也可，通过对对应点的周边的整数像素组实施滤波处理来生成对应点处的像素 值也可。但是，假设使用与在解码侧的处理相同的方法来生成对应点的像素值。
[0060]在存在2个以上的针对像素 P的运动信息的情况下，通过其平均值来生成视点合成 图像也可。即，当使用N(p)表示针对像素 p的运动信息的数量并且将运动信息的索引设为η 时，视点合成图像由下述的数式来表示。
[0061 ][数式 1]
[0062] 再有，在该数式中不考虑除法运算中的向整数的舍入，但是，以进行四舍五入的方 式加上偏移也可。具体地，在加上Ν(ρ)/2之后使用Ν(ρ)来进行除法运算。此外，在存在3个以 上的运动信息的情况下，也可以不使用平均值而使用中央值来进行预测。但是，需要进行与 在解码侧的处理相同的处理。在此，假设按照每个像素生成视点合成图像，但是，在按照每 个小区域具有相同的运动信息的情况下，也能够按照每个该小区域进行处理。
[0063] 接着，在得到视点合成图像之后，图像编码部107-边将视点合成图像作为预测图 像，一边对编码对象区域blk中的编码对象图像的视频信号(像素值)进行编码(步骤S106)。 编码的结果得到的位流成为活动图像编码装置100的输出。再有，在编码的方法中，使用怎 样的方法都可以。在MPEG-2、H. 264/AVC等通常的编码中，对块bIk的视频信号与预测图像 的差分信号依次实施DCT(Discrete Cosine Transform，离散余弦变换)等频率变换、量化、 二值化、熵编码，由此，进行编码。
[0064] 接着，图像解码部108使用位流和视点合成图像来对针对块blk的视频信号进行解 码，将所作为解码结果的解码图像Dec[blk]蓄积到参照图像存储器109中（步骤S107)。在 此，使用与在编码时使用的手法对应的手法。例如，只要为MPEG-2、H. 264/AVC等通常的编 码，贝1J对码数据依次实施熵解码、逆二值化、逆量化、IDCT(Inverse Discrete Cosine Transform，反离散余弦变换)等频率逆变换，对所得到的二维信号加上预测图像，最后在像 素值的值域中进行裁剪(clipping)，由此，对视频信号进行解码。再有，接收在编码侧的处 理成为无损耗的稍前的数据和预测图像，通过简化后的处理来进行解码也可。即，只要为前 述的例子，则在编码时接收施加量化处理后的值和预测图像，对向该量化后的值依次实施 逆量化、频率逆变换而得到的二维信号加上预测图像，在像素值的值域中进行裁剪，由此， 对视频信号进行解码也可。
[0065] 接着，参照图3来对图1所示的运动信息生成部105生成编码对象区域blk中的运动 信息的处理（图2所示的步骤S104)详细地进行说明。在生成运动信息的处理中，首先，运动 信息生成部105设定针对编码对象区域blk的深度图上的区域(针对编码对象区域的深度图 上的对应区域）（步骤S1401)。在此，输入针对编码对象图像的深度图，因此，设定与编码对 象区域blk相同的位置的深度图。再有，在编码对象图像和深度图的分辨率不同的情况下， 根据分辨率比来设定缩放(scaling)的区域。
[0066] 在将与编码对象视点不同的视点之一设为深度视点时使用针对深度视点的深度 图的情况下，求取编码对象区域blk中的编码对象视点与深度视点的视差DV(针对深度图的 视差矢量），设定blk+DV中的深度图。再有，在编码对象图像与深度图的分辨率不同的情况 下，根据分辨率比进行位置和大小的缩放。
[0067] 关于编码对象区域blk中的编码对象视点与深度视点的视差DV，只要为与解码侧 相同的方法，则使用怎样的方法来求取都可以。例如，能够使用在对编码对象区域blk的周 边区域进行编码时使用的视差矢量、针对编码对象图像整体或包含编码对象区域的部分图 像设定的全局视差矢量、针对编码对象区域另外设定并编码的视差矢量等。此外，蓄积在与 编码对象区域blk不同的区域或在过去编码的图像中使用的视差矢量，使用所蓄积的视差 矢量也可。进而，也可以使用变换针对编码对象视点在过去编码的深度图的与编码对象区 域相同位置的深度图而得到的视差矢量。
[0068]接着，运动信息生成部105决定编码对象区域blk的分割方法(步骤S1402)。作为分 割方法，也可以使用预先确定的方法来分割，也可以解析所设定的深度图来决定分割方法。 但是，使用与解码侧相同的方法来设定分割方法。
[0069] 作为预先确定的方法，存在以固定的块尺寸设定分割的方法。例如，存在分割为4 像素 X 4像素的块或8像素 X 8像素的块的方法等。此外，也存在根据编码对象区域blk的大 小来决定分割尺寸的方法。例如，存在在编码对象区域的尺寸为2NX2M的情况下分割为(N/ 2)父（]?/2)的块或1^乂《/2，4)\]\^乂(]\1/2，4)的块的方法。再有，]\^乂(3，13)表示3和13的最 大值。此外，也存在在编码对象区域的尺寸比16像素 X 16像素大的情况下分割为8像素 X8 像素的块而在编码对象区域的尺寸为16像素 X 16像素以下的情况下为4像素 X4像素的块 尺寸等方法。
[0070] 作为解析深度图来决定分割方法的方法，例如，存在使用根据深度值聚集 (clustering)后的结果的方法、以四叉树表现递归地(recursively)分割以使每个生成的 分割的深度值的方差为阈值以下的方法。也可以通过代替每个生成的分割的深度值的方差 而比较针对编码对象区域的深度图上的对应区域的4顶点处的深度值来决定分割方法。
[0071] 接着，在编码对象区域blk的分割方法决定之后，按照依据该分割方法生成的子区 域(预测区域)的每一个生成运动信息(步骤S1403~S1409)。即，当假设使用sblk表示子区域 索引并且用numSBlksbik表示编码对象区域blk内的子区域数量时，使用0初始化sblk(步骤 51403) ，之后，一边对sblk加上1(步骤S1408)，一边重复进行以下的处理（步骤S1404~ S1407)直到 sblk 变为 numSBlksbik(步骤 S1409)。
[0072]在按照每个子区域重复的处理中，首先，运动信息生成部105根据针对子区域sblk 设定的深度图（对应区域内的预测区域所对应的区域中的深度信息)决定代表深度值(步骤 51404) 。使用怎样的方法来决定代表深度值都可以，但是，需要使用与解码侧相同的方法。 例如，存在使用针对子区域sblk的深度图的平均值、中央值、最大值、最小值等的方法。此 外，也可以使用不是针对针对子区域sblk的深度图的全部的像素而是针对一部分的像素的 深度值的平均值、中央值、最大值、最小值等。作为一部分的像素，也可以使用4顶点或者4顶 点和中央等。进而，也存在使用针对相对于子区域sblk左上或中央等预先确定的位置的深 度值的方法。
[0073] 在得到代表深度值之后，运动信息生成部105使用与编码对象视点和参照视点的 位置关系相关的信息根据代表深度值来求取视差矢量d Vsblk(针对参照视点的视差矢量） (步骤S1405)。具体地，存在通过使用了摄像机参数的反投影和再投影来求取视差矢量 dvsbik的方法、通过使用了单应矩阵的变换来求取视差矢量dvsbik的方法、参照预先制作的针 对深度值的视差矢量的查找表来求取视差矢量d Vsblk的方法等。
[0074] 在得到视差矢量之后，运动信息生成部105求取在参照视点对应的位置（步骤 S1406)。具体地，通过对代表子区域sblk的点Psblk(针对预测区域预先确定的像素的位置） 加上视差矢量办^ 115来求取对应位置。作为代表子区域的点，能够使用相对于子区域左上或 中央等预先确定的位置。再有，关于将哪个位置作为代表的点，需要与解码侧相同。
[0075]接着，运动信息生成部105将针对包含在参照视点的对应点Psblk+dvsblk的区域蓄积 的参照视点运动信息设定为针对子区域sblk的运动信息（预测区域中的运动信息）（步骤 S14〇7)。再有，在针对包含对应点Psblk+dvsblk的区域未蓄积运动信息的情况下，即使设定没 有运动信息的信息，即使设定零矢量等默认(default)的运动信息，也确认蓄积最接近对应 点P sblk+dvsblk的运动信息的区域，设定在该区域中蓄积的运动信息也可。但是，以与解码侧 相同的规则设定运动信息。
[0076] 在前述的说明中，将参照视点运动信息直接设定为运动信息，但是，预先设定时间 间隔，按照该预先确定的时间间隔和参照视点运动信息中的时间间隔对运动信息进行缩 放，设定将参照视点运动信息中的时间间隔替换为该预先确定的时间间隔而得到的运动信 息也可。像这样做，由此，针对不同区域生成的运动信息全部具有相同的时间间隔，统一生 成视点合成图像时的参照图像(将编码对象视点中的与编码对象图像不同的已经编码完毕 的1帧设定为参照图像），能够限定访问的存储器空间。再有，通过限定访问的存储器空间， 使高速缓存命中（cache hit)，能够提高处理速度。
[0077] 在本实施方式中，仅使用按照每个子区域根据参照视点运动信息生成的运动信息 来生成了视点合成图像(第一预测图像），但是，除了运动信息之外，也可以使用按照每个子 区域得到的视差矢量d Vsblk。例如，当将针对参照视点的解码图像设为DecIV时，也可以使用 下面的数式来生成视点合成图像(求取第一预测图像和第二预测图像的舍入为整数的平均 值，由此，生成针对预测区域的预测图像）。
[0079]再有，dv(p)表示针对包含像素 p的子区域的视差矢量。
[0080]此外，按照子区域或像素的每一个，一边选择运动信息和视差矢量的任一个，一边 生成视点合成图像也可。进而，也可以选择运动信息和视差矢量的任一个或双方。再有，只 要为与解码侧相同的方法，则选择地使用怎样的方法都可以。例如，存在如下的方法:在关 于在步骤S1406中求取的对应点不存在在步骤S1407中设定的参照视点运动信息的情况下 或者在对针对参照视点的活动图像进行编码时在包含该对应点的区域中使用了运动补偿 预测以外的预测的情况下，使用视差矢量来生成视点合成图像，在其以外的情况下，使用运 动信息来生成视点合成图像。
[0081]作为另一方法，也存在如下的方法:在包含针对参照视点的活动图像的对应点的 区域中编码后的运动补偿预测残差的量比预先确定的阈值大的情况下，使用视差矢量来生 成视点合成图像，在该