运动补偿预测残差的量为阈值以下的情况下，使用运动信息来生成 视点合成图像。
[0082]作为又一方法，也存在使用在参照视点时间间隔T的解码图像DecIVT来决定选择 运动信息和视差矢量之中的哪一个的方法。例如，使用在参照视点的编码完毕的活动图像， 生成在区域sblk+dvsblk中使用针对sblk生成的运动信息来进行运动补偿预测时的预测残 差来使用也可。具体地，在所生成的预测残差的量比预先确定的阈值大的情况下，使用视差 矢量来生成视点合成图像，在该量为阈值以下的情况下，使用运动信息来生成视点合成图 像。再有，使用下面的数式表示此时使用的预测残差ResIVMC。
[0084]作为使用了DecIVT的另一方法，除了ResIVMC之外，也存在生成下面的预测残差 ResPas11V来使用的方法。具体地，将I Res IVMCI和I Re sPas11VI比较，在I Res IVMCI更小的情 况下，使用运动信息来生成视点合成图像，在IResPastIVl更小的情况下，使用视差矢量来 生成视点合成图像。在两者相等的情况下，使用任一个也可，使用双方也可。
[0086] 此外，设定阈值，将I Res IVMCI和I ResPast IVI分别与所设定的阈值比较，仅使用比 阈值小的值所对应的信息来生成视点合成图像也可。此时，在双方比阈值大的情况下，按照 前述的规则仅使用具有更小的值的残差所对应的信息也可，使用双方也可。
[0087] 此外，在使用在参照视点的时间间隔T的解码图像DecIVT的情况下，按照下面的数 式来生成视点合成图像或其候补也可。
[0089] 在此，wO和wl为另外确定的权重系数，只要为与解码侧相同的值，则怎样决定都可 以。例如，也可以使用预先确定的值。在将按照上述数式生成的图像用作视点合成图像的候 补的情况下，代替仅使用根据前述的参照视点运动信息生成的运动信息来生成的视点合成 图像或者代替仅使用按照每个子区域得到的视差矢量来生成的视点合成图像而使用按照 上述数式生成的图像也可，将按照上述数式生成的图像作为另外的候补添加到选择项也 可。
[0090] 接着，对本实施方式的活动图像解码装置进行说明。图4是示出本实施方式的活动 图像解码装置的结构的框图。活动图像解码装置200如图4所示那样具备:位流输入部201、 位流存储器202、参照视点运动信息输入部203、深度图输入部204、运动信息生成部205、视 点合成图像生成部206、图像解码部207、以及参照图像存储器208。
[0091] 位流输入部201输入成为解码对象的活动图像的位流。在以下，将该成为解码对象 的活动图像的1帧称为解码对象图像。在此，解码对象图像指摄像机B的活动图像的1帧。此 外，在以下，将拍摄了解码对象图像的视点（在此为摄像机B)称为解码对象视点。位流存储 器202存储所输入的针对解码对象图像的位流。参照视点运动信息输入部203输入针对参照 视点的活动图像的运动信息(运动矢量等）。在以下，将在此输入的运动信息称为参照视点 运动信息，在此，假设输入摄像机A的运动信息。
[0092] 深度图输入部204输入在生成视点合成图像时参照的深度图。在此，假设输入针对 解码对象图像的深度图，但是，也可以为针对参照视点等另外的视点的深度图。再有，深度 图是指表示在对应的图像的各像素中显现的被摄物的三维位置。关于深度图，只要为利用 另外提供的摄像机参数等信息来得到三维位置的信息，则为怎样的信息都可以。例如，能够 使用从摄像机到被摄物的距离、相对于与图像平面不平行的轴的坐标值、针对另外的摄像 机(例如摄像机A)的视差量。此外，在此，只要得到视差量即可，因此，不是使用深度图而是 使用直接表现视差量的视差图也可。再有，在此，深度图以图像的方式给出，但是，只要得到 同样的信息，则也可以不是图像的方式。
[0093]运动信息生成部205使用参照视点运动信息和深度图来生成针对解码对象图像的 运动信息。视点合成图像生成部206基于被生成的运动信息根据参照图像来生成针对编码 对象图像的视点合成图像。图像解码部207-边使用视点合成图像一边根据位流对解码对 象图像进行解码并输出。参照图像存储器208蓄积所得到的解码对象图像，以便以后的解 码。
[0094] 接着，参照图5来说明图4所示的活动图像解码装置200的工作。图5是示出图4所示 的活动图像解码装置200的工作的流程图。首先，位流输入部201输入对解码对象图像进行 编码后的位流，将所输入的位流存储到位流存储器202中（步骤S201)。接着，参照视点运动 信息输入部20 3输入参照视点运动信息，将所输入的参照视点运动信息向运动信息生成部 205输出，深度图输入部204输入深度图，将所输入的深度图向运动信息生成部205输出（步 骤S202)。
[0095] 再有，假设在步骤S202中输入的参照视点运动信息和深度图与在编码侧使用的信 息相同。这是因为，通过使用与由活动图像编码装置得到的信息完全相同的信息，从而抑制 漂移等编码噪声的产生。但是，在容许那样的编码噪声的产生的情况下，也可以输入与在编 码时使用的信息不同的信息。关于深度图，除了另外解码后的信息以外，有时也使用通过对 针对多个摄像机而解码后的多视点图像应用立体匹配等而估计出的深度图或者使用解码 后的视差矢量或运动矢量等而估计出的深度图等。
[0096] 关于参照视点运动信息，也可以使用在对针对参照视点的图像进行解码时使用的 运动信息，也可以为针对参照视点另外编码后的信息。此外，也能够对针对参照视点的活动 图像进行解码而使用根据此估计而得到的运动信息。
[0097] 在位流、参照视点运动信息、深度图的输入结束之后，将解码对象图像分割为预先 确定的大小的区域，按照每个所分割的区域根据位流对解码对象图像的视频信号进行解码 (步骤S203~S208)。即，当假设使用blk表示解码对象区域索引并且使用numBlks表示1帧中 的总解码对象区域数量时，使用〇初始化b I k (步骤S 2 0 3 )，之后，一边对b I k加上1 (步骤 S207)，一边重复进行以下的处理（步骤S204~S206)直到blk变为numBlks(步骤S208)。在通 常的解码中，向16像素 X 16像素的被称为宏块的处理单位块分割，但是，只要与编码侧相 同，贝1J也可以分割为其他的大小的块。
[0098] 在按照每个解码对象区域重复的处理中，首先，运动信息生成部205生成解码对象 区域blk中的运动信息（步骤S204)。在此的处理与前述的步骤S104相同。在得到针对解码对 象区域blk的运动信息之后，视点合成图像生成部206按照该运动信息根据蓄积在参照图像 存储器208中的图像来生成针对解码对象区域blk的视点合成图像Syn(步骤S205)。在此的 处理与前述的步骤S105相同。
[0099] 接着，在得到视点合成图像之后，图像解码部207将视点合成图像用作预测图像， 根据位流对解码对象图像进行解码(步骤S206)。所得到的解码对象图像被蓄积到参照图像 存储器208中，并且，成为活动图像解码装置200的输出。
[0100] 在解码对象图像的解码中使用与在编码时使用的方法对应的方法。例如，在使用 了MPEG-2、H. 264/AVC等通常的编码的情况下，对码数据依次实施熵解码、逆二值化、逆量 化、IDCT(Inverse Discrete Cosine Transform)等频率逆变换，对所得到的二维信号加上 预测图像，最后在像素值的值域中进行裁剪，由此，对视频信号进行解码。
[0101]在前述的说明中，按照对编码对象图像或者解码对象图像进行分割后的区域的每 一个进行了运动信息的生成和视点合成图像的生成，但是，也可以针对编码对象图像或解 码对象图像的整体生成运动信息或者运动信息和视点合成图像双方。在针对图像整体生成 运动信息的情况下，需要对所生成的运动信息进行缓冲的存储器。此外，在针对图像整体生 成运动信息和视点合成图像双方的情况下，需要用于蓄积所生成的视点合成图像的存储 器。
[0102] 此外，在前述的说明中，作为对图像整体进行编码/解码的处理，说明了本手法的 处理，但是，也能够仅对图像的一部分应用处理。在该情况下，判断是否应用处理，对示出应 用的是否需要的标志进行编码或解码也可，使用任何另外的方案来指定应用的是否需要也 可。例如，作为示出生成每个区域的预测图像的手法的模式之一，使用表现应用的是否需要 的方法也可。
[0103] 像这样，在使用根据深度图求取的视差来生成视点合成图像时，不是在视点间直 接预测像素值，而是在视点间预测运动矢量之后，在时间方向上预测像素值，由此，即使在 由深度图表现的视差的精度低的情况下，也能够实现小数像素精度（fractional pixel accuracy )的预测，能够以少的码量对多视点活动图像进行编码。
[0104] 图6是示出通过计算机和软件程序构成前述的活动图像编码装置100的情况下的 硬件结构的框图。图6所示的系统为以总线连接有以下各部的结构：执行程序的CPU (Central Processing Unit，中央处理单元）50、CPU50访问的储存有程序、数据的RAM (Random Access Memory，随机存取存储器)等存储器51、输入来自摄像机等的编码对象的 图像信号的编码对象图像输入部52(也可以是利用磁盘装置等的存储图像信号的存储部）、 从存储器等输入参照视点的运动信息的参照视点运动信息输入部53(也可以是利用磁盘装 置等的存储运动信息的存储部）、输入来自深度摄像机等的针对拍摄了编码对象图像的视 点的深度图的深度图输入部54(也可以是利用磁盘装置等的存储深度图的存储部）、储存有 使CPU50执行活动图像编码处理的软件程序即图像编码程序551的程序存储装置55、以及例 如经由网络输出通过CPU50执行被加载到存储器51中的图像编码程序551而生成的位流的 位流输出部56(也可以是利用磁盘装置等的存储位流的存储部）。
[0105] 图7是示出通过计算机和软件程序构成前述的活动图像解码装置200的情况下的 硬件结构的框图。图7所示的系统为以总线连接有以下各部的结构：执行程序的CPU60、 CPU60访问的储存有程序、数据的RAM等存储器51、输入活动图像编码装置利用本手法来进 行编码后的位流的位流输入部62(也可以是利用磁盘装置等的存储位流的存储部）、输入来 自摄像机等的参照视点的运动信息的参照视点运动信息输入部63(也可以是利用磁盘装置 等的存储运动信息的存储部）、输入来自深度摄像机等的针对拍摄了解码对象的视点的深 度图的深度图输入部64(也可以是利用磁盘装置等的存储深度信息的存储部）、储存有使 CPU60执行图像解码处理的软件程序即图像解码程序651的程序存储装置65、以及将通过 CPU60执行被加载到存储器61中的图像解码程序651来对位流进行解码而得到的解码对象 图像输出到再生装置等中的解码对象图像输出部66(也可以是利用磁盘装置等的存储图像 信号的存储部）。
[0106] 也可以通过计算机实现前述的实施方式中的活动图像编码装置100和活动图像解 码装置200。在该情况下，将用于实现该功能的程序记录在计算机可读取的记录介质中，使 计算机系统读入记录在该记录介质中的程序并执行，由此，也可以实现活动图像编码装置 100和活动图像解码装置200。再有，在此所说的"计算机系统"包含0S(0perating System， 操作系统）、周围设备等硬件。此外，"计算机可读取的记录介质"是指软盘、光磁盘