述预测区域中的所述运动信息来生成针对所述预测区域的预测图像。
[0026] 在本发明的活动图像解码装置中，所述视差矢量生成部还针对所述解码对象区域 生成针对所述深度图的视差矢量，所述对应区域设定部将由针对所述深度图的所述视差矢 量示出的区域设定为所述对应区域也可。
[0027] 在本发明的活动图像解码装置中，所述视差矢量生成部使用在对与所述解码对象 区域邻接的区域进行解码时使用的视差矢量来设定针对所述深度图的所述视差矢量也可。
[0028] 在本发明的活动图像解码装置中，所述区域分割部基于所述对应区域内的深度信 息来设定针对所述解码对象区域的区域分割也可。
[0029] 在本发明的活动图像解码装置中，所述视差矢量生成部按照每个所述预测区域根 据所述对应区域内的该预测区域所对应的所述区域中的所述深度信息设定代表深度，基于 该代表深度来设定针对所述参照视点的所述视差矢量也可。
[0030] 在本发明的活动图像解码装置中，所述运动信息生成部使用针对所述预测区域预 先确定的像素的位置和针对所述参照视点的所述视差矢量来求取在所述参照视点的对应 位置，将所述参照视点运动信息之中的针对包含该对应位置的区域提供的运动信息作为所 述预测区域中的所述运动信息也可。
[0031] 在本发明的活动图像解码装置中，还具备参照图像设定部，所述参照图像设定部 针对所述解码对象图像将在解码对象视点的与所述解码对象图像不同的已经解码完毕的1 帧设定为参照图像，所述运动信息生成部配合所述解码对象图像与所述参照图像的时间间 隔缩放根据所述参照视点运动信息得到的运动信息，由此，生成所述预测区域中的所述运 动信息也可。
[0032] 在本发明的活动图像解码装置中，所述预测图像生成部使用第一预测图像和第二 预测图像来生成针对所述预测区域的所述预测图像，所述第一预测图像使用所述预测区域 中的所述运动信息来生成，所述第二预测图像使用针对所述参照视点的所述视差矢量和所 述参照视点图像来生成也可。
[0033] 本发明的一个方式是，一种活动图像编码方法，在对由多个不同的视点的活动图 像构成的多视点活动图像的1帧进行编码时，使用针对与编码对象图像不同的参照视点的 参照视点图像的运动信息即参照视点运动信息和针对所述多视点活动图像中的被摄物的 深度图，一边在不同的视点间进行预测一边按照作为对所述编码对象图像进行分割后的区 域的编码对象区域的每一个进行编码，其中，所述活动图像编码方法具有:对应区域设定步 骤，针对所述编码对象区域设定所述深度图上的对应区域;区域分割步骤，设定作为对所述 编码对象区域进行分割后的区域的预测区域;视差矢量生成步骤，按照每个所述预测区域， 使用所述对应区域内的该预测区域所对应的区域中的深度信息来生成针对所述参照视点 的视差矢量;运动信息生成步骤，基于针对所述参照视点的所述视差矢量，根据所述参照视 点运动信息来生成所述预测区域中的运动信息；以及预测图像生成步骤，使用所述预测区 域中的所述运动信息来生成针对所述预测区域的预测图像。
[0034] 本发明的一个方式是，一种活动图像解码方法，在根据由多个不同的视点的活动 图像构成的多视点活动图像的码数据对解码对象图像进行解码时，使用针对与所述解码对 象图像不同的参照视点的参照视点图像的运动信息即参照视点运动信息和针对所述多视 点活动图像中的被摄物的深度图，一边在不同的视点间进行预测一边按照作为对所述解码 对象图像进行分割后的区域的解码对象区域的每一个进行解码，其中，所述活动图像解码 方法具有:对应区域设定步骤，针对所述解码对象区域设定所述深度图上的对应区域;区域 分割步骤，设定作为对所述解码对象区域进行分割后的区域的预测区域;视差矢量生成步 骤，按照每个所述预测区域，使用所述对应区域内的该预测区域所对应的区域中的深度信 息来生成针对所述参照视点的视差矢量;运动信息生成步骤，基于针对所述参照视点的所 述视差矢量，根据所述参照视点运动信息来生成所述预测区域中的运动信息；以及预测图 像生成步骤，使用所述预测区域中的所述运动信息来生成针对所述预测区域的预测图像。 [0035]本发明的一个方式是，一种活动图像编码程序，用于使计算机执行所述活动图像 编码方法。
[0036]本发明的一个方式是，一种活动图像解码程序，用于使计算机执行所述活动图像 解码方法。
[0037]发明效果 根据本发明，得到如下这样的效果：即使在由深度图表现的视差的精度低的情况下，也 能够实现小数像素精度的预测，能够以少的码量对多视点活动图像进行编码。
【附图说明】
[0038]图1是示出本发明的一个实施方式的活动图像编码装置的结构的框图。
[0039 ]图2是示出图1所示的活动图像编码装置100的工作的流程图。
[0040] 图3是示出图1所示的运动信息生成部105中的生成运动信息的工作(步骤S104)的 详细处理工作的流程图。
[0041] 图4是示出本发明的一个实施方式的活动图像解码装置的结构的框图。
[0042] 图5是示出图4所示的活动图像解码装置200的工作的流程图。
[0043] 图6是示出通过计算机和软件程序构成图1所示的活动图像编码装置100的情况下 的硬件结构的框图。
[0044] 图7是示出通过计算机和软件程序构成图4所示的活动图像解码装置200的情况下 的硬件结构的框图。
[0045] 图8是示出在摄像机间产生的视差的概念图。
[0046] 图9是对极几何约束的概念图。
【具体实施方式】
[0047] 以下，参照附图来对本发明的实施方式的活动图像编码装置和活动图像解码装置 进行说明。在以下的说明中，说明设想对使用第一摄像机(称为摄像机A)、第二摄像机(称为 摄像机B)这2个摄像机拍摄的多视点活动图像进行编码的情况，并将摄像机A作为参照视点 来对摄像机B的活动图像的1帧进行编码或解码。再有，假设另外提供为了根据深度信息得 到视差而需要的信息。具体地，该信息为表示摄像机A和摄像机B的位置关系的外部参数或 表示利用摄像机的向图像平面的投影信息的内部参数，但是，即使为这些以外的方式，只要 根据深度信息得到视差，也可以提供另外的信息。与这些摄像机参数相关的详细的说明例 如被记载在参考文南犬 "Olivier Faugeras，"Three-Dimensional Computer Vision"，pp. 33-66，MIT Press; BCTC/UFF-006.37 F259 1993，ISBN: 0-262-06158-9." 中。在该参考 文献中，记载了与示出多个摄像机的位置关系的参数、表示利用摄像机的向图像平面的投 影信息的参数相关的说明。
[0048] 在以下的说明中，假设对图像、视频帧、深度图附加由记号[]夹着的能够对位置进 行特别指定的信息（坐标值或能够与坐标值相对应的索引等），由此，示出利用该位置的像 素采样后的图像信号或针对其的深度。此外，假设通过能够与坐标值或块相对应的索引值 和矢量的相加来表示使该坐标或块错开矢量的量的位置的坐标值或块。
[0049]图1是示出本实施方式的活动图像编码装置的结构的框图。活动图像编码装置100 如图1所示那样具备:编码对象图像输入部101、编码对象图像存储器102、参照视点运动信 息输入部103、深度图输入部104、运动信息生成部105、视点合成图像生成部106、图像编码 部107、图像解码部108、以及参照图像存储器109。
[0050] 编码对象图像输入部101输入成为编码对象的图像。在以下，将该成为编码对象的 图像称为编码对象图像。在此，假设1帧1帧地输入摄像机B的活动图像。此外，将拍摄了编码 对象图像的视点（在此为视点B)称为编码对象视点。编码对象图像存储器102存储所输入的 编码对象图像。参照视点运动信息输入部103输入针对参照视点的活动图像的运动信息(运 动矢量等）。在以下，将在此输入的运动信息称为参照视点运动信息。在此，假设输入摄像机 A的运动信息。
[0051] 深度图输入部104输入在生成视点合成图像时参照的深度图。在此，假设输入针对 编码对象图像的深度图，但是，也可以为针对参照视点等另外的视点的深度图。再有，深度 图是指表示在对应的图像的各像素中显现的被摄物的三维位置。关于深度图，只要为利用 另外提供的摄像机参数等信息来得到三维位置的信息，则为怎样的信息都可以。例如，能够 使用从摄像机到被摄物的距离、相对于与图像平面不平行的轴的坐标值、针对另外的摄像 机(例如摄像机A)的视差量。此外，在此，只要得到视差量即可，因此，不是使用深度图而是 使用直接表现视差量的视差图也可。再有，在此，深度图以图像的方式给出，但是，只要得到 同样的信息，则也可以不是图像的方式。
[0052]运动信息生成部105使用参照视点运动信息和深度图来生成针对编码对象图像的 运动信息。视点合成图像生成部106基于被生成的运动信息根据参照图像来生成针对编码 对象图像的视点合成图像。图像编码部107-边使用视点合成图像一边对编码对象图像进 行预测编码。图像解码部108对编码对象图像的位流进行解码。参照图像存储器109蓄积在 对编码对象图像的位流进行解码时得到的图像。
[0053 ]接着，参照图2来说明图1所示的活动图像编码装置100的工作。图2是示出图1所示 的活动图像编码装置100的工作的流程图。首先，编码对象图像输入部101输入编码对象图 像Org，将所输入的编码对象图像Org存储到编码对象图像存储器102中（步骤S101)。接着， 参照视点运动信息输入部10 3输入参照视点运动信息，将所输入的参照视点运动信息向运 动信息生成部105输出，深度图输入部104输入深度图，将所输入的深度图向运动信息生成 部105输出（步骤S102)。
[0054]再有，假设在步骤S102中输入的参照视点运动信息和深度图与对已经编码完毕的 信息进行解码后的信息等在解码侧得到的信息相同。这是因为，通过使用与由解码装置得 到的信息完全相同的信息，从而抑制漂移(drift)等编码噪声的产生。但是，在容许那样的 编码噪声的产生的情况下，也可以输入编码前的信息等仅在编码侧得到的信息。关于深度 图，除了对已经编码完毕的信息进行解码后的信息以外，也能够将通过对针对多个摄像机 而解码后的多视点活动图像应用立体匹配(stereo matching)等而估计出的深度图或者使 用解码后的视差矢量或运动矢量等而估计出的深度图等用作在解码侧得到相同的信息的 信息。
[0055] 关于参照视点运动信息，也可以使用在对针对参照视点的图像进行编码时使用的 运动信息，也可以为针对参照视点另外编码后的信息。此外，也能够对针对参照视点的活动 图像进行解码而使用根据此估计而得到的运动信息。
[0056] 在编码对象图像、参照视点运动信息、深度图的输入结束之后，将编码对象图像分 割为预先确定的大小的区域，按照每个所分割的区域对编码对象图像的视频信号进行编码 (步骤S103~S109)。即，当假设使用blk表示编码对象区域索引并且使用numBlks表示1帧中 的总编码对象区域数量时，使用0初始化b I k (步骤S10 3 )，之后，一边对b I k加上1 (步骤 S108)，一边重复进行以下的处理（步骤S104~S107)直到blk变为numBlks(步骤S109)。在通 常的编码中，向16像素 X 16像素的被称为宏块的处理单位块分割，但是，只要与解码侧相 同，贝1J也可以分割为其他的大小的块。
[0