使用所述深度图的整数像素位置的深度信息针对 与所述解码对象区域内的整数像素位置的像素对应的所述深度区域内的整数或小数位置 的像素来生成作为解码对象区域深度的深度信息；以及视点间预测步骤，在其中，使用所述 解码对象区域深度和所述参照图像来生成针对所述解码对象区域的视点间预测图像。
[0037] 本发明是一种图像解码方法，在根据由多个不同的视点的图像构成的多视点图像 的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像不同的视点的解码完 毕的参照图像和针对所述解码对象图像的深度图来一边在不同的视点之间对图像进行预 测一边进行解码，所述图像解码方法具有：模拟运动矢量设定步骤，在其中，针对分割了所 述解码对象图像的解码对象区域设定示出所述解码对象图像上的区域的模拟运动矢量；解 码对象区域深度设定步骤，在其中，将针对与所述解码对象区域内的像素对应的所述深度 图上的像素的深度信息设定为解码对象区域深度；以及视点间预测步骤，在其中，针对由所 述模拟运动矢量所示的所述区域，设为该区域的深度为所述解码对象区域深度，使用所述 参照图像来生成针对所述解码对象区域的视点间预测图像。
[0038] 本发明是一种用于使计算机执行前述图像编码方法的图像编码程序。
[0039] 本发明是一种用于使计算机执行前述图像解码方法的图像解码程序。
[0040] 发明效果 根据本发明，在进行针对视点合成图像的小数像素精度的运动补偿预测时，配合于所 指定的小数像素位置而变更生成视点合成图像时的像素位置、深度，由此，得到如下效果： 能够对预测对象像素数以上的像素省略生成视点合成图像的处理，而以少的运算量生成视 点合成图像。
【附图说明】
[0041] 图1是示出本发明的实施方式的图像编码装置的结构的框图。
[0042] 图2是示出图1所示的图像编码装置100的工作的流程图。
[0043] 图3是示出图1所示的图像编码装置100的变形例的框图。
[0044] 图4是示出图2所示的生成摄像机间预测图像的处理的处理工作的流程图。
[0045] 图5是示出本发明的实施方式的图像解码装置的结构的框图。
[0046] 图6是示出图5所示的图像解码装置200的工作的流程图。
[0047] 图7是示出图5所示的图像解码装置200的变形例的框图。
[0048] 图8是示出由计算机和软件程序构成图像编码装置100的情况下的硬件结构的框 图。
[0049] 图9是示出由计算机和软件程序构成图像解码装置200的情况下的硬件结构的框 图。
[0050] 图10是示出在摄像机之间产生的视差的概念图。
[0051] 图11是对极几何约束的概念图。
【具体实施方式】
[0052] 以下，参照附图来说明本发明的实施方式的图像编码装置和图像解码装置。在以 下的说明中，设想对由第一摄像机(称为摄像机A)、第二摄像机(称为摄像机B)两个摄像机 拍摄的多视点图像进行编码的情况，将摄像机A的图像作为参照图像并将摄像机B的图像 作为编码或解码的图像来说明。再有，另外提供为了从深度信息得到视差而需要的信息。具 体而言，该信息为表示摄像机A和摄像机B的位置关系的外部参数、表示由摄像机向图像平 面的投影信息的内部参数，但是，即使为这些以外的方式，只要能从深度信息得到视差，则 也可以提供其他的信息。例如，在文献"Oliver Faugeras, "Three-Dimension Computer Vision"，pp.33-66,MIT Press; BCTC/UFF-006. 37 F259 1993，ISBN:0-262-06158-9. " 中记载了这些摄像机参数相关的详细的说明。在该文献中记载了示出多个摄像机的位置关 系的参数、表示由摄像机向图像平面的投影信息的参数相关的说明。
[0053] 在以下的说明中，针对图像、视频帧、深度图附加由记号□夹着的能确定位置的 信息(坐标值或能与坐标值相对应的索引），由此，作为由该位置的像素采样的图像信号、针 对其的深度。此外，通过能与坐标值、块相对应的索引值和矢量的相加，从而使该坐标、块为 表示错开了矢量的量的位置的坐标值、块。进而，在针对某一区域a的视差或者模拟运动矢 量为vec时，与区域a对应的区域由a+vec表示。
[0054] 图1是示出本实施方式的图像编码装置的结构的框图。图像编码装置100如图1 所示那样具备：编码对象图像输入部101、编码对象图像存储器102、参照图像输入部103、 参照图像存储器104、深度图输入部105、深度图存储器106、模拟运动矢量设定部107、参照 区域深度生成部108、摄像机间预测图像生成部109以及图像编码部110。
[0055] 编码对象图像输入部101输入成为编码对象的图像。在以下，将该成为编码对象 的图像称为编码对象图像。在此，输入摄像机B的图像。此外，将对编码对象图像进行拍摄 的摄像机(在此，为摄像机B)称为编码对象摄像机。编码对象图像存储器102存储所输入 的编码对象图像。参照图像输入部103输入在生成摄像机间预测图像(视点合成图像、视差 补偿图像）时参照的图像。在以下，将在此输入的图像称为参照图像。在此，输入摄像机A 的图像。参照图像存储器104存储所输入的参照图像。在以下，将对参照图像进行拍摄的 摄像机(在此为摄像机A)称为参照摄像机。
[0056] 深度图输入部105输入在生成摄像机间预测图像时参照的深度图。在此，输入针 对编码对象图像的深度图。再有，深度图表示在对应的图像的各像素中映现的被摄体的三 维位置。只要能通过另外提供的摄像机参数等信息而得到三维位置，则深度图无论是怎样 的信息都可以。例如，能够使用从摄像机到被摄体的距离、针对与图像平面不平行的轴的坐 标值、针对其他的摄像机(例如摄像机A)的视差量。此外，在此，由于只要能得到视差量就可 以，所以不是使用深度图而是使用直接表现视差量的视差图也可以。再有，在此，作为深度 图而以图像的方式进行传递，但是，只要能得到同样的信息，则不是图像的方式也可以。深 度图存储器106存储所输入的深度图。
[0057] 模拟运动矢量设定部107按照分割了编码对象图像的每个块设定深度图上的模 拟运动矢量。参照区域深度生成部108使用深度图和模拟运动矢量来按照分割了编码对象 图像的每个块生成作为在生成摄像机间预测图像时使用的深度信息的参照区域深度。摄像 机间预测图像生成部109使用参照区域深度来求取编码对象图像的像素和参照图像的像 素的对应关系，生成针对编码对象图像的摄像机间预测图像。图像编码部110使用摄像机 间预测图像来进行编码对象图像的预测编码，并输入位流。
[0058] 接着，参照图2来说明图1所示的图像编码装置100的工作。图2是示出图1所 示的图像编码装置100的工作的流程图。首先，编码对象图像输入部101输入编码对象图 像，并存储在编码对象图像存储器102中（步骤S11)。接着，参照图像输入部103输入参照 图像，并存储在参照图像存储器104中。与此并行地，深度图输入部105输入深度图，并存 储在深度图存储器106中（步骤S12)。
[0059] 再有，在步骤S12中输入的参照图像和深度图为与对已经编码完毕的信息解码后 的信息等能在解码侧得到的信息相同的信息。这是因为，通过使用与能在解码装置中得到 的信息完全相同的信息来抑制漂移等编码噪声的产生。但是，在容许这样的编码噪声的产 生的情况下，也可以输入编码前的信息等只能在编码侧得到的信息。关于深度图，除了对已 经编码完毕的信息进行解码的信息以外，还能够将通过对针对多个摄像机解码的多视点图 像应用立体声匹配等而估计的深度图、使用解码后的视差矢量、运动矢量等而估计的深度 图等用作能在解码侧得到相同的信息的信息。
[0060] 接着，图像编码装置100按照分割了编码对象图像的每个块一边制作摄像机间预 测图像一边对编码对象图像进行编码。即，在将示出分割了编码对象图像的块的索引的变 量blk初始化为0之后(步骤S13)，一边对blk每次加一(步骤S17) -边重复以下的处理 (步骤S14~步骤S16)直到blk变为numBlks (步骤S18)。再有，numBlks表示编码对象图 像中的进行编码处理的单位块的个数。
[0061] 在按照编码对象图像的每个块进行的处理中，首先，在模拟运动矢量设定部107 中，设定表示深度图上的块blk的模拟的运动的模拟运动矢量mv (步骤S14)。模拟的运动 是指依照对极几何使用深度信息来求取对应点时产生的位置偏离(误差)。在此，无论使用 怎样的方法来设定模拟运动矢量都可以，但是需要能在解码侧得到相同的模拟运动矢量。
[0062] 例如，可以通过估计位置偏离等来将任意的矢量设定为模拟运动矢量，并通过对 设定的模拟运动矢量进行编码来向解码侧通知。在该情况下，如图3所示，图像编码装置 100进一步具备模拟运动矢量编码部111和复用部112即可。图3是示出图1所示的