图像编码方法和解码方法、其装置、图像解码装置、以及其程序和记录有程序的记录介质的制作方法

专利名称：图像编码方法和解码方法、其装置、图像解码装置、以及其程序和记录有程序的记录介质的制作方法
技术领域：
本发明涉及多视点图像和多视点活动图像的编码及解码技术。本申
请基于2006年9月20日申请的日本专利申请2006-254023号主张优先 权，并在这里援引其内容。
背景技术：
多视点图像指的是以多个摄影机对相同的被摄体和背景进行摄影 的多个图像，多视点活动图像(多视点影像)指的是其活动图像。在以 下，将以一个摄影机摄影的活动图像称为"二维活动图像，，，将对相同的 被摄体和背景进行摄影的二维活动图像组称为多视点活动图像。
二维活动图像关于时间方向具有强相关，通过利用该相关提高编码 效率。另一方面，在多视点图像或多视点活动图像中，在各摄影机被同 步了的情况下，对应于相同时间的各摄影机的影像是从不同位置对完全 相同状态的被摄体和背景进行摄影的影像，因此在摄影机间有强相关。 在多视点图像或多视点活动图像的编码中，通过利用该相关能够提高编 码效率。
首先，对与二维活动图像的编码技术相关的现有技术进行说明。 在以作为国际编码标准的H.264、 MPEG-2、 MPEG-4为首的现有的 众多的二维活动图像编码方式中，利用运动补偿、正交变换、量化、熵 编码等技术进行高效率的编码。被称为运动补偿的技术是利用帧间的时 间相关的方法。
关于在H.264中使用的运动补偿技术的详细在下述的非专利文献1 中记述，以下对其概要进行说明。
在H.264的运动补偿中，将编码对象帧分割为各种各样大小的块， 对于每一个块选择被称为参照帧的已经编码完成的帧，使用被称为运动
矢量的表示对应点的矢量信息，对影像进行预测。这时，被允许的块分 割是16x16 (像素)、16x8、 8x16、 8x8、 8x4、 4x8、 4x4的七种。这 样就能够以细小的单位与被摄体的运动的朝向和大小的不同对应地对影像进行预测。由此，因为以预测图像和原图像的差分表示的编码对象 的残差变小，所以实现了高编码效率。
接着，对现有的多视点图像或多视点活动图像的编码方式进行说明。
多视点图像的编码方法、和多视点活动图像的编码方法的差异在 于，在多视点活动图像中除了摄像机间的相关之外，还同时存在时间方 向的相关。可是，相同的利用摄影机间的相关的方法在多视点图像的编 码方法和多一见点活动图像的编码方法中均可以使用。因此，在这里对在 多视点活动图像的编码中使用的方法进行说明。
关于多视点活动图像的编码，从以前就存在为了利用摄影机间的相 关，通过将运动补偿应用于相同时刻的不同摄影机的图像中的"视差补 偿"，从而高效率地对多视点活动图像进行编码的方式。这里，视差指 的是在配置于不同位置的摄影机的图像平面上，被摄体上的相同位置被 投影的位置的差。
图21表示在该摄影机间产生的视差的概念图。
在该概念图中，从上方垂直地向下观察光轴平行的摄影机的图像平 面。这样，在不同的摄影机的图像平面上被摄体上的相同位置被投影的 位置通常被称为对应点。
视差补偿基于该对应关系，根据参照帧预溯，J编码对象帧的各像素 值，对预测残差、表示对应关系的视差信息进行编码。
在众多的方法中，将视差作为在图像平面上的矢量来表现。例如， 在非专利文献2中，包含以块单位进行视差补偿的结构，以二维矢量、 即以两个参数(x成分和y成分)表现块单位的视差。也就是说，在该 方法中，对以两个参数构成的— 见差信息和预测残差进行编码。
另一方面，在非专利文献3中，在编码中利用摄影机参数，基于对 极几何约束将视差矢量作为 一维的信息进行表现，由此有效率地编码预 测信息。在图22中表示对极几何约束的概念图。
根据对极几何约束，在两台摄影机(摄影机A和摄影机B)中，与 一方的图像上的点对应的另 一方的图像上的点，被约束于被称为对极线 (Epipolar line)的直线上。在非专利文献3的方法中，为了表示在对极 线上的位置，以从摄影参照帧的摄影机到被摄体为止的距离的这一个参 数，表现对于全部编码对象帧的视差。非专利文献1: ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264/ISO/IEC 14496-10 AVC), Draft 7", Final Committee Draft, DocumenUVT-E022, pp. 10-13, and 62-68, September 2002.
非专利文献2: Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding(3DAV)", document Ml0976 MPEG Redmond Meeting, July, 2004.
非专利文献3: Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map ", In Proceedings of Picture Coding Symposium 2006，SS3-6, April ， 2006.

发明内容
本发明要解决的课题
根据现有的多视点活动图像的编码方法，在摄影机参数为已知的情 况下，利用对极几何约束，不管摄影机的台数，仅对于参照帧对从摄影 机到被摄体为止的距离的 一 维信息进行编码，就能够实现对全部编码对 象帧的视差补偿，能够有效率地编码视差信息。
可是，由于难以正确地测定摄影机参数，所以在摄影机参数中包含 不少误差。结果，在以最有效率地对相同时刻的全部编码对象帧进行^见 差补偿的方式，求取对于参照帧的基于对极几何约束的视差信息的情况 下，在求取的视差信息中包含全部的摄影机的摄影机参数的误差。
因此，在选择了一个编码对象帧时的视差补偿的预测精度，受到与 其它的摄影机相关的误差的影响，与使用对于该编码对象帧和参照帧的 组求取的视差信息的情况下的预测精度相比降低。

发明内容
本发明是鉴于上述情况而完成的，其目的在于在多视点活动图像的 编码中，即使在参照帧的编码失真或摄影机参数的测定误差存在的情况 下，也能够以较少的视差信息实现高精度的视差补偿，由此实现比现有 技术高的编码效率。用于解决课题的方法
在本发明的图像编码方法的第一方式中，具有在从多视点图像整
体选择一个基准视点，考虑基准视点的摄影机与其它的全部摄影机的图 像的对极几何约束时，求取并编码作为可能正确的视差信息的全局
(global)视差信息的步骤；在根据全局视差信息和摄影机参数，考虑 该摄影机的图像与其它的全部摄影机的图像的对极几何约束时，对基准 视点以外的摄影机的每一个生成作为可能正确的视差信息的基础视差 信息的步骤；为了表示该摄影机的图像与在视差补偿中使用的已经编码 完成的参照视点图像的视差信息，求取并编码对基础视差信息进行补正 的补正视差信息的步骤；以及使用通过以补正视差信息对基础视差信息 进行补正而得到的视差信息，对该摄影机的图像进行编码的步骤。
由此，因为对于编码对象的图像，仅考虑视差补偿时的参照目的地 的图像(参照视点图像)求取补正视差信息，所以能够对摄影机的每一 个消除全局视差信息中包含的全部摄影机参数的误差的影响和参照帧 的编码失真的影响，能够实现高编码效率。
此外，因为全局视差信息表示在整体共同的大致的视差信息，所以 只需要较少的基础视差信息的补正量，补正视差信息的码量少。
也就是说，与对编码对象的图像的每一个求取视差信息并进行编码 的情况相比，能够节约与共同部分相关的码量，因此作为整体能够削减 码量。
在本发明的图像编码方法的第二方式中，具有在从多视点图像整 体选择一个基准视点，考虑基准视点的摄影机与其它的全部摄影机的图 像的对极几何约束时，求取并编码作为可能正确的视差信息的全局视差 信息的步骤；在根据全局视差信息和摄影机参数，考虑该摄影机的图像 与其它的全部摄影机的图像的对极几何约束时，对基准视点以外的摄影 机的每一个生成作为可能正确的视差信息的基础视差信息的步骤；为了
表示对于该摄影机的图像的、在视差补偿中使用的已经编码完成的参照 视点图像的最优视差补偿对应点，求取并编码对通过基础视差信息提供 的对应点进行补正的补正一见差矢量的步骤；以及一边通过以补正—见差矢 量补正由基础视差信息得到的对应点而进行视差补偿， 一边对该摄影机 的图像进行编码的步骤。
由此，因为对于编码对象的图像，仅考虑视差补偿时的参照目的地的图像(参照视点图像)求取补正视差矢量，所以能够对摄影机的每一 个消除全局视差信息中包含的全部摄影机参数的误差的影响和参照帧 的编码失真的影响，能够实现高编码效率。
此外，因为全局视差信息表示在整体共同的大致的视差信息，所以 只需要较少的通过基础视差信息提供的对应关系的补正量，补正视差矢 量的码量少。
也就是说，与对编码对象的图像的每一个求取视差信息并进行编码 的情况相比，能够节约共同部分所需的码量，因此作为整体能够削减码量。
在所述第一方式中，为了进一步对根据基础视差信息和补正视差信
息得到的视差信息所表示的对应点信息(对应点矢量)进行补正，具有 求取二维的补正矢量，进行编码的步骤。
由此，由于能够对以按照对极几何约束的表现不能补正的微'J、的对 应点的不一致进行补正，所以视差补偿的预测效率提高，能够实现高编 码效率，其中，该微小的对应点的不一致是对编码对象图像进行摄影的
摄影机的摄影机参数的误差、或摄影机的透镜失真的导致的。
与现有的仅以二维矢量进行补正的方式不同，由于以补正视差信息 消除了几何约束导致的误差，所以补正所需要的矢量变得非常小，能够 以更少的码量实现高精度的预测。
关于上迷各方式，也可以具有设定对于基准视点的摄影机的图像的 区域分割的步骤；和对表示该区域分割的信息进行编码的步骤，对每个 设定的区域分割设定全局视差信息并进行编码。
由此，由于能够正确地表示通过映照在图像上的被摄体而变化的视 差信息，因此全局视差信息的精度提高，由此能够削减用于补正基础视 差信息的信息所需要的码量，能够实现高编码效率。
这里，在基准视点的图像的图像整体被区域分割，对每一个区域施 加处理并进行编码的情况下，通过使用于对该基准视点的图像进行编码 的区域分割、和对设定全局视差信息的单位进行表示的区域分割 一致， 能够不对表示基准视点的摄影机的图像的区域分割的信息重新进行编 码。
此外，由于影像本身与视差信息的性质并不完全相同，所以在具有 相同影像的性质的区域与具有相同视差信息的性质的区域不 一致的情况下，有不使用于编码基准视点的图像的区域分割完全一致、仅稍微变 更区域分割即可的情况。
在该情况下，通过仅对区域分割的差异进行编码，能够削减码量。
此外，也可以具有设定对于编码对象视点的摄影机的图像的区域分 割的步骤；和对表示该区域分割的信息进行编码的步骤，对每个设定了 的区域分割设定补正一见差信息、补正—见差矢量、补正矢量并进行编码。
由此，能够正确地表示通过映照在图像上的被摄体而变化的视差补 偿中使用的对应点的信息，因此视差补偿时的影像预测精度提高，能够 实现高编码效率。
这里，在编码对象视点的图像的图像整体被区域分割，对每一个区 域施加处理并与该区域分割信息 一起被编码的情况下，通过使用于对该 图像进行编码的区域分割、与对设定视差信息的单位进行表示的区域分 割一致，能够不对表示区域分割的信息进行编码，其中，该区域分割对 设定视差信息的单位进行表示。
此外，由于影像本身与视差信息的性质并不完全相同，所以在具有 相同影像的性质的区域与具有相同视差信息的性质的区域不 一 致的情 况下，有不使用于编码图像的区域分割与对设定视差信息的单位进行表 示的区域分割完全一致、仅稍微变更区域分割即可的情况。在该情况下， 通过仅对区域分割的差异进行编码，能够削减码量。
此外，关于上述各方式，也可以具有对视差补偿时参照的摄影机 进行设定的步骤；对表示该摄影机的索引(index)进行编码的步骤，在 使用以上述索引表示的摄影机的编码完成的图像进行视差补偿时，以成 为最优的方式对编码对象的图像的每一个求取的补正视差信息或补正 视差矢量或补正矢量进行求取。
由此，不仅是基准视点的摄影机，也能够将与编码对象的图像的摄 影机靠近的摄影机的影像作为参照图像，因此由于遮挡(occlusion)等 的影响而对应点的不能够取得的部分少，能够正确地预测。也就是说， 能够减少编码的视差补偿残差，实现有效率的编码。
此外，本发明的全局视差信息和基础视差信息是不依赖于参照对象 的信息，因此不管使用哪个参照对象也能够将补正视差信息或补正矢量 的码量抑制得较少。
此外，在对编码对象图像求取视差信息时，在设定有区域分割的情况下，能够对该区域的每一个选择最优的参照目的地，由此能够进行更 正确的预测，实现有效率的编码。
此外，关于上述各方式，也可以具有在求取全局4见差信息之前， 基于对极几何约束求取作为对于各摄影机的图像的视差信息的局部 (local)视差信息的步骤；和使用对该各摄影机求取的局部视差信息和 摄影机参数，生成所述全局视差信息的候补的步骤，在求取全局视差信 息的步骤中，将对相同区域得到的全局视差信息候补的平均值设定为该 区域的全局视差信息。
由此，在最初就计算应该成为在视差补偿时在各摄影机使用的最优 视差信息的局部视差信息，使用其生成全局视差信息。
因此，能够求取在后续的处理中尽量减少应该补正的视差信息的全 局视差信息。也就是说，无用的信息不再被编码，能够实现有效率的编 码。
再有，在从全局视差信息候补中决定全局视差信息时，也能够代替 平均值，而决定为在区域内出现最多的全局视差信息候补，由此能够减 少在后续的处理中应该补正的视差信息。
进而，也可以具有根据局部视差信息和基础视差信息的差来设定差 分视差信息的步骤，在设定对于编码对象视点的摄影机的图像的区域分 割的步骤中，设定该差分视差信息在区域内成为大致相同的最大的区域 分割，在求取补正视差信息的步骤中，能够根据区域内的差分视差信息 设定补正一见差信 息o
这样，能够以一次运算来求取全局视差信息和补正视差信息，因此 与分别对其进行求取的情况(需要大量的运算)相比，能够实现运算量 的削减。
此外，在区域分割的种类被限制的情况等下，对区域分割的每一个
求取差分视差信息的分散(dispersion),通过以该分散的值为基准选择 区域分割，能够高速地进行决定区域分割的运算。
此外，关于上述各方式，在设定基础视差信息的步骤，或设置全局 视差信息候补的步骤中，能够使用被提供了变换前的视差信息的图像中 的连续性，在变换后的图像上连续地设定视差信息。
例如，在对于变换前邻接的像素的视差信息大致相同、对变换后不 邻接的像素设定视差信息的情况下，根据两者的变换后的视差信息进行内插，生成对于在其间存在的像素的视差信息。
由此，被提供基础视差信息和全局视差信息候补的区域变多，能够 减少应该补正的信息，所以能够抑制码量，实现高编码效率。
此外，由于不仅是邻接关系，也能够使用表示三维信息的视差信息 更正确地判断连续性，所以能够防止生成错误的基础信息和全局视差信 息候补，从而相反地使应该补正的信息增加。
在上述的本发明的图像(包含影像)编码，以及对应的图像解码中， 能够考虑空间的变化或时间的变化，对各种视差信息、对视差信息进行 补正的信息、或区域分割信息进行编码。
由于各种视差信息、对视差信息进行补正的信息、或区域分割信息 是依赖于映照的影像的信息，所以图像内的相关和时间的相关非常高。
因此，根据上述方式，能够去除对各种视差信息、对视差信息进行 补正的信息、或区域分割信息的冗长而进行编码，因此能够减少其码量， 实现高编码效率。
此外，具有缩小基准视点的编码完成图像的步骤，在求取全局视差 信息时，能够以对于生成的缩小图像求取从基准视点的摄影机起至被摄 体的距离的方式实施。
由此，通过缩小图像而删除影像的细微信息，能够去除通过摄影机 参数误差等产生的视差信息的误差或细微变化。根据具有这样的性质的 全局视差信息，能够得到不受摄影机参数的误差等左右的大致的摄影机 间的对应关系。
因此，减少了以对每个摄像机编码的补正视差信息或补正矢量必须 进行重复修正的误差信息，能够使作为整体的编码效率提高。此外，通 过使用缩小图像，在求取视差信息时成为运算对象的像素减少，能够削 减运算量。
再有，在对多视点活动图像进行编码(解码)的情况下，将各时刻 的帧集合看作多视点图像，也能够应用本发明的图像编码方法(图像解 码方法)。
进而，在多视点活动图像中，不是以本发明的方法对图像整体进行 编码，而是对于编码处理对象的每一个选择利用了时间方向的相关的运 动补偿等其它的方法等来进行编码，由此也能够提高编码效率。发明的效果
根据本发明，能够 一 边防止用于进行视差补偿的信息大幅地增加， 一边实现考虑了摄影机参数的推定误差的影响的预测精度高的视差补 偿，由此能够实现作为多视点图像整体或多视点活动图像整体的高效率 的编码。


图1是本发明中定义的视差补偿中使用的各信息的示意图。 图2是实施例中的摄影机结构例的概念图。
图3是表示本发明的实施例1的影像编码装置的图。
图4是表示图3的全局视差补偿信息设定部的细节的图。
图5是表示图3的视差补偿信息设定部的细节的图。
图6是实施例1的影像编码流程图。
图7是与图6的步骤S2的处理相关的细节的流程图。
图8是表示宏块中的块分割的一个例子的图。
图9是与图6的步骤S4的处理相关的细节的流程图。
图IO是与图6的步骤S5的处理相关的细节的流程图。
图11是表示本发明的实施例2的影像编码装置的图。
图12是表示图11的局部视差补偿信息设定部的细节的图。
图13是表示图11的全局视差补偿信息设定部的细节的图。
图14是表示图11的视差补偿信息设定部的细节的图。
图15是实施例2的影像编码流程图。
图16是与图15的步骤S402的处理相关的细节的流程图。
图17是与图15的步骤S403的处理相关的细节的流程图。
图18是与图15的步骤S406的处理相关的细节的流程图。
图19是表示本发明的实施例3的影像解码装置的图。
图20是实施例3的影像解码流程图。
图21是摄影机间产生的视差的概念图。
图22是对极几何约束的概念图。
附图标记i兌明
100, 200影像编码装置101， 201图像输入部
102, 202图像存储器
103, 203基准视点图像输入部
104, 204基准视点图像存储器
105, 206全局视差补偿信息设定部
106, 207基础一见差信息设定部
107, 208视差补偿信息设定部 108， 209图像编码部
109， 210解码图像存储器 205局部视差补偿信息设定部 1051基准视点图像块分割设定部 1052块分割信息编码部 1053全局视差信息推定部 1054全局视差信息编码部
1071,2081编码对象图像块分割设定部
1072,2082块分割信息编码部
1073,2085参照视点索引设定部
1074,2086-现点索引编码部
1075,2083补正一见差信息设定部
1076,2084补正一见差信息编码部
1077，2087补正矢量设定部
1078，2088补正矢量编码部
1079,2089一见差补偿效率评价部
2051局部祸二差信息块分割设定部
2052参照视点索引设定部 2053局部一见差信息设定部 2054视差补偿效率评价部 2061基准视点图像块分割设定部 2062块分割信息编码部 2063全局视差信息推定部 2064全局一见差信息编码部 300影像解码装置301编码数据输入部
302基准视点图像输入部 303图像存储器 304全局视差补偿信息解码部 305基础视差信息设定部 306视差补偿信息解码部 307视差补偿图像生成部 308图像解码部
具体实施例方式
本发明与现有技术的最不同之处，是设定一个基准视点，为了对同 时刻的其它的全部编码对象图像进行视差补偿，对该基准视点的编码完 成图像求取按照对极几何约束的全局视差信息，将该全局视差信息变换 为对于各编码对象图像的按照对极几何约束的基础视差信息，对应于各 编码对象图像的性质、和摄影机参数误差，对每个编码对象图像，对用 于对该基础视差信息进行补正的视差信息进行编码。
该按照对极几何约束的视差信息能够以从该图像的视点起至被摄 体的距离、从对极直线上的基准点起的距离、和对应于这些距离的索引 值表示。
再有，在以下叙述视差信息的情况下，指的是这些基于对极几何约 束的视差信息。对在本发明中使用的全局视差信息和基础视差信息的概 念进行说明。
全局视差信息是对基准视点的图像提供的视差信息。以下，在下述 说明中，视差信息被提供每个区域。
当某个区域A具有视差信息d时，按照对极几何约束能够得到对于 在同时刻摄影的其它视点(1=1, 2, 3,N)的图像的对应区域RA (d， i)。这时，能够以差分绝对值和、差分平方和、差分的分散等、 多个基准的权重和等评价各对应区域间的图像的差异度。
当将对于(A， RA(d, i)| HI, 2， ...， N)的全部的组合的该差异度 的合计称为区域A中的视差信息d的评价值时，将提供了最小的评价值 的视差信息称为全局视差信息D。此外，为了减少误差的影响，也有假定实际空间中的物体的连续性 并对视差信息d追加补正项而计算评价值的情况。
在为了求取上述对应区域而利用对极几何约束时，由于摄影机参数
和计算中产生误差，在考虑特定的视点i=k时，有使编码时的码量Rate (A, d， k)最小化的视差信息d不是全局视差信息D的情况。
因此，全局 一见差信息D在该区域以及对于该区域的其它的全部视点 的图像的对应区域之间，是类似度变得最高的视差信息。从概念上说， 可以说表示从该区域中的摄影机起至被摄体的大致的距离、或精度低的 距离。
基础视差信息所指的与全局视差信息所指的相同。但是，仅有以下 不同之处，即该成为基准的视点在全局视差信息的情况下是基准视点， 在基础视差信息的情况下是基准视点以外的视点。
再有，对应的区域中的全局视差信息和基础视差信息是表示相同三 维位置的信息，通常，视差信息以从摄影机起至被摄体的距离来表示， 通过视点变化，视差信息的具体的值也变得不同。
图1是本发明中定义的视差补偿中使用的各信息的示意图。
在本发明的图像编码方法中，从编码对象的多视点图像中选择 一 个 基准视点进行编码。然后，在对基准视点以外的视点的图像进行编码时， 根据已经编码完成的其它的视点的图像进行影像预测并进行编码。
将该为了进行影像预测而使用的编码完成的其它视点的图像称为 参照视点图像。该参照视点图像与基准视点图像相同也可，不同也可。 在图l中，为了表示一般的情况，以作为不同视点的图像的方式进行表 示。
首先，对基准视点的图像提供在上述说明了的全局视差信息。通过 全局视差信息而被提供的被摄体的三维位置，从编码对象视点来看是基 础视差信息。然后，对于编码对象图像上的像素，在仅考虑参照视点图 像时，求取对应像素间的类似度最高的视差信息(将其称为局部视差信 息)，将该视差信息与基础视差信息的差分称为补正视差信息。
由于对于该编码对象图像上的像素的视差信息是按照对极几何约 束的信息，如图22所示，无论提供什么样的视差信息，参照视点图像 上的对应区域在参照视点图像上被约束在直线上，当存在被提供的摄影机参数的误差时，在该直线上不存在真的对应点。
因此，将从通过局部视差信息而被提供的对应点起至真的对应点的 矢量称为补正矢量。
以该方式对编码对象图像上的某个像素，不仅使用全局视差信息 (以及将其变换了的基础视差信息)，也使用提供补正视差信息和补正
矢量而求取的参照视点图像上的对应点的图像信息，预测该像素的影像。
再有，虽然在该图l中没有表示，全局视差信息对多视点图像(多 视点活动图像的显示时刻相同的图像组)编码一个图像的量，补正视差 信息和补正矢量对除了基准视点的各视点分别编码一个图像的量。此 外，基础视差信息根据全局视差信息而被求取，不被编码。
下面，4要照实施方式对本发明进行详细地说明。
这里，在以下说明的实施方式的例子中，假设对以三台摄影机摄影 的多视点活动图像进行编码的情况，关于将摄影机A作为基准视点对摄
影机B和摄影机C的图像进行编码的方法进行说明。
图2中表示在本实施方式的例子中使用的摄影机的结构的概念图。 再有，图中的四角形的图形表示各摄影机的帧，以图中的号码的顺序输 入摄影机B和摄影机C的图像来进行说明。
首先，对第一实施例(以下，实施例1)进行说明。本发明的实施 例1的影像编码装置的结构图如图3,图4,图5所示。
如图3所示，实施例1的影像编码装置100具备图像输入部101， 输入成为编码对象的摄影机B和摄影机C的原图像；图像存储器102， 对输入的图像进行存储；基准视点图像输入部103,对作为基准视点的 摄影机A的解码图像进行输入；基准视点图像存储器104,对输入的基 准视点的解码图像进行存储；全局视差补偿信息设定部105,对作为对 于基准视点的基于对极几何约束的视差信息的全局视差信息进行设定； 基础视差信息设定部106,根据全局视差信息，对作为对于编码对象图 像的视点的基于对极几何约束的视差信息的基础视差信息进行设定；视 差补偿信息设定部107，设定用于对编码对象图像进行视差补偿的信息； 图像编码部108,实际地对输入图像进行预测编码；以及解码图像存储 器109，存储对编码了的输入图像进行解码后的图像。
图4是表示全局视差补偿信息设定部105的结构的细节的图。如该图所示，全局视差补偿信息设定部105具备基准视点图像块 分割设定部1051,设定对于基准视点的图像的块分割；块分割信息编码 部1052，对决定了的块分割信息进行编码；全局视差信息推定部1053, 根据输入的图像组，对每个块推定全局视差信息；以及全局视差信息编 码部1054,对求取的全局视差信息进行编码。
这里，通过全局视差信息推定部1053求取的全局视差信息被通知 到基础一见差信息设定部106。
此外，块分割信息编码部1052和全局视差信息编码部1054输出的 编码数据，构成本影像编码装置100的输出的一部分。
图5是表示视差补偿信息设定部107的结构的细节的图。
如该图所示，视差补偿信息设定部107具备编码对象图像块分割 设定部1071,设定对于编码对象图像的块分割；块分割信息编码部1072， 对决定了的块分割信息进行编码；参照视点索引设定部1073,对^L点索 引进行设定，该视点索引表示在进行视差补偿时作为参照图像使用的图 像的视点；视点索引编码部1074,对决定了的视点索引进行编码；补正 碎见差信息设定部1075,对补正一见差信息进行设定，该补正视差信息是作 为用于基于对极几何约束对基础视差信息进行补正的信息；补正视差信 息编码部1076,对决定了的补正视差信息进行编码；补正矢量设定部 1077,对补正矢量进行设定，该补正矢量用于与对极几何约束无关地对 通过基础视差信息和补正视差信息而提供的对应关系进行补正；补正矢 量编码部1078,对决定了的补正矢量进行编码；以及一见差补偿效率评价 部1079,对以通过各部而设定的用于视差补偿的信息进行视差补偿时的 预测效率进行评价。
这里，通过视差补偿效率评价部1079而被判断为视差补偿效率最 好时的视差补偿图像，.被通知到图像编码部108。
此外，块分割信息编码部1072、和3见点索引编码部1074、和补正 一见差信息编码部1076、和补正矢量编码部1078输出的编码数据，构成 本影像编码装置100的输出的一部分。
在图6~图10中表示以该方式构成的影像编码装置IOO执行的处理 流程。按照该处理流程，对实施例1的影像编码装置IOO执行的处理进
4亍"^细J:也i兌明。
图6表示在实施例1的影像编码装置100进行的编码处理整体的概
23要。此外，在该流程中，说明对以摄影机B和摄影机C在同时刻摄影的 各一枚的图像进行编码的处理。
首先，通过图像输入部101,在同时刻摄影的摄影机B和摄影机C 的图像被一枚一枚地输入，存储在图像存储器102中[步骤Sl]。再有， 与在这里输入的图像是在相同时刻摄影的摄影机A的解码图像通过基 准视点图像输入部103而被输入，存储在基准视点图像存储器104中。
接着，在全局视差补偿信息设定部105中，根据图像存储器102和 基准视点图像存储器104上的图像，求取基准视点图像中的满足对极几 何约束的全局视差信息，对其进行编码[步骤S2]。在这里进行的处理的 细节在后面使用图7进行说明。
在以后的步骤S4-S7的处理，对图像存储器102上的图像的每一 个进行。这里，假设摄影机B的图像在摄影机C的图像之前进行编码， 进行说明。
也就是说，从图像存储器102取出摄影机B的图像并设定为编码对 象图像[步骤S3],将在步骤S2的处理中求取的全局视差信息，在基础 视差信息设定部106变换为对于编码对象图像的按照对极几何约束的基 础视差信息[步骤S4]，基于该基础视差信息考虑编码效率，求取作为其 它的视差补偿信息的参照视点索引、补正视差信息、补正矢量等并编码 [步骤S5]， 一边使用该求取的视差补偿信息， 一边在图像编码部108对 编码对象图像进行编码[步骤S6]。
编码后的图像被解码，存储在解码图像存储器109中[步骤S7]。然 后，如果已编码的图像是摄影机B的图像[步骤S8],接着从图像存储器 102中取出摄影机C的图像，以同样的过程[步骤S4 S7]进行编码，完 成全部的处理。在步骤S4、步骤S5进行的处理在后面进行详细地说明。
图7表示在全局视差补偿信息设定部105进行的步骤S2的处理的 详细的处理流程。
在本实施例1中，以纵横16像素构成的宏块单位对块分割进行指 定，以按照该块分割生成的宏块内的块(为了方便，以下仅称为"块") 单位求取全局视差信息并进行编码。当然，宏块也可以使用更大尺寸的 块。
作为在宏块中能够应用的块分割可以考虑各种各样的块分割，例如 可以考虑图8所示的块分割。再有，如图8所记述的那样，将与块分割
24的种类相关的索引作为blkMode,将块分割blkMode中的块的数量表示 为maxBlk[blkmode]。块分割的种类的数量以maxBlkMode表示。
此外，将宏块的索引表示为MBBlk，将宏块数量表示为maxMBBlk。 因此，在这里的处理，是在将宏块的索引MBBlk初始化为0之后[步 骤S101], —边对MBBlk加算l[步骤S116], —边在MBBlk变为 maxMBBlk之前[步骤S117],反复进行以下的处理[步骤S102-S115]。
之后，对求取的块分割信息BLKMode和全局视差信息GDispInfo 分别在块分割信息编码部1052和全局一见差信息编码部1054进行编码[步 骤S118]。
在对宏块的每一个反复进行的处理中，对块分割候补的每一个评价 该分割，将评价最好的设定为该宏块的块分割。
也就是说，在将块分割blkMode初始化为0、将在该宏块的评价值 的最优值bValue初始化为绝对不可能取得的最差的评价值wValue之后 [步骤S102], —边对blkMode加算1[步骤S114], —边在blkMode变为 maxBlkMode之前[步骤S115],反复进行下述处理，即求取对于块分割 blkMode的评价值value[步骤S103 ~ Slll],通过比较value和bValue 求取提供最优的评价值的块分割[步骤S112],将该宏块的分割存储到 BLKMode[MBBlk],将全局视差信息存储到GDispInfo [MBBlk]的处理 [步骤S113]。
对于块分割blkMode的平均值value,通过对分割后的各块中的视 差补偿的率失真成本(rate-distortion cost)进行合计来求取。
即，当以blk表示被分割的块的索引时，将blk初始化为0,将value 初始化为根据块分割是blkMode的评价值InitValue[blkMode]之后[步骤 S103],对blk加上l,对value加上每个块的最优率失真成本bestBlk Cost, 一边将提供各块的最优率失真成本的全局视差信息存储在temp GDispInfo[blk][步骤S110], —边在blk变为maxBlk[blkMode]之前[步骤 Sill],反复进行求取在各块提供最优率失真成本的全局视差信息的处 理[步骤S104 S109]。
再有，InitValue[blkMode]是预定的、依赖于为了编码用于表示块分 割是blkMode的信息所需要的码量的值。
在求取对块提供最优率失真成本的全局视差信息的处理中，当将全 局视差信息候补的索引gDispInfo的最大值表示为maxGDispInfo时，在
25将gDispInfo初始化为0、将在该块的率失真成本的最优值best BlkCost 初始化为绝对不可能取得的最差值wBlkCost之后[步骤S10 4], —边对 gDispInfo加算l[步骤S108], —边在gDispInfo超过maxGDispInfo之前 [步骤S109],反复进行如下处理，即求取对于全局视差信息gDispInfo 的率失真成本blkCost[步骤S105],通过比较blkCost和bestBlkCost,求 取提供最优率失真成本的全局视差信息[步骤S106],将该全局视差信息 保存在bestGDispInfo中的处理[步骤S107]。
再有，对于全局视差信息gDispInfo的率失真成本blkCost按照下式 求取。
这里，M是拉格朗日未定乘子，利用预先设定的值。Rate ()表示 如下函数，其返回对以引数(argument)提供的全局视差信息进行编码 所需要的码量或其预测值。
2cam表示camG (摄影机B,摄影机C)的和，！^x表示pixe (块内的 像素}的和。
dbase ()表示如下函数，即返回从基准视点起至被摄体的距离，该 基准视点通过作为引数被提供的全局视差信息索引表示。
Value ()表示如下函数，即返回作为第一引数被提供的视点的图 像上的、作为第二引数被提供的像素位置的像素值，Trans (src， dst, pix, d)表示如下函数，即在视点src的图像上的、从位置pix的像素的 视点起至被摄体的距离为d的情况下，返回像素pix的视点dst的图像 上的对应像素p。该p以下式求取。
这里，A、 R、 t是摄影机参数，分别表示内部参数、旋转参数、平 移参数。内部参数和旋转参数是3x3矩阵，t是三维的矢量。
上述的附加了"-"的p表示p的齐次坐标。此外，附加了""，的pix表示pix的齐次坐标中特别是第三成分为1的坐标。
齐次坐标也称为同次坐标。对于二维坐标的齐次坐标具有三个成 分。将第一成分和第二成分的值分别除以该齐次坐标的第三成分的值后 的值，作为第一成分和第二成分而具有的坐标，成为相对于齐次坐标的 普通的坐标。再有，摄影机参数的表示方法是各种各样的，在本实施例 中是通过上面的数式能够计算摄影机间的对应点的摄影机参数。
图9表示在基础视差信息设定部106进行的步骤S4的处理的详细 的处理流程。
在这里的处理对从基准视点摄影的图像的像素的每 一 个进行。
也就是说，在将像素索引bp初始化为0之后[步骤S201], —边对 bp加算l[步骤S213], —边在bp变为图像内像素数numPix之前[步骤 S214],反复进行以下的处理[步骤S202~S212]。
此外，将基础视差信息整体表示为BDispInfo,使用[]表示指定的位 置的基础视差信息。该基础视差信息被初始化为在流程的最初绝对不可 能取得的大的值[S201]。
再有，进行处理的像素的顺序是什么顺序都没有问题，但在本实施 例l中，以光栅扫描顺序进行处理。
在对每一个像素反复进行的处理中，首先，求取包含像素bp的宏 块MBBlk,和按照在设定全局视差信息时求取的块分割的情况下的块索 引blk[步骤S202]。
接着，根据全局视差信息GDispInfo[MBBlk][blk],使用下面的数式 求取像素bp在编码对象图像中对应的像素tp、和在那里的基础视差信 息候补bDispInfo[步骤S203]。<formula>formula see original document page 27</formula>
在这里的tar表示编码对象图像的视点，dtar ()表示如下函数，即 返回从作为引数被提供的视差信息索引(即，基础视差信息候补 bDispInfo )表示的编码对象图像的视点起至被摄体的距离。
即，根据(i)像素bp (的位置)、(ii)从像素bp的全局视差信息表示 的基准视点起至被摄体的距离、(iii)基准视点的摄影机参数、以及(iv)编 码对象图像的视点的摄影机参数，求取像素tp (的位置)和像素tp的基础一见差信息j夷补。
可是，直接得到的是像素tP (的位置)和从像素tP的编码对象图像 的视点起至被摄体的距离，使用函数dto的反函数，将后者变换为上述
的像素tp的基础视差信息候补(bDispInfo )。
将以上述方式求取的bDispInfo,和在该位置的已经求取的基础^L差 信息BDispInfo[tp],以从其表示的编码对象图像的视点起至被摄体的距 离作为尺度进行比较[步骤S204],在bDispInfo表示的距离不小的情况 下，判定为发生了遮挡(摄影机看不到的部分)，对该像素的处理结束。
在bDispInfo表示的距离小的情况下，以bDispInfo更新BDispInfo [tp] 的值[步骤S205]。
接着，使用在实际空间上的物体的连续性，进行BDispInfo的更新。 也就是说，生成在bp的左边或上边邻接的像素的集合NEIGHBOR [步骤 S206],在NEIGHBOR变为空集合之前[步骤S207], —边从NEI GHBOR 去除处理结束的像素[步骤S212]，一边反复进行下面的处理[步骤S208 S211]。
在对NEIGHBOR的要素的每一个进行的处理中，首先，在将NEI GHBOR的一个要素作为nbp的时，通过GDispInfo求取nbp的全局视差 信息，作为nGDispInfo[步骤S208]。
接着，将nGDispInfo和GDispInfo[MBBlk][blk]的差分绝对值与预先 提供的阈值TH进行比较[步骤S209]。
在为阈值以上的情况下，表示在实际空间上物体不连续，因此对该 要素的处理结束。
在比阈值小的情况下，使用上述步骤S203的处理中的数式，求取 像素nbp在编码对象图像中对应的像素ntp、和在那里的基础视差信息 nbDispInfo[步骤S210]。
然后，使用bDsipInfo和nbDispInfo计算在tp和ntp之间存在的像 素的基础视差信
息o
只要是根据两端的信息内插中间的值的方法，使用任何方法均可， 但作为最单纯的方法，有根据两端的基础视差信息对中间进行线性内插 的方法。再有，对计算的内插值，在已经存在比其小的基础视差信息的 情况下，判定为遮挡发生，因此不进行更新。
在本实施例l中，关于各像素，根据像素位置和全局视差信息，多次应用求取在编码对象图像的对应像素和基础视差信息的计算，但在步
骤S210的处理的计算使用在上述步骤S203的处理的数式进行，因此只 要能够存储在步骤S203的处理中的结果，通过使用这时的值对各像素 仅进行一次计算即全部完成，能够节约运算量。
图IO表示在视差补偿信息设定部107进行的步骤S5的处理的详细
的流程。
在本实施例1中，对宏块的每一个决定块分割，对块的每一个求取 参照视点索引、补正视差信息、和补正矢量并进行编码。在本实施例中， 将对该每一个块求取的参照视点索引、补正视差信息、和补正矢量称为 视差补偿信息。再有，在某个块中用于视差补偿的信息中，除了该视差 补偿信息之外，也包含基础视差信息。即，在这里，用于补正基础视差 信息的信息是视差补偿信息。
因此，在以0初始化宏块索引MBBlk之后[步骤S301], —边对 MBBlk加算l[步骤S316], —边在MBBlk变为maxMBBlk之前[步骤 S317],反复一边进行考虑视差补偿信息一边决定块分割的处理[步骤 S302 ~S315],将求取的视差补偿信息在块分割信息编码部1072、视点 索引编码部1074、补正一见差信息编码部1076、补正矢量编码部1078进 行编码[步骤S318]。
在一边考虑了视差补偿信息一边决定块分割的处理中，在将块分割 信息blkMode初始化为0之后[步骤S302], —边对blkMode加算l[步骤 S314], —边在blkMode变为maxBlkMode之前[步骤S315],反复进行 如下处理，即求取考虑了视差补偿信息的宏块的率失真成本MBCost[步 骤S303 S311],与到此为止的最小成本bestMBCost进行比较[步骤 S312],将成为更小的成本的块分割决定为该宏块的块分割 eBLKMode[MBBlk][步骤S313]的处理。
再有，bestMBCost在最初;坡初始化为绝对不可能取得的最大值 wMBCost[步骤S302]。
在求取考虑了视差补偿信息的宏块的率失真成本的处理中，在将宏 块索引blk初始化为0之后[步骤S303]， 一边对blk加算l[步骤S310], 一边在blk变为maxBlk[blkMode]之前[步骤S311],反复进行如下处理， 即对每个块求取提供最小率失真成本的视差补偿信息bestEDispInfo,和 这时的率失真成本bestBlkECost的处理[步骤S304 ~ S309]。再有，对于宏块的率失真成本MBCost在最初被初始化为0之后[步 骤S303],在每一个块的处理结束时，通过加算对于块的最小率失真成 本bestBlkECost而进行计算[步骤S310]。
此外，在这里决定了的视差补偿信息被存储在tempEDispInfo[blk] 中[步骤S310],基于最终的宏块的率失真成本，如果是最优的话存储在 EDispInfo[MBBlk]中[步骤S313]。
在对提供块的最小率失真成本的视差信息进行求取的处理中，在以 O对与参照一见点索引、补正视差信息、补正矢量的组对应起来的一见差补 偿信息索引eDispInfo进行初始化之后[步骤S305], —边对eDispInfo加 算1[步骤S308], —边在eDispInfo成为参照视点索引、补正视差信息、 补正矢量的组合的数maxEDispinfo之前[步骤S309],反复进行如下处 理，即求取在与eDispInfo对应的纟见差补偿信息下的率失真成本 blkECost[步骤S305],要是blkECost比到此为止最小的率失真成本 bestBlkECost小的话[步骤S306]，将eDispInfo存储为bestEDispInfo，反 复进行以blkECost更新bestBlkECost的处理[步骤S307]。
再有，bestMBCost以在最初绝对不可能取得的最大值wBlkECost 被初始化[步骤S304]。
在步骤S306的处理中的率失真成本的计算中使用以下的数式。
数4
Z)2 = ，"/Me(似。Tp)-論e"/，Rp)1
ilpe{块内的像素}
Rp = 7hw^(tor， re/, Tp，《,(BDispInfo[Tp])+ wd )+ cmv
这里，、是拉格朗日未定乘子，利用预先设定的值。此外，tar表示 编码对象图像的视点，ref、 md、 cmv分别表示以视差补偿信息eDispInfo 表示的参照视点索引、补正视差信息、补正矢量。
接着，对第二实施例(以下，实施例2)进行说明。本发明的实施 例2的影像编码装置的结构图如图11，图12,图13、图14所示。
如图11所示，实施例2的影像编码装置200具备图像输入部201, 输入成为编码对象的摄影机B和摄影机C的原图像；图像存储器202, 对输入的图像进行存储；基准视点图像输入部203,对作为基准视点的 摄影机A的解码图像进行输入；基准视点图像存储器204,对输入的基
30准视点的解码图像进行存储；局部视差补偿信息设定部205,对作为对 于编码对象的图像的基于对极几何约束的视差信息的局部视差信息进 行设定；全局视差补偿信息设定部206,根据对于各编码对象的图像设 定的局部视差信息，对作为对于基准视点的基于对极几何约束的视差信 息的全局视差信息进行设定，并进行编码；基础视差信息设定部207, 通过对全局视差信息进行变换，对作为对于编码对象图像的视点的基于 对极几何约束的视差信息的基础视差信息进行设定；视差补偿信息设定 部208,设定用于对编码对象图像进行视差补偿的信息；图像编码部209， 实际地对输入图像进行预测编码；以及解码图像存储器210，存储对编 码了的输入图像进行解码后的图像。
再有，图像编码部209在为了利用已经编码完成的图像而具有蓄积 解码图像的存储器的情况下，解码图像存储器210兼作为该存储器也可。
图12是表示局部视差补偿信息设定部205的结构的细节的图。
如该图所示，局部视差补偿信息设定部205具备局部视差信息块 分割设定部2051,对编码对象图像的块分割进行设定，从而求取局部视 差信息；参照视点索引设定部2052,对表示在进行视差补偿时作为参照 图像使用的图像的视点的视点索引进行设定；局部视差信息设定部 2053,对基于对极几何约束的视差信息进行设定；以及视差补偿效率评 价部2054,对以设定了的块分割、参照视点索引、视差信息进行视差补 偿的情况下的效率进行评价，对各设定部进行反馈。
这里，通过参照视点索引设定部2052设定了的一次视点索引被通 知到视差补偿信息设定部208,通过局部视差信息设定部2053设定的局 部视差信息被通知到全局视差补偿信息设定部206和视差补偿信息设定 部208。
图13是表示全局视差补偿信息设定部206的结构的细节的图。 如该图所示，全局视差补偿信息设定部206具备基准视点图像块 分割设定部2061,设定对于基准视点的图像的块分割；块分割信息编码 部2062,对决定了的块分割信息进行编码；全局视差信息推定部2063, 使用从局部视差补偿信息设定部205内的局部视差信息设定部2053通 知的局部视差信息，对每个块推定全局视差信息；以及全局视差信息编 码部2064,对求取的全局视差信息进行编码。
这里，通过全局视差信息推定部2063求取的全局视差信息被通知到基础视差信息设定部207。
此外，块分割信息编码部2062和全局视差信息编码部2064输出的 编码数据，成为本影像编码装置200的一个输出。
图14是表示视差补偿信息设定部208的结构的细节的图。
如该图所示，视差补偿信息设定部208具备编码对象图像块分割 设定部2081,使用从基础一见差信息设定部207通知的基础碎见差信息、和 从局部视差补偿信息设定部205内的局部视差信息设定部2053通知的 局部视差信息的差分，设定对于编码对象图像的块分割；块分割信息编 码部2082，对决定了的块分割信息进行编码；补正视差信息设定部2083, 对补正视差信息进行设定，该补正视差信息是用于根据决定了的块分割 信息和上述差分，基于对极几何约束补正基础视差信息的信息；补正视 差信息编码部2084，对决定了的补正视差信息进行编码；参照视点索引 设定部2085,使用从局部视差补偿信息设定部205内的参照视点索引设 定部2052通知的一次视点索引、和块分割信息，对每一个块设定参照 视点索引； 一见点索引编码部2086,对决定了的一见点索引进行编码；补正 矢量设定部2087，对补正矢量进行设定，该补正矢量用于与对极几何约 束无关地、对通过基于对极几何约束的信息而提供的对应关系进行补 正；补正矢量编码部2088,对决定了的补正矢量进行编码；以及一见差补 偿效率评价部2089,对以通过各部设定了的信息进行视差补偿时的预测 效率进行评价，对补正矢量设定部2087实施反馈。
这里，通过视差补偿效率评价部2089而被判断为视差补偿效率最 好时的视差补偿图像，被通知到图像编码部209。
此外，块分割信息编码部2082、和补正一见差信息编码部2084、和 视点索引编码部2086、和补正矢量编码部2088输出的编码数据，成为 本影像编码装置200的一个输出。
在图15 ~图18中表示以该方式构成的影像编码装置200执行的处 理流程。按照该处理流程，对实施例2的影像编码装置200执行的处理 进行详细地说明。
图15表示在实施例2的影像编码装置200进行的编码处理整体的 概要。此外，在该流程中，说明对以摄影机B和摄影机C在同时刻摄影 的各一枚的图像进行编码的处理。
首先，通过图像输入部201,在同时刻摄影的摄影机B和摄影机C的图像被一枚一枚地输入，存储在图像存储器202中[步骤S401]。再有， 与在这里输入的图像在相同时刻摄影的摄影机A的解码图像通过基准 视点图像输入部203而被输入，存储在基准视点图像存储器204中。
接着，在局部视差补偿信息设定部205中，根据图像存储器202和 基准视点图像存储器204的图像，对图像存储器上的图像的每一个求取 局部视差信息[步骤S402]。在这里进行的处理的详细在后面使用图16 进行说明。
然后，在全局视差补偿信息设定部206中，使用局部视差信息，对 基准视点图像中的满足对极几何约束的全局视差信息进行求取，并编码 [步骤S403]。在这里进行的处理的详细在后面使用图17进行说明。
以后的处理[步骤S405 ~ S408]对图像存储器202上的图像的每一个 进行。这里，假设摄影机B的图像在摄影机C的图像之前进行编码来进 行说明。
也就是说，从图像存储器202取出摄影机B的图像并设定为编码对 象图像[步骤S404],将在步骤S403的处理中求取的全局视差信息，在 基础视差信息设定部207变换为对于编码对象图像的按照对极几何约束 的基础视差信息[步骤S405],根据局部视差补偿信息和基础视差信息， 考虑编码效率，在视差补偿信息设定部208求取作为视差补偿信息的参 照视点索引、补正视差信息、补正矢量等并编码[步骤S406], —边使用 该求取的视差补偿信息， 一边在图像编码部209对编码对象图像进行编 码[步骤S407]。编码后的图像被解码，存储在解码图像存储器210中[步 骤S408]。
然后，如果编码了的图像是摄影机B的图像[步骤S409]，接着从图 像存储器202中取出摄影机C的图像[步骤S410],以同样的过程[步骤 S405 S408]进行编码，完成全部的处理。
这里，由于在步骤S405进行的处理与已经说明过的在步骤S4进行 的处理(图6)是相同的处理，所以省略其说明。
再有，在步骤S406进行的处理的详细在后面使用图18进行说明。
图16表示在局部视差补偿信息设定部205进行的步骤S402的处理 的详细的处理流程。再有，局部视差补偿信息设定部205将在这里表示 的处理对图像存储器202上的每一个图像应用。
在本实施例2中，以纵横16像素构成的宏块单位指定块分割，以
33该块分割作成的块单位求取局部视差信息。作为在宏块中能够应用的块 分割可以考虑各种各样的块分割，例如可以考虑图8所示的块分割。
与实施例1时相同地，将与块分割的种类相关的索引表示为blkM ode,将块分割blkMode中的块的数量表示为maxBlk[blkMode],将块分 割的种类的数量表示为maxBlkMode。
在这里的处理中，首先在将宏块的索引MBBlk初始化为0之后[步 骤S501]， 一边对MBBlk加算l[步骤S516], —边在MBBlk变为图像内 的宏块数量maxMBBlk之前[步骤S517],反复进行求取块分割和局部视 差信息的处理[步骤S502 ~ S515]。
在求取块分割和局部视差信息的处理中，对各块分割求取最优的局 部视差补偿信息，从其中决定评价最好的块分割。
也就是说，在将块分割blkMode初始化为0、将在该宏块的评价值 的最优bestMBLCost初始化为绝对不可能取得的最大的评价值wM BLCost之后[步骤S502], —边对blkMode加算l[步骤S514], —边在 blkMode变为maxBlkMode之前[步骤S515],反复进行下述处理，即求 取对于块分割blkMode的评价值MBLCost[步骤S503 ~S511],如果 MBLCost变得比bestMBLCost小[步骤S512],将MBLCost存储为 bestMBLCost,将这时的块分割blkMode存储为旧LKMode[MBBlk],将 这时的每一个块的局部视差补偿信息tempLDispInfo存储为LDispI nfo[cam][步骤S513]的处理。
在这里，cam表示相对于图像存储器202上的图像的索引。
在求取对于块分割的评价值的处理中，对每一个块求取最优的局部 视差补偿信息，将其合计值作为对于块分割的评价值。
也就是说，在将块索引blk初始化为0、将对于块分割的评价值 MBLCost初始化为0之后[步骤S503], —边对blk加算l[步骤S510], 一边在blk变为maxBlk[blkMode]之前[步骤S511]，反复进行如下处理， 即求取对于块blk的最优的局部视差补偿信息bestLDispInfo和评价值 bestBlkLCost[步骤S504 -S509],将bestBlkLCost加算到MBLCo st,将 bestLDispInfo存储到tempLDispInfo[blk][步骤S510]中的处理。
在这里，对于某个块的最优的局部视差补偿信息，是在根据其它的 图像预测成为对象的块时，率失真成本变为最小的、表示预测中使用的 图像的信息和基于对极几何约束的局部视差信息的组。
34因此，率失真成本成为对于各局部视差信息的评价值，求取对于某 个块的最优的局部视差补偿信息和评价值的处理，成为求取使率失真成 本最小化的参照视点索引和局部视差信息的组的处理。
也就是说，在将与视点索引和局部视差信息的组对应起来的局部视
差补偿信息索引1DispInfo初始化为0，将最优率失真成本bestBlkLCost 初始化为绝对不可能取得的最大值wBlkLCost之后[步骤S504], —边对 1DispInfo加算l[步骤S508], —边在1DispInfo变为视点索引和局部视 差信息的组合的数maxLDispInfo之前[步骤S509],反复进行如下处理， 即求取对于1DispInfo的率失真成本blkLCost[步骤S505],如果blkLCost 比bes餘LCost小的话[步骤S506],将blkLCost存储为bestBlkLCost, 将1DispInfo存储为bestLDispInfo[步骤S507]的处理。
对于1DispInfo的率失真成本blkLCost以以下的数式求取。
<formula>formula see original document page 35</formula>ilpe{块内的像素}
<formula>formula see original document page 35</formula>
这里，^是拉格朗日未定乘子，利用预先设定的值。此外，dist匿 ()和refer ()表示如下函数，即对于作为引数而提供的局部视差补偿 信息，分别返回从视点cam到被摄体的距离、参照的视点。
再有，因为在实际编码时只能够参照已经编码完成的图像，所以在 本实施例2中，在cam为摄影机B时仅有基准视点成为参照视点的候补， 在cam为摄影机C时基准视点和摄影机B的视点成为参照视点的候补。
图17表示在全局视差补偿信息设定部206进行的步骤S403的处理 的详细的处理流程。在本实施例2中，与实施例l相同地，以宏块单位 指定块分割，以该块分割作成的块单位求取全局视差信息并进行编码。
首先，根据基于对极几何约束的局部视差信息，生成全局视差信息 候补tGDispInfo[步骤S601],其中，该局部视差信息是在局部视差补偿 信息设定部205设定的一见差补偿信息LDispInfo的一个要素。
该处理将局部视差信息看作全局视差信息、将提供局部视差信息的 视点看作基准视点，将基准视点看作编码对象视点，通过应用求取基础视差信息时的处理(图9)而进行。在进行这样的处理时，相当于基础
视差信息的结果成为全局视差信息候补。再有，对图像存储器202上的 每一个图像进行该处理，对于各个图像的全局视差信息候补使用图像索 引cam表示为tGDispInfo[cam]。
在实施例2中，使用以该方式求取的tGDispInfo，对每一个宏块设 定块分割信息，对每一个块设定全局视差信息。
为此，在将宏块的索引MBBlk初始化为0之后[步骤S602], —边 对MBBlk加算l[步骤S613], —边在MBBlk变为宏块数量maxMBBlk 之前[步骤S614],进行求取在全部的块分割中最优的块分割和全局视差 信息的处理[步骤S603 ~ S612〗。
之后，对求取的块分割信息BLKMode和全局视差信息GDispInfo 分别在块分割信息编码部2062和全局纟见差信息编码部2064进行编码[步 骤S615]。
在从全部的块分割中求取最优的块分割和全局视差信息的处理中， 对每一个块分割候补评价其分割，将评价最好的作为最优块分割。
也就是说，将块分割blkMode初始化为0,将对于宏块的最优评价 值bestValue初始化为绝对不可能取得的最差的评价值wValue之后[步 骤S603], —边对blkMode加算l[步骤S611], —边在blkMode变为 maxBlkMode之前[步骤S612],反复进行如下处理，即求取对于块分割 blkMode的评价值value[步骤S604 ~ S608]，如果value比bestValue小 的话[步骤S609],将value存储为bestValue,将blkMode存储为 BLKMode[MBBlk],将这时求取的全局视差信息tmpGDispInfo存储到 GDispInfo[MBBlk][步骤S610]的处理。
对于块分割blkMode的平均值value,通过对分割的各块中的视差 补偿的率失真成本进行合计来求取。
也就是说，在将块索引blk初始化为0,将value初始化为块分割为 blkMode时的评价值InitValue[blkMode]之后[步骤S604],对blk加上1， 对value加上对于块blk的率失真成本blkCost， 一边将这时的全局一见差 信息gDispInfo存储到tmpGDispInfo[blk][步骤S607], —边在blk变为 maxBlk[blkMode]之前[步骤S608],反复进行如下处理，即根据对于块 blk的tGDispInfo求取gDispinfo[步骤S605],求取这时的blkCost[步骤 S606]的处理。再有，InitValue[blkMode]是预先决定的、依赖于用于对信息进行编 码所需要的码量的值，该信息用于表示块分割是blkMode 。
在根据对于块blk的tGDispInfo求取gDispInfo的处理中，求取块 blk内的tGDispInfo的平均值，作为gDispInfo。也有这时不使用平均值， 而使用最多出现的值的方法。
此外，也可以在两者中计算率失真成本而选4奪好的一方的方法，或 对于其各自的周围的全部的值计算率失真成本而选择好的一方的方法， 关于这些情况，能够作为本实施例的变更例而容易地应用，因此省略说 明。
相对于块blk的全局视差信息是gDispInfo时的率失真成本blkCost, 能够使用与在实施例1的步骤S105 (图7)的处理中使用的数式相同的 数式来求取。此外，为了减少运算量，也可以使用下面的数式进行评价
qe(块blk内的像素 }
图18表示在视差补偿信息设定部208进行的步骤S406的处理的详 细的流禾呈。
在本实施例2中，也与实施例l相同地，对宏块的每一个决定块分 割，对块的每一个求取包括参照视点索引、补正视差信息、和补正矢量 的视差补偿信息并进行编码。
与实施例1的相异点是使用从局部视差补偿信息设定部205内的局 部视差信息设定部2053通知的局部视差信息，对块分割、参照视点索 引、补正视差信息进行决定，然后求取补正矢量这一点。
也就是说，通过在最初取得局部视差信息和基础视差信息的差分， 生成补正视差信息候补tEDispInfo[步骤S701]。
而且，在将宏块索引MBBlk初始化为0之后[步骤S702], —边对 MBBlk加算l[步骤S710], —边在MBBlk变为图像内包含的宏块数量 maxMBBlk之前[步骤S711]，反复进4亍如下处理，即决定块分割 eBLKMode[MBBlk][步骤S703]，求取视差补偿信息EDispInfo[步骤 S704 S709]的处理。
之后，对块分割信息eBLKMode、和视差补偿信息EDispInfo进行编码[步骤S712]。
在步骤S703的处理中，在对于块中包含的全部的像素的伍DispInfo 成为相同的值的块分割中，将块分割决定为块数最少的块分割。
在满足上述条件的块分割存在多个的情况下，决定为各自的最大块 尺寸大的块分割。在即使这样也不能决定的情况下，决定为满足条件的 任意的块分割。
再有，在不存在满足最初的条件的块分割的情况下，决定为块数最 多、最小块尺寸最小的块分割。
在求取视差补偿信息的处理中，对按照对宏块决定的块分割 eBLKMode[MBBlk]的块的每一个求取最优的视差补偿信息。
也就是说，在将块索引blk初始化为0之后[步骤S704]， 一边对blk 加算l[步骤S708]， 一边在blk变为块数maxBlk[eBLKMode[MBBlk]]之 前[步骤S709],反复进行如下处理，即根据tEDispInfo求取补正视差信 息md,根据从局部视差补偿信息设定部205内的参照视点索引设定部 2052通知的一次视点索引求取参照视点索引ref[步骤S705],使用该补 正视差信息md和参照视点索引ref求取使块blk的率失真成本最小化的 补正矢量cmv之后[步骤S706],求取对应于(md， ref, cmv)的组的视差 补偿信息，存储到EDispInfo[MBBlk][blk]中的处理。
再有，在步骤S706的处理中使用的对于块的率失真成本，能够使 用于在实施例1的步骤S306 (图10)的处理中求取成本时使用的数式 相同的数式来计算。
在步骤S705的处理中，补正视差信息被决定为与在块内的像素对 应的tEDispInfo中出现最多的值，参照视点索引^f皮决定为与块内的像素 对应的一次一见点索引，该块是^皮决定了的补正视差信息与tEDispInfo具 有相同的值的块。再有，在这里决定为出现最多的值，但使用块内的值 的平均值也可。
在本实施例2的视差补偿信息设定部208中，使用从局部视差补偿 信息设定部205通知的信息，不考虑率失真成本而决定块分割和补正视 差信息和参照视点索引，但也可以与实施例1的视差补偿信息设定部
107同样地考虑率失真成本来进行决定。
此外，也有与实施例l不同地，考虑率失真成本而仅决定块分割、 补正视差信息、参照视点索引的一部分的方法，关于该情况，能够作为将实施例1和实施例2部分地融合的变更例而容易地应用，所以省略说明。
在实施例1和实施例2中，在全局视差补偿信息设定部105或206 内部的基准视点图像块分割设定部1051或2061中，决定块分割的方法， 将其结果的块分割信息在块分割信息编码部1052或2062中编码。
可是，通过使在基准视点图像块分割设定部1051或2061进行设定 的块分割，与在对基准视点图像进行块编码时的块分割一致，也可以不 对块分割信息进行编码。
在该情况下，能够削减用于表示块分割信息的码量的部分的码量。
进而，在实施例1和实施例2中，根据已经编码完成的其它的视点 的图像对编码对象图像进行视差补偿并编码，但也可以对编码对象图像 的块的每 一 个，在视差补偿和动态补偿中选择预测效率高的方法进行编 码。在该情况下，对于没有应用视差补偿的块的视差补偿信息能够以码 量变为最小的方式进行设定，因为作为本实施例的变更例能够容易地应 用，所以省略说明。
此外，不需要在编码装置的各部分使用的块分割的种类全部相同。 特别是，在与其它的块分割的大小相比，通过使求取全局视差信息时的 基准视点图像的块分割的大小变大，能够抑制全局视差信息的码量，表 示不被摄影机参数的误差等左右的整体的大致的视差信息。
图19表示本发明的影像解码装置300的实施方式的一个例子(实 施例3 )。
该影像解码装置300具备编码数据输入部301,输入编码数据； 基准视点图像输入部302,输入作为基准视点的摄影机A的解码图像； 图像存储器303,对可能成为包含基准视点的图像的全部的视差补偿的 参照对象的图像进行存储；全局视差补偿信息解码部304,根据输入的 编码数据，解码对于基准视点的块分割信息、和基于对极几何约束的全 局视差信息；基础视差信息设定部305,根据全局视差信息，设定对于 解码对象图像的视点的基于对极几何约束的基础视差信息；视差补偿信 息解码部306,根据输入的编码数据，解码对于解码对象的图像的块分 割信息、表示进行视差补偿时的参照图像的参照视点索引、按照对极几 何约束对视差信息进行补正的补正视差信息、以及对进行视差补偿时的 对应点进行补正的补正矢量；视差补偿图像生成部307,基于解码了的数据，生成对于解码对象的图像的视点的视差补偿图像；以及图像解码 部308,根据输入的编码数据和生成的视差补偿图像对解码对象的图像 进行解码。
在解码图像时，在参照已经解码完成的图像的情况下，图像解码部 308有时在其内部具有存储解码图像的存储器。在该情况下，作为图像 存储器303也可以使用该存储器。
图20中表示本实施例的解码处理流程。其表示了对摄影机B和摄 影机C的相同时刻的帧一帧一帧地进行解码时的流程。以下对该流程进 行详细地说明。
再有，与进行解码的帧相同时刻的摄影机A的帧被预先解码，得到 各摄影机的摄影机参数。
首先，将编码数据输入到编码数据输入部301[步骤S801]。此外， 与在这里输入的编码数据包含的帧是相同时刻的摄影机A的解码图像， 通过基准视点图像输入部302而被输入，存储在图像存储器303中。输 入的编码数据是实施例1或实施例2等的影像编码装置输出的一帧的量 的全部编码数据。
接着，在全局视差补偿信息解码部304中，对输入的编码数据中的 对于基准视点图像的块分割信息进行解码，按照该块分割，对每一个块 解码全局视差信息，得到对于基准视点图像的每一个像素的全局视差信 息decGDispInfo[步骤S802]。
然后，在基础视差信息设定部305,从decGDispInfo得到对于摄影 机B的视点的基础视差信息decBDispInfo[步骤S803]。
该处理按照在上面说明过的图9的处理流程来实现。可是，图9中 的BDispInfo成为decBDispInfo, GDispInfo成为decGDispInfo,编码对 象图像成为解码对象图像。
得到基础视差信息后，在视差补偿信息解码部306中，对输入的编 码数据中的对于摄影机B的块分割信息进行解码，按照该块分割，对参 照视点索引、补正视差信息、补正矢量进行解码，得到对于摄影机B的 每个像素的参照-魄点索引decRef、和补正一见差信息decMd、和补正矢量 decCmv[步骤S804]。
然后， 一边参照图像存储器303的图像， 一边在视差补偿图像生成 部307,按照下式生成对于摄影机B的视差补偿图像DCImage[步骤<formula>formula see original document page 41</formula>
这里，camB表示摄影机B的视点，PIX表示解码对象图像的像素位置。
使用该视差补偿图像，在图像解码部308,根据输入的编码数据对 摄影机B的图像进行解码[步骤S806]。再有，被解码的图像被存储到图 像存储器303中。
之后，通过对摄影机C实施与步骤S803 -S806相同的处理，摄影 机C的解码图像;陂解码[步骤S807 ~ S810]。
以上的影像编码和影像解码的处理，能够通过硬件或固件实现，但 也能够通过计算机和软件程序来实现，也能够将该程序记录在计算机能 够读取的记录介质上进行提供，或通过网络进行提供。
以上，参照附图对本发明的实施方式进行了说明，但上述实施方式 不过是本发明的例示，4艮明显本发明不被上述实施方式所限定。因此， 在不脱离本发明的精神和范围的范围中，也能够对上述实施方式进行结 构要素的追加、省略、置换、或其它的变更。
产业上的利用可能性
根据本发明，能够实现 一 边防止用于进行视差补偿的信息大幅地增 加， 一边考虑了摄影机参数的推定误差的影响的预测精度高的视差补 偿，由此能够实现作为多视点图像整体或多视点活动图像整体的高效率 的编码。
权利要求
1. 一种图像编码方法，在对多视点图像进行编码时，决定一个基准视点，使用已经编码完成的所述基准视点的图像，对所述基准视点以外的视点的图像进行编码，该图像编码方法的特征在于，具有全局视差信息设定步骤，推定并设定全局视差信息，其中，该全局视差信息基于对极几何约束，提供作为所述基准视点的编码完成图像的参照基准视点图像、与该基准视点以外的全部视点的图像的视差；全局视差信息编码步骤，对所述设定了的全局视差信息进行编码；基础视差信息设定步骤，将所述设定了的全局视差信息变换为基础视差信息，其中，该基础视差信息基于所述对极几何约束，提供作为所述基准视点以外的视点的图像的各编码对象视点图像、与所述其它的全部视点的视差；补正视差信息设定步骤，对以视差信息与所述基础视差信息的差分决定的补正视差信息进行设定，该视差信息提供在编码所述编码对象视点图像时进行的视差补偿中使用的已经编码完成的参照视点图像、与该编码对象视点图像的视差；补正视差信息编码步骤，对所述补正视差信息进行编码；以及视点图像编码步骤，使用由所述基础视差信息和所述补正视差信息提供的对应点信息，一边根据所述参照视点图像进行视差补偿，一边对所述编码对象视点图像进行编码。
2. —种图像编码方法，在对多视点图像进行编码时，决定一个基准 视点，使用已经编码完成的所述基准视点的图像，对所述基准视点以外 的视点的图像进行编码，该图像编码方法的特征在于，具有全局视差信息设定步骤，推定并设定全局视差信息，其中，该全局 视差信息基于对极几何约束，提供作为所述基准视点的编码完成图像的 参照基准视点图像、与该基准视点以外的全部的视点的图像的视差； 全局视差信息编码步骤，对所述设定了的全局视差信息进行编码； 基础视差信息设定步骤，将所述设定了的全局视差信息变换为基础 视差信息，其中，该基础视差信息基于所述对极几何约束，提供作为所 述基准视点以外的视点的图像的各编码对象视点图像、与所述其它的全 部—见点的一见差。补正视差矢量设定步骤，对以提供对应点的视差矢量、与通过所述基础视差信息提供的视差矢量的差分来决定的补正视差矢量进行设定， 其中，该对应点是在编码所述编码对象视点图像时进行的视差补偿中使用的已经编码完成的参照视点图像、与该编码对象视点图像的对应点； 补正一见差矢量编码步骤，对所述补正一见差矢量进行编码；以及 视点图像编码步骤，使用所述基础视差信息和所述补正视差矢量，一边根据所述参照视点图像进行视差补偿， 一边对所述编码对象视点图像进行编码。
3. 根据权利要求1所述的图像编码方法，其特征在于，具有补正矢量设定步骤，设定补正矢量，该补正矢量是从所述视 差补偿中使用的视差补偿矢量、对于所述编码对象视点图像和所述参照 视点图像之间的对应点矢量的变位，其中，所述对应点矢量通过视差信 息来表示，该视差信息使用在所述基础视差信息设定步骤中设定的基础 视差信息、和在所述补正视差信息设定步骤中设定的补正视差信息来表 示；以及对所述补正矢量进行编码的步骤，在所述视点图像编码步骤中，使用通过所述补正矢量被补正了的所 述视差补偿矢量进行视差补偿。
4. 根据权利要求1和权利要求2的任何一项所述的图像编码方法， 其特征在于，具有基准视点区域分割设定步骤，对所述参照基准视点图像中的 区域分割进行设定，在所述全局视差信息设定步骤中，对在所述基准视点区域分割设定 步骤中设定的区域的每一个，推定并设定所迷全局视差信息。
5. 根据权利要求4所述的图像编码方法，其特征在于， 在所述参照基准视点图像的图像整体被区域分割，并对各区域的每一个进行编码处理的情况下，在所述基准视点区域分割设定步骤中，按照所述参照基准视点图像 的编码数据中包含的区域分割信息，设定同样的区域分割。
6. 根据权利要求4所述的图像编码方法，其特征在于， 在所述参照基准视点图像的图像整体被区域分割，并对各区域的每一个进行编码处理的情况下，在所述基准视点区域分割编码步骤中，仅对表示与所述参照基准视点图像的编码数据中包含的区域分割信息的差异的信息进行编码。
7. 根据权利要求4所述的图像编码方法，其特征在于，还具有基准视点区域分割编码步骤，对表示在所述基准视点区域 分割设定步骤中设定的区域分割的区域分割信息进行编码。
8. 根据权利要求1和权利要求2的任何一项所述的图像编码方法， 其特征在于，具有编码对象视点区域分割设定步骤，对所述编码对象视点图像 中的区域分割进行设定，在所述视点图^象编码步骤中，对在所述编码对象视点区域分割设定 步骤中设定的区域的每一个， 一边变更视差补偿的参照目的地， 一边对 编码对象视点图像进行编码。
9. 根据权利要求8所述的图像编码方法，其特征在于，在所述视点图像编码步骤中，所述编码对象视点图像的图像整体被 区域分割，各区域的每 一 个与该区域分割信息 一起被编码的情况下，在所述视点图像编码步骤中，使用在所述编码对象视点区域分割编 码步骤中设定的区域分割进行编码。
10. 根据权利要求8所述的图像编码方法，其特征在于， 还具有编码对象视点区域分割编码步骤，对表示在所述编码对象视点区域分割设定步骤中设定的区域分割的区域分割信息进行编码。
11.才艮据权利要求10所述的图像编码方法，其特征在于， 在所述视点图像编码步骤中，所述编码对象视点图像的图像整体被区域分割，各区域的每 一 个与该区域分割信息 一起^C编码的情况下， 在所述编码对象视点区域分割编码步骤中，仅对表示与在所述视点图像编码步骤中使用的区域分割的差异的信息进行编码。
12. 根据权利要求l和权利要求2的任何一项所述的图像编码方法， 其特征在于，具有参照视点设定步骤，对成为所述参照视点图像的视点的参照一见点进行设定；以及对表示所述参照视点的视点索引进行编码的步骤，在所述视点图像编码步骤中，将所述设定了的参照视点的编码完成图像作为所述参照视点图像使用。
13. 根据权利要求8所述的图像编码方法，其特征在于，具有参照视点设定步骤，对在所述编码对象一见点区域分割设定步 骤中设定的区域的每一个，设定成为所述参照视点图像的视点的参照视 点；以及对表示所述参照视点的视点索引进行编码的步骤， 在所述视点图像编码步骤中，对在所述编码对象视点区域分割设定步骤中设定的区域的每一个，将所述设定了的参照视点的编码完成图像作为所述参照视点图像使用。
14. 根据权利要求1和权利要求2的任何一项所述的图像编码方法， 其特征在于，具有区域分割设定步骤，对所述编码对象视点图像中的区域分割 进行设定；对在所述区域分割设定步骤中设定的区域的每一个求取局部视差 信息的步骤，该局部视差信息基于所述对极几何约束，提供用于对所述 编码对象视点图像进行视差补偿的对应点；以及全局视差信息候补设定步骤，对将所述局部视差信息向所述全局视 差信息变换的全局视差信息候补进行设定，在所述全局视差信息设定步骤中，将各区域内的所述全局视差信息 候补的平均值、或在各区域内的全局视差信息候补中出现最多的值作为 所述全局视差信息进行设定。
15. —种图像解码方法，在对多视点图像的编码数据进行解码时， 存在一个基准视点，使用作为已经解码完成的所述基准视点的图像的参 照基准视点图像，对所述基准视点以外的视点的图像进行解码，该图像 解码方法的特征在于，具有全局视差信息解码步骤，根据编码数据对全局视差信息进行解码， 该全局视差信息基于对极几何约束，提供所述参照基准视点图像与所述 基准视点以外的全部的视点的图像的视差；基础视差信息设定步骤，将所述解码了的全局视差信息变换为基础 视差信息，其中，该基础视差信息基于所述对极几何约束，提供作为所 述基准视点以外的视点的图像的各解码对象视点图像、与所述其它的全 部一见点的一见差。补正视差信息解码步骤，根据所述编码数据，对以视差信息与所述 基础视点信息的差分决定的补正视差信息进行解码，该视差信息提供在解码所述解码对象视点图像时进行的视差补偿中使用的已经解码完成的参照视点图像、与该解码对象视点图像的视差；以及视点图像解码步骤，使用由所述基础视差信息和所述补正视差信息 提供的对应点信息， 一边根据所述参照视点图像进行视差补偿， 一边根 据所述编码数据对所述解码对象视点图像进行解码。
16. —种图像解码方法，在对多视点图像的编码数据进行解码时， 存在一个基准视点，使用作为已经解码完成的所述基准视点的图像的参 照基准视点图像，对所述基准视点以外的视点的图像进行解码，该图像 解码方法的特征在于，具有全局视差信息解码步骤，根据编码数据对全局视差信息进行解码， 该全局视差信息基于对极几何约束，提供所述参照基准视点图像与所述 基准视点以外的全部的视点的图像的视差；基础视差信息设定步骤，将所述解码了的全局视差信息变换为基础 视差信息，其中，该基础视差信息基于所述对极几何约束，提供作为所 述基准视点以外的视点的图像的各解码对象视点图像、与所述其它的全 部一见点的一见差。补正视差矢量解码步骤，根据所述编码数据，对以提供对应点的视 差矢量、与通过所述基础视点信息提供的视差矢量的差分来决定的补正 视差矢量进行解码，其中，该对应点是在解码所述解码对象视点图像时 进行的视差补偿中使用的已经解码完成的参照视点图像、与该解码对象 一见点图像的对应点；以及视点图像解码步骤，使用由所述基础视差信息和所述补正视差矢量 提供的对应点信息， 一边根据所述参照视点图像进行视差补偿， 一边根 据所述编码数据对所述解码对象视点图像进行解码。
17. 根据权利要求15所述的图像解码方法，其特征在于，具有补正矢量解码步骤，根据所述编码数据对补正矢量进行解码， 该补正矢量是以从所述解码对象视点图像和所述参照视点图像之间的 对应点矢量、对于在所述视差补偿中使用的视差补偿矢量的差分而决定 的，该对应点矢量使用在所述基础视差信息设定步骤中设定的基础视差 信息、和在所述补正视差信息解码步骤中被解码的补正视差信息来表 示5在所述视点图像解码步骤中，使用通过所述补正矢量而被补正的所述视差补偿矢量进行视差补偿。
18. 根据权利要求15和权利要求16的任何一项所述的图像解码方法，其特征在于，具有基准视点区域分割解码步骤，根据所述编码数据，对表示所 述参照基准视点图像中的区域分割的信息进行解码，在所述全局视差信息解码步骤中，对在所述基准视点区域分割解码 步骤中得到的区域分割的区域的每一个，解码所述全局视差信息。
19. 根据权利要求18所述的图像解码方法，其特征在于， 在所述参照基准视点图像的图像整体被区域分割，并对各区域的每一个进行编码处理的情况下，在所述基准视点区域分割解码步骤中，根据在所述参照基准视点图 像的编码数据中包含的表示区域分割的信息，设定区域分割。
20. 根据权利要求18所述的图像解码方法，其特征在于， 在所述参照基准视点图像的图像整体被区域分割，并对各区域的每一个进行编码处理的情况下，在所述基准视点区域分割解码步骤中，对表示与所述参照基准视点 图像的编码数据中包含的表示区域分割的信息的差异的信息进行解码， 通过使用表示该区域分割的信息和表示该差异的信息，设定所述全局视 差信息解码时的区域分割。
21. 根据权利要求15和权利要求16的任何一项所述的图像解码方 法，其特征在于，具有解码对象视点区域分割解码步骤，根据所述编码数据，对表 示所述解码对象视点图像中的区域分割的信息进行解码，在所述视点图像解码步骤中，对通过在所述编码对象视点区域分割 解码步骤中被解码的信息表示的区域分割的区域的每 一 个， 一 边变更在 所述视差补偿中使用的视差补偿矢量， 一边对解码对象视点图像进行解 码。
22. 根据权利要求21所述的图像解码方法，其特征在于，在所述解码对象视点图像的图像整体被区域分割，各区域的每一个 与该区域分割信息 一起被编码的情况下在所述解码对象视点区域分割解码步骤中，根据所述解码对象视点 图像的编码数据中包含的表示区域分割的信息，设定区域分割。
23. 根据权利要求21所述的图像解码方法，其特征在于， 在所述解码对象视点图像的图像整体被区域分割，各区域的每一个与该区域分割信息 一起被编码的情况下在所述解码对象视点区域分割解码步骤中，根据所述编码数据，对 与区域分割相关的表示与所述区域分割信息的差异的信息进行解码，通 过使用该区域分割信息和表示该差异的信息，设定所述视差补偿矢量变 更用的区域分割。
24. 根据权利要求15和权利要求16的任何一项所述的图像解码方 法，其特征在于，具有视点索引解码步骤，根据所述编码数据，对表示所述参照视点图像的视点的视点索引进行解码；以及将通过所述视点索引表示的视点作为参照视点进行设定的步骤， 在所述视点图像解码步骤中，将所述参照视点的解码完成图像作为所述参照视点图像使用。
25. 根据权利要求21所述的图像解码方法，其特征在于，具有4见点索引解码步骤，对在所述解码对象浮见点区域分割解码步 骤中设定的区域的每一个，根据编码数据，对表示所述参照视点图像的 视点的视点索？ 1进行解码；以及对在所述解码对象视点区域分割解码步骤中设定的区域的每一个， 将通过所述视点索引表示的视点作为参照视点进行设定的步骤，在所述视点图像解码步骤中，对在所述解码对象视点区域分割解码 步骤中设定的区域的每一个，将所述设定了的参照视点的解码完成图像 作为所述参照视点图像使用。
26. —种图像编码装置，其特征在于，具备用于执行在权利要求 1和权利要求2的任何一项中所述的图像编码方法的各步骤的单元。
27. —种图像编码程序，用于使计算机执行在权利要求1和权利要 求2的任何一项中所述的图像编码方法的各步骤。
28. —种计算机能够读取的记录介质，记录有图像编码程序，该图 像编码程序用于使计算机执行在权利要求1和权利要求2的任何一项中 所述的图像编码方法的各步骤。
29. —种图像解码装置，其特征在于，具备用于执行在权利要求 15和权利要求16的任何一项中所述的图像解码方法的各步骤的单元。
30. —种图像解码程序，用于使计算机执行在权利要求15和权利要 求16的任何一项中所述的图像解码方法的各步骤。
31. —种计算机能够读取的记录介质，记录有图像解码程序，该图 像解码程序用于使计算机执行在权利要求15和权利要求16的任何一项 中所述的图像解码方法的各步骤。
全文摘要
本发明提供一种图像编码方法，在从多视点图像整体选择一个基准视点，考虑基准视点的摄影机与其它的全部摄影机的图像的对极几何约束时，求取并编码作为可能正确的视差信息的全局视差信息，在根据全局视差信息和摄影机参数，考虑该摄影机的图像与其它的全部摄影机的图像的对极几何约束时，对基准视点以外的摄影机的每一个生成作为可能正确的视差信息的基础视差信息，为了表示该摄影机的图像与在视差补偿中使用的已经编码完成的参照视点图像的视差信息，求取对基础视差信息进行补正的补正视差信息并编码，使用通过以补正视差信息对基础视差信息进行补正而得到的视差信息，对该摄影机的图像进行编码。
文档编号H04N7/32GK101536529SQ20078004121
公开日2009年9月16日 申请日期2007年9月18日 优先权日2006年9月20日
发明者上仓一人, 八岛由幸, 北原正树, 志水信哉 申请人:日本电信电话株式会社