图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程 ...的制作方法
【技术领域】
[0001] 本发明涉及对多视点图像进行编码和解码的图像编码方法、图像解码方法、图像 编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质。
[0002] 本申请针对在2012年12月27日向日本申请的日本特愿2012-284694号要求优 先权，将其内容援引于此。
【背景技术】
[0003] 历来，已知有由用多个摄像机对相同的被摄体和背景进行拍摄的多个图像构成的 多视点图像（Multiview images :多视点图像)。将该用多个摄像机拍摄的活动图像称为多 视点活动图像(或多视点视频)。在以下的说明中，将用一个摄像机拍摄的图像(活动图像） 称为"二维图像(活动图像)"，将用位置、方向（以下，称为视点）不同的多个摄像机对相同 的被摄体和背景进行拍摄的二维图像(二维活动图像）组称为"多视点图像(多视点活动图 像)"。
[0004] 二维活动图像关于时间方向存在强的相关性，能够通过利用该相关性来提高编码 效率。另一方面，在多视点图像、多视点活动图像中，在各摄像机同步的情况下，与各摄像机 的视频的相同时刻对应的帧（图像）为从其他的位置对完全相同状态的被摄体和背景进行 拍摄的帧（图像)，因此，在摄像机之间存在强的相关性。在多视点图像、多视点活动图像的 编码中，能够通过利用该相关性来提高编码效率。
[0005] 在此，对二维活动图像的编码技术相关的现有技术进行说明。在包括作为国际编 码标准的H. 264、MPEG-2、MPEG-4的现有的许多的二维活动图像编码方式中，利用运动补偿 预测、正交变换、量化、熵编码这样的技术来进行高效率的编码。例如，在H. 264中，能够进 行利用与过去或未来的多个帧的时间相关性的编码。
[0006] 例如，在非专利文献1中记载了在H. 264中使用的运动补偿预测技术的细节。对 在H. 264中使用的运动补偿预测技术的概要进行说明。H. 264的运动补偿预测许可将编码 对象帧分割为各种尺寸的块而具有按照各块不同的运动矢量和不同的参照帧。通过使用按 照各块不同的运动矢量来实现对按照每个被摄体不同的运动进行了补偿的精度高的预测。 另一方面，通过使用按照各块不同的参照帧来实现考虑了由于时间变化而产生的遮挡的精 度高的预测。
[0007] 接着，对历来的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的 编码方法和多视点活动图像的编码方法的不同在于，在多视点活动图像中，除了摄像机之 间的相关性之外，还同时存在时间方向的相关性。但是，无论在哪种情况下，都能够通过相 同的方法利用摄像机之间的相关性。因此，在此，对在多视点活动图像的编码中使用的方法 进行说明。
[0008] 关于多视点活动图像的编码，历来存在通过为了利用摄像机之间的相关性而将运 动补偿预测应用于相同时刻的用不同的摄像机拍摄的图像的"视差补偿预测"来高效率地 对多视点活动图像进行编码的方式。在此，视差是指在配置于不同位置的摄像机的图像平 面上被摄体上的相同部分存在的位置之差。图10是示出在摄像机之间产生的视差的概念 图。在图10所示的概念图中，为垂直地俯视光轴平行的摄像机的图像平面的图。像这样， 被摄体上的相同部分投影在不同的摄像机的图像平面上的位置一般被称为对应点。
[0009] 在视差补偿预测中，基于该对应关系根据参照帧来预测编码对象帧的各像素值， 对其预测残差和示出对应关系的视差信息进行编码。视差按照成为对象的摄像机的每个 对、每个位置而变化，因此，需要按照进行视差补偿预测的每个区域对视差信息进行编码。 实际上，在H. 264的多视点活动图像编码方式中，按照使用视差补偿预测的每个块对表示 视差信息的矢量进行编码。
[0010] 由视差信息提供的对应关系能够通过使用摄像机参数基于对极几何约束不是由 二维矢量而是由示出被摄体的三维位置的一维量来表示。作为示出被摄体的三维位置的 信息存在各种表现，但是使用从成为基准的摄像机到被摄体为止的距离、与摄像机的图像 平面不平行的轴上的坐标值的情况较多。再有，还存在不是使用距离而是使用距离的倒数 的情况。此外，距离的倒数为与视差成比例的信息，因此，还存在设定两个成为基准的摄像 机而将三维位置表现为用这些摄像机拍摄的图像之间的视差量的情况。无论使用怎样的表 现，都没有本质上的不同，因此，在以下，不进行根据表现的区别而将这些示出三维位置的 信息表现为深度。
[0011] 图11是对极几何约束的概念图。根据对极几何约束，与某一摄像机的图像上的点 对应的其他的摄像机的图像上的点被约束在对极线这样的直线上。此时，在得到了针对其 像素的深度的情况下，对应点在对极线上唯一地确定。例如，如图11所示那样，关于针对在 第一摄像机图像中投影在m的位置的被摄体的第二摄像机图像中的对应点，在实空间的被 摄体的位置为M'的情况下投影在对极线上的位置m'，在实空间的被摄体的位置为M' '的情 况下投影在对极线上的位置m' '。
[0012] 在非专利文献2中，利用该性质依照由针对参照帧的深度图（距离图像）提供的各 被摄体的三维信息根据参照帧来合成针对编码对象帧的预测图像，由此，生成精度高的预 测图像，实现高效的多视点活动图像的编码。再有，基于该深度而生成的预测图像被称为视 点合成图像、视点内插图像或视差补偿图像。
[0013] 然而，由于对极几何依照单纯的摄像机模型，所以当与现实的摄像机的投影模型 相比时，存在多少的误差。此外，即使依照该单纯的摄像机模型，由于针对实际的图像正确 地求取摄像机参数是困难的，所以不能避免误差。进而，即使在摄像机模型正确地求取的情 况下，由于针对写实图像正确地得到深度以及在不失真的情况下进行编码/传输都是困难 的，所以不能生成正确的视点合成图像、视差补偿图像。
[0014] 在非专利文献3中，能够将生成的视点合成图像插入到DPB (Decoded Picture Buffer :解码图片缓冲区）而与其他的参照帧同样地处理。由此，即使因上述那样的误差的 影响而使编码对象图像和视点合成图像微妙地偏离，也通过对视点合成图像上的示出该偏 离的矢量进行设定/编码来实现对该偏离进行了补偿的高精度的图像预测。
[0015] 现有技术文献 非专利文献 非专利文献 I : ITU-T Recommendation Η· 264 (03/2009)，"Advanced video coding for generic audiovisual services''，March, 2009. 非专利文献2 :Shinya SHMIZU，Masaki KITAHARA，Kazuto KAMIKURA and Yoshiyuki YASHIMA， "Multi-view Video Coding based on 3_D Warping with Depth Map"， In Proceedings of Picture Coding Symposium 2006， SS3-6， April, 2006. 非专利文献：Emin Martinianj Alexander Behrens, Jun Xinj Anthony Vetroj and Huifang Sun， "EXTENSIONS OF H.264/AVC FOR MULTIVIEW VIDEO COMPRESSION"， MERL Technical Report, TR2006-048, June, 2006〇
【发明内容】
[0016] 发明要解决的课题 根据非专利文献3所记载的方法，只要一边使用一般的运动补偿预测处理一边仅变更 DPB的管理部分，就能够将视点合成图像的位置偏离处理为模拟的运动来进行该模拟的运 动的补偿。由此，能够补偿由于各种主要原因而在视点合成图像中产生的与编码对象图像 的位置偏离，并提高使用针对实际图像的视点合成图像的预测效率。
[0017] 然而，由于与通常的参照图像同样地处理视点合成图像，所以存在如下问题：即使 在仅在编码对象图像的一部分中参照视点合成图像的情况下，也产生生成一个图像量的视 点合成图像的需要，处理量增加。
[0018] 虽然能够通过使用针对编码对象图像的深度来仅针对需要的区域生成视点合成 图像，但是在提供了示出小数像素位置的模拟的运动矢量的情况下，为了对针对一个小数 像素的像素值进行内插，需要针对多个整数像素的视点合成图像的像素值。即，存在如下问 题：产生针对比预测对象的像素多的像素生成视点合成图像的需要，而不能解决处理量增 加这样的问题。
[0019] 本发明鉴于这样的情况而完成，其目的在于提供一种能够在视点合成图像上对模 拟的运动进行补偿时抑制图像信号的预测效率显著地降低并以少的运算量实现针对视点 合成图像的小数像素精度的模拟运动补偿预测的图像编码方法、图像解码方法、图像编码 装置、图像解码装置、图像编码程序、图像解码程序以