图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程 ...的制作方法
【技术领域】
[0001]本发明涉及对多视点图像进行编码和解码的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质。
[0002]本申请基于在2013年4月11日向日本申请的特愿2013-082957号要求优先权，并将其内容引用于此。
【背景技术】
[0003]以往，已知由用多个摄像机拍摄了相同的被摄物和背景的多个图像构成的多视点图像(Multiview images:多视点图像)。将该用多个摄像机拍摄的活动图像称为多视点活动图像(或多视点影像)。在以下的说明中，将用I个摄像机拍摄的图像(活动图像)称为“二维图像(活动图像)”，将用位置、方向(以下称为视点)不同的多个摄像机拍摄了相同的被摄物和背景的二维图像(二维活动图像)组称为“多视点图像(多视点活动图像)”。
[0004]二维活动图像关于时间方向具有强的相关，通过利用该相关，从而能够提高编码效率。另一方面，在多视点图像、多视点活动图像中，在各摄像机被同步的情况下，各摄像机的影像的相同的时刻所对应的帧(图像)是从不同的位置拍摄了完全相同的状态的被摄物和背景的帧(图像)，因此，在摄像机间(相同的时刻的不同的二维图像间)具有强的相关。在多视点图像、多视点活动图像的编码中，通过利用该相关，从而能够提高编码效率。
[0005]在此，对与二维活动图像的编码技术相关的现有技术进行说明。在以作为国际编码标准的H.264、MPEG-2、MPEG-4为首的以往的许多二维活动图像编码方式中，利用运动补偿预测、正交变换、量化、熵编码这样的技术来进行高效率的编码。例如，在H.264中，能够实现利用了编码对象帧与过去或未来的多个帧的时间相关的编码。
[0006]关于在H.264中使用的运动补偿预测技术的细节，例如被记载在非专利文献I中。对在H.264中使用的运动补偿预测技术的概要进行说明。H.264的运动补偿预测将编码对象帧分割为各种尺寸的块，在各块中允许具有不同的运动矢量和不同的参考帧。通过在各块中使用不同的运动矢量，从而实现对按照每个被摄物而不同的运动进行补偿后的精度高的预测。另一方面，通过在各块中使用不同的参考帧，从而实现考虑了由于时间变化而产生的遮挡(occlus1n)的精度高的预测。
[0007]接着，对以往的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的编码方法与多视点活动图像的编码方法的不同在于，在多视点活动图像中除了摄像机间的相关之外还同时存在时间方向的相关。可是，在哪一种情况下均能够使用相同的方法来利用摄像机间的相关。因此，在此，对在多视点活动图像的编码中使用的方法进行说明。
[0008]关于多视点活动图像的编码，为了利用摄像机间的相关，以往存在利用将运动补偿预测应用于相同的时刻的被不同的摄像机拍摄的图像的“视差补偿预测”来对多视点活动图像高效率地进行编码的方式。在此，视差是指在配置于不同的位置的摄像机的图像平面上被摄物上的相同的部分所存在的位置的差。图27是示出在摄像机间产生的视差的概念图。在图27所示的概念图中，成为垂直地俯视光轴平行的摄像机的图像平面。像这样，在不同的摄像机的图像平面上投影被摄物上的相同的部分的位置通常被称为对应点。
[0009]在视差补偿预测中，基于该对应关系，根据参考帧来预测编码对象帧的各像素值，对其预测残差和示出对应关系的视差信息进行编码。视差按照作为对象的摄像机对、位置的每一个而变化，因此，需要按照进行视差补偿预测的区域的每个对视差信息进行编码。实际上，在H.264的多视点活动图像编码方式中，按照使用视差补偿预测的块的每个对表示视差信息的矢量进行编码。
[0010]关于根据视差信息提供的对应关系，通过使用摄像机参数，从而能够基于极几何约束用示出被摄物的三维位置的一维量而不是用二维矢量来表示。作为示出被摄物的三维位置的信息，存在各种表现，但是，使用从成为基准的摄像机到被摄物的距离、与摄像机的图像平面不平行的轴上的坐标值的情况多。再有，还存在不使用距离而使用距离的倒数的情况。此外，由于距离的倒数为与视差成比例的信息，所以，还存在设定2个成为基准的摄像机并且将三维位置表现为在被这些摄像机拍摄的图像间的视差量的情况。无论使用了怎样的表现，都没有本质的不同，因此，在以下，不根据表现来进行区别，将示出这些三维位置的信息表现为深度。
[0011]图28是极几何约束的概念图。根据极几何约束，与某个摄像机的图像上的点对应的另外的摄像机的图像上的点被约束在称为极线的直线上。此时，在得到了针对其像素的深度的情况下，对应点被唯一地确定在极线上。例如，如图28所示那样，针对在第一摄像机图像中被投影到m的位置的被摄物的在第二摄像机图像中的对应点在实际空间中的被摄物的位置为M’的情况下被投影到极线上的位置m’，在实际空间中的被摄物的位置为M’ ’的情况下被投影到极线上的位置m’ ’。
[0012]按照利用该性质由针对参考帧的深度图(距离图像)提供的各被摄物的三维信息，根据参考帧生成针对编码对象帧的合成图像，将其用作预测图像，由此，能够实现精度高的预测，实现高效的多视点活动图像的编码。再有，基于该深度生成的合成图像被称为视点合成图像、视点内插图像或视差补偿图像。
[0013]可是，参考帧和编码对象帧为由处于不同的位置的摄像机拍摄的图像，因此，由于构架(framing)、遮挡的影响，存在虽然存在于编码对象帧但是不存在于参考帧的显现有被摄物、背景的区域。因此，在这样的区域中，视点合成图像不能提供适当的预测图像。在以下，将在这样的视点合成图像中不能提供适当的预测图像的区域称为遮挡区域。
[0014]在非专利文献2中，通过对编码对象图像与视点合成图像的差分图像进行进一步的预测，从而即使在遮挡区域中也利用空间的或时间的相关来实现高效的编码。此外，在非专利文献3中，将所生成的视点合成图像作为每个区域的预测图像的候补，由此，在遮挡区域中使得能够使用以另外的方法预测的预测图像，实现高效的编码。
[0015]现有技术文献。
[0016]非专利文献。
[0017]非专利文献1:1TU_T Recommendat1n H.264 (03/2009), “Advanced videocoding for generic aud1visual services，，，2009 年 3 月；
非专利文献 2:Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA, andYoshiyuki YASHIMA, “Mult1-view Video Coding based on 3-D Warping with DepthMap”， In Proceedings of Picture Coding Symposium 2006, SS3-6, 2006 年 4 月；非专利文南犬 3:S.Shimizu, H.Kimata, and Y.0htani, “Adaptive appearancecompensated view synthesis predict1n for Multiview Video Coding”， ImageProcessing (ICIP), 2009 16th IEEE Internat1nal Conference on Image Processing,pp.2949-2952，2009 年 11 月 7-10 日。
【发明内容】
[0018]发明要解决的课题
根据非专利文献2、非专利文献3所记载的方法，能够将根据视点合成图像的摄像机间的预测和在遮挡区域中的空间或时间的预测进行组合来作为整体实现高效率的预测，所述视点合成图像是使用根据深度图得到的被摄物的三维信息来进行了高精度的视差补偿的图像。
[0019]可是，在非专利文献2所记载的方法中，即使对于视点合成图像提供高精度的预测的区域，也必须对示出用于进行针对编码对象图像与视点合成图像的差分图像的预测的方法的信息进行编码，因此，存在产生无用的码量这样的问题。
[0020]另一方面，在非专利文献3所记载的方法中，对于视点合成图像能够提供高精度的预测的区域，只要示出进行使用了视点合成图像的预测即可，因此，不需要对无用的信息进行编码。可是，无论是否提供高精度的预测，视点合成图像被包含在预测图像的候补，因此，存在预测图像的候补数目变大这样的问题。也就是说，存在如下这样的问题:不仅增加选择预测图像的生成法所需要的运算量，而且还为了示出预测图像的生成方法而需要许多的码量。
[0021]由于本发明是鉴于这样的情况而完成，因此其目的在于提供一种能够在一边将视点合成图像用作预测图像中的一个一边对多视点活动图像进行编码或解码时，一边防止遮挡区域中的编码效率的降低一边作为整体实现用少的码量进行编码的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录这些程序的记录介质。
[0022]用于解决课题的方案
本发明的一个方式是，一种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行编码，其中，所述图像编码装置具备:视点合成图像生成部，使用所述参考图像和所述参考深度图，生成针对所述编码对象图像的视点合成图像；利用可否判定部，按照分割了所述编码对象图像的编码对象区域的每个来判定是否能够利用所述视点合成图像；以及图像编码部，按照每个所述编码对象区域，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边选择预测图像生成方法一边对所述编码对象图像进行预测编码。
[0023]优选的是，所述图像编码部按照每个所述编码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，对针对所述编码对象区域的所述编码对象图像与所述视点合成图像的差分进行编码，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边选择预测图像生成方法一边对所述编码对象图像进行预测编码。
[0024]优选的是，所述图像编码部按照每个所述编码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，生成编码信息。
[0025]优选的是，所述图像编码部决定预测块尺寸来作为所述编码信息。
[0026]优选的是，所述图像编码部决定预测方法并且生成针对所述预测方法的编码信息。
[0027]优选的是，所述利用可否判定部基于所述编码对象区域中的所述视点合成图像的品质判定所述视点合成图像的利用可否。
[0028]优选的是，所述图像编码装置还具备遮挡图生成部，所述遮挡图生成部使用所述参考深度图来在所述编码对象图像上的像素中生成表示所述参考图像的遮盖像素的遮挡图，所述利用可否判定部使用所述遮挡图，基于在所述编码对象区域内存在的所述遮盖像素的数目来判定所述视点合成图像的利用可否。
[0029]本发明的一个方式是，一种图像解码装置，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像不同的视点的解码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行解码，其中，所述图像解码装置具备:视点合成图像生成部，使用所述参考图像和所述参考深度图，生成针对所述解码对象图像的视点合成图像；利用可否判定部，按照分割了所述解码对象图像的解码对象区域的每个来判定是否能够利用所述视点合成图像；以及图像解码部，按照每个所述解码对象区域，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边生成预测图像一边根据所述码数据对所述解码对象图像进行解码。
[0030]优选的是，所述图像解码部按照每个所述解码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，一边根据所述码数据对所述解码对象图像与所述视点合成图像的差分进行解码一边生成所述解码对象图像，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边生成预测图像一边根据所述码数据对所述解码对象图像进行解码。
[0031]优选的是，所述图像解码部按照每个所述解码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，生成编码信息。
[0032]优选的是，所述图像解码部决定预测块尺寸来作为所述编码信息。
[0033]优选的是，所述图像解码部决定预测方法并且