图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程 ...的制作方法
【技术领域】
[0001]本发明涉及对多视点图像进行编码和解码的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质。
[0002]本申请基于在2012年9月25日向日本提出申请的特愿2012-211155号要求优先权，将其内容引用于本文。
【背景技术】
[0003]历来，已知有由用多个摄像机对相同的被摄体和背景进行拍摄的多个图像构成的多视点图像。将用该多个摄像机拍摄的活动图像称为多视点活动图像(或多视点视频)。在以下的说明中，将用一个摄像机拍摄的图像(活动图像)称为“二维图像(活动图像)”，将用位置或方向(以下，称为视点)不同的多个摄像机对相同的被摄体和背景进行拍摄的二维图像(二维活动图像)群称为“多视点图像(多视点活动图像)”。
[0004]二维活动图像关于时间方向具有强的相关性，能够通过利用该相关性来提高编码效率。另一方面，在多视点图像、多视点活动图像中，在各摄像机同步的情况下，与各摄像机的视频的相同时刻对应的帧(图像)是从不同的位置对完全相同状态的被摄体和背景进行拍摄的帧(图像)，因此，在摄像机间具有强的相关性。在多视点图像、多视点活动图像的编码中，能够通过利用该相关性来提高编码效率。
[0005]此处，对涉及二维活动图像的编码技术的现有技术进行说明。在包括作为国际编码标准的H.264、MPEG-2、MPEG-4的现有的许多二维活动图像编码方式中，利用运动补偿预测、正交变换、量化、熵编码这样的技术来进行高效率的编码。例如，在H.264中，能够实现利用与过去或未来的多个帧的时间相关性的编码。
[0006]例如在非专利文献I中记载了 H.264中使用的运动补偿预测技术的细节。对H.264中使用的运动补偿预测技术的概要进行说明。H.264的运动补偿预测许可将编码对象帧分割为各种尺寸的块并具有按照各块不同的运动矢量和不同的参照帧。通过使用按照各块不同的运动矢量来实现补偿了按每个被摄体不同的运动的精度高的预测。另一方面，通过使用按照各块不同的参照帧来实现考虑了由于时间变化而产生的遮挡的精度高的预测。
[0007]接下来，对现有的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的编码方法与多视点活动图像的编码方法的不同之处在于，在多视点活动图像中，除了摄像机间的相关性之外，还同时存在时间方向的相关性。可是，关于利用摄像机间的相关性的方法，在哪一种情况下都能够使用相同的方法。因此，此处，对在多视点活动图像的编码中使用的方法进行说明。
[0008]关于多视点活动图像的编码，历来存在通过为了利用摄像机间的相关性而将运动补偿预测应用于相同时刻的由不同摄像机所拍摄的图像的“视差补偿预测”来高效率地对多视点活动图像进行编码的方式。此处，视差指的是被摄体上的相同部分在配置于不同的位置的摄像机的图像平面上存在的位置之差。图21是示出在摄像机间产生的视差的概念图。在图21所示的概念图中，垂直地俯视光轴为平行的摄像机的图像平面。像这样，被摄体上的相同部分在不同的摄像机的图像平面上投影的位置一般称为对应点。
[0009]在视差补偿预测中，基于该对应关系，根据参照帧来预测编码对象帧的各像素值，对其预测残差和示出对应关系的视差信息进行编码。视差按照每个成为对象的摄像机对、位置而变化，因此，需要按进行视差补偿预测的每个区域对视差信息进行编码。实际上，在H.264的多视点编码方式中，按使用视差补偿预测的每个块对表示视差信息的矢量进行编码。
[0010]由视差信息提供的对应关系能够通过使用摄像机参数基于对极几何约束不是以二维矢量而是以示出被摄体的三维位置的一维量来表示。作为示出被摄体的三维位置的信息，存在各种表现，但是多使用从成为基准的摄像机到被摄体的距离、与摄像机的图像平面不平行的轴上的坐标值。再有，也存在不使用距离而使用距离的倒数的情况。此外，由于距离的倒数为与视差成比例的信息，所以也存在设定2个成为基准的摄像机而表现为由这些摄像机所拍摄的图像间的视差量的情况。由于无论使用怎样的表现，在其物理意义上都没有本质的不同，所以在以下不进行表现的区别，将这些示出三维位置的信息表现为深度。
[0011]图22是对极几何约束的概念图。根据对极几何约束，与某一摄像机的画面上的点对应的其他的摄像机的图像上的点被约束在称为对极线的直线上。此时，在得到了针对其像素的深度的情况下，对应点在对极线上被单值确定。例如，如图22所示那样，关于针对在第一摄像机图像中投影到m位置的被摄体的第二摄像机图像中的对应点，在实空间中的被摄体的位置为M’的情况下被投影到对极线上的位置m’，在实空间中的被摄体的位置为M’ ’的情况下被投影到对极线上的位置m’ ’。
[0012]在非专利文献2中，利用该性质，依照由针对参照帧的深度图(距离图像)提供的各被摄体的三维信息根据参照帧来合成针对编码对象帧的预测图像，由此，生成精度高的预测图像，实现高效的多视点活动图像的编码。再有，基于该深度而生成的预测图像被称为视点合成图像、视点内插图像、或者视差补偿图像。
[0013]进而，在专利文献I中，最初将针对参照帧的深度图(参照深度图)变换为针对编码对象帧的深度图(假想深度图)，使用该变换后的深度图(假想深度图)来求取对应点，由此，能够仅针对需要的区域生成视点合成图像。由此，在一边按成为编码对象或解码对象的帧的每个区域切换生成预测图像的方法一边对图像或活动图像进行编码或解码的情况下，实现了用于生成视点合成图像的处理量、用于临时积累视点合成图像的存储器的量的削减。
[0014]现有技术文献专利文献
专利文献1:日本特开2010-21844号公报。
非专利文献
非专利文献 1:1TU-T Recommendat1n H.264 (03/2009), "Advanced video codingfor generic aud1visual services' March, 20090
非专利文献2:Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and YoshiyukiYASHIMAj ^Mult1-view Video Coding based on 3-D Warping with Depth Map〃， InProceedings of Picture Coding Symposium 2006， SS3-6， April, 2006o
[0015]非专利文献3:Y.Mori, N.Fukushimaj T.Fuji, and M.Tanimotoj 〃ViewGenerat1n with 3D Warping Using Depth Informat1n for FTV 〃， In Proceedings of3DTV-C0N2008, pp.229-232，May 2008。
【发明内容】
[0016]发明要解决的课题
根据专利文献I的方法，由于能针对编码对象帧得到深度，所以能够根据编码对象帧的像素来求取参照帧上的对应的像素。由此，通过仅针对编码对象帧的所指定的区域生成视点合成图像，从而与总是生成I帧量的视点合成图像的情况相比，能够削减处理量、所要求的存储器的量。
[0017]然而，在根据针对参照帧的深度图(参照深度图)来合成针对编码对象帧的深度图(假想深度图)的方法中，如图11所示，虽然能够从对编码对象帧进行拍摄的视点进行观测，但是对于不能从对参照帧进行拍摄的视点进行观测的编码对象帧上的区域(以下，称为遮挡区域0CC)，存在不能得到深度信息这样的问题。图11是示出遮挡区域OCC发生的状况的说明图。这是因为在针对参照帧的深度图上不存在对应的深度信息。不能得到深度信息的结果是，发生了不能生成视点合成图像的状况。
[0018]在专利文献I中，提供了如下方法:对针对变换而得到的编码对象帧的深度图(假想深度图)进行假定了在实空间的连续性的补正，由此，对遮挡区域OCC也生成深度信息。在该情况下，由于遮挡区域OCC为被周边的物体所遮挡的区域，所以在假设了在实空间的连续性的补正中，遮挡区域的周边的背景物体OBJ-B的深度或者平滑地连结前景物体OBJ-F和背景物体OBJ-B的深度被提供为遮挡区域OCC的深度。
[0019]图13示出了对遮挡区域OCC提供了其周边的背景物体OBJ-B的深度的情况下(即，假定背景物体的连续性而对遮挡区域OCC提供了深度的情况下)的深度图。在该情况下，背景物体OBJ-B的深度值被提供为编码对象帧的遮挡区域OCC中的深度值。因而，当使用所生成的假想深度图来生成视点合成图像时，如图19所示，在参照帧中，由于遮挡而使背景物体OBJ-B被前景物体OBJ-F所遮挡，因此，遮挡区域OCC上的像素与参照帧上的前景物体OBJ-F上的像素相对应，视点合成图像的品质降低。图19是示出了在遮挡区域OCC中假定了背景物体的连续性的情况下在包括遮挡区域OCC的编码对象帧中生成的视点合成图像的说明图。
[0020]另一方面，图14示出了对遮挡区域OCC提供了平滑地连结前景物体OBJ-F和背景物体OBJ-B的深度的情况下(即，假定被摄体的连续性而对遮挡区域OCC提供了深度的情况下)的深度图。在该情况下，从示出离视点近的深度值到示出离视点远的深度值连续地变化的深度值被提供为编码对象帧的遮挡区域OCC中的深度值。当使用这样的假想深度图来生成视点合成图像时，如图20所示，遮挡区域OCC上的像素相对应于参照帧上的前景对象OBJ-F的像素和背景对象OBJ-B的像素之间。图20是示出了对遮挡区域OCC提供了平滑地连结前景物体OBJ-F和背景物体OBJ-B的深度的状况下在包括遮挡区域OCC的编码对象帧中生成的视点合成图像的说明图。此时的遮挡区域OCC的像素值通过对前景物体OBJ-F的像素和背景物体OBJ-B的像素进行内插来得到。即，遮挡区域OCC的像素具有前景物体OBJ-F和背景物体OBJ-B混杂的值，在现实中是基本不会发生的状况，因此，视点合成图像的品质降低。
[0021]针对这样的遮挡区域，如非专利文献3所代表的那样，使用在遮挡区域的周边区域中得到的视点合成图像来进行修复(inpaint)处理，由此，能够生成视点合成图像。然而，为了进行修复处理，需要对遮挡区域的周边区域也生成视点合成图像，因此，不能得到能够仅对编码对象帧的所指定的区域生成视点合成图像来削减处理量、临时存储器的量这样的专利文献I的效果。
[0022]本发明鉴于这样的情形而完成，其目的在于提供一种能够在对参照帧使用深度图来生成编码处理或解码处理对象的帧的视点合成图像时抑制视点合成图像的品质的降低并且实现高的编码效率以及存储器容量和运算量的削减的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序、以及记录介质。
[0023]用于解决课题的方案
本发明是一种图像编码方法，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参照图像和作为所述参照图像中的被摄体的深度图的参照深度图来一边在视点间预测图像一边进行编码，所述图像编码方法具有:深度图变换步骤，将所述参照深度图变换为作为所述编码对象图像中的被摄体的深度图的假想深度图；遮挡区域深度生成步骤，对由于所述被摄体的前后关系而产生的在所述参照深度图内不存在深度值的遮挡区域分配针对与在所述参照图像中被遮挡的被摄体相同的被摄体上的区域得到对应关系的深度值，由此，生成所述遮挡区域的深度值；以及视点间图像预测步骤，根据生成所述遮挡区域的深度值之后的所述假想深度图和所述参照图像来生成针对所述编码对象图像的视差补偿图像，由此，进行视点间的图像预测。
[00