图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解 ...的制作方法
【技术领域】
[0001]本发明涉及对多视点图像进行编码和解码的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序。
[0002]本申请针对在2012年12月27日向日本申请的特愿2012-284616号要求优先权，将其内容援引于此。
【背景技术】
[0003]历来，已知有由用多个摄像机对相同的被摄体和背景进行拍摄的多个图像构成的多视点图像(Multiview images:多视点图像)。将该用多个摄像机拍摄的活动图像称为多视点活动图像(或多视点视频)。在以下的说明中，将用一个摄像机拍摄的图像(活动图像)称为“二维图像(活动图像)”，将用位置、方向(以下，称为视点)不同的多个摄像机对相同的被摄体和背景进行拍摄的二维图像(二维活动图像)组称为“多视点图像(多视点活动图像)”。
[0004]二维活动图像关于时间方向存在强的相关性，能够通过利用该相关性来提高编码效率。另一方面，在多视点图像、多视点活动图像中，在各摄像机同步的情况下，与各摄像机的视频的相同时刻对应的帧(图像)为从其他的位置对完全相同状态的被摄体和背景进行拍摄的帧(图像)，因此，在摄像机之间(相同时刻的不同的二维图像之间)存在强的相关性。在多视点图像、多视点活动图像的编码中，能够通过利用该相关性来提高编码效率。
[0005]在此，对二维活动图像的编码技术相关的现有技术进行说明。在包括作为国际编码标准的H.264、MPEG-2、MPEG-4的现有的许多的二维活动图像编码方式中，利用运动补偿预测、正交变换、量化、熵编码这样的技术来进行高效率的编码。例如，在H.264中，能够实现利用与过去或未来的多个帧的时间相关性的编码。
[0006]例如，在非专利文献I中记载了在H.264中使用的运动补偿预测技术的细节。对在H.264中使用的运动补偿预测技术的概要进行说明。H.264的运动补偿预测许可将编码对象帧分割为各种尺寸的块而具有按照各块不同的运动矢量和不同的参照帧。通过使用按照各块不同的运动矢量来实现对按照每个被摄体不同的运动进行了补偿的精度高的预测。另一方面，通过使用按照各块不同的参照帧来实现考虑了由于时间变化而产生的遮挡的精度高的预测。
[0007]接着，对历来的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的编码方法和多视点活动图像的编码方法的不同在于，在多视点活动图像中，除了摄像机之间的相关性之外，还同时存在时间方向的相关性。但是，无论在哪种情况下，都能够通过相同的方法利用摄像机之间的相关性。因此，在此，对在多视点活动图像的编码中使用的方法进行说明。
[0008]关于多视点活动图像的编码，历来存在通过为了利用摄像机之间的相关性而将运动补偿预测应用于相同时刻的用不同的摄像机拍摄的图像的“视差补偿预测”来高效率地对多视点活动图像进行编码的方式。在此，视差是指在配置于不同位置的摄像机的图像平面上被摄体上的相同部分存在的位置之差。图15是示出在摄像机之间产生的视差的概念图。在图15所示的概念图中，为垂直地俯视光轴平行的摄像机的图像平面的图。像这样，被摄体上的相同部分投影在不同的摄像机的图像平面上的位置一般被称为对应点。
[0009]在视差补偿预测中，基于该对应关系根据参照帧来预测编码对象帧的各像素值，对其预测残差和示出对应关系的视差信息进行编码。视差按照成为对象的每个摄像机对、每个位置而变化，因此，需要按照进行视差补偿预测的每个区域对视差信息进行编码。实际上，在H.264的多视点活动图像编码方式中，按照使用视差补偿预测的每个块对表示视差信息的矢量进行编码。
[0010]由视差信息提供的对应关系能够通过使用摄像机参数基于对极几何约束不是由二维矢量而是由示出被摄体的三维位置的一维量来表示。作为示出被摄体的三维位置的信息存在各种表现，但是使用从成为基准的摄像机到被摄体的距离、与摄像机的图像平面不平行的轴上的坐标值的情况较多。再有，还存在不是使用距离而是使用距离的倒数的情况。此外，距离的倒数为与视差成比例的信息，因此，还存在设定两个成为基准的摄像机而表现为用这些摄像机拍摄的图像之间的视差量的情况。无论使用怎样的表现，都没有本质上的不同，因此，在以下，不进行根据表现的区别而将这些示出三维位置的信息表现为深度。
[0011]图16是对极几何约束的概念图。根据对极几何约束，与某一摄像机的图像上的点对应的其他的摄像机的图像上的点被约束在对极线这样的直线上。此时，在得到了针对其像素的深度的情况下，对应点在对极线上唯一地确定。例如，如图16所示，关于针对在第一摄像机图像中投影在m的位置的被摄体的第二摄像机图像中的对应点，在实空间的被摄体的位置为M’的情况下投影在对极线上的位置m’，在实空间的被摄体的位置为M’ ’的情况下投影在对极线上的位置m’’。
[0012]在非专利文献2中，利用该性质依照由针对参照帧的深度图(距离图像)提供的各被摄体的三维信息根据参照帧来合成针对编码对象帧的预测图像，由此，生成精度高的预测图像，实现高效的多视点活动图像的编码。再有，基于该深度而生成的预测图像被称为视点合成图像、视点内插图像或视差补偿图像。
[0013]进而，在专利文献I中，最初将针对参照帧的深度图变换为针对编码对象帧的深度图，使用该变换后的深度图来求取对应点，由此，能够仅针对需要的区域生成视点合成图像。由此，在按照成为编码对象或解码对象的帧的每个区域一边切换生成预测图像的方法一边对图像或活动图像进行编码或解码的情况下，实现了用于生成视点合成图像的处理量、用于临时积累视点合成图像的存储器量的削减。
[0014]现有技术文献专利文献
专利文献1:日本特开2010-21844号公报；
非专利文献非专利文献 1:1TU-T Recommendat1n H.264 (03/2009), “Advanced video codingfor generic aud1visual services，，，March, 2009.非专利文献2:Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and YoshiyukiYASHIMA, “Mult1-view Video Coding based on 3-D Warping with Depth Map”， InProceedings of Picture Coding Symposium 2006， SS3-6， April, 2006o
【发明内容】
[0015]发明要解决的课题
根据专利文献I所记载的方法，由于针对编码对象帧得到深度，所以能够根据码对象帧的像素求取参照帧上的对应的像素。由此，在通过仅针对编码对象帧的指定的区域生成视点合成图像而仅在编码对象帧的一部分的区域中需要视点合成图像的情况下，与总是生成I帧量的视点合成图像的情况相比，能够削减处理量、要求的存储器的量。
[0016]然而，在针对编码对象帧的全部需要视点合成图像的情况下，存在如下问题:由于产生根据针对参照帧的深度图来合成针对编码对象帧的深度图的需要，所以与根据针对参照帧的深度图直接生成视点合成图像的情况相比，其处理量增加。
[0017]本发明鉴于这样的情况而完成，其目的在于提供一种能够在生成处理对象帧的视点合成图像时抑制视点合成图像的品质降低并以少的运算量生成视点合成图像的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序。
[0018]用于解决课题的方案
本发明是一种图像解码装置，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与解码对象图像不同的视点的解码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行解码，所述图像解码装置具备:参照深度区域设定部，针对分割了所述解码对象图像的解码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及视点间预测部，将所述参照深度区域中的深度信息作为针对所述解码对象区域的深度信息，根据所述参照图像来生成针对所述解码对象区域的视点间预测图像。
[0019]本发明的图像解码装置可以还具有:深度参照视差矢量设定部，所述深度参照视差矢量设定部针对所述解码对象区域设定作为针对参照深度图的视差矢量的深度参照视差矢量，在所述参照深度设定部中，可以将由所述深度参照视差矢量所示的区域设定为所述参照深度区域。
[0020]在本发明的图像解码装置中，在所述深度参照视差矢量设定部中，可以使用对与所述解码对象区域相邻的区域进行解码时使用的视差矢量来设定所述深度参照视差矢量。
[0021]在本发明的图像解码装置中，在所述深度参照视差矢量设定部中，可以使用针对与所述解码对象区域相同位置的所述参照深度图上的区域的深度信息来设定所述深度参照视差矢量。
[0022]在本发明的图像解码装置中，在所述视点间预测部中，可以按照分割了所述解码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定代表深度，也可以根据该代表深度和所述参照图像来生成视点合成图像，由此，生成针对所述解码对象区域的视点间预测图像。
[0023]在本发明的图像解码装置中，在所述视点间预测部中，可以按照分割了所述解码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定作为针对所述参照图像的视差矢量的图像参照视差矢量，也可以使用该图像参照视差矢量和所述参照图像来生成视差补偿图像，由此，生成针对所述解码对象区域的视点间预测图像。
[0024]本发明的图像解码装置可以还具有:图像参照视差矢量积累部，对所述图像参照视差矢量进行积累；以及视差预测部，使用所述积累的图像参照视差矢量来生成针对与所述解码对象区域相邻的区域的预测视差信息。
[0025]在本发明的图像解码装置中，在所述视差预测部中，可以生成针对与所述解码对象区域相邻的区域的深度参照视差矢量。
[0026]在本发明的图像解码装置中，可以还具有:补正视差矢量部，所述补正视差矢量部设定作为对所述图像参照视差矢量进行补正的矢量的补正视差矢量，在所述视点间预测部中，可以使用通过所述补正视差矢量对所述图像参照视差矢量进行补正后的矢量和所述参照图像来生成视差补偿图像，由此，生成所述视点间预测图像。
[0027]在本发明的图像解码装置中，在所述补正视差矢量设定部中，可以针对所述解码对象区域将一个矢量设定为所述补正视差矢量。
[0028]在