动图像编码方法、动图像解码方法、动图像编码装置、动图像解码装置、动图像编码程序 ...的制作方法
【专利摘要】减少对动图像进行预测编码时的用于生成预测图像的信息的编码所需的码量。生成在生成预测图像时参照的参照帧的列表，即参照帧列表。将对与处理区域对应的结构动图像进行编码时所使用的运动信息设定为结构运动信息。设定示出与处理区域对应的参照帧上的区域的深度图运动信息。此时，在对结构运动信息中所包含的参照帧进行指定的索引值比参照帧列表的尺寸小的情况下，将结构运动信息设定为深度图运动信息。按照设定的深度图运动信息，生成针对处理区域的预测图像。
【专利说明】动图像编码方法、动图像解码方法、动图像编码装置、动图像解码装置、动图像编码程序、动图像解码程序以及记录介质
【技术领域】
[0001]本发明涉及动图像编码方法、动图像解码方法、动图像编码装置、动图像解码装置、动图像编码程序、动图像解码程序以及记录介质。
[0002]本申请基于2012年7月9日向日本申请的日本特愿2012 — 154066号要求优先权，将其内容引用于此。
【背景技术】
[0003]以前，已知有用户能自由地指定摄影空间内的摄像机的位置、方向(以下，称为视点)的自由视点图像。因为在自由视点图像中用户指定任意的视点，所以对其所有的可能性保存图像是不可能的。因此，自由视点图像由生成指定的视点的图像所需的信息组构成。自由视点图像可使用各种数据形式来表现，但是，作为最一般的形式有使用图像和针对该图像的深度图(depth map:距离图像)的方式(例如，参照非专利文献I)。
[0004]在此，深度图是按每个像素表现了从摄像机到被拍摄体的深度(距离)的图，表现了被拍摄体的三维位置。因为深度与两个摄像机间的视差的倒数成比例，所以有时也称为视差图(视差图像)。在计算机图形的领域中，深度是存储在Z缓冲器的信息，因此有时也称为Z图像或Z图。另外，除了从摄像机到被拍摄体的距离以外，有时也将相对于在表现对象空间上张开的三维坐标系的Z轴的坐标值作为深度使用。一般来说，相对于所拍摄的图像将水平方向设为X轴，将垂直方向设为Y轴，因此Z轴与摄像机的方向一致，但是，也存在对多个摄像机使用共同的坐标系的情况等Z轴与摄像机的方向不一致的情况。以下，不对距离、Z值进行区分而称为深度，将深度作为像素值表示的图像称为深度图。但是，严格来说在视差图中需要设定作为基准的一对摄像机。
[0005]在将深度作为像素值表示时，存在将与物理量对应的值直接作为像素值的方法、使用将最小值与最大值之间量化为某个数而得到的值的方法、以及使用将与最小值的差以某个步长进行量化而得到的值的方法。在想要表现的范围有限的情况下，使用最小值等附加信息更能高精度地表现深度。此外，在以等间隔进行量化时，存在直接量化物理量的方法和量化物理量的倒数的方法。因为距离的倒数成为与视差成比例的值，故在需要以高精度表现距离的情况下，多使用前者，在需要以高精度表现视差的情况下，多使用后者。以下，与深度的像素值化的方法、量化的方法无关，将深度表现为图像的图全部称为深度图。
[0006]深度图表现为各像素具有I个值的图像，因此，可看作是亮度色标(gray scale)图像。此外，被拍摄体在实空间上连续地存在，不能瞬间移动到分开的位置，因此，可以说深度图与图像信号同样地具有空间相关和时间相关。因此，可通过通常的为了对图像信号、影像信号进行编码而使用的图像编码方式、动图像编码方式一边去掉空间冗余性、时间冗余性，一边对深度图、其动图像(深度图动图像、深度视频)有效地进行编码。
[0007]在此，对一般的动图像编码进行说明。在动图像编码中，为了利用被拍摄体在空间上连续的特征来实现有效的编码，将构成动图像的各图像(图片、帧)分割为预先确定的像素数的处理单位区块，按该区块的每一个以空间方式或时间方式预测图像信号，对示出该预测方法的预测信息和预测残差进行编码。在以空间方式预测图像信号的情况下，例如表示空间性的预测的方向的信息成为预测信息，在以时间方式进行预测的情况下，例如示出所参照的图像的信息以及示出该参照的图像中的位置的信息成为预测信息。
[0008]图像信号的空间相关、时间相关取决于被拍摄体、结构(texture)，因此，在以H.264/AVC为代表的近年来的动图像编码中，使以下情况成为可能，即:按每个处理单位区块与图像信号匹配地分割为更小的区块，按该区块的每一个参照不同的图像、区域来预测图像信号。特别是，在H.264/AVC中，通过使按每个区块从不同时刻的多个图像之中选择一个或两个图像进行参照变为可能，从而对像MPEG - 2、MPEG 一 4那样参照的图像被固定的动图像编码实现了很高的编码效率(关于H.264/AVC的细节，例如，参照非专利文献2)。这是因为，当存在阻塞(occlus1n)、周期性的被拍摄体的运动时，能够参照时间相关更高的图像。
[0009]该多个可参照的图像设定为被称为参照图片列表的列表的各条目，通过对其索引值(index value)进行编码，从而示出参照的图像。在参照图片的索引值的编码中，参照图片的条目数越多，或其索引值越大，就需要越多的码量。因此，通过从列表除去时间相关低的图像、对时间相关低的图像分配值更大的索引值，从而能达成更高的编码效率。该图像的每一个的时间相关取决于序列、处理对象的图像，因此，在H.264/AVC中，使按每个图像构筑不同的参照图片列表成为可能。
[0010]在由动图像和深度图动图像构成的自由视点动图像的编码中，无论哪一个都具有空间相关和时间相关，可通过使用通常的动图像编码方式对其分别进行编码而减少数据量。例如，在使用MPEG - C Part.3来表现动图像和相对于它的深度图动图像的情况下，使用现有的动图像编码方式对其分别进行编码。
[0011]此外，在对动图像和?米度图动图像一起进行编码时，动图像和株度图动图像是针对相同的被拍摄体、空间的信息，因此，存在通过利用在它们之间存在的相关来实现有效的编码的方法。在非专利文献3中，通过共有化在对动图像、深度图动图像进行编码时所使用的运动信息(参照图片索引、运动矢量)而避免重复进行编码，从而实现有效的编码。具体地说，考虑动图像和深度图动图像这两者而生成一个运动信息进行共同利用。
[0012]现有技术文献非专利文献
非专利文献 1:Y.Mori, N.Fukushima，T.Fujii, and Μ.Tanimoto，“ViewGenerat1n with 3D Warping Using Depth Informat1n for FTV，，，In Proceedings of3DTV-C0N2008, pp.229-232，May 2008 ；
非专利文献2:Recommendat1n ITU-T H.264，‘‘Advanced video coding for genericaud1visual services，，，March 2009 ；
非专利文献 3:1.Daribo, C.Tillier, and B.P.Popescu，“Mot1n VectorSharing and Bitrate Allocat1n for 3D Video-Plus-Depth Coding，，，EURASIP Journalon Advances in Signal Processing, vol.2009， Article ID 258920， 13 pages，2009。
[0013]发明要解决的课题像前述的非专利文献3那样，在动图像和深度图动图像中具有共同的参照图片列表构造，通过在动图像与深度图动图像之间共享运动信息，从而能够减少必须进行编码的运动信息的量，因此能够对由图像信号和深度构成的自由视点动图像高效地进行压缩编码。
[0014]然而，动图像与深度图动图像具有不同的性质，每个帧的时间相关的性质不同，因此，在始终共享运动信息的情况下，不能进行合适的预测，存在预测残差增大的问题。即，在前述的非专利文献3的方法中，即使能够减少运动信息的量，在预测残差大幅增加的情况下，作为整体的码量也会增大，也不能实现有效的压缩编码。
[0015]此外，深度图由来自多视点图像的立体匹配或由与使用红外线等的通常的图像摄影不同的传感器来获取，因此，噪声多，其时间相关与动图像相比极低。因此，在深度图的编码中，可通过不将在时刻上与处理对象的帧相隔较远的帧包含到参照图片列表而使用只有很少的条目的参照图片列表来实现对参照图片索引有效地进行编码。然而，当共享动图像的参照图片列表及其构造时，需要使用具有许多条目的参照图片列表对参照图片索引进行编码，码量会增大。
[0016]作为应对该问题的可容易地类推的方法，存在如下的方法，该方法使用在动图像和深度图动图像中对各自的数据进行编码时变得有效的那样的相互不同的参照图片列表，对示出是否能对另外确定的每个区域共享运动信息的标记进行编码。然而，在该方法中需要针对各区域对标记进行编码，因此，存在码量随之增加的问题。此外，为了共享运动信息，在参照图片列表间对应的条目必须是相同的时刻以及相同种类的参照帧，还存在可共享运动信息的区域少、运动信息的编码所需的码量增加的问题。
【发明内容】
[0017]本发明是鉴于这样的情况而完成的，其目的在于，提供一种在作为构成要素而具有动图像和深度图动图像的自由视点动图像的编码中实现有效的动图像编码的动图像编码方法、动图像解码方法、动图像编码装置、动图像解码装置、动图像编码程序、动图像解码程序以及记录介质。
[0018]用于解决课题的方案
本发明涉及一种动图像编码方法，将构成深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行编码时的运动信息，一边按每个所述处理区域进行预测编码，所述动图像编码方法具有:深度图参照帧列表生成步骤，生成在生成所述预测图像时所参照的参照帧的列表，即参照帧列表；结构运动信息设定步骤，将对与所述处理区域对应的所述结构动图像进行编码时所使用的运动信息设定为结构运动信息；深度图运动信息设定步骤，设定示出与所述处理区域对应的所述参照帧上的区域的深度图运动信息，其中，在指定包含于所述结构运动信息中的参照帧的索引值比所述参照帧列表的尺寸小的情况下，将所述结构运动信息设定为所述深度图运动信息；以及预测图像生成步骤，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
[0019]优选为，在本发明中，在所述深度图运动信息设定步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，将如下的运动信息设定为所述深度图运动信息，该运动信息是将所述结构运动信息的参照帧索引变更为示出具有所述相同性质的帧的索引的运动信息。
[0020]优选为，本发明还具有:结构参照帧列表设定步骤，将对所述结构动图像进行编码时使用的参照帧列表设定为结构参照帧列表；变换表生成步骤，生成将针对所述结构参照帧列表的参照帧索引变换为针对所述参照帧列表的参照帧索引的变换表，其中，以变换前的参照帧索引所示出的所述结构参照帧列表内的帧的性质与变换后的参照帧索引所示出的所述参照帧列表内的帧的性质相等的方式设定所述变换表；以及运动信息变换步骤，根据所述变换表对指定包含于所述结构运动信息的参照帧的索引值进行变换而生成变换运动信息，其中，在所述深度图运动信息设定步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，将所述变换运动信息设定为所述深度图运动信息。
[0021]本发明涉及一种动图像编码方法，将构成深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行编码时的运动信息，一边按每个所述处理区域进行预测编码，所述动图像编码方法具有:深度图参照帧列表生成步骤，生成在生成预测图像时所参照的参照帧的列表，即参照帧列表；结构运动信息设定步骤，将对与所述处理区域对应的所述结构动图像进行编码时所使用的运动信息设定为结构运动信息；共享运动信息列表生成步骤，生成对如下的运动信息进行列表化的共享运动信息列表，该运动信息是对相对于所述处理区域在时间上或空间上邻接的区域进行编码时使用的运动信息，其中，在指定包含于所述结构运动信息中的参照帧的索引值比所述参照帧列表的尺寸小的情况下，生成包含所述结构运动信息的所述共享运动信息列表；深度图运动信息设定步骤，从包含于所述共享运动信息列表的所述运动信息中选择一个，将所述选择的运动信息设定为针对所述处理区域的运动信息；以及预测图像生成步骤，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
[0022]优选为，在本发明中，在所述共享运动信息列表生成步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，生成包含如下的运动信息的所述共享运动信息列表，该运动信息是将所述结构运动信息的参照帧索引变换为示出具有所述相同性质的帧的索引的运动信息。
[0023]优选为，本发明还具有:结构参照帧列表设定步骤，将对所述结构动图像进行编码时使用的参照帧列表设定为结构参照帧列表；变换表生成步骤，生成将针对所述结构参照帧列表的参照帧索引变换为针对所述参照帧列表的参照帧索引的变换表，其中，以变换前的所述参照帧索引所示出的所述结构参照帧列表内的帧的性质与变换后的所述参照帧索引所示出的所述参照帧列表内的帧的性质相等的方式设定所述变换表；以及运动信息变换步骤，根据所述变换表对指定包含于所述结构运动信息中的所述参照帧的索引值进行变换而生成变换运动信息，其中，在所述共享运动信息列表生成步骤中，在所述参照帧列表包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，生成包含所述变换运动信息的所述共享运动信息列表。
[0024]本发明涉及一种动图像解码方法，在对深度图动图像的码数据进行解码时，将构成所述深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行解码时的运动信息，一边对每个所述处理区域预测深度图并且进行解码，所述动图像解码方法具有:深度图参照帧列表设定步骤，设定在生成预测图像时所参照的参照帧的列表，即参照帧列表；结构运动信息设定步骤，将对与所述处理区域对应的所述结构动图像进行解码时所使用的运动信息设定为结构运动信息；深度图运动信息设定步骤，设定示出与所述处理区域对应的所述参照帧上的区域的深度图运动信息，其中，在指定包含于所述结构运动信息的参照帧的索引值比所述参照帧列表的尺寸小的情况下，将所述结构运动信息设定为所述深度图运动信息；以及预测图像生成步骤，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
[0025]优选为，在本发明中，在所述深度图运动信息设定步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，将如下的运动信息设定为所述深度图运动信息，该运动信息是将所述结构运动信息的参照帧索引变更为示出具有所述相同性质的帧的索引的运动信息。
[0026]优选为，本发明还具有:结构参照帧列表设定步骤，将对所述结构动图像进行解码时所使用的参照帧列表设定为结构参照帧列表；变换表生成步骤，生成将针对所述结构参照帧列表的参照帧索引变换为针对所述参照帧列表的参照帧索引的变换表，其中，以变换前的参照帧索引所示出的所述结构参照帧列表内的帧的性质与变换后的参照帧索引所示出的所述参照帧列表内的帧的性质相等的方式设定所述变换表；以及运动信息变换步骤，根据所述变换表对指定包含于所述结构运动信息的参照帧的索引值进行变换而生成变换运动信息，其中，在所述深度图运动信息设定步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，将所述变换运动信息设定为所述深度图运动信息。
[0027]本发明涉及一种动图像解码方法，在对深度图动图像的码数据进行解码时，将构成所述深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行解码时的运动信息，一边对每个所述处理区域预测深度图的信号并且进行解码，所述动图像解码方法具有:深度图参照帧列表设定步骤，设定在生成预测图像时所参照的参照帧的列表，即参照帧列表；结构运动信息设定步骤，将对与所述处理区域对应的所述结构动图像进行解码时所使用的运动信息设定为结构运动信息；共享运动信息列表生成步骤，生成对如下的运动信息进行列表化的共享运动信息列表，该运动信息是在对相对于所述处理区域在时间上或空间上邻接的区域进行解码时使用的运动信息，其中，在指定包含于所述结构运动信息的参照帧的索引值比所述参照帧列表的尺寸小的情况下，生成包含所述结构运动信息的所述共享运动信息列表；深度图运动信息设定步骤，从包含于所述共享运动信息列表的所述运动信息中选择一个，将所述选择的运动信息设定为针对所述处理区域的运动信息；以及预测图像生成步骤，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
[0028]优选为，在本发明中，在所述共享运动信息列表生成步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，生成包含如下的运动信息的所述共享运动信息列表，该运动信息是将所述结构运动信息的参照帧索引变换为示出具有所述相同性质的帧的索引的运动信息。
[0029]优选为，本发明还具有:结构参照帧列表设定步骤，将在对所述结构动图像进行解码时所使用的参照帧列表设定为结构参照帧列表；变换表生成步骤，生成将针对所述结构参照帧列表的参照帧索引变换为针对所述参照帧列表的参照帧索引的变换表，其中，以变换前的参照帧索引所示出的所述结构参照帧列表内的帧的性质与变换后的参照帧索引所示出的所述参照帧列表内的帧的性质相等的方式设定所述变换表；以及运动信息变换步骤，根据所述变换表对指定包含于所述结构运动信息的参照帧的索引值进行变换而生成变换运动信息，在所述共享运动信息列表生成步骤中，在所述参照帧列表包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，生成包含所述变换运动信息的所述共享运动信息列表。
[0030]本发明涉及一种动图像编码装置，将构成深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行编码时的运动信息，一边对每个所述处理区域进行预测编码，所述动图像编码装置具有:深度图参照帧列表生成部，生成在生成测图像时所参照的参照帧的列表，即参照帧列表；结构运动信息设定部，将对与所述处理区域对应的所述结构动图像进行编码时所使用的运动信息设定为结构运动信息；深度图运动信息设定部，设定示出与所述处理区域对应的所述参照帧上的区域的深度图运动信息，其中，在指定包含于所述结构运动信息的参照帧的索引值比所述参照帧列表的尺寸小的情况下，将所述结构运动信息设定为所述深度图运动信息；以及预测图像生成部，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
[0031]本发明涉及一种动图像编码装置，将构成深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行编码时的运动信息，一边对每个所述处理区域进行预测编码，所述动图像编码装置具备:深度图参照帧列表生成部，生成在生成测图像时所参照的参照帧的列表，即参照帧列表；结构运动信息设定部，将在对与所述处理区域对应的所述结构动图像进行编码时使用的运动信息设定为结构运动信息；共享运动信息列表生成部，生成对如下的运动信息进行列表化的共享运动信息列表，该运动信息是对相对于所述处理区域在时间上或空间上邻接的区域进行编码时使用的运动信息，其中，在指定包含于所述结构运动信息的参照帧的索引值比所述参照帧列表的尺寸小的情况下，生成包含所述结构运动信息的所述共享运动信息列表；深度图运动信息设定部，从包含于所述共享运动信息列表的所述运动信息中选择一个，将所述选择的运动信息设定为针对所述处理区域的运动信息；以及预测图像生成部，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
[0032]本发明涉及一种动图像解码装置，在对深度图动图像的码数据进行解码时，将构成所述深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行解码时的运动信息，一边对每个所述处理区域预测深度图并且进行解码，所述动图像解码装置具备:深度图参照帧列表设定部，设定在生成预测图像时所参照的参照帧的列表，即参照帧列表；结构运动信息设定部，将对与所述处理区域对应的所述结构动图像进行解码时所使用的运动信息设定为结构运动信息；深度图运动信息设定部，设定示出与所述处理区域对应的所述参照帧上的区域的深度图运动信息，其中，在指定包含于所述结构运动信息的参照帧的索引值比所述参照帧列表的尺寸小的情况下，将所述结构运动信息设定为所述深度图运动信息；以及预测图像生成部，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
[0033]本发明涉及一种动图像解码装置，在对深度图动图像的码数据进行解码时，将构成所述深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行解码时的运动信息，一边对每个所述处理区域预测深度图的信号并且进行解码，所述动图像解码装置具备:深度图参照帧列表设定部，设定在生成预测图像时所参照的参照帧的列表的，即参照帧列表；结构运动信息设定部，将对与所述处理区域对应的所述结构动图像进行解码时所使用的运动信息设定为结构运动信息；共享运动信息列表生成部，生成对如下的运动信息进行列表化的共享运动信息列表，该运动信息是在对相对于所述处理区域在时间上或空间上邻接的区域进行解码时使用的运动信息，其中，在指定包含于所述结构运动信息的参照帧的索引值比所述参照帧列表的尺寸小的情况下，生成包括所述结构运动信息的所述共享运动信息列表；深度图运动信息设定部，从包含于所述共享运动信息列表的所述运动信息中选择一个，将所述选择的运动信息设定为针对所述处理区域的运动信息；以及预测图像生成部，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
[0034]本发明是用于使计算机执行所述动图像编码方法的动图像编码程序。
[0035]本发明是用于使计算机执行所述动图像解码方法的动图像解码程序。
[0036]本发明是记录了所述动图像编码程序的计算机可读取的记录介质。
[0037]本发明是记录了所述动图像解码程序的计算机可读取的记录介质。
[0038]发明效果
根据本发明，像动图像信号和针对该动图像的其它深度图动图像那样在将表现了相同的被拍摄体的不同信息的数据一起进行编码的情况下，生成示出了对各自进行管理的参照图片列表的各条目的对应关系的变换表，按照该对应关系对指定参照图片的信息进行变换。由此，即使在使用不同的参照图片列表的情况下，也能够共享运动信息，并减少其码量。进而，通过根据其对应关系来判定不可共享的运动信息，从而能够减少示出是否共享运动信息的信息的编码所需的码量。其结果是，可得到能实现有效的动图像编码的效果。
【专利附图】
【附图说明】
[0039]图1是示出根据本发明的实施方式的动图像编码装置的结构的框图。
[0040]图2是示出图1所示的动图像编码装置100的动作的流程图。
[0041]图3是示出只对可共享的运动信息的一部分进行共享的情况下的处理动作的流程图。
[0042]图4是示出根据本发明的实施方式的动图像解码装置的结构的框图。
[0043]图5是示出图4所示的动图像解码装置200的动作的流程图。
[0044]图6是示出只对可共享的运动信息的一部分进行共享的情况下的处理动作的流程图。
[0045]图7是示出由计算机和软件程序构成动图像编码装置的情况下的硬件结构的框图。
[0046]图8是示出由计算机和软件程序构成动图像解码装置的情况下的硬件结构的框图。
【具体实施方式】
[0047]以下，一边参照附图一边对本发明的一个实施方式进行说明。另外，在本实施方式的说明中，对参照动图像的运动信息而对与该动图像对应的深度图动图像进行编码的情况进行说明，但是，显然在参照深度图动图像的运动信息而对与该深度图动图像对应的动图像进行编码的情况下也能够应用本发明。此外，显然，并不只限于动图像、深度图动图像，还能够对温度信息的动图像、其它色彩成分的动图像等可表现为拍摄了相同的被拍摄体和空间的动图像的任意的数据对应用本发明。
[0048]首先，对该实施方式中的动图像编码装置进行说明。图1是示出根据本发明的实施方式的动图像编码装置的结构的框图。如图1所示，动图像编码装置100具备编码对象深度图输入部101、编码对象深度图存储器102、结构运动信息输入部103、结构运动信息存储器104、结构参照帧列表输入部105、参照帧列表设定部106、变换表生成部107、运动信息变换部108、运动信息设定部109、运动信息选择部110、运动信息编码部111、预测图像生成部112、图像信号编码部113、复用部114、以及参照帧存储器115。
[0049]编码对象深度图输入部101输入成为编码对象的深度图动图像的各帧。在以下的说明中，将成为该编码对象的深度图称为编码对象深度图动图像，特别是，将进行处理的帧称为编码对象深度图。编码对象深度图存储器102存储输入的编码对象深度图。结构运动信息输入部103输入与编码对象深度图对应的动图像的帧中的运动信息。在此，将与编码对象深度图动图像对应的动图像称为结构动图像，将与编码对象深度图对应的动图像的I个帧称为结构帧。此外，运动信息是在对结构动图像进行编码时使用的运动信息，是按每个像素或区块使用参照帧索引和运动矢量的组来表现的运动信息。结构运动信息存储器104存储所输入的结构运动信息。结构参照帧列表输入部105输入在对结构帧进行编码时所使用的参照帧列表。
[0050]参照帧列表设定部106设定在对编码对象深度图进行编码时使用的参照帧列表。变换表生成部107生成用于将针对结构参照帧列表的参照帧索引变换为针对所设定的参照帧列表的参照帧索引的查询表。运动信息变换部108按照生成的查询表对结构运动信息中的参照帧索引进行变换。
[0051]运动信息设定部109设定针对编码对象深度图的运动信息。运动信息选择部110选择对结构运动信息进行变换而得到的运动信息与设定在运动信息设定部109中的运动信息的某一方。运动信息编码部111对给出的运动信息进行编码。预测图像生成部112按照选择的运动信息生成针对编码对象深度图的预测图像。图像信号编码部113使用所生成的预测图像对编码对象深度图进行预测编码。复用部114对运动信息的比特流和图像信号的比特流进行复用并输出。参照帧存储器115存储在预测图像的生成中使用的已经完成编码的深度图的解码帧。
[0052]接着，参照图2，对图1所示的动图像编码装置100的动作进行说明。图2是示出图1所示的动图像编码装置100的动作的流程图。在此，说明对编码对象深度图动图像中的某I帧进行编码的处理。通过对每个帧重复所说明的处理，从而能够实现编码对象深度图动图像的编码。
[0053]首先，编码对象深度图输入部101输入编码对象深度图并存储在编码对象深度图存储器102 (步骤S101)。与此并行地，结构运动信息输入部103输入对结构帧进行编码时使用的运动信息并存储在结构运动信息存储器104。此外，结构参照帧列表输入部105输入在对结构帧进行编码时使用的参照帧列表，即结构参照帧列表(步骤S102)。
[0054]另外，设编码对象深度图动图像中的几个帧已经进行了编码，设其解码帧存储在参照帧存储器115。此外，除了对已经编码的帧进行解码的帧以外，只要是能够在解码侧利用的帧，参照帧存储器115可以包含任何帧。例如，在对多视点深度图动图像一起进行编码的情况下，使如下的帧包含于参照帧存储器115的实施是合适的，该帧由对针对其它视点的深度图动图像的帧进行解码的帧、对针对其它视点的深度图动图像的帧进行解码的帧合成而成。进而，在对对应的多视点动图像一起进行编码的情况下，使通过对多视点动图像应用立体匹配而推定的深度图包含于参照帧存储器115的实施是合适的。
[0055]此外，虽然在本实施方式中设为按顺序对所输入的编码对象深度图进行编码，但是，输入顺序未必需要与编码顺序一致。在输入顺序与编码顺序不同的情况下，直到输入下一个进行编码的帧为止，所输入的帧、结构运动信息、以及结构参照帧列表存储在合适的存储器。如果已通过以下说明的编码处理对对应的帧进行了编码，则存储的信息也可以从该存储器删除。
[0056]虽然在此设为编码对象深度图与结构运动信息以帧单位进行输入，但是也可以以序列单位进行输入。在该情况下，在步骤S102中输入每个帧的结构参照帧列表，需要存储输入的结构参照帧列表的存储器。此外，相反也可以设为以编码处理单位输入编码对象深度图和结构运动信息。在该情况下，因为对输入的编码对象深度图和结构运动信息依次进行处理，所以不需要编码对象深度图存储器102和结构运动信息存储器104。
[0057]如果已存储编码对象深度图、结构运动信息、结构参照帧列表的输入已结束，参照帧列表设定部106就设定对编码对象深度图进行编码时所使用的参照帧列表(步骤S103)。具体地说，以没有重复的方式对存储在参照帧存储器115的帧分配参照帧索引。另外，未必需要对存储在参照帧存储器115的所有的解码帧分配参照帧索引。此外，在制作多个参照帧列表的情况下，按每个参照帧列表以没有重复的方式分配参照帧索引。
[0058]在此，在参照帧列表的制作过程中，可以使用任何方法来分配参照帧索引。作为最简单的方法，存在从摄影时刻与编码对象深度图接近的参照帧起按顺序分配小的参照帧索引的方法。此外，为了实现有效的编码，对与编码对象深度图相关高的帧分配小的参照帧索引的实施也是优选的。进而，也可以不按帧整体的相关，而是按编码对象深度图的每个区块找出相关高的帧，对相对于更多的区块相关高的帧分配小的参照帧索引。在按每个区块决定相关高的帧时，存在将图像信号的失配度与运动矢量的码量的加权和作为相关的尺度使用的方法。
[0059]另外，因为必须在解码侧设定相同的参照帧列表，所以在按照不能在解码侧使用的条件设定了参照帧列表的情况下，需要对辨认所设定的参照帧列表所需的信息进行编码并传输到解码装置。
[0060]如果参照帧列表的设定已结束，变换表生成部107就生成用于将针对结构参照帧列表的参照帧索引变换为针对所设定的参照帧列表的参照帧索引的变换规则(步骤S104)。关于变换规则的表现方法可以使用任何方法，但是，在本实施方式中对将变换规则表现为查询表的例子进行说明。首先，准备与结构参照帧列表的条目数具有相同数量的条目的查询表LUT。设通过对LUT给出用[]围起来的数字来参照该查询表的条目。在此，设参照帧索引为O以上的整数。
[0061]接着，对LUT[i]分配与相对于结构参照帧列表的第i条目的帧具有相同性质的帧的参照帧列表上的条目编号。在此，所谓相同性质是指时刻、摄像机ID、帧的获取法(被解码的帧、被合成的帧、被推定的帧等)等相一致的情况。具体地说，在H.264中，通过表示解码顺序的POC (Picture Order Count:图像顺序计数)、表示视点的view—id示出该帧的种类，在帧的种类一致的情况下判断为相同性质的帧。另外，设在参照帧列表上不存在对应的帧的情况下，通过对相对于该结构参照帧列表的参照帧索引k的LUT[k]分配-1，从而表现为无对应。
[0062]在此，虽然对具有相同性质的帧的参照帧列表进行了辨认，但是也可以找到与使用该结构参照帧列表、参照帧列表的帧的相对的性质相同的帧并生成对应关系。即，也可以不辨认POC相一致的帧，而是辨认POC差分相一致的帧来生成对应关系。
[0063]如果变换规则的生成已结束，将编码对象深度图分割为预先确定的大小的区域，按分割的每个区域对编码对象深度图的动图像信号进行编码(步骤S105?S113)。S卩，当用blk表示编码对象区域索引、用numBlks表示I帧中的总编码对象区域数时，用O对blk进行初始化(步骤S105)，此后，一边对blk加I (步骤SI 12)，一边直到blk成为numBlks为止(步骤S113)重复以下的处理(步骤S106?步骤S111)。在一般的编码中，将编码对象深度图分割为16像素X16像素的被称为宏区块的处理单位区块，但是，只要与解码侧相同，也可以将编码对象深度图分割为其它大小的区块。
[0064]在对每个编码对象区域进行重复的处理中，首先，运动信息变换部108确认运动信息是否可共享(步骤S106)。具体地说，参照变换规则，确认是否存在如下的针对编码对象深度图的参照帧索引，该参照帧索引对应着针对编码对象区域blk的结构运动信息的参照帧索引texRefld[blk]o S卩，确认LUT[texRefld[blk]]是否为-1以外的值。
[0065]在LUT[teXRefld[blk]]为-1以外的值的情况下，判断为运动信息可共享，运动信息变换部108对结构运动信息进行变换而作为针对编码对象区域blk的运动信息(步骤S107)。变换以如下方式进行，即:根据LUT对结构参照帧索引进行变更，对于示出对应区域的矢量信息则不进行变更而维持其原有的值。即:将针对编码对象区域blk的运动信息的参照帧索引Refld [blk]设为LUT [texRef Id [blk]]，将矢量信息Vec [blk]设定为与包含于结构运动信息的编码对象区域blk对应的结构矢量信息texVec[blk]。
[0066]在LUT [texRef Id [blk]]为-1的情况下，判断为运动信息不可共享，运动信息设定部109设定针对编码对象区域blk的运动信息(Refld [blk]和Vec [blk])(步骤S108)。在此进行的处理可以使用任何处理，但是，一般来说通过辨认具有与编码对象区域blk中的图像信号类似的图像信号的参照帧上的区域来进行。此外，也可以使得不仅考虑图像信号的比较，而且还考虑参照帧索引、矢量信息的编码所需的码量，从而辨认将图像信号的差异与产生码量的加权和所表示的率失真代价设为最小的参照帧上的区域。
[0067]在运动信息不可共享的情况下，运动信息编码部111对设定的运动信息进行编码(步骤S109)。虽然可以使用任何编码方法，但是一般来说使用预测编码。即，根据在时间或空间上邻接的区域中使用的运动信息生成预测运动信息，只对其差分信息进行编码。
[0068]如果运动信息的变换或编码已结束，预测图像生成部112通过按照对编码对象区域blk得到的运动信息(Ref Id [blk]和Vec [blk])来参照被存储在参照帧存储器115的帧而生成针对编码对象区域blk的预测图像(步骤S110)。基本上，预测图像通过复制用运动信息的参照帧索所引示出的参照帧存储器115上的帧中的、用运动信息的矢量信息指定的区域的图像信号来生成。但是，也可以在复制时进行像素插补、像素值的线性变换。
[0069]如果预测图像的生成已结束，图像信号编码部113就用生成的预测图像对编码对象区域blk的图像信号(深度信息)进行编码(步骤S111)。只要能够在解码侧正确地解码，在编码中使用任何方法都没有关系。在MPEG - 2、H.264/AVC等一般的编码中，通过对区块blk的图像信号与预测图像的差分信号按顺序实施DCT (Discrete Cosine Transform:离散余弦变换)等频率变换、量化、2值化、熵编码而进行编码。
[0070]此时，根据生成的码数据生成可在解码侧得到的解码图像，将该结果存储在参照帧存储器115。在此，可以实际对码数据进行解码而得到解码图像，也可以通过使用了编码时的处理刚要变为无损之前的数据和预测图像的简化了的解码处理来得到解码图像。例如，在使用MPEG - 2、H.264/AVC等一般的编码生成码数据的情况下，可以通过在像素值的值域中对如下的结果进行剪辑而生成解码图像，该结果通过将预测图像添加到如下的二维信号而得到，该二维信号通过对施加了量化处理之后的值按顺序实施逆量化、频率逆变换而得到。
[0071]最后，复用部114对运动信息的码数据和图像信号的码数据进行复用而输出。另夕卜，在判断为运动信息可共享的情况下，运动信息的码数据不存在，因此，无需进行复用。另外，既可以按每个区块进行复用，也可以以帧单位进行复用。
[0072]另外，虽然在本实施方式中设为对所有的可共享的运动信息进行共享，但是，以下实施也是优选的，该实施是，设即使在可共享的情况下，也对示出是否共享的标记进行编码，只对可共享的运动信息的一部分进行共享。在图3示出该情况下的处理动作。图3是示出只对可共享的运动信息的一部分进行共享的情况下的处理动作的流程图。在图3中，对与图2所示的动作相同的部分标注相同的附图标记，省略其说明。图3所示的处理动作与图2所示的处理动作不同的点在于，首先，对所有的编码对象区域blk执行运动信息的推定处理(步骤S108a)。与图2所示的处理动作不同的点在于，在此设定的运动信息是针对编码对象区域blk的运动信息的候补，未必在编码对象区域blk中使用。
[0073]第二个不同点在于，在可进行运动信息的共享的情况下，在对结构运动信息进行变换之后，执行如下的处理(步骤S114)，即:对使用在步骤S107中进行变换而得到的运动信息和在步骤SlOSa中设定的运动信息中的哪一个进行选择，对示出选择结果的标记进行编码，按照该选择进行是否对运动信息进行编码的选择(步骤S115)。
[0074]即使在像这样按每个区域决定是否共享的情况下，也无需通过该处理动作对所有的编码对象区域blk对标记进行编码，只对运动信息可共享的区域对标记进行编码即可，因此，能够减少产生码量，并实现有效的编码。
[0075]此外，在本实施方式中，设可共享的运动信息在每个编码对象区域只存在I种。但是，也可以考虑从多种运动信息中选择I个运动信息进行共享的情况，例如，能够与在空间上或时间上与编码对象区域邻接的已结束编码的区域中所使用的运动信息进行共享。在该情况下，生成成为共享候补的运动信息的列表，对该列表上的索引进行编码，但是，在制作该列表时，判定成为共享候补的运动信息是否可共享(相当于步骤S106)，只在可共享的情况下才将成为共享候补的运动信息补充到候补列表，如果不可共享，则从候补列表中排除成为共享候补的运动信息。由此能够减小候补列表的尺寸，并能够减少该列表上的索引的编码所需的码量。
[0076]在此，变换规则按照针对变换前的运动信息的参照帧列表和编码对象区域使用的参照帧列表来决定，因此，需要对参照帧列表不同的每个运动信息生成变换规则。此外，在两个参照帧列表的结构相同的情况下，不需要变换规则，无需进行变换处理和可否共享的判定处理。因此，在许多的编码方式中，在空间上邻接的区域中使用相同的参照帧列表，所以无需进行变换，所有的运动信息作为共享候补而补充到候补列表。
[0077]此外，在本实施方式中，设能够将结构参照帧列表和参照帧列表设定为构造完全不同的列表，但是，还存在基本上使用相同的构造而只将参照帧列表的尺寸设定得小的情况。在该情况下，无需生成变换规则，在结构运动信息的参照帧索引比设定的参照帧列表的尺寸大的情况下，将运动信息判定为不可共享，在不是这样的情况下，可以将运动信息判定为可共享。此时，因为无需对运动信息进行变换，所以在可共享的情况下，结构运动信息将直接在预测图像的生成中使用。
[0078]接着，对动图像解码装置进行说明。图4是示出根据本发明的实施方式的动图像解码装置的结构的框图。动图像解码装置200如图4所示，具备解码对象比特流输入部201、解码对象比特流存储器202、结构运动信息输入部203、结构运动信息存储器204、结构参照帧列表输入部205、参照帧列表设定部206、变换表生成部207、运动信息变换部208、分离部209、运动信息解码部210、运动信息选择部211、预测图像生成部212、图像信号解码部213、以及参照帧存储器214。
[0079]解码对象比特流输入部201输入成为解码对象的深度图动图像的比特流。在以下的说明中，将被解码的深度图动图像称为解码对象深度图动图像，特别是，将通过处理进行解码的帧称为解码对象深度图。解码对象比特流存储器202存储所输入的解码对象比特流。结构运动信息输入部203输入与解码对象深度图对应的动图像的帧中的运动信息。在此，将与解码对象深度图动图像对应的动图像称为结构动图像，将与解码对象深度图对应的动图像的I帧称为结构帧。此外，运动信息是解码对结构动图像进行编码的比特流时使用的运动信息，是按每个像素或区块使用参照帧索引和运动矢量的组进行表现的运动信息。结构运动信息存储器204存储所输入的结构运动信息。结构参照帧列表输入部205输入在对结构帧进行解码时使用的参照帧列表。
[0080]参照帧列表设定部206设定在对解码对象深度图进行解码时使用的参照帧列表。变换表生成部207生成用于将针对结构参照帧列表的参照帧索引变换为针对参照帧列表的参照帧索引的查询表。运动信息变换部208按照生成的查询表对结构运动信息中的参照帧索引进行变换。
[0081]分离部209对在输入的比特流中进行复用的运动信息的码数据和图像信号的码数据进行分离。运动信息解码部210从运动信息的码数据中对针对解码对象深度图的一部分的运动信息进行解码。运动信息选择部211选择对结构运动信息进行变换而得到的运动信息和在运动信息解码部210中进行解码的运动信息中的某一方。
[0082]预测图像生成部212按照选择的运动信息生成针对解码对象深度图的预测图像。图像信号解码部213使用所生成的预测图像对针对图像信号的码数据进行解码而生成解码深度图。参照帧存储器214对使用在预测图像的生成中的已经结束解码的深度图进行存储。
[0083]接着，参照图5，对图4所示的动图像解码装置200的动作进行说明。图5是示出图4所示的动图像解码装置200的动作的流程图。在此说明对解码对象深度图动图像中的某I帧进行解码的处理。通过对每个帧重复所说明的处理，从而能够实现深度图动图像的解码。
[0084]首先，解码对象比特流输入部201输入解码对象深度图动图像的码数据并存储在解码对象比特流存储器202 (步骤S201)。接着，结构运动信息输入部203输入在对结构帧进行解码时使用的运动信息，并存储在结构运动信息存储器204。与此并行地，结构参照帧列表输入部205输入在对结构帧进行解码时使用的参照帧列表，即结构参照帧列表(步骤
5202)o
[0085]另外，设解码对象深度图动图像中的几个帧已经进行解码，设该进行解码的帧存储在参照帧存储器214。此外，除了进行解码的帧以外，只要是能够在编码侧利用的帧，在参照帧存储器214中可以包含任何帧。但是，需要存储与编码侧相同的帧。例如，在对多视点深度图动图像进行解码的情况下，优选如下的实施，即:将对针对其它视点的深度图动图像进行解码而得到的帧、以及使用对针对其它视点的深度图动图像进行解码而得到的帧合成了针对解码对象深度图动图像的视点的深度图而得到的帧包含在参照帧存储器214中。进而，通过使用了解码对应的多视点动图像而得到的多视点动图像的立体匹配将推定的深度图包含在参照帧存储器214的实施也是优选的。
[0086]此外，在此设为从输入的比特流中对解码对象深度图按顺序进行解码并输出，但是，输入顺序与输出顺序未必需要一致。在输入顺序与输出顺序不同的情况下，直到下一个输出的帧被解码为止，进行解码的帧被存储在参照帧存储器214。然后，如果按照另外规定的输出顺序，则存储在参照帧存储器214的帧就从动图像解码装置200输出。另外，从参照帧存储器214删除帧的定时是根据在预测中使用的参照构造来决定的，是在对此后的解码对象深度图进行解码时已决定不作为参照帧进行使用的时刻或此后的任意的定时。
[0087]在此设为解码对象比特流和结构运动信息以帧单位进行输入，但是也可以以序列单位输入任一方或双方。在该情况下，在步骤S202中，输入每个帧的结构参照帧列表，需要存储所输入的结构参照帧列表的存储器。此外，也可以将解码对象比特流和结构运动信息的任一方或双方设为按每个解码处理单位进行输入。在该情况下，将对输入的解码对象比特流、结构运动信息依次进行处理，因此，不需要解码对象比特流存储器202和结构运动信息存储器204。
[0088]如果已存储解码对象比特流和结构运动信息、结构参照帧列表的输入已结束，参照帧列表设定部206就设定对解码对象深度图进行解码时所使用的参照帧列表(步骤
5203)。具体地说，对存储在参照帧存储器214的帧以没有重复的方式分配参照帧索引。另夕卜，未必需要对存储在参照帧存储器214的所有的帧分配参照帧索引。此外，在制作多个参照帧列表的情况下，对每个参照帧列表以没有重复的方式分配参照帧索引。在此制作的参照帧列表需要与在编码时使用的参照帧列表相同。即，按照另外确定的相同的规则制作参照帧列表，或另外给出用于辨认在编码时使用的参照帧列表的信息，并按其进行设定。在用于辨认在该编码时使用的参照帧列表的信息包含在比特流的情况下，通过对其进行解码而得到?目息。
[0089]如果参照帧列表的设定已结束，变换表生成部207就生成用于将针对结构参照帧列表的参照帧索引变换为针对所设定的参照帧列表的参照帧索引的变换规则(步骤S204)。此处的处理与前述的步骤S104相同。
[0090]如果变换规则的生成已结束，就将解码对象深度图分割为预先确定的大小的区域，按分割的每个区域对解码对象深度图的动图像信号进行解码(步骤S205?S212)。即，当用blk表示解码对象区域索引、用numBlks表示I帧中的总解码对象区域数时，用O对blk进行初始化(步骤S205)，此后，一边对blk加1(步骤S211 )，一边直到blk变成numBlks为止(步骤S212)，重复以下的处理(步骤S206?步骤S210)。处理区域的尺寸成为与在编码侧使用的处理区域相同的大小。虽然在一般的编码中使用16像素X 16像素的被称为宏区块的处理单位区块，但是如果与编码侧相同，则按其它大小的每个区块进行处理。
[0091]在对每个解码对象区域重复的处理中，首先，运动信息变换部208确认运动信息是否可共享(步骤S206)。此处的处理与前述的步骤S106相同。在运动信息可共享的情况下，运动信息变换部208对结构运动信息进行变换而作为针对解码对象区域blk的运动信息(步骤S207)。此处的处理与前述的步骤S107相同。
[0092]在运动信息不可共享的情况下，分离部209从解码对象比特流中分离针对解码对象区域blk的运动信息的码数据，通过在运动信息解码部210中对该码数据进行解码，从而得到针对解码对象区域blk的运动信息(步骤S208)。另外，根据分离的码数据对运动信息进行解码的方法根据编码方法来决定。一般来说，对运动信息进行预测编码，因此，根据在时间或空间上邻接的区域中使用的运动信息生成预测运动信息，将对码数据进行解码而得到的差分运动信息添加到该预测运动信息，由此，对运动信息进行解码。此外，如果能够根据解码对象比特流对针对解码对象区域blk的运动信息进行解码，则未必需要从解码对象比特流中分离针对解码对象区域blk的运动信息的码数据。
[0093]如果运动信息的变换或解码已结束，预测图像生成部212就通过按照针对解码对象区域blk得到的运动信息来参照被存储在参照帧存储器214的帧而生成针对解码对象区域blk的预测图像(步骤S209)。此处的处理与前述的步骤SllO相同。
[0094]如果预测图像的生成已结束，分离部209就从解码对象比特流中分离针对解码对象区域blk的图像信号(深度信息)的码数据，在图像信号解码部213中使用所生成的预测图像根据该码数据对解码对象区域blk的图像信号(深度信息)进行解码(步骤S210)。解码结果成为动图像解码装置200的输出，并且存储在参照帧存储器214。在解码处理中使用与在编码时使用的方法对应的方法。例如，在使用MPEG - 2、H.264/AVC等一般的编码的情况下，对码数据按顺序实施摘解码、逆2值化、逆量化、IDCT (Inverse Discrete CosineTransform:离散余弦反变换)等频率逆变换，将预测图像添加到所得到的二维信号，最后，在像素值的值域中对得到的结果进行剪辑，由此，对图像信号进行解码。
[0095]另外，在前述的说明中，设为对所有的可共享的运动信息进行共享，但是，如下的实施也是优选的，该实施是，即使在可共享的情况下，也对示出是否共享的标记进行编码，按照该标记只对可共享的运动信息的一部分进行共享。图6示出该情况下的处理动作。图6是示出只对可共享的运动信息的一部分进行共享的情况下的处理动作的流程图。在图6中，对与图5所示的动作相同的部分标注相同的附图标记，省略其说明。图6所示的处理动作与图5所示的处理动作不同的点如下。在运动信息可共享的情况下(步骤S206为“是”)，首先，对示出是否共享运动信息的标记进行解码(步骤S213)，确定该标记是否示出对运动信息进行共享(步骤S214)。然后，在标记示出对运动信息进行共享的情况下，在运动信息变换部208中对结构运动信息进行变换并作为针对解码对象区域blk的运动信息(步骤S207)，在不是这样的情况下，通过在运动信息解码部210中对码数据进行解码，从而得到针对解码对象区域blk的运动信息(步骤S208)。
[0096]即使在像这样对每个区域决定了是否共享的情况下，也只要设为并未针对所有的编码对象区域blk对标记进行编码而是只对运动信息可共享的区域对标记进行了编码来进行解码即可，因此，能够减少针对标记的码量，并实现有效的编码。
[0097]此外，在此，设可共享的运动信息在每个解码对象区域只存在I种。但是，例如，也可以考虑从多种运动信息中选择I个运动信息来进行共享的情况，例如能够与在空间上或时间上邻接于解码对象区域的已经结束解码的区域中所使用的运动信息进行共享。在该情况下，生成成为共享候补的运动信息的列表，根据比特流对该列表上的索引进行解码，但是，在制作该列表时，判定成为共享候补的运动信息是否可共享(相当于步骤S206)，只在可共享的情况下才将成为共享候补的运动信息补充到候补列表，如果不可共享，就从候补列表中排除成为共享候补的运动信息。由此，能够减小候补列表的尺寸，并以较少的码量指定该列表上的索引。
[0098]在此，变换规则按照针对变换前的运动信息的参照帧列表和解码对象区域使用的参照帧列表来决定，因此，需要对参照帧列表不同的每个运动信息生成变换规则。此外，在两个参照帧列表的结构相同的情况下，不需要变换规则，无需进行变换处理和可否共享的判定处理。因此，在许多的编码方式中，在空间上邻接的区域中使用相同的参照帧列表，所以不需要变换，所有的运动信息作为共享候补而补充到候补列表。
[0099]此外，设能够将结构参照帧列表和参照帧列表设定为构造完全不同的列表，但是，还存在基本上使用相同的构造而只将参照帧列表的尺寸设定得很小的情况。在该情况下，无需生成变换规则，在结构运动信息的参照帧索引比设定的参照帧列表的尺寸大的情况下，将运动信息判定为不可共享，在不是这样的情况下，可以将运动信息判定为可共享。此时，因为无需对运动信息进行变换，所以在可共享的情况下，结构运动信息将直接在预测图像的生成中使用。
[0100]如上所述，在也可在解码侧得到将针对编码对象的深度图的动图像进行编码时的运动信息的情况下，按照由运动信息示出的参照帧的有无来决定是否对运动信息进行再利用，在挪用运动信息的情况下，使用考虑了参照构造而进行变换的运动信息生成预测图像。由此，能够在深度图的编码时使用与动图像的编码时不同的参照构造进行编码，可利用与动图像性质不同的深度图的时间相关而实现有效的编码。此外，通过根据参照帧的有无来判定是否对运动信息进行再利用，从而能够减少用于示出该信息的码量。
[0101]在前述的说明中，说明了对针对I个视点的动图像进行编码/解码的处理，但是，在对采用多个摄像机拍摄的多视点图像、多视点动图像进行编码/解码的处理中也能够应用本发明的实施方式。此外，在前述的说明中，说明了对帧整体进行编码/解码的处理，但是，也能够只对帧的一部分应用本发明的实施方式的处理。在该情况下，既可以判断是否应用处理而对示出该判断的标记进行编码/解码，也可以通过某种其它的手段对其进行指定。
[0102]另外，也可以将用于实现图1所示的动图像编码装置100和图4所示的动图像解码装置200的功能的程序记录在计算机可读取的记录介质，通过使计算机系统读入、执行记录在该记录介质的程序来进行动图像编码处理和动图像解码处理。另外，设在此所谓的“计算机系统”包括OS (Operating System:操作系统)、配件设备等硬件。此外，设“计算机系统”还包括具备主页提供环境(或者显示环境)的WWW (World Wide Web:环球网)系统。此外，“计算机可读取的记录介质”说的是软盘、光磁盘、ROM (Read Only Memory:只读存储器)、⑶(Compact Disc:光盘)一 ROM等移动介质、内置于计算机系统的硬盘等存储装置。进而，“计算机可读取的记录介质”是指像在经由互联网等网络、电话线路等通信线路发送了程序的情况下的作为服务器、客户端的计算机系统内部的易失性存储器(RAM (RandomAccess Memory:随机存储器))那样在固定时间内保存程序的记录介质。
[0103]此外，上述程序也可以从将该程序储存在存储装置等的计算机系统经由传输介质或通过传输介质中的传输波传输到其它计算机系统。在此，传输程序的“传输介质”说的是像互联网等网络(通信网)、电话线路等通信线路(通信线)那样具有传输信息的功能的介质。此外，上述程序也可以是用于实现前述功能的一部分的程序。进而，上述程序也可以是通过与已经记录在计算机系统的程序的组合来实现前述功能的程序，即所谓的差分文件(差分程序)。
[0104]在图7示出由计算机和软件程序构成动图像编码装置的情况下的硬件结构例。本系统成为如下的结构，即，用总线连接有:执行程序的CPU (Central Processing Unit:中央处理单元)70 ;存储有CPU70进行访问的程序、数据的RAM等存储器71 ;输入来自摄像机等的成为编码对象的深度图的信号的编码对象深度图输入部72(也可以是由盘类装置等构成的存储深度图的动图像信号的存储部)；例如经由网络来输入针对编码对象深度图的动图像的运动信息的结构运动信息输入部73(也可以是由盘类装置等构成的存储运动信息的存储部);存储有使CPU70执行图2、图3所示的处理的软件程序，即动图像编码程序741的程序存储装置74 ;以及例如经由网络来输出通过执行CPU70载入到存储器71的动图像编码程序741而生成的比特流的比特流输出部75(也可以是由盘类装置等构成的存储比特流的存储部)。虽然省略图示，但是此外还可设置有参照帧列表输入部、参照帧存储部等硬件而在本方法的实施中加以利用。此外，有时也使用动图像信号码数据存储部、运动信息码数据存储部等。
[0105]在图8示出由计算机和软件程序构成动图像解码装置的情况下的硬件结构例。本系统成为如下结构，即，用总线连接有:执行程序的CPU80 ;存储CPU80访问的程序、数据的RAM等存储器81 ;输入动图像编码装置通过本方法进行编码的比特流的比特流输入部82(也可以是由盘类装置等构成的存储比特流的存储部)；例如经由网络来输入针对解码对象的深度图的动图像的运动信息的结构运动信息输入部83(也可以是由盘类装置等构成的存储运动信息的存储部);存储有使CPU80执行图5、图6所示的处理的软件程序，即动图像解码程序841的程序存储装置84 ;以及通过执行CPU80载入到存储器81的动图像解码程序841，将对比特流进行解码而得到的解码深度图输出到再生装置等的解码深度图输出部85。虽然省略图示，但是，此外也可设置参照帧列表输入部、参照帧存储部等硬件而在本方法的实施中加以利用。此外，有时也使用动图像信号码数据存储部、运动信息码数据存储部。
[0106]像以上说明的那样，将对动图像和深度图动图像进行预测编码时所使用的运动信息进行共享，并适当地使用该运动信息来生成预测图像，从而能够提高编码效率。
[0107]以上，虽然参照附图对本发明的实施方式进行了说明，但是上述实施方式只不过是本发明的示例，显然，本发明不限定于上述实施方式。因此，也可以在不脱离本发明的技术思想和范围的范围内进行构成要素的追加、省略、置换、以及其它变更。
[0108]产业上的可利用性
本发明能够应用于在作为构成要素而具有动图像和深度图动图像的自由视点动图像的编码中必不可少地要实现有效的动图像编码的用途。
[0109]附图标记说明
101:编码对象深度图输入部；
102:编码对象深度图存储器；
103:结构运动信息输入部；
104:结构运动信息存储器；
105:结构参照帧列表输入部；
106:参照帧列表设定部；
107:变换表生成部；
108:运动信息变换部；
109:运动信息设定部；
110:运动信息选择部；
111:运动信息编码部；
112:预测图像生成部；
113:图像信号编码部；
114:复用部;
115:参照帧存储器；
201:解码对象比特流输入部；
202:解码对象比特流存储器；
203:结构运动信息输入部；
204:结构运动信息存储器；
205:结构参照帧列表输入部；
206:参照帧列表设定部；
207:变换表生成部；
208:运动信息变换部；
209:分离部；
210:运动信息解码部；
211:运动信息选择部；
212:预测图像生成部；
213:图像信号解码部；
214:参照帧存储器。
【权利要求】
1.一种动图像编码方法，将构成深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行编码时的运动信息，一边按每个所述处理区域进行预测编码，所述动图像编码方法具有: 深度图参照帧列表生成步骤，生成在生成预测图像时所参照的参照帧的列表，即参照帧列表； 结构运动信息设定步骤，将对与所述处理区域对应的所述结构动图像进行编码时所使用的运动信息设定为结构运动信息； 深度图运动信息设定步骤，设定示出与所述处理区域对应的所述参照帧上的区域的深度图运动信息，其中，在指定包含于所述结构运动信息中的参照帧的索引值比所述参照帧列表的尺寸小的情况下，将所述结构运动信息设定为所述深度图运动信息；以及 预测图像生成步骤，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
2.根据权利要求1所述的动图像编码方法，其中， 在所述深度图运动信息设定步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，将如下的运动信息设定为所述深度图运动信息，该运动信息是将所述结构运动信息的参照帧索引变更为示出具有所述相同性质的帧的索引的运动信息。
3.根据权利要求2所述的动图像编码方法，还具有: 结构参照帧列表设定步骤，将对所述结构动图像进行编码时使用的参照帧列表设定为结构参照帧列表； 变换表生成步骤，生成将针对所述结构参照帧列表的参照帧索引变换为针对所述参照帧列表的参照帧索引的变换表，其中，以变换前的参照帧索引所示出的所述结构参照帧列表内的帧的性质与变换后的参照帧索引所示出的所述参照帧列表内的帧的性质相等的方式设定所述变换表；以及 运动信息变换步骤，根据所述变换表对指定包含于所述结构运动信息中的参照帧的索引值进行变换而生成变换运动信息， 在所述深度图运动信息设定步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，将所述变换运动信息设定为所述深度图运动信息。
4.一种动图像编码方法，将构成深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行编码时的运动信息，一边按每个所述处理区域进行预测编码，所述动图像编码方法具有: 深度图参照帧列表生成步骤，生成在生成预测图像时所参照的参照帧的列表，即参照帧列表； 结构运动信息设定步骤，将对与所述处理区域对应的所述结构动图像进行编码时所使用的运动信息设定为结构运动信息； 共享运动信息列表生成步骤，生成对如下的运动信息进行列表化的共享运动信息列表，该运动信息是对相对于所述处理区域在时间上或空间上邻接的区域进行编码时使用的运动信息，其中，在指定包含于所述结构运动信息中的参照帧的索引值比所述参照帧列表的尺寸小的情况下，生成包含所述结构运动信息的所述共享运动信息列表； 深度图运动信息设定步骤，从包含于所述共享运动信息列表的所述运动信息中选择一个，将所述选择的运动信息设定为针对所述处理区域的运动信息；以及 预测图像生成步骤，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
5.根据权利要求4所述的动图像编码方法，其中， 在所述共享运动信息列表生成步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，生成包含如下的运动信息的所述共享运动信息列表，该运动信息是将所述结构运动信息的参照帧索引变更为示出具有所述相同性质的帧的索引的运动信息。
6.根据权利要求5所述的动图像编码方法，还具有: 结构参照帧列表设定步骤，将对所述结构动图像进行编码时使用的参照帧列表设定为结构参照帧列表； 变换表生成步骤，生成将针对所述结构参照帧列表的参照帧索引变换为针对所述参照帧列表的参照帧索引的变换表，其中，以变换前的所述参照帧索引所示出的所述结构参照帧列表内的帧的性质与变换后的所述参照帧索引所示出的所述参照帧列表内的帧的性质相等的方式设定所述变换表；以及 运动信息变换步骤，根据所述变换表对指定包含于所述结构运动信息中的所述参照帧的索引值进行变换而生成变换运动信息， 在所述共享运动信息列表生成步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，生成包含所述变换运动信息的所述共享运动信息列表。
7.—种动图像解码方法，在对深度图动图像的码数据进行解码时，将构成所述深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行解码时的运动信息，一边对每个所述处理区域预测深度图并且进行解码，所述动图像解码方法具有: 深度图参照帧列表设定步骤，设定在生成预测图像时所参照的参照帧的列表，即参照帧列表； 结构运动信息设定步骤，将对与所述处理区域对应的所述结构动图像进行解码时所使用的运动信息设定为结构运动信息； 深度图运动信息设定步骤，设定示出与所述处理区域对应的所述参照帧上的区域的深度图运动信息，其中，在指定包含于所述结构运动信息的参照帧的索引值比所述参照帧列表的尺寸小的情况下，将所述结构运动信息设定为所述深度图运动信息；以及 预测图像生成步骤，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
8.根据权利要求7所述的动图像解码方法，其中， 在所述深度图运动信息设定步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，将如下的运动信息设定为所述深度图运动信息，该运动信息是将所述结构运动信息的参照帧索引变更为示出具有所述相同性质的帧的索引的运动信息。
9.根据权利要求8所述的动图像解码方法，还具有: 结构参照帧列表设定步骤，将在对所述结构动图像进行解码时使用的参照帧列表设定为结构参照帧列表； 变换表生成步骤，生成将针对所述结构参照帧列表的参照帧索引变换为针对所述参照帧列表的参照帧索引的变换表，其中，以变换前的参照帧索引所示出的所述结构参照帧列表内的帧的性质与变换后的参照帧索引所示出的所述参照帧列表内的帧的性质相等的方式设定所述变换表；以及 运动信息变换步骤，根据所述变换表对指定包含于所述结构运动信息的参照帧的索引值进行变换而生成变换运动信息， 在所述深度图运动信息设定步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，将所述变换运动信息设定为所述深度图运动信息。
10.一种动图像解码方法，在对深度图动图像的码数据进行解码时，将构成所述深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行解码时的运动信息，一边对每个所述处理区域预测深度图的信号并且进行解码，所述动图像解码方法具有: 深度图参照帧列表设定步骤，设定在生成预测图像时所参照的参照帧的列表，即参照帧列表； 结构运动信息设定步骤，将对与所述处理区域对应的所述结构动图像进行解码时所使用的运动信息设定为结构运动信息； 共享运动信息列表生成步骤，生成对如下的运动信息进行列表化的共享运动信息列表，该运动信息是在对相对于所述处理区域在时间上或空间上邻接的区域进行解码时使用的运动信息，其中，在指定包含于所述结构运动信息中的参照帧的索引值比所述参照帧列表的尺寸小的情况下，生成包含所述结构运动信息的所述共享运动信息列表； 深度图运动信息设定步骤，从包含于所述共享运动信息列表的所述运动信息中选择一个，将所述选择的运动信息设定为针对所述处理区域的运动信息；以及 预测图像生成步骤，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
11.根据权利要求10所述的动图像解码方法，其中， 在所述共享运动信息列表生成步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，生成包含如下的运动信息的所述共享运动信息列表，该运动信息是将所述结构运动信息的参照帧索引变更为示出具有所述相同性质的帧的索引的运动信息。
12.根据权利要求11所述的动图像解码方法，还具有: 结构参照帧列表设定步骤，将在对所述结构动图像进行解码时使用的参照帧列表设定为结构参照帧列表； 变换表生成步骤，生成将针对所述结构参照帧列表的参照帧索引变换为针对所述参照帧列表的参照帧索引的变换表，其中，以变换前的参照帧索引所示出的所述结构参照帧列表内的帧的性质与变换后的参照帧索引所示出的所述参照帧列表内的帧的性质相等的方式设定所述变换表；以及 运动信息变换步骤，根据所述变换表对指定包含于所述结构运动信息中的参照帧的索引值进行变换而生成变换运动信息， 在所述共享运动信息列表生成步骤中，在所述参照帧列表中包含与所述结构运动信息所示出的帧具有相同性质的帧的情况下，生成包含所述变换运动信息的所述共享运动信息列表。
13.—种动图像编码装置，将构成深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行编码时的运动信息，一边对每个所述处理区域进行预测编码，所述动图像编码装置具有: 深度图参照帧列表生成部，生成在生成预测图像时所参照的参照帧的列表，即参照帧列表； 结构运动信息设定部，将对与所述处理区域对应的所述结构动图像进行编码时所使用的运动信息设定为结构运动信息； 深度图运动信息设定部，设定示出与所述处理区域对应的所述参照帧上的区域的深度图运动信息，其中，在指定包含于所述结构运动信息中的参照帧的索引值比所述参照帧列表的尺寸小的情况下，将所述结构运动信息设定为所述深度图运动信息；以及 预测图像生成部，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
14.一种动图像编码装置，将构成深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行编码时的运动信息，一边对每个所述处理区域进行预测编码，所述动图像编码装置具备: 深度图参照帧列表生成部，生成在生成测图像时所参照的参照帧的列表，即参照帧列表; 结构运动信息设定部，将对与所述处理区域对应的所述结构动图像进行编码时所使用的运动信息设定为结构运动信息； 共享运动信息列表生成部，生成对如下的运动信息进行列表化的共享运动信息列表，该运动信息是对相对于所述处理区域在时间上或空间上邻接的区域进行编码时使用的运动信息，其中，在指定包含于所述结构运动信息的参照帧的索引值比所述参照帧列表的尺寸小的情况下，生成包含所述结构运动信息的所述共享运动信息列表； 深度图运动信息设定部，从包含于所述共享运动信息列表的所述运动信息中选择一个，将所述选择的运动信息设定为针对所述处理区域的运动信息；以及 预测图像生成部，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
15.一种动图像解码装置，在对深度图动图像的码数据进行解码时，将构成所述深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行解码时的运动信息，一边对每个所述处理区域预测深度图并且进行解码，所述动图像解码装置具备: 深度图参照帧列表设定部，设定在生成预测图像时所参照的参照帧的列表，即参照帧列表； 结构运动信息设定部，将对与所述处理区域对应的所述结构动图像进行解码时所使用的运动信息设定为结构运动信息； 深度图运动信息设定部，设定示出与所述处理区域对应的所述参照帧上的区域的深度图运动信息，其中，在指定包含于所述结构运动信息的参照帧的索引值比所述参照帧列表的尺寸小的情况下，将所述结构运动信息设定为所述深度图运动信息；以及 预测图像生成部，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
16.一种动图像解码装置，在对深度图动图像的码数据进行解码时，将构成所述深度图动图像的各帧分割为预先确定的大小的处理区域，一边使用对与所述深度图动图像对应的结构动图像进行解码时的运动信息，一边对每个所述处理区域预测深度图的信号并且进行解码，所述动图像解码装置具备: 深度图参照帧列表设定部，设定在生成预测图像时所参照的参照帧的列表，即参照帧列表； 结构运动信息设定部，将对与所述处理区域对应的所述结构动图像进行解码时所使用的运动信息设定为结构运动信息； 共享运动信息列表生成部，生成对如下的运动信息进行列表化的共享运动信息列表，该运动信息是在对相对于所述处理区域在时间上或空间上邻接的区域进行解码时使用的运动信息，其中，在指定包含于所述结构运动信息的参照帧的索引值比所述参照帧列表的尺寸小的情况下，生成包括所述结构运动信息的所述共享运动信息列表； 深度图运动信息设定部，从包含于所述共享运动信息列表的所述运动信息中选择一个，将所述选择的运动信息设定为针对所述处理区域的运动信息；以及 预测图像生成部，按照所述设定的深度图运动信息生成针对所述处理区域的所述预测图像。
17.一种动图像编码程序，用于使计算机执行权利要求1至权利要求6的任一项所述的动图像编码方法。
18.一种动图像解码程序，用于使计算机执行权利要求7至权利要求12的任一项所述的动图像解码方法。
19.一种计算机可读取的记录介质，记录有权利要求17所述的动图像编码程序。
20.一种计算机可读取的记录介质，记录有权利要求18所述的动图像解码程序。
【文档编号】H04N19/597GK104509114SQ201380033446
【公开日】2015年4月8日 申请日期:2013年7月9日 优先权日:2012年7月9日
【发明者】志水信哉, 杉本志织, 木全英明, 小岛明 申请人:日本电信电话株式会社