视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序的制作方法

视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序的制作方法
【专利摘要】视差编码装置是，一种视频编码方法装置，在对由多个不同的视点的视频构成的多视点视频的1帧即编码对象图像进行编码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个，根据与所述编码对象图像的所述视点不同的参照视点进行预测编码，其中，所述视频编码装置具有：区域分割设定步骤部，基于所述编码对象图像的视点与所述参照视点的位置关系来决定所述编码对象区域的分割方法；以及视差矢量设定步骤部，按照根据所述分割方法对所述编码对象区域进行分割而得到的每个子区域，使用所述深度图，设定针对所述参照视点的视差矢量。
【专利说明】
视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序
技术领域
[0001]本发明涉及视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序。
[0002]本申请基于在2013年12月27日向日本申请的特愿2013-273317号要求优先权，并将其内容引用于此。
【背景技术】
[0003]自由视点视频是指用户能够自由地指定在拍摄空间内的摄像机的位置或方向(以下，称为“视点”。)的视频。在自由视点视频中，用户任意指定视点，因此，不能够保持来自具有指定的可能性的全部视点的视频。因此，自由视点视频由为了生成来自能够指定的若干个视点的视频而需要的信息组构成。再有，自由视点视频有时被称为自由视点电视、任意视点视频或任意视点电视等。
[0004]关于自由视点视频，使用各种数据形式表现，但是，作为最通常的形式，存在使用视频和与该视频的帧对应的深度图(距离图像)的方式(例如，参照非专利文献I)。深度图是指按照每个像素表现从摄像机到被摄物的深度(距离)的图。深度图表现被摄物的三维的位置。
[0005]深度在满足某个条件的情况下与二个摄像机(摄像机对)之间的视差的倒数成比例。因此，深度有时也被称为视差图(视差图像)。在计算机制图(computer graphics)的领域中，深度为在Z缓冲器中蓄积的信息，因此，有时也被称为Z图像或Z图。再有，除了从摄像机到被摄物的距离之外，有时也将在表现对象空间上伸展的三维坐标系的Z轴的坐标值(Z值)用作深度。
[0006]在针对所拍摄的图像而X轴被确定为水平方向、Y轴被确定为垂直方向的情况下，Z轴与摄像机的方向一致。但是，在针对多个摄像机而使用共同的坐标系的情况下，Z轴有时与摄像机的方向不一致。在以下，在不进行区别的情况下将距离和Z轴称为“深度”。此外，将使深度表示为像素值的图像称为“深度图”。但是，严格地，在视差图中，需要设定成为基准的摄像机对。
[0007]在将深度表示为像素值时，存在将与物理量对应的值直接作为像素值的方法、使用在规定数量的区间中最小值和最大值之间被量化时通过深度的量化而得到的值的方法、以及使用以规定步长(step size)量化根据深度的最小值的差而得到的值的方法。在限制所表现的范围的情况下，使用最小值等附加信息更能够高精度地表现深度。
[0008]此外，在等间隔地量化物理量的方法中，存在直接量化物理量的方法和量化物理量的倒数的方法。距离的倒数为与视差成比例的值，因此，在需要高精度地表现距离的情况下，使用前者的情况较多，在需要高精度地表现视差的情况下，使用后者的情况较多。
[0009]在以下，与深度的像素值化的方法或量化的方法无关，将表现了深度的图像称为“深度图”。深度图表现为按照每个像素具有一个值的图像，因此，能够看作灰度(grayscale )图像。被摄物在实空间上连续地存在，不能够向远离的位置瞬间地移动。因此，深度图可以说与视频信号同样地具有空间的相关性和时间的相关性。
[0010]但是，能够通过为了对图像信号进行编码而使用的图像编码方式或者为了对视频信号进行编码而使用的视频编码方式一边除去空间的冗余性和时间的冗余性一边高效地对深度图或由连续的深度图构成的视频进行编码。在以下，在不进行区别的情况下将深度图和由连续的深度图构成的视频称为“深度图”。
[0011]对通常的视频编码进行说明。在视频编码中，为了利用被摄物在空间上和时间上连续这样的特征来实现高效的编码，将视频的各帧分割为被称为宏块的处理单位块。在视频编码中，按照每个宏块在空间上和时间上预测该视频信号，对示出其预测方法的预测信息和预测残差进行编码。
[0012]在空间上预测视频信号的情况下，例如，示出空间的预测的方向的信息为预测信息。在时间上预测视频信号的情况下，例如，示出参照的帧的信息和示出该帧中的位置的信息为预测信息。在空间上进行的预测为帧内的预测，因此，被称为帧内预测(intra-framepredict1n)、画面内预测(intra-picture predict1n)或者内部预测(intrapredict1n)。
[00?3] 在时间上进行的预测为帧间的预测，因此，被称为帧间预测(i n t e r -f r am epredict1n)、画面间预测(inter-picture predict1n)或者时间性预测(interpredict1n )。此外，在时间上进行的预测对视频的时间的变化即运动进行补偿来进行视频信号的预测，因此，也被称为运动补偿预测。
[0014]在对由从多个位置或方向拍摄了相同的场景的视频构成的多视点视频进行编码时，对视频的视点间的变化即视差进行补偿来进行视频信号的预测，因此，使用视差补偿预测。
[0015]在由基于多个视点的视频和深度图构成的自由视点视频的编码中，哪一个都具有空间相关性和时间相关性，因此，使用通常的视频编码方式来对每一个进行编码，由此，能够削减码量。例如，在使用MPEG-C Part.3来表现多视点视频和与其对应的深度图的情况下，使用现有的视频编码方式来对每一个进行编码。
[0016]此外，在将基于多个视点的视频和深度图一起编码的情况下，存在以下方法:通过使用根据深度图而得到的视差信息，从而利用在视点间存在的相关性来实现高效的编码。例如，在非专利文献2中记载了如下方法:针对处理对象的区域，根据深度图求取视差矢量，使用该视差矢量，决定已经编码完毕的另外的视点的视频上的对应区域，将该对应区域中的视频信号用作处理对象的区域中的视频信号的预测值，由此，实现高效的编码。作为另外的例子，在非专利文献3中，将在对所得到的对应区域进行编码时使用的运动信息用作处理对象的区域的运动信息或其预测值，由此，实现高效的编码。
[0017]此时，为了实现高效的编码，需要按照处理对象的每个区域取得精度高的视差矢量。在非专利文献2和非专利文献3所记载的方法中，按照对处理对象的区域进行分割后的每个子区域求取视差矢量，由此，即使拍摄了与处理对象的区域不同的物体，也能够取得正确的视差矢量。
[0018]现有技术文献非专利文献非专利文南犬 1:Υ.Mori , N.Fukusima , T.Fujii , and M.Tanimoto，“ViewGenerat1n with 3D Warping Using Depth Informat1n for FTV，，，In Proceedingsof 3DTV-C0N2008, pp.229-232，2008年5月；
非专利文献2:G.Tech, K.Wegner，Y.Chen, and S.Yea, “3D-HEVC Draft Text1”，JCT-3V Doc., JCT3V-E1001 (vers1n 3)，2013年9月;
非专利文南犬 3:S.Shimizu and S.Sugimoto , “CEl-related: View synthesispredict1n via mot1n field synthesis”， JCT-3V Doc., JCT3V-F0177, 2013年10月。

【发明内容】

[0019]发明要解决的课题
在非专利文献2和非专利文献3所记载的方法中，按照每个细小的区域变换深度图的值，取得高精度的视差矢量，由此，能够实现高效率的预测编码。但是，深度图只表现在各区域中显现的被摄物的三维位置或视差矢量，不保证是否在视点间拍摄相同的被摄物。但是，在非专利文献2和非专利文献3所记载的方法中，在视点间发生遮挡的情况下，不会得到在视点间的被摄物的正确的对应关系。再有，遮挡是指存在于处理对象的区域的被摄物被物体遮蔽而不能从规定的视点确认的状态。
[0020]鉴于上述情况，本发明的目的在于提供在将针对多个视点的视频和深度图具有为结构要素的自由视点视频数据的编码中能够通过根据深度图得到考虑了视点间的遮挡的对应关系来提高视频信号或运动矢量的视点间预测的精度来提高视频编码的效率的视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序。
[0021]用于解决课题的方案
本发明的一个实施方式是，一种视频编码装置，在对由多个不同的视点的视频构成的多视点视频的I帧即编码对象图像进行编码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个，根据与所述编码对象图像的视点不同的参照视点进行预测编码，其中，所述视频编码装置具有:区域分割设定部，基于所述编码对象图像的所述视点与所述参照视点的位置关系来决定所述编码对象区域的分割方法；以及视差矢量设定部，按照根据所述分割方法对所述编码对象区域进行分割而得到的每个子区域，使用所述深度图，设定针对所述参照视点的视差矢量。
[0022]优选的是，本发明的一个实施方式还具有代表深度设定部，所述代表深度设定部根据针对所述子区域的所述深度图来设定代表深度，所述视差矢量设定部基于按照每个所述子区域设定的所述代表深度来设定所述视差矢量。
[0023]优选的是，在本发明的一个实施方式中，所述区域分割设定部将用于分割所述编码对象区域的分割线的方向设定为与在所述编码对象图像的所述视点和所述参照视点之间产生的视差的方向相同的方向。
[0024]本发明的一个实施方式是，一种视频编码装置，在对由多个不同的视点的视频构成的多视点视频的I帧即编码对象图像进行编码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个，根据与所述编码对象图像的视点不同的参照视点进行预测编码，其中，所述视频编码装置具有:区域分割部，将所述编码对象区域向多个子区域分割;处理方向设定部，基于所述编码对象图像的所述视点与所述参照视点的位置关系，设定对所述子区域进行处理的顺序；以及视差矢量设定部，按照所述顺序，按照每个所述子区域，使用所述深度图，一边判定与在该子区域之前处理的子区域的遮挡一边设定针对所述参照视点的视差矢量。
[0025]优选的是，在本发明的一个实施方式中，所述处理方向设定部按照存在于与在所述编码对象图像的所述视点和所述参照视点之间产生的视差的方向相同的方向的所述子区域的每个集合，以与所述视差的方向相同的方向设定所述顺序。
[0026]优选的是，在本发明的一个实施方式中，所述视差矢量设定部比较针对在该子区域之前处理的子区域的视差矢量和针对该子区域使用所述深度图来设定的视差矢量，将大小大的一个设定为针对所述参照视点的所述视差矢量。
[0027]优选的是，本发明的一个实施方式还具有代表深度设定部，所述代表深度设定部根据针对所述子区域的所述深度图来设定代表深度，所述视差矢量设定部比较针对在该子区域之前处理的子区域的所述代表深度和针对该子区域设定的所述代表深度，基于示出更靠近所述编码对象图像的所述视点的所述代表深度来设定所述视差矢量。
[0028]本发明的一个实施方式是，一种视频解码装置，在根据由多个不同的视点的视频构成的多视点视频的码数据对解码对象图像进行解码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述解码对象图像进行分割后的区域的解码对象区域的每一个，一边根据与所述解码对象图像的视点不同的参照视点进行预测一边进行解码，其中，所述视频解码装置具有:区域分割设定部，基于所述解码对象图像的所述视点与所述参照视点的位置关系来决定所述解码对象区域的分割方法；以及视差矢量设定部，按照根据所述分割方法对所述解码对象区域进行分割而得到的每个子区域，使用所述深度图，设定针对所述参照视点的视差矢量。
[0029]优选的是，本发明的一个实施方式还具有代表深度设定部，所述代表深度设定部根据针对所述子区域的所述深度图来设定代表深度，所述视差矢量设定部基于按照每个所述子区域设定的所述代表深度来设定所述视差矢量。
[0030]优选的是，在本发明的一个实施方式中，所述区域分割设定部将用于分割所述解码对象区域的分割线的方向设定为与在所述解码对象图像的所述视点和所述参照视点之间产生的视差的方向相同的方向。
[0031]本发明的一个实施方式是，一种视频解码装置，在根据由多个不同的视点的视频构成的多视点视频的码数据对解码对象图像进行解码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述解码对象图像进行分割后的区域的解码对象区域的每一个，一边根据与所述解码对象图像的视点不同的参照视点进行预测一边进行解码，其中，所述视频解码装置具有:区域分割部，将所述解码对象区域向多个子区域分割;处理方向设定部，基于所述解码对象图像的所述视点与所述参照视点的位置关系，设定对所述子区域进行处理的顺序；以及视差矢量设定部，按照所述顺序，按照每个所述子区域，使用所述深度图，一边判定与在该子区域之前处理的子区域的遮挡一边设定针对所述参照视点的视差矢量。
[0032]优选的是，在本发明的一个实施方式中，所述处理方向设定部按照存在于与在所述解码对象图像的所述视点和所述参照视点之间产生的视差的方向相同的方向的所述子区域的每个集合，以与所述视差的方向相同的方向设定所述顺序。
[0033]优选的是，在本发明的一个实施方式中，所述视差矢量设定部比较针对在该子区域之前处理的子区域的视差矢量和针对该子区域使用所述深度图来设定的视差矢量，将大小大的一个设定为针对所述参照视点的所述视差矢量。
[0034]优选的是，本发明的一个实施方式还具有代表深度设定部，所述代表深度设定部根据针对所述子区域的所述深度图来设定代表深度，所述视差矢量设定部比较针对在该子区域之前处理的子区域的所述代表深度和针对该子区域设定的所述代表深度，基于示出更靠近所述解码对象图像的所述视点的所述代表深度来设定所述视差矢量。
[0035]本发明的一个实施方式是，一种视频编码方法，在对由多个不同的视点的视频构成的多视点视频的I帧即编码对象图像进行编码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个，根据与所述编码对象图像的视点不同的参照视点进行预测编码，其中，所述视频编码方法具有:
区域分割设定步骤，基于所述编码对象图像的所述视点与所述参照视点的位置关系来决定所述编码对象区域的分割方法；以及视差矢量设定步骤，按照根据所述分割方法对所述编码对象区域进行分割而得到的每个子区域，使用所述深度图，设定针对所述参照视点的视差矢量。
[0036]本发明的一个实施方式是，一种视频编码方法，在对由多个不同的视点的视频构成的多视点视频的I帧即编码对象图像进行编码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个，根据与所述编码对象图像的视点不同的参照视点进行预测编码，其中，所述视频编码方法具有:区域分割步骤，将所述编码对象区域向多个子区域分割;处理方向设定步骤，基于所述编码对象图像的所述视点与所述参照视点的位置关系，设定对所述子区域进行处理的顺序；以及视差矢量设定步骤，按照所述顺序，按照每个所述子区域，使用所述深度图，一边判定与在该子区域之前处理的子区域的遮挡一边设定针对所述参照视点的视差矢量。
[0037]本发明的一个实施方式是，一种视频解码方法，在根据由多个不同的视点的视频构成的多视点视频的码数据对解码对象图像进行解码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述解码对象图像进行分割后的区域的解码对象区域的每一个，一边根据与所述解码对象图像的视点不同的参照视点进行预测一边进行解码，其中，所述视频解码方法具有:区域分割设定步骤，基于所述解码对象图像的所述视点与所述参照视点的位置关系来决定所述解码对象区域的分割方法；以及视差矢量设定步骤，按照根据所述分割方法对所述解码对象区域进行分割而得到的每个子区域，使用所述深度图，设定针对所述参照视点的视差矢量。
[0038]本发明的一个实施方式是，一种视频解码方法，在根据由多个不同的视点的视频构成的多视点视频的码数据对解码对象图像进行解码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述解码对象图像进行分割后的区域的解码对象区域的每一个，一边根据与所述解码对象图像的视点不同的参照视点进行预测一边进行解码，其中，所述视频解码方法具有:区域分割步骤，将所述解码对象区域向多个子区域分割;处理方向设定步骤，基于所述解码对象图像的所述视点与所述参照视点的位置关系，设定对所述子区域进行处理的顺序；以及视差矢量设定步骤，按照所述顺序，按照每个所述子区域，使用所述深度图，一边判定与在该子区域之前处理的子区域的遮挡一边设定针对所述参照视点的视差矢量。
[0039]本发明的一个实施方式是，一种视频编码程序，其中，用于使计算机执行视频编码方法。
[0040]本发明的一个实施方式是，一种视频解码程序，其中，用于使计算机执行视频解码方法。
[0041 ]发明效果
根据本发明，在将针对多个视点的视频和深度图具有为结构要素的自由视点视频数据的编码中，根据深度图得到考虑了视点间的遮挡的对应关系，由此，能够提高视频信号或运动矢量的视点间预测的精度，提高视频编码的效率。
【附图说明】
[0042]图1是示出本发明的一个实施方式的视频编码装置的结构的框图。
[0043]图2是示出本发明的一个实施方式的视频编码装置的工作的流程图。
[0044]图3是示出本发明的一个实施方式的视差矢量场生成部生成视差矢量场的处理(步骤S104)的第一例的流程图。
[0045]图4是示出本发明的一个实施方式的视差矢量场生成部生成视差矢量场的处理(步骤S104)的第二例的流程图。
[0046]图5是示出本发明的一个实施方式的视频解码装置的结构的框图。
[0047]图6是示出本发明的一个实施方式的视频解码装置的工作的流程图。
[0048]图7是示出由计算机和软件程序构成本发明的一个实施方式的视频编码装置的情况下的硬件结构的例子的框图。
[0049]图8是示出由计算机和软件程序构成本发明的一个实施方式的视频解码装置的情况下的硬件结构的例子的框图。
【具体实施方式】
[0050]以下，参照附图来详细地说明本发明的一个实施方式的视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序。
[0051]在以下的说明中，设想对由2个摄像机(摄像机A和摄像机B)拍摄的多视点视频进行编码的情况。摄像机A的视点为参照视点。此外，摄像机B所拍摄的视频以帧为单位被编码和解码。
[0052]再有，假设另外提供为了根据深度得到视差而需要的信息。具体地，该信息为表示摄像机A和摄像机B的位置关系的外部参数或表示利用摄像机的向图像平面的投影信息的内部参数等，只要为具有与它们相同的意思的信息，则也可以以另外的形式提供需要的信息。与这些摄像机参数相关的详细的说明例如被记载在文献“Olivier Faugeras, uThree-Dimens1nal Computer Vis1n”， pp.33-66， MIT Press; BCTC/UFF-006.37 F2591993，ISBN: 0-262-06158-9.”中。在该文献中，记载了与示出多个摄像机的位置关系的参数、表示利用摄像机的向图像平面的投影信息的参数相关的说明。
[0053]在以下的说明中，假设对图像、视频帧(图像帧)或深度图附加能够特别指定位置的信息(坐标值或能够与坐标值相对应的索引等)，由此，附加有能够特别指定位置的信息的信息示出在该位置的像素采样后的视频信号或基于其的深度。此外，假设通过由能够与坐标值相对应的索引值与矢量的相加而得到的值来表示使该坐标错开矢量的量后的位置的坐标值。此外，假设通过由能够与块相对应的索引值与矢量的相加而得到的值来表示使该块错开矢量的量后的位置的块。
[0054]首先，对编码进行说明。
[0055]图1是示出本发明的一个实施方式的视频编码装置的结构的框图。视频编码装置100具备:编码对象图像输入部101、编码对象图像存储器102、深度图输入部103、视差矢量场生成部104(视差矢量设定部、处理方向设定部、代表深度设定部、区域分割设定部、区域分割部)、参照视点信息输入部105、图像编码部106、图像解码部107、以及参照图像存储器108。
[0056]编码对象图像输入部101按照每个帧将成为编码对象的视频输入到编码对象图像存储器102中。以下，将该成为编码对象的视频称为“编码对象图像组”。将被输入并被编码的帧称为“编码对象图像”。编码对象图像输入部101按照每个帧从摄像机B所拍摄的编码对象图像组输入编码对象图像。以下，将拍摄了编码对象图像的视点(摄像机B)称为“编码对象视点”。编码对象图像存储器102存储被输入的编码对象图像。
[0057]深度图输入部103将在求取基于视点间的像素的对应关系的视差矢量时参照的深度图输入到视差矢量场生成部104中。在此，假设输入与编码对象图像对应的深度图，但是，也可以是基于另外的视点的深度图。
[0058]再有，该深度图是指按照每个像素表示在编码对象图像中显现的被摄物的三维位置。关于深度图，例如，能够使用从摄像机到被摄物的距离、与图像平面不平行的轴的坐标值或者针对另外的摄像机(例如，摄像机A)的视差量来表现。在此，假设以图像的方式给出深度图，但是，只要得到同样的信息，则不以图像的方式给出深度图也可。
[0059]以下，将在对编码对象图像进行编码时参照的图像的视点称为“参照视点”。此外，将来自参照视点的图像称为“参照视点图像”。
[0060]视差矢量场生成部104根据深度图来生成示出编码对象图像所包含的区域与该所包含的区域所相对应的基于参照视点的区域的视差矢量场。
[0061]参照视点信息输入部105将基于从与编码对象图像不同的视点(摄像机A)拍摄的视频的信息即基于参照视点图像的信息(以下，称为“参照视点信息”。)输入到图像编码部106中。从与编码对象图像不同的视点(摄像机A)拍摄的视频为在对编码对象图像进行编码时参照的图像。也就是说，参照视点信息输入部105将基于在对编码对象图像进行编码时预测的对象的信息输入到图像编码部106中。
[0062]再有，参照视点信息是指参照视点图像或基于参照视点图像的矢量场等。该矢量例如为运动矢量。在使用参照视点图像的情况下，视差矢量场被用于视差补偿预测。在使用基于参照视点图像的矢量场的情况下，视差矢量场被用于视点间矢量预测。再有，它们以外的信息(例如，块分割方法、预测模式、帧内预测方向、环路滤波器(in-loop fi Iter)参数等)用于预测也可。此外，多个信息用于预测也可。
[0063]图像编码部106基于生成的视差矢量场、在参照图像存储器108中蓄积的解码对象图像和参照视点信息来对编码对象图像进行预测编码。
[0064]图像解码部107基于在参照图像存储器108中蓄积的解码对象图像(参照视点图像)和视差矢量场生成部104所生成的视差矢量场来生成对新输入的编码对象图像进行解码后的解码对象图像。
[0065]参照图像存储器108蓄积由图像解码部107解码的解码对象图像。
[0066]接着，对视频编码装置100的工作进行说明。
[0067]图2是示出本发明的一个实施方式的视频编码装置100的工作的流程图。
[0068]编码对象图像输入部101将编码对象图像输入到编码对象图像存储器102中。编码对象图像存储器102存储编码对象图像(步骤S101)。
[0069]在输入编码对象图像的情况下，将编码对象图像分割为预先确定的大小的区域，按照分割后的每个区域对编码对象图像的视频信号进行编码。以下，将对编码对象图像进行分割后的区域称为“编码对象区域”。在通常的编码中，分割为16像素X 16像素的被称为宏块的处理单位块，但是，只要与解码侧相同，则也可以分割为其他的大小的块。此外，不以相同的尺寸分割编码对象图像的整体，按照每个区域分割为不同的尺寸的块也可(步骤S102~S108)o
[0070]在图2中，将编码对象区域索引表示为“blk”。将编码对象图像的I帧中的编码对象区域的总数表示为“numBlks”。以O初始化blk(步骤S102)。
[0071]在按照每个编码对象区域重复的处理中，首先，设定编码对象区域blk的深度图(步骤 S103)。
[0072]该深度图通过深度图输入部103被输入到视差矢量场生成部104中。再有，假设所输入的深度图与对已经编码完毕的深度图进行解码后的深度图等在解码侧得到的深度图相同。这是因为，通过使用与在解码侧得到的深度图相同的深度图，从而抑制漂移等编码噪声的产生。但是，在容许那样的编码噪声的产生的情况下，也可以输入编码前的深度图等仅在编码侧得到的深度图。
[0073]此外，除了对已经编码完毕的深度图进行解码后的深度图以外，也能够将通过对针对多个摄像机而解码后的多视点视频应用立体匹配(stereo matching)等而估计出的深度图或者使用解码后的视差矢量或运动矢量等而估计出的深度图等用作在解码侧得到相同的深度图的深度图。
[0074]此外，在本实施方式中，假设按照每个编码对象区域输入与编码对象区域对应的深度图，但是，通过事先输入并蓄积在编码对象图像的整体中使用的深度图并且按照每个编码对象区域参照所蓄积的深度图来设定编码对象区域blk的深度图也可。
[0075]关于编码对象区域blk的深度图，怎样设定都可以。例如，在使用与编码对象图像对应的深度图的情况下，设定与编码对象图像中的编码对象区域blk的位置相同的位置的深度图也可，设定错开预先确定的或另外指定的矢量的量后的位置的深度图也可。
[0076]再有，在编码对象图像与编码对象图像所对应的深度图的分辨率不同的情况下，设定根据分辨率比缩放(scaling)后的区域也可，设定根据分辨率比对根据分辨率比缩放后的区域进行上采样(up-sample)而生成的深度图也可。此外，设定针对编码对象视点在过去编码后的图像所对应的深度图的与编码对象区域相同的位置的深度图也可。
[0077]再有，在将与编码对象视点不同的视点之一设为深度视点并且使用基于深度视点的深度图的情况下，求取编码对象区域blk中的编码对象视点与深度视点的估计视差PDV，设定“blk+PDV”中的深度图。再有，在编码对象图像与深度图的分辨率不同的情况下，根据分辨率比进行位置和大小的缩放也可。
[0078]关于编码对象区域blk中的编码对象视点与深度视点的估计视差rov，只要为与解码侧相同的方法，则使用怎样的方法来求取都可以。例如，能够使用在对编码对象区域blk的周边区域进行编码时使用的视差矢量、针对编码对象图像的整体或包含编码对象区域的部分图像设定的全局视差矢量或者按照每个编码对象区域另外设定并编码的视差矢量等。此外，蓄积在不同的编码对象区域或在过去编码的编码对象图像中使用的视差矢量，使用所蓄积的视差矢量也可。
[0079]接着，视差矢量场生成部104使用设定的深度图来生成编码对象区域blk的视差矢量场(步骤S104)。对其处理的细节在后面进行叙述。
[0080]图像编码部106—边使用编码对象区域blk的视差矢量场和在参照图像存储器108中蓄积的图像来进行预测，一边对编码对象区域blk中的编码对象图像的视频信号(像素值)进行编码(步骤S105)。
[0081]编码的结果得到的位流成为视频编码装置100的输出。再有，对于编码的方法，使用怎样的方法都可以。例如，图像编码部106在使用MPEG-2、H.264/AVC等通常的编码的情况下对编码对象区域blk的视频信号与预测图像的差分信号依次实施离散余弦变换(DCT:Discrete Cosine Transform)等频率变换、量化、二值化、熵编码，由此，进行编码。
[0082]再有，假设输入到图像编码部106中的参照视点信息与对已经编码完毕的参照视点信息进行解码后的参照视点信息等在解码侧得到的参照视点信息相同。这是因为，通过使用与在解码侧得到的参照视点信息完全相同的信息，从而抑制漂移等编码噪声的产生。但是，在容许那样的编码噪声的产生的情况下，也可以输入编码前的参照视点信息等仅在编码侧得到的参照视点信息。
[0083]此外，除了对已经编码完毕的参照视点信息进行解码后的参照视点信息以外，也能够将解析解码后的参照视点图像或与参照视点图像对应的深度图而得到的参照视点信息用作在解码侧得到相同的参照视点信息的信息。此外，在本实施方式中，假设按照每个区域输入所需要的参照视点信息，但是，事先输入并蓄积在编码对象图像的整体中使用的参照视点信息，按照每个编码对象区域参照所蓄积的参照视点信息也可。
[0084]图像解码部107解码针对编码对象区域blk的视频信号，将作为解码结果的解码对象图像蓄积在参照图像存储器108中(步骤S106)。图像解码部107取得生成的位流，通过对其进行解码来生成解码对象图像。图像解码部107取得在编码侧的处理变为无损耗的稍前的数据和预测图像，通过简化后的处理来执行解码也可。在哪一个情况下，图像解码部107都使用与在编码时使用的手法对应的手法。
[0085]例如，图像解码部107在取得位流来进行解码处理的情况下，只要使用MPEG_2、H.264/AVC等通常的编码，则对码数据依次实施熵解码、逆二值化、逆量化、反离散余弦变换(IDCT: Inverse Discrete Cosine Transform)等频率逆变换。图像解码部107对所得到的二维信号加上预测图像，最后在像素值的值域中剪裁所得到的值，由此，解码视频信号。
[0086]图像解码部107在通过简化后的处理进行解码的情况下，只要为上述的例子，则取得在编码时施加量化处理后的值和运动补偿预测图像，对在该量化后的值依次实施逆量化、频率逆变换而得到的二维信号加上运动补偿预测图像，在像素值的值域中剪裁所得到的值，由此，解码视频信号也可。
[0087]图像编码部106对blk加上1(步骤S107)。
[0088]图像编码部106判定blk是否不足numBlks (步骤S108)。在blk不足numBlks的情况下(步骤S108:是)，图像编码部106将处理返回到步骤S103。另一方面，在blk非不足numBlks的情况下(步骤S108:否)，图像编码部106结束处理。
[0089]图3是示出本发明的一个实施方式的视差矢量场生成部104生成视差矢量场的处理(步骤S104)的第一例的流程图。
[0090]在生成视差矢量场的处理中，视差矢量场生成部104基于编码对象视点与参照视点的位置关系将编码对象区域blk分割为多个子区域(步骤S1401)。视差矢量场生成部104按照视点的位置关系来确认视差的方向，与视差的方向平行地分割编码对象区域b Ik。
[0091]再有，与视差的方向平行地分割编码对象区域意味着所分割的编码对象区域的边界线(用于分割编码对象区域的分割线)与视差的方向平行，意味着多个分割后的编码对象区域在与视差的方向正交的方向上排列。也就是说，在视差在左右方向上产生的情况下，以多个子区域上下地排列的方式分割编码对象区域。
[0092]在分割编码对象区域的情况下，关于与视差的方向垂直的方向的宽度，只要与解码侧相同，则设定为怎样的宽度都可以。例如，设定为预先确定的宽度(I像素、2像素、4像素或8像素等)也可，通过解析深度图来设定宽度也可。进而，在全部子区域中设定相同的宽度也可，设定不同的宽度也可。例如，基于子区域内的深度图的值来进行分组(clustering)，由此，设定宽度也可。此外，关于视差的方向，以任意的精度的角度来求取也可，从离散化的角度之中选择也可。例如，关于视差的方向，选择左右方向或上下方向的任一个也可。在该情况下，区域分割以上下或左右的任一个进行。
[0093]再有，按照每个编码对象区域向相同的数量的子区域分割也可，向不同的数量的子区域分割也可。
[0094]在向子区域的分割结束的情况下，视差矢量场生成部104按照每个子区域根据深度图来求取视差矢量(步骤S1402?S1405)。
[0095]视差矢量场生成部104以O初始化子区域索引“sblk”(步骤S1402)。
[0096]视差矢量场生成部104根据子区域sblk的深度图来求取视差矢量(步骤S1403)。再有，针对一个子区域sblk而设定多个视差矢量也可。对于根据子区域sblk的深度图来求取视差矢量的方法，使用怎样的方法都可以。例如，视差矢量场生成部104求取表示子区域sblk的代表的深度值(代表深度rep)，将该深度值向视差矢量变换，由此，求取视差矢量也可。针对一个子区域sblk而设定多个代表深度，设定根据各个代表深度而得到的视差矢量，由此，能够设定多个视差矢量。
[0097]作为设定代表深度rep的代表的方法，存在使用子区域sblk的深度图的平均值、众数值、中央值、最大值或最小值等的方法。此外，使用不是与子区域sblk内的全部像素而是与一部分像素对应的深度值的平均值、中央值、最大值或最小值等也可。作为一部分像素，使用在子区域sblk中确定的4顶点的像素或者4顶点和中央的像素等也可。进而，也存在使用相对于子区域sblk左上或中央等预先确定的位置所对应的深度值的方法。
[0098]视差矢量场生成部104对sblk加上1(步骤S1404)。
[0099]视差矢量场生成部104判定sblk是否不足numSBlks ^umSBlks示出编码对象区域blk内的子区域数量(步骤S1405)。在sblk不足numSBlks的情况下(步骤S1405:是)，视差矢量场生成部104将处理返回到步骤S1403。也就是说，视差矢量场生成部104按照通过分割而得到的每个子区域重复根据深度图来求取视差矢量的“步骤S1403?S1405”。另一方面，在sblk非不足numSBlks的情况下(步骤S1405:否)，视差矢量场生成部104结束处理。
[0100]图4是示出本发明的一个实施方式的视差矢量场生成部104生成视差矢量场的处理(步骤S104)的第二例的流程图。
[0101]在生成视差矢量场的处理中，视差矢量场生成部104将编码对象区域blk分割为多个子区域(步骤S1411)。
[0102]关于编码对象区域blk的分割，只要为与解码侧相同的子区域，则分割为怎样的子区域都可以。例如，视差矢量场生成部104将编码对象区域blk分割为预先确定的尺寸(I像素、2X2像素、4X4像素、8X8像素或4X8像素等)的子区域的集合也可，通过解析深度图来分割编码对象区域blk也可。
[0103]作为通过解析深度图来分割编码对象区域blk的方法，视差矢量场生成部104以相同的子区域内的深度图的方差(variance)尽可能变小的方式分割编码对象区域blk也可。作为另外的方法，比较在编码对象区域blk中确定的多个像素所对应的深度图的值，确定分割编码对象区域blk的方法也可。此外，将编码对象区域blk分割为预先确定的尺寸的四边形区域，按照每个该四边形区域，检查在该四边形区域中确定的4顶点的像素值，分割该四边形区域也可。
[0104]再有，如上述的例子那样，视差矢量场生成部104基于编码对象视点与参照视点的位置关系来将编码对象区域blk分割为子区域也可。例如，视差矢量场生成部104基于视差的方向来确定子区域或上述的四边形区域的纵横比(aspect rat1)也可。
[0105]在将编码对象区域blk分割为子区域的情况下，视差矢量场生成部104基于编码对象视点与参照视点的位置关系来对子区域进行分组，对子区域确定顺序(处理顺序)(步骤S1412)。在此，视差矢量场生成部104按照视点的位置关系来确认视差的方向。视差矢量场生成部104将存在于与视差的方向平行的方向的子区域组概括为相同的群组。视差矢量场生成部104按照遮挡(occlus1n)发生的方向按照每个群组来确定群组所包含的子区域的顺序。以下，假设视差矢量场生成部104按照与遮挡相同的方向来确定子区域的顺序。
[0106]在此，在针对能够从编码对象视点观测但是不能从参照视点观测的区域所对应的编码对象图像上的遮挡区域而设定在从参照视点观察时遮蔽该遮挡区域的物体所对应的编码对象图像上的目标区域(物体区域)的情况下，遮挡的方向是指在编码对象图像上从目标区域朝向遮挡区域的方向。
[0107]例如，在朝向相同的方向的摄像机存在2个而在与编码对象视点对应的摄像机B的左侧存在与参照视点对应的摄像机A的情况下，在编码对象图像上，水平右方向为遮挡的方向。再有，在编码对象视点和参照视点被一维平行配置的情况下，遮挡的方向与视差的方向一致。但是，在此的视差将编码对象图像上的位置表现为起点。
[0108]以下，将示出群组的索引记载为“grp”。将所生成的群组的数量记载为“numGrps”。将按照顺序表示群组内的子区域的索引记载为“sblk”。将群组grp所包含的子区域的数量记载为“numSBlksgrp”。将群组grp内的索引sblk的子区域记载为“subblkgrp, sbik”。
[0109]视差矢量场生成部104在对子区域进行分组并且对子区域确定了顺序的情况下，针对群组所包含的子区域，按照每个群组确定视差矢量(步骤S1413?S1423)。
[0110]视差矢量场生成部104以O初始化群组grp(步骤S1413)。
[0111]视差矢量场生成部104以O初始化索引sblk。视差矢量场生成部104以O初始化在群组内的基本深度匕&860(步骤31414)。
[0112]视差矢量场生成部104按照群组grp内的每个子区域重复根据深度图来求取视差矢量的处理(步骤S1415?S1419 )。再有，深度的值为O以上的值。假设深度的值O表示从视点到被摄物的距离最远。也就是说，假设关于深度的值0，从视点到被摄物的距离越近，值越大。
[0113]假定在相反地定义深度值的大小的情况下即被定义为从视点到被摄物的距离越近则值越小的情况下，深度的值不以值O初始化而是以深度的最大值初始化。在该情况下，深度值的大小的比较与值O表示从视点到被摄物的距离最远的情况比较，需要适当相反地改变读出。
[0114]在按照群组grp内的每个子区域重复的处理中，视差矢量场生成部104根据子区域subblkgrp, sblk的深度图来求取基于子区域subblkgrp, sbik的代表深度myD(步骤S1415)。代表深度例如为子区域SUbblkgrp, sbik的深度图的平均值、中间值、最小值、最大值或众数值等。此外，代表深度也可以为与子区域的全部像素对应的深度值，也可以为在子区域subblkgrp, sblk中确定的4顶点的像素或者位于4顶点和中央的像素等一部分像素所对应的深度值。
[0115]视差矢量场生成部104判定代表深度myD是否为基本深度baseD以上(判定与在子区域subblkgrp,之前处理的子区域的遮挡。步骤S1416)。在代表深度myD为基本深度baseD以上的情况下(示出针对子区域subb I kgrp, sb Ik的代表深度my D与针对在该子区域SUbblkgrp, sblk之前处理的子区域的代表深度即基本深度baseD相比更靠近视点的情况。步骤S1416:是)，视差矢量场生成部104以代表深度myD更新基本深度baseD(步骤S1417)。
[0116]在代表深度myD不足基本深度baseD的情况下(步骤S1416:否)，视差矢量场生成部104以基本深度baseD更新代表深度myD(步骤S1418)。
[0117]视差矢量场生成部104基于代表深度myD来计算视差矢量。视差矢量场生成部104将所计算的视差矢量确定为子区域SUbblkgrp, Sblk的视差矢量(步骤S1419)。
[0118]再有，在图4中，视差矢量场生成部104按照每个子区域求取代表深度，计算基于代表深度的视差矢量，但是，根据深度图直接计算视差矢量也可。在该情况下，视差矢量场生成部104蓄积和更新基本视差矢量来代表基本深度。此外，视差矢量场生成部104按照每个子区域求取代表视差矢量来代替代表深度，比较基本视差矢量和代表视差矢量(将针对子区域的视差矢量与针对在该子区域之前处理的子区域的视差矢量比较)，执行基本视差矢量的更新和代表视差矢量的变更也可。
[0119]该比较的基准以及更新或变更的方法依赖于编码对象视点和参照视点的配置。在编码对象视点和参照视点为一维平行配置的情况下，视差矢量场生成部104确定基本视差矢量和代表视差矢量以使矢量变大(在针对子区域的视差矢量和针对在该子区域之前处理的子区域的视差矢量之中将大的一个设定为代表视差矢量)。但是，视差矢量将遮挡的方向作为正方向，将编码对象图像上的位置表现为起点。
[0120]再有，基本深度的更新怎样实现都可以。例如，视差矢量场生成部104根据最后更新了基本深度的子区域与当前处理中的子区域的距离来强制地更新基本深度来代替总是比较代表深度和基本深度的大小来更新基本深度或更变代表深度也可。
[0121]例如，视差矢量场生成部104在步骤S1417中蓄积基于基本深度的子区域baseBlk的位置。视差矢量场生成部104在执行步骤S1418之前判定子区域baseBlk的位置与子区域SUbblkgrp, sblk的位置的差是否比基于基本深度的视差矢量大也可。在差比基于基本深度的视差矢量大的情况下，视差矢量场生成部104执行更新基本深度的处理(步骤S1417)。另一方面，在差不比基于基本深度的视差矢量大的情况下，视差矢量场生成部104执行变更代表深度的处理(步骤S1418)。
[0122]视差矢量场生成部104对sblk加上1(步骤S1420)。
[0123]视差矢量场生成部104判定81311^是否不足111111131311^8^(步骤31421)。在81311^不足numSBlksgrp的情况下(步骤S1421:是)，视差矢量场生成部104将处理返回到步骤S1415。[ΟΙ24] 另一方面，在sblk为numSBlksgrp以上的情况下(步骤S1421:否)，视差矢量场生成部104以对群组grp所包含的各子区域确定的顺序重复基于深度图来求取视差矢量的处理(步骤 S1414?S1421)。
[0125]视差矢量场生成部104对群组grp加上1(步骤S1422)。视差矢量场生成部104判定群组grp是否不足numGrps(步骤S1423)。在群组grp不足numGrps的情况下(步骤S1423:是)，视差矢量场生成部104将处理返回到步骤S1414。另一方面，在群组grp为numGrps以上的情况下(步骤S1423:否)，视差矢量场生成部104结束处理。
[0126]接着，对解码进行说明。
[0127]图5是示出本发明的一个实施方式的视频解码装置的结构的框图。视频解码装置200具备:位流输入部201、位流存储器202、深度图输入部203、视差矢量场生成部204 (视差矢量设定部、处理方向设定部、代表深度设定部、区域分割设定部、区域分割部)、参照视点信息输入部205、图像解码部206、以及参照图像存储器207。
[0128]位流输入部201将视频编码装置100编码后的位流即成为解码对象的视频的位流输入到位流存储器202中。位流存储器202存储成为解码对象的视频的位流。在以下，将该成为解码对象的视频所包含的图像称为“解码对象图像”。解码对象图像为摄像机B所拍摄的视频(解码对象图像组)所包含的图像。此外，在以下，将拍摄了解码对象图像的摄像机B的视点称为“解码对象视点”。
[0129]深度图输入部203将在求取基于视点间的像素的对应关系的视差矢量时参照的深度图输入到视差矢量场生成部204中。在此，假设输入与解码对象图像对应的深度图，但是，也可以是另外的视点(参照视点等)中的深度图。
[0130]再有，该深度图是指按照每个像素表示在解码对象图像中显现的被摄物的三维位置。关于深度图，例如，能够使用从摄像机到被摄物的距离、与图像平面不平行的轴的坐标值或者针对另外的摄像机(例如，摄像机A)的视差量来表现。在此，假设以图像的方式给出深度图，但是，只要得到同样的信息，则不以图像的方式给出深度图也可。
[0131]视差矢量场生成部204根据深度图来生成解码对象图像所包含的区域与该解码对象图像所相对应的参照视点信息所包含的区域的视差矢量场。参照视点信息输入部205将基于从与解码对象图像不同的视点(摄像机A)拍摄的视频所包含的图像的信息即参照视点信息输入到图像解码部206中。基于与解码对象图像不同的视点的视频所包含的图像为在对解码对象图像进行解码时参照的图像。在以下，将在对解码对象图像进行解码时参照的图像的视点称为“参照视点”。将参照视点的图像称为“参照视点图像”。参照视点信息是指例如基于在对解码对象图像进行解码时预测的对象的信息。
[0132]图像解码部206基于在参照图像存储器207中蓄积的解码对象图像(参照视点图像)、所生成的视差矢量场以及参照视点信息来根据位流对解码对象图像进行解码。
[0133]参照图像存储器207将由图像解码部206解码的解码对象图像蓄积为参照视点图像。
[0134]接着，对视频解码装置200的工作进行说明。
[0135]图6是示出本发明的一个实施方式的视频解码装置200的工作的流程图。
[0136]位流输入部201将对解码对象图像进行编码后的位流输入到位流存储器202中。位流存储器202存储对解码对象图像进行编码后的位流。参照视点信息输入部205将参照视点信息输入到图像解码部206中(步骤S201)。
[0137]再有，在此输入的参照视点信息为与在编码侧使用的参照视点信息相同的参照视点信息。这是因为，通过使用与在编码时使用的参照视点信息完全相同的信息，从而抑制漂移等编码噪声的产生。但是，在容许那样的编码噪声的产生的情况下，也可以输入与在编码时使用的参照视点信息不同的参照视点信息。此外，除了对已经编码完毕的参照视点信息进行解码后的参照视点信息以外，也能够将解析解码后的参照视点图像或与参照视点图像对应的深度图而得到的参照视点信息用作在解码侧得到相同的参照视点信息的信息。
[0138]此外，在本实施方式中，假设按照每个区域将参照视点信息输入到图像解码部206中，但是，事先输入并蓄积在解码对象图像的整体中使用的参照视点信息，图像解码部206按照每个区域参照所蓄积的参照视点信息也可。
[0139]在位流和参照视点信息被输入的情况下，图像解码部206将解码对象图像分割为预先确定的大小的区域，按照分割后的每个区域根据位流对解码对象图像的视频信号进行解码。以下，将对解码对象图像进行分割后的区域称为“解码对象区域”。在通常的解码中，分割为16像素X 16像素的被称为宏块的处理单位块，但是，只要与编码侧相同，则也可以分割为其他的大小的块。此外，图像解码部206不以相同的尺寸分割解码对象图像的整体而按照每个区域分割为不同的尺寸的块也可(步骤S202?S207)。
[0140]在图6中，将解码对象区域索引表示为“blk”。将解码对象图像的I帧中的解码对象区域的总数表示为“numBIks”。以O初始化bIk(步骤S202)。
[0141]在按照每个解码对象区域重复的处理中，首先，设定解码对象区域blk的深度图(步骤S203)。该深度图通过深度图输入部203被输入。再有，所输入的深度图为与在编码侧使用的深度图相同的深度图。这是因为，通过使用与在编码侧使用的深度图相同的深度图，从而抑制漂移等编码噪声的产生。但是，在容许那样的编码噪声的产生的情况下，也可以输入与编码侧不同的深度图。
[0142]作为与在编码侧使用的深度图相同的深度图，除了根据位流另外解码的深度图以夕卜，也能够使用通过对针对多个摄像机而解码后的多视点视频应用立体匹配等而估计出的深度图或者使用解码后的视差矢量或运动矢量等而估计出的深度图等。
[0143]此外，在本实施方式中，假设按照每个解码对象区域将解码对象区域的深度图输入到图像解码部206中，但是，事先输入并蓄积在解码对象图像的整体中使用的深度图，图像解码部206按照每个解码对象区域参照所蓄积的深度图，由此，设定解码对象区域blk的深度图也可。
[0144]关于解码对象区域blk的深度图，怎样设定都可以。例如，在使用与解码对象图像对应的深度图的情况下，设定与解码对象图像中的解码对象区域blk的位置相同的位置的深度图也可，设定错开预先确定的或另外指定的矢量的量后的位置的深度图也可。
[0145]再有，在解码对象图像与解码对象图像所对应的深度图的分辨率不同的情况下，设定根据分辨率比缩放后的区域也可，设定根据分辨率比对根据分辨率比缩放后的区域进行上采样而生成的深度图也可。此外，设定针对解码对象视点在过去解码的图像所对应的深度图的与解码对象区域相同的位置的深度图也可。
[0146]再有，在将与解码对象视点不同的视点之一设为深度视点并且使用深度视点中的深度图的情况下，求取解码对象区域blk中的解码对象视点与深度视点的估计视差PDV，设定“blk+PDV”中的深度图。再有，在解码对象图像与深度图的分辨率不同的情况下，根据分辨率比进行位置和大小的缩放也可。
[0147]关于解码对象区域blk中的解码对象视点与深度视点的估计视差rov，只要为与编码侧相同的方法，则使用怎样的方法来求取都可以。例如，能够使用在对解码对象区域blk的周边区域进行解码时使用的视差矢量、针对解码对象图像的整体或包含解码对象区域的部分图像设定的全局视差矢量或者按照每个解码对象区域另外设定并编码的视差矢量等。此外，蓄积在不同的解码对象区域或在过去解码的解码对象图像中使用的视差矢量，使用所蓄积的视差矢量也可。
[0148]接着，视差矢量场生成部204生成解码对象区域blk中的视差矢量场(步骤S204)。在该处理中，只要将编码对象区域替换为解码对象区域来看，就与上述的步骤S104相同。
[0149]图像解码部206—边使用解码对象区域blk的视差矢量场、从参照视点信息输入部205输入的参照视点信息和在参照图像存储器207中蓄积的参照视点图像来进行预测，一边根据位流对解码对象区域blk中的视频信号(像素值)进行解码(步骤S205)。
[0150]所得到的解码对象图像被蓄积在参照图像存储器207中，并且，成为视频解码装置200的输出。再有，对于视频信号的解码，使用与在编码时使用的方法对应的方法。图像解码部206例如在使用MPEG-2、H.264/AVC等通常的编码的情况下，对位流依次实施熵解码、逆二值化、逆量化、反离散余弦变换等频率逆变换，对所得到的二维信号加上预测图像，最后在像素值的值域中对所得到的值进行剪裁，由此，根据位流解码视频信号。
[0151]再有，参照视点信息是指参照视点图像或基于参照视点图像的矢量场等。该矢量例如为运动矢量。在使用参照视点图像的情况下，视差矢量场用于视差补偿预测。在使用基于参照视点图像的矢量场的情况下，视差矢量场用于视点间矢量预测。再有，它们以外的信息(例如，块分割方法、预测模式、帧内预测方向、环路滤波器参数等)用于预测也可。此外，多个信息用于预测也可。
[0152]图像解码部206对blk加上1(步骤S206)。
[0153]图像解码部206判定blk是否不足numBlks(步骤S207)。在blk不足numBlks的情况下(步骤S207:是)，图像解码部206将处理返回到步骤S203。另一方面，在blk非不足numBIks的情况下(步骤S207:否)，图像解码部206结束处理。
[0154]在上述的实施方式中，按照对编码对象图像或解码对象图像进行分割后的每个区域进行了视差矢量场的生成，但是，针对编码对象图像或解码对象图像的全部区域事先生成并蓄积视差矢量场而按照每个区域来参照所蓄积的视差矢量场也可。
[0155]在上述的实施方式中，写为对图像整体进行编码或解码的处理，但是，也能够仅对图像的一部分应用处理。在该情况下，对示出是否应用处理的标志(flag)进行编码或解码也可。此外，使用某些另外的手段来指定示出是否应用处理的标志也可。例如，是否应用处理表现为示出生成每个区域的预测图像的手法的模式之一也可。
[0156]接着，说明由计算机和软件程序构成视频编码装置和视频解码装置的情况下的硬件结构的例子。
[0157]图7是示出由计算机和软件程序构成本发明的一个实施方式的视频编码装置100的情况下的硬件结构的例子的框图。系统具备:CPlXCentral Processing Unit，中央处理单元)50、存储器51、编码对象图像输入部52、参照视点信息输入部53、深度图输入部54、程序存储装置55、以及位流输出部56。各部经由总线以能通信的方式连接。
[0158]CPU50执行程序。存储器51为储存CPU50访问的程序或数据的RAM(Random AccessMemory，随机存取存储器)等。编码对象图像输入部52将来自摄像机B等的编码对象的视频信号输入到CPU50中。编码对象图像输入部52也可以为存储视频信号的磁盘装置等存储部。参照视点信息输入部53将来自摄像机A等的参照视点的视频信号输入到CPU50中。参照视点信息输入部53也可以为存储视频信号的磁盘装置等存储部。深度图输入部54将利用深度摄像机等拍摄被摄物的视点中的深度图输入到CPU50中。深度图输入部54也可以为存储深度图的磁盘装置等存储部。程序存储装置55储存有作为使CPU50执行视频像编码处理的软件程序的视频编码程序551。
[0159]位流输出部56经由例如网络输出通过CPU50执行从程序存储装置55被加载到存储器51中的视频编码程序551而生成的位流。位流输出部56也可以为存储位流的磁盘装置等存储部。
[0160]编码对象图像输入部101与编码对象图像输入部52对应。编码对象图像存储器102与存储器51对应。深度图输入部103与深度图输入部54对应。视差矢量场生成部104与CPU50对应。参照视点信息输入部105与参照视点信息输入部53对应。图像编码部106与CPU50对应。图像解码部107与CPU50对应。参照图像存储器108与存储器51对应。
[0161]图8是示出由计算机和软件程序构成本发明的一个实施方式的视频解码装置200的情况下的硬件结构的例子的框图。系统具备:CPU60、存储器61、位流输入部62、参照视点信息输入部63、深度图输入部64、程序存储装置65、以及解码对象图像输出部66。各部经由总线以能通信的方式连接。
[0162]CPU60执行程序。存储器61为储存CPU60访问的程序或数据的RAM等。位流输入部62将视频编码装置100编码后的位流输入到CPU60中。位流输入部62也可以为存储位流的磁盘装置等存储部。参照视点信息输入部63将来自摄像机A等的参照视点的视频信号输入到CPU60中。参照视点信息输入部63也可以为存储视频信号的磁盘装置等存储部。
[0163]深度图输入部64将利用深度摄像机等拍摄被摄物的视点中的深度图输入到CPU60中。深度图输入部64也可以为存储深度信息的磁盘装置等存储部。程序存储装置65储存有作为使CPU60执行视频解码处理的软件程序的视频解码程序651。解码对象图像输出部66将通过CPU60执行被加载到存储器61中的视频解码程序651来对位流进行解码而得到的解码对象图像输出到再生装置等中。解码对象图像输出部66也可以为存储视频信号的磁盘装置等存储部。
[0164]位流输入部201与位流输入部62对应。位流存储器202与存储器61对应。参照视点信息输入部205与参照视点信息输入部63对应。参照图像存储器207与存储器61对应。深度图输入部203与深度图输入部64对应。视差矢量场生成部204与CPU60对应。图像解码部206与CPU60对应。
[0165]也可以通过计算机实现上述的实施方式中的视频编码装置100或视频解码装置200。在该情况下，将用于实现该功能的程序记录在计算机可读取的记录介质中，使计算机系统读入记录在该记录介质中的程序并执行，由此，也可以实现。再有，在此所说的“计算机系统”包含0S(0perating System，操作系统)、周围设备等硬件。此外，“计算机可读取的记录介质”是指软盘、光磁盘、R0M(Read Only Memory，只读存储器)、OKCompact Disc，紧致盘)-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。进而，“计算机可读取的记录介质”也可以还包含像经由因特网等网络或电话线路等通信线路来发送程序的情况下的通信线那样在短时间的期间动态地保持程序的记录介质、像该情况下的成为服务器或客户端的计算机系统内部的易失性存储器那样将程序保持固定时间的记录介质。此外，上述程序也可以是用于实现上述的功能的一部分的程序，进而，还可以是能通过与已经记录在计算机系统中的程序的组合来实现上述的功能的程序，此外，视频编码装置100和视频解码装置200也可以是使用FPGA(Field Programmable Gate Array，现场可编程门阵列)等可编程逻辑器件(programmable logic device)来实现的程序。
[0166]以上，参照附图来详细地叙述了该发明的实施方式，但是，具体的结构并不限于该实施方式，也包含不偏离该发明的主旨的范围的设计等。
[0167]产业上的可利用性
本发明例如能够应用于自由视点视频的编码和解码。根据本发明，在将针对多个视点的视频和深度图具有为结构要素的自由视点视频数据的编码中，能够提高视频信号或运动矢量的视点间的预测的精度，提高视频编码的效率。
[0168]附图标记的说明
50---CPU, 51…存储器，52…编码对象图像输入部，53...参照视点信息输入部，5Φ..深度图输入部，55…程序存储装置，56…位流输出部，60…CPU，61…存储器，62…位流输入部，63...参照视点信息输入部，64…深度图输入部，65…程序存储装置，66...解码对象图像输出部，100…视频编码装置，101…编码对象图像输入部，102…编码对象图像存储器，103…深度图输入部，104…视差矢量场生成部，105…参照视点信息输入部，106…图像编码部，107…图像解码部，108…参照图像存储器，200…视频解码装置，201…位流输入部，202…位流存储器，203…深度图输入部，204…视差矢量场生成部，205…参照视点信息输入部，206…图像解码部，207…参照图像存储器，551…视频编码程序，651…视频解码程序。
【主权项】
1.一种视频编码装置，在对由多个不同的视点的视频构成的多视点视频的I帧即编码对象图像进行编码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个，根据与所述编码对象图像的视点不同的参照视点进行预测编码，其中，所述视频编码装置具有: 区域分割设定部，基于所述编码对象图像的所述视点与所述参照视点的位置关系来决定所述编码对象区域的分割方法；以及 视差矢量设定部，按照根据所述分割方法对所述编码对象区域进行分割而得到的每个子区域，使用所述深度图，设定针对所述参照视点的视差矢量。2.根据权利要求1所述的视频编码装置，其中， 还具有代表深度设定部，所述代表深度设定部根据针对所述子区域的所述深度图来设定代表深度， 所述视差矢量设定部基于按照每个所述子区域设定的所述代表深度来设定所述视差矢量。3.根据权利要求1或权利要求2所述的视频编码装置，其中，所述区域分割设定部将用于分割所述编码对象区域的分割线的方向设定为与在所述编码对象图像的所述视点和所述参照视点之间产生的视差的方向相同的方向。4.一种视频编码装置，在对由多个不同的视点的视频构成的多视点视频的I帧即编码对象图像进行编码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个，根据与所述编码对象图像的视点不同的参照视点进行预测编码，其中，所述视频编码装置具有: 区域分割部，将所述编码对象区域向多个子区域分割； 处理方向设定部，基于所述编码对象图像的所述视点与所述参照视点的位置关系，设定对所述子区域进行处理的顺序；以及 视差矢量设定部，按照所述顺序，按照每个所述子区域，使用所述深度图，一边判定与在该子区域之前处理的子区域的遮挡一边设定针对所述参照视点的视差矢量。5.根据权利要求4所述的视频编码装置，其中，所述处理方向设定部按照存在于与在所述编码对象图像的所述视点和所述参照视点之间产生的视差的方向相同的方向的所述子区域的每个集合，以与所述视差的方向相同的方向设定所述顺序。6.根据权利要求4或权利要求5所述的视频编码装置，其中，所述视差矢量设定部比较针对在该子区域之前处理的子区域的视差矢量和针对该子区域使用所述深度图来设定的视差矢量，将大小大的一个设定为针对所述参照视点的所述视差矢量。7.根据权利要求4或权利要求5所述的视频编码装置，其中， 还具有代表深度设定部，所述代表深度设定部根据针对所述子区域的所述深度图来设定代表深度， 所述视差矢量设定部比较针对在该子区域之前处理的子区域的所述代表深度和针对该子区域设定的所述代表深度，基于示出更靠近所述编码对象图像的所述视点的所述代表深度来设定所述视差矢量。8.一种视频解码装置，在根据由多个不同的视点的视频构成的多视点视频的码数据对解码对象图像进行解码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述解码对象图像进行分割后的区域的解码对象区域的每一个，一边根据与所述解码对象图像的视点不同的参照视点进行预测一边进行解码，其中，所述视频解码装置具有: 区域分割设定部，基于所述解码对象图像的所述视点与所述参照视点的位置关系来决定所述解码对象区域的分割方法；以及 视差矢量设定部，按照根据所述分割方法对所述解码对象区域进行分割而得到的每个子区域，使用所述深度图，设定针对所述参照视点的视差矢量。9.根据权利要求8所述的视频解码装置，其中， 还具有代表深度设定部，所述代表深度设定部根据针对所述子区域的所述深度图来设定代表深度， 所述视差矢量设定部基于按照每个所述子区域设定的所述代表深度来设定所述视差矢量。10.根据权利要求8或权利要求9所述的视频解码装置，其中，所述区域分割设定部将用于分割所述解码对象区域的分割线的方向设定为与在所述解码对象图像的所述视点和所述参照视点之间产生的视差的方向相同的方向。11.一种视频解码装置，在根据由多个不同的视点的视频构成的多视点视频的码数据对解码对象图像进行解码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述解码对象图像进行分割后的区域的解码对象区域的每一个，一边根据与所述解码对象图像的视点不同的参照视点进行预测一边进行解码，其中，所述视频解码装置具有: 区域分割部，将所述解码对象区域向多个子区域分割； 处理方向设定部，基于所述解码对象图像的所述视点与所述参照视点的位置关系，设定对所述子区域进行处理的顺序；以及 视差矢量设定部，按照所述顺序，按照每个所述子区域，使用所述深度图，一边判定与在该子区域之前处理的子区域的遮挡一边设定针对所述参照视点的视差矢量。12.根据权利要求11所述的视频解码装置，其中，所述处理方向设定部按照存在于与在所述解码对象图像的所述视点和所述参照视点之间产生的视差的方向相同的方向的所述子区域的每个集合，以与所述视差的方向相同的方向设定所述顺序。13.根据权利要求11或权利要求12所述的视频解码装置，其中，所述视差矢量设定部比较针对在该子区域之前处理的子区域的视差矢量和针对该子区域使用所述深度图来设定的视差矢量，将大小大的一个设定为针对所述参照视点的所述视差矢量。14.根据权利要求11或权利要求12所述的视频解码装置，其中， 还具有代表深度设定部，所述代表深度设定部根据针对所述子区域的所述深度图来设定代表深度， 所述视差矢量设定部比较针对在该子区域之前处理的子区域的所述代表深度和针对该子区域设定的所述代表深度，基于示出更靠近所述解码对象图像的所述视点的所述代表深度来设定所述视差矢量。15.—种视频编码方法，在对由多个不同的视点的视频构成的多视点视频的I帧即编码对象图像进行编码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个，根据与所述编码对象图像的视点不同的参照视点进行预测编码，其中，所述视频编码方法具有: 区域分割设定步骤，基于所述编码对象图像的所述视点与所述参照视点的位置关系来决定所述编码对象区域的分割方法；以及 视差矢量设定步骤，按照根据所述分割方法对所述编码对象区域进行分割而得到的每个子区域，使用所述深度图，设定针对所述参照视点的视差矢量。16.—种视频编码方法，在对由多个不同的视点的视频构成的多视点视频的I帧即编码对象图像进行编码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述编码对象图像进行分割后的区域的编码对象区域的每一个，根据与所述编码对象图像的视点不同的参照视点进行预测编码，其中，所述视频编码方法具有: 区域分割步骤，将所述编码对象区域向多个子区域分割； 处理方向设定步骤，基于所述编码对象图像的所述视点与所述参照视点的位置关系，设定对所述子区域进行处理的顺序；以及 视差矢量设定步骤，按照所述顺序，按照每个所述子区域，使用所述深度图，一边判定与在该子区域之前处理的子区域的遮挡一边设定针对所述参照视点的视差矢量。17.—种视频解码方法，在根据由多个不同的视点的视频构成的多视点视频的码数据对解码对象图像进行解码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述解码对象图像进行分割后的区域的解码对象区域的每一个，一边根据与所述解码对象图像的视点不同的参照视点进行预测一边进行解码，其中，所述视频解码方法具有: 区域分割设定步骤，基于所述解码对象图像的所述视点与所述参照视点的位置关系来决定所述解码对象区域的分割方法；以及 视差矢量设定步骤，按照根据所述分割方法对所述解码对象区域进行分割而得到的每个子区域，使用所述深度图，设定针对所述参照视点的视差矢量。18.—种视频解码方法，在根据由多个不同的视点的视频构成的多视点视频的码数据对解码对象图像进行解码时，使用针对所述多视点视频中的被摄物的深度图，按照作为对所述解码对象图像进行分割后的区域的解码对象区域的每一个，一边根据与所述解码对象图像的视点不同的参照视点进行预测一边进行解码，其中，所述视频解码方法具有: 区域分割步骤，将所述解码对象区域向多个子区域分割； 处理方向设定步骤，基于所述解码对象图像的所述视点与所述参照视点的位置关系，设定对所述子区域进行处理的顺序；以及 视差矢量设定步骤，按照所述顺序，按照每个所述子区域，使用所述深度图，一边判定与在该子区域之前处理的子区域的遮挡一边设定针对所述参照视点的视差矢量。19.一种视频编码程序，其中，用于使计算机执行根据权利要求15或16所述的视频编码方法。20.—种视频解码程序，其中，用于使计算机执行根据权利要求17或18所述的视频解码方法。
【文档编号】H04N19/119GK105830443SQ201480070566
【公开日】2016年8月3日
【申请日】2014年12月22日
【发明人】志水信哉, 杉本志织, 小岛明
【申请人】日本电信电话株式会社