活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像 ...的制作方法
【技术领域】
[0001]本发明涉及对多视点活动图像进行编码和解码的活动图像编码方法、活动图像解 码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程 序。
[0002] 本申请基于在2013年10月17日向日本申请的特愿2013-216526号要求优先权，并 将其内容引用于此。
【背景技术】
[0003] 以往，已知由使用多个摄像机拍摄了相同的被摄物和背景的多个图像构成的多视 点图像(Multiview images:多视点图像）。将该使用多个摄像机拍摄的活动图像称为多视 点活动图像(或多视点视频）。在以下的说明中，将使用1个摄像机拍摄的图像(活动图像)称 为"二维图像(二维活动图像)"，将使用位置、方向（以下称为视点）不同的多个摄像机拍摄 了相同的被摄物和背景的二维图像（二维活动图像）组称为"多视点图像（多视点活动图 像)"。
[0004] 二维活动图像关于时间方向具有强的相关性，通过利用该相关性，从而能够提高 编码效率。另一方面，在多视点图像或多视点活动图像中，在各摄像机被同步的情况下，各 摄像机的视频的相同的时刻所对应的帧（图像)是从不同的位置拍摄了完全相同的状态的 被摄物和背景的帧（图像），因此，在摄像机间（相同的时刻的不同的二维图像间）具有强的 相关性。在多视点图像或多视点活动图像的编码中，通过利用该相关性，从而能够提高编码 效率。
[0005] 在此，对与二维活动图像的编码技术相关的现有技术进行说明。在以作为国际编 码标准的!1.264、10^6-2、10^6-4为首的以往的许多二维活动图像编码方式中，利用运动补 偿预测、正交变换、量化、熵编码这样的技术来进行高效率的编码。例如，在H. 264中，能够实 现利用了与编码对象帧过去或未来的多个帧的时间相关性的编码。
[0006] 关于在H. 264中使用的运动补偿预测技术的细节，例如被记载在非专利文献1中。 对在H. 264中使用的运动补偿预测技术的概要进行说明。H. 264的运动补偿预测将编码对象 帧分割为各种尺寸的块，在各块中允许具有不同的运动矢量和不同的参照帧。通过在各块 中使用不同的运动矢量，从而实现对按照每个被摄物而不同的运动进行补偿后的精度高的 预测。另一方面，通过在各块中使用不同的参照帧，从而实现考虑了由于时间变化而产生的 遮挡(occlusion)的精度高的预测。
[0007] 接着，对以往的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的 编码方法与多视点活动图像的编码方法的不同在于，在多视点活动图像中除了摄像机间的 相关性之外还同时存在时间方向的相关性。可是，在哪一种情况下均能使用相同的方法来 利用摄像机间的相关性。因此，在此，对在多视点活动图像的编码中使用的方法进行说明。
[0008] 关于多视点活动图像的编码，为了利用摄像机间的相关性，以往存在利用将运动 补偿预测应用于相同时刻的被不同摄像机拍摄的图像的"视差补偿预测"来对多视点活动 图像高效率地进行编码的方式。在此，视差是指在配置于不同的位置的摄像机的图像平面 上被摄物上的相同部分所存在的位置的差。图8是示出在摄像机(第一摄像机和第二摄像 机）间产生的视差的概念图。在图8所示的概念图中，垂直地俯视光轴平行的摄像机的图像 平面。像这样，在不同的摄像机的图像平面上投影被摄物上的相同的部分的位置通常被称 为对应点。
[0009] 在视差补偿预测中，基于其对应关系，根据参照帧来预测编码对象帧的各像素值， 对其预测残差和表示对应关系的视差信息进行编码。视差按照作为对象的摄像机对、位置 的每一个发生变化，因此，需要按照进行视差补偿预测的每个区域对视差信息进行编码。实 际上，在H.264的多视点活动图像编码方式中，按照使用视差补偿预测的每个块对表示视差 ?目息的矢量进行编码。
[0010] 关于根据视差信息提供的对应关系，通过使用摄像机参数，从而能够基于对极几 何约束用表示被摄物的三维位置的一维量而不是二维矢量来进行表示。作为表示被摄物的 三维位置的信息，存在各种表现，但是，使用从成为基准的摄像机到被摄物的距离或者与摄 像机的图像平面不平行的轴上的坐标值的情况较多。再有，也存在不使用距离而使用距离 的倒数的情况。此外，由于距离的倒数为与视差成比例的信息，所以，也存在设定2个成为基 准的摄像机并将三维位置表现为在被这些摄像机拍摄的图像间的视差量的情况。无论使用 了怎样的表现，都没有本质的不同，因此，在以下，不进行根据表现的区别，将表示这些三维 位置的信息表现为深度。
[0011] 图9是对极几何约束的概念图。根据对极几何约束，与某个摄像机的图像上的点对 应的另外的摄像机的图像上的点被约束在极线这样的直线上。此时，在得到了针对其像素 的深度的情况下，对应点被唯一地确定在极线上。例如，如图9所示那样，针对在第一摄像机 图像中被投影到m的位置的被摄物的在第二摄像机图像中的对应点在实空间中的被摄物的 位置为M'的情况下被投影到极线上的位置m'，在实空间中的被摄物的位置为M' '的情况下 被投影到极线上的位置m' '。
[0012]在非专利文献2中，利用该性质，按照由针对参照帧的深度图（距离图像)提供的各 被摄物的三维信息，根据参照帧生成针对编码对象帧的合成图像，将所生成的合成图像作 为每个区域的预测图像的候补，由此，实现精度高的预测，实现高效的多视点活动图像的编 码。再有，基于该深度生成的合成图像被称为视点合成图像、视点内插图像或视差补偿图 像。
[0013]现有技术文献 非专利文献 非专利文献 I: ITU-T Recommendation Η· 264 (03/2009)，"Advanced video coding for generic audiovisual services"，2009年3月； 非专利文南犬2: S. Shimizu, Η. Kimata, and Y. Ohtani , "Adaptive appearance compensated view synthesis prediction for Multiview Video Coding"，2009 16th IEEE International Conference on Image Processing (ICIP)， pp. 2949-2952， 7-10 2009年 11 月。
【发明内容】
[0014]发明要解决的课题 根据非专利文献2所记载的方法，能够通过使用根据深度图得到的被摄物的三维信息 来进行高精度的视差补偿的视点合成图像来实现高效率的预测。此外，通过按照每个区域 选择现有的预测和利用视点合成图像的预测，从而即使在受到深度图的品质、遮挡的影响 而部分地生成精度低的视点合成图像的情况下，也能够通过按照每个区域选择是否将视点 合成图像作为预测图像来防止码量增加。
[0015]可是，在非专利文献2所记载的方法中，在由深度图表现的三维信息的精度低的情 况下，与使用了通常的视差矢量的视差补偿预测相比，只能以低的精度补偿视差，因此，存 在不能实现高效率的预测的这样的问题。
[0016] 本发明是鉴于这样的情况而完成的，其目的在于提供即使在由深度图表现的视差 量的精度低的情况下也能够实现精度高的预测来实现高效率的编码的活动图像编码方法、 活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动 图像解码程序。
[0017] 用于解决课题的方案 本发明的一个方式是，一种活动图像编码装置，在对由多个不同的视点的活动图像构 成的多视点活动图像的1帧进行编码时，使用针对与编码对象图像不同的参照视点的参照 视点图像的运动信息即参照视点运动信息和针对所述多视点活动图像中的被摄物的深度 图，一边在不同的视点间进行预测一边按照作为对所述编码对象图像进行分割后的区域的 编码对象区域的每一个进行编码，其中，所述活动图像编码装置具备:对应区域设定部，针 对所述编码对象区域设定所述深度图上的对应区域；区域分割部，设定作为对所述编码对 象区域进行分割后的区域的预测区域;视差矢量生成部，按照每个所述预测区域，使用所述 对应区域内的该预测区域所对应的区域中的深度信息来生成针对所述参照视点的视差矢 量;运动信息生成部，基于针对所述参照视点的所述视差矢量，根据所述参照视点运动信息 来生成所述预测区域中的运动信息；以及预测图像生成部，使用所述预测区域中的所述运 动信息来生成针对所述预测区域的预测图像。
[0018] 在本发明的活动图像编码装置中，所述视差矢量生成部还针对所述编码对象区域 生成针对所述深度图的视差矢量，所述对应区域设定部将由针对所述深度图的所述视差矢 量示出的区域设定为所述对应区域也可。
[0019] 在本发明的活动图像编码装置中，所述视差矢量生成部使用在对与所述编码对象 区域邻接的区域进行编码时使用的视差矢量来设定针对所述深度图的所述视差矢量也可。
[0020] 在本发明的活动图像编码装置中，所述区域分割部基于所述对应区域内的深度信 息来设定针对所述编码对象区域的区域分割也可。
[0021] 在本发明的活动图像编码装置中，所述视差矢量生成部按照每个所述预测区域根 据所述对应区域内的该预测区域所对应的所述区域中的所述深度信息设定代表深度，基于 该代表深度来设定针对所述参照视点的所述视差矢量也可。
[0022] 在本发明的活动图像编码装置中，所述运动信息生成部使用针对所述预测区域预 先确定的像素的位置和针对所述参照视点的所述视差矢量来求取在所述参照视点的对应 位置，将所述参照视点运动信息之中的针对包含该对应位置的区域提供的运动信息作为所 述预测区域中的所述运动信息也可。
[0023] 在本发明的活动图像编码装置中，还具备参照图像设定部，所述参照图像设定部 针对所述编码对象图像将在编码对象视点的与所述编码对象图像不同的已经编码完毕的1 帧设定为参照图像，所述运动信息生成部配合所述编码对象图像与所述参照图像的时间间 隔缩放根据所述参照视点运动信息得到的运动信息，由此，生成所述预测区域中的所述运 动信息也可。
[0024] 在本发明的活动图像编码装置中，所述预测图像生成部使用第一预测图像和第二 预测图像来生成针对所述预测区域的所述预测图像，所述第一预测图像使用所述预测区域 中的所述运动信息来生成，所述第二预测图像使用针对所述参照视点的所述视差矢量和所 述参照视点图像来生成也可。
[0025] 本发明的一个方式是，一种活动图像解码装置，在根据由多个不同的视点的活动 图像构成的多视点活动图像的码数据对解码对象图像进行解码时，使用针对与所述解码对 象图像不同的参照视点的参照视点图像的运动信息即参照视点运动信息和针对所述多视 点活动图像中的被摄物的深度图，一边在不同的视点间进行预测一边按照作为对所述解码 对象图像进行分割后的区域的解码对象区域的每一个进行解码，其中，所述活动图像解码 装置具备:对应区域设定部，针对所述解码对象区域设定所述深度图上的对应区域;区域分 割部，设定作为对所述解码对象区域进行分割后的区域的预测区域;视差矢量生成部，按照 每个所述预测区域，使用所述对应区域内的该预测区域所对应的区域中的深度信息来生成 针对所述参照视点的视差矢量;运动信息生成部，基于针对所述参照视点的所述视差矢量， 根据所述参照视点运动信息来生成所述预测区域中的运动信息；以及预测图像生成部，使 用所