视频编码装置和方法、视频解码装置和方法、以及其程序的制作方法
【技术领域】
[0001] 本发明涉及视频编码装置、视频解码装置、视频编码方法、视频解码方法、视频编 码程序以及视频解码程序，特别地涉及时间方向和视差方向的帧间预测编码和解码。
【背景技术】
[0002] 在通常的视频编码中，利用被摄物的空间上/时间上的连续性，将视频的各帧分 割为多个处理单元块，按照每个块对其视频信号在空间上/时间上进行预测，对示出其预 测方法的预测信息和预测残差信号进行编码，由此，与对视频信号本身进行编码的情况相 比，谋求大幅度的编码效率的提高。此外，在通常的二维视频编码中，进行参照相同的帧内 的已经编码完毕的块来对编码对象信号进行预测的帧内预测以及参照已经编码完毕的其 他的帧基于运动补偿等来对编码对象信号进行预测的帧间预测。
[0003] 在此，对多视点视频编码进行说明。多视点视频编码是指对使用多个摄像机拍摄 了相同的场景的多个视频利用该视频间的冗余性以高的效率进行编码。关于多视点视频编 码，熟悉非专利文献1。
[0004] 此外，在多视点视频编码中，除了在通常的视频编码中使用的预测方法之外，还 使用参照已经编码完毕的另外的视点的视频基于视差补偿对编码对象信号进行预测的视 点间预测以及通过帧间预测对编码对象信号进行预测并对其残差信号参照已经编码完 毕的另外的视点的视频的编码时的残差信号进行预测的视点间残差预测等方法。关于 视点间预测，在MVC等多视点视频编码中，统一为帧间预测而被处理为帧间预测（inter prediction)，能够在B图片中对2个以上的预测图像进行插值来做成预测图像。
[0005] 像这样，在多视点视频编码中，在能够进行帧间预测和视点间预测双方的图片中， 能够进行利用它们双方的预测。
[0006] 现有技术文献 非专利文献 非专利文南犬 1 :M.Flier1andB.Girod,"Multiviewvideocompression,'，Signal ProcessingMagazine，IEEE,no.November2007，pp. 66-76， 2007〇
【发明内容】
[0007] 发明要解决的课题 然而，在运动补偿预测和视差补偿预测中，误差的性质不同，由于（图像信号的）顺序的 性质，与仅进行帧间预测的情况相比，难以得到彼此抵消误差的效果。
[0008] 在这样的误差中，存在例如在运动补偿预测中由于被摄物的变形等造成的误差、 由于摇晃造成的误差、在视差补偿预测中由于摄像机的性质的不同造成的误差、由于遮挡 的发生造成的误差等。在这样的情况下，偏向选择精度更高的预测方法，使用双方的预测几 乎不被使用。
[0009] 因此，在例如能够进行前向预测和视点间预测的种类的B图片中，存在如下这样 的问题：无论构造上能够进行使用双方的预测，实际上只能使用单向预测，因此，存在针对 预测残差的减少不会得到充分的效果的情况。
[0010] 本发明是鉴于这样的情况而完成的，其目的在于提供能够减少预测残差来削减预 测残差编码所需要的码量的视频编码装置、视频解码装置、视频编码方法、视频解码方法、 视频编码程序和视频解码程序。
[0011] 用于解决课题的方案 本发明提供一种视频编码装置，进行时间方向和视差方向的帧间预测，生成对误差进 行校正后的预测图像来对编码对象视频进行预测编码，所述视频编码装置的特征在于，具 备： 预测单元，在所述时间方向和所述视差方向的每一个上将已经解码完毕的图像作为参 照图片来对编码对象图像进行预测，决定示出各个参照目的地的帧间参照信息和视点间参 照信息； 一次预测图像生成单元，根据所述视点间参照信息来生成视差预测图像，根据所述帧 间参照信息来生成运动预测图像；校正预测图像生成单元，根据所述视点间参照信息和所 述帧间参照信息来生成校正预测图像；以及预测图像生成单元，根据所述视差预测图像、所 述运动预测图像和所述校正预测图像来生成所述预测图像。
[0012] 作为典型例，所述预测图像生成单元将所述运动预测图像和所述视差预测图像相 加并从其减去所述校正预测图像来生成所述预测图像。
[0013] 作为优选例，所述视点间参照信息和所述帧间参照信息包含对所述参照图片进行 特别指定的信息，所述校正预测图像生成单元将与所述视点间参照信息示出的所述参照图 片相同的视点的参照图片之中的与所述帧间参照信息示出的所述参照图片相同的帧的参 照图片作为校正参照图片进行参照来生成所述校正预测图像。
[0014] 在该情况下，所述视点间参照信息和所述帧间参照信息还包含对位于所述参照图 片上的参照位置进行特别指定的信息，所述校正预测图像生成单元基于所述帧间参照信息 和所述视点间参照信息来决定所述校正参照图片上的参照位置，生成所述校正预测图像也 可。
[0015] 作为另一优选例，还具有：预测信息编码单元，所述预测信息编码单元编码对所述 视点间参照信息和所述帧间参照信息进行特别指定的信息来作为预测信息。
[0016]所述预测单元基于所述视点间参照信息和所述帧间参照信息之中的任一个示出 的参照目的地的编码时的预测信息来生成另一个参照信息也可。
[0017] 本发明还提供一种视频解码装置，进行时间方向和视差方向的帧间预测，生成对 误差进行校正后的预测图像来对预测编码后的码数据进行解码，所述视频解码装置的特征 在于，具备：预测单元，在所述时间方向和所述视差方向的每一个上将已经解码完毕的图像 作为参照图片来对解码对象图像进行预测，决定示出各个参照目的地的帧间参照信息和视 点间参照信息；一次预测图像生成单元，根据所述视点间参照信息来生成视差预测图像，根 据所述帧间参照信息来生成运动预测图像；校正预测图像生成单元，根据所述视点间参照 信息和所述帧间参照信息来生成校正预测图像；以及预测图像生成单元，根据视差预测图 像、运动预测图像和校正预测图像来生成预测图像。
[0018] 作为典型例，在所述预测图像生成单元中，将所述运动预测图像和所述视差预测 图像相加并从其减去所述校正预测图像来生成所述预测图像。
[0019] 作为优选例，所述视点间参照信息和所述帧间参照信息包含对所述参照图片进行 特别指定的信息，在所述校正预测图像生成单元中，将与所述视点间参照信息示出的所述 参照图片相同的视点的参照图片之中的与所述帧间参照信息示出的所述参照图片相同的 帧的参照图片作为校正参照图片进行参照来生成所述校正预测图像。
[0020] 在该情况下，所述视点间参照信息和所述帧间参照信息还包含对位于所述参照图 片上的参照位置进行特别指定的信息，在所述校正预测图像生成单元中，基于所述帧间参 照信息和所述视点间参照信息来决定所述校正图片上的参照位置，生成所述校正预测图像 也可。
[0021] 作为另一优选例，还具有：预测信息解码单元，所述预测信息解码单元根据所述码 数据解码预测信息来生成对所述帧间参照信息和所述视点间参照信息进行特别指定的预 测信息，所述预测单元基于所生成的所述预测信息来决定所述帧间参照信息和所述视点间 参照信息。
[0022] 所述预测单元根据所述码数据对所述视点间参照信息和所述帧间参照信息之中 的任一个进行解码，基于解码后的参照信息示出的参照目的地的解码化时的预测信息来生 成另一个参照信息也可。
[0023] 本发明此外还提供一种视频编码方法，所述视频编码方法是视频编码装置进行的 视频编码方法，所述视频编码装置进行时间方向和视差方向的帧间预测而生成对误差进行 校正后的预测图像来对编码对象视频进行预测编码，所述视频编码方法的特征在于，具有： 在所述时间方向和所述视差方向的每一个上将已经解码完毕的图像作为参照图片来对编 码对象图像进行预测而决定示出各个参照目的地的帧间参照信息和视点间参照信息的预 测步骤；根据所述视点间参照信息来生成视差预测图像并且根据所述帧间参照信息来生成 运动预测图像的预测图像生成步骤；根据所述视点间参照信息和所述帧间参照信息来生成 校正预测图像