视频编码方法及装置、视频解码方法及装置以及它们的程序的制作方法
【技术领域】
[0001] 本发明涉及视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编 码程序以及视频解码程序。
[0002] 本申请基于在2012年9月25日申请的特愿2012 - 211156号要求优先权，并将其 内容引用于此。
【背景技术】
[0003] 在通常的视频编码中，利用被摄物的空间上/时间上的连续性将视频的各帧分割 为成为处理单位的块，按照每个块在空间上/时间上对其视频信号进行预测，对表示其预 测方法的预测信息和预测残差进行编码，由此，与对视频信号本身进行编码的情况相比，谋 求大幅度的编码效率的提高。
[0004] RRU(ReducedResolutionUpdate，降低分辨率刷新）是通过在预测残差的变换、 量化之前使图像的至少一部分预测残差的分辨率下降来谋求进一步的编码效率的提高的 技术(例如，参照非专利文献1)。由于在高分辨率基准下进行预测，此外在对低分辨率的预 测残差进行解码时应用上采样处理（upsamplingprocess)，所以，能够以高分辨率重新构 成最终的图像。
[0005] 该处理的结果是，虽然降低客观上的品质，但是，由于编码对象比特的减少，结果 比特率提高。此外，对主观品质的影响与对客观品质的影响相比不大。
[0006] 已知该功能被ITU-TH. 263标准支持，在序列内存在激烈的动态区域的情况下是 特别有效的。这是因为，通过利用RRU模式，从而能够将编码器的帧率维持得高，另一方面， 能够良好地保持静态区域等预测残差的方差小的区域的分辨率和品质。
[0007] 可是，关于动态区域等预测残差的方差大的区域的品质，存在在预测残差的上采 样精度上受到影响较大这样的问题。因此，具有能够消除这样的问题点的用于RRU视频编 码和解码的方法和装置是优选的且有效果的。
[0008] 在此，对自由视点视频编码进行说明。自由视点视频是指通过使用许多拍摄装置 从各种位置、角度对对象场景进行拍摄来取得场景的光线信息并以此为基础对任意视点中 的光线信息进行恢复、由此生成从任意视点查看的视频的视频。
[0009] 场景的光线信息由各种数据形式表现，但是，作为最通常的形式，存在使用视频和 该视频的各帧中的被称为深度图（depthmap)的进深图像的方式(例如，参照非专利文献 2)〇
[0010] 深度图是指按照每个像素来记述从摄像机到被摄物的距离(进深、深度）的图， 是被摄物所具有的三维信息的简单的表现。在从两个摄像机对同一被摄物进行观测 时，被摄物的深度值与摄像机间的视差的倒数成比例，因此，深度图有时也被称为视差图 (disparitymap)(视差图像）。
[0011] 与此相对地，有时也将深度图所对应的摄像机的视频称为纹理（texture)。由于深 度图是针对图像的各像素的每一个具有一个值的表现，所以，能够看作灰度（grayscale) 图像来进行记述。
[0012] 此外，作为深度图的时间上连续的记述的深度图视频(在以下无图像/视频的区 别地称为深度图）与视频信号同样地，由于被摄物的空间上/时间上的连续性，所以可以说 具有空间上、时间上的相关性。
[0013] 因此，通过为了对通常的视频信号进行编码而使用的视频编码方式，能够一边去 掉空间上/时间上的冗余性一边高效地对深度图进行编码。
[0014] 通常在纹理与深度图之间存在高的相关性，因此，在像自由视点视频编码那样将 纹理与深度图一起编码的情况下，能够利用两者之间的相关性来实现进一步的编码效率的 提尚。
[0015] 在非专利文献3中，通过将用于两者的编码的预测信息(块分割、运动矢量、参照 帧）共同化来消除冗余性，实现高效的编码。
[0016] 现有技术文献 非专利文献 非专利文献 1:A.M.Tourapis,J.Boyce,"ReducedResolutionUpdateModefor AdvancedVideoCoding"，ITU-TQ6/SG16，documentVCEG-V05，Munich, 2004 年 3 月； 非专利文献 2 :Y.Mori,N.Fukusima,T.Fuji,andM.Tanimoto,"View Generationwith3DWarpingUsingDepthInformationforFTV"，InProceedingsof 3DTV-C0N2008,pp. 229 - 232，2008 年 5 月； 非专利文献 3 :I.Daribo,C.Tillier,andB.P.Popescu,"MotionVector SharingandBitrateAllocationfor3DVideo-Plus-DepthCoding,"EURASIP JournalonAdvancesinSignalProcessing,vol. 2009,ArticleID258920, 13 pages, 2009。
【发明内容】
[0017]发明要解决的课题 以往的RRU在不利用来自块以外的任一个信息的情况下对各块的预测残差进行处理。 低分辨率预测残差是根据高分辨率预测残差利用基于采样的相对位置的下采样插值(二维 双线性插值等)来计算的。为了取得解码后的块，该低分辨率预测残差通过编码、重新构成、 上采样插值而被恢复为高分辨率预测残差并加至预测图像。
[0018] 图15A、15B是示出关于以往的RRU的相对于高分辨率预测残差采样的低分辨率预 测残差采样的空间配置和用于进行上采样插值的计算例子的图。
[0019] 在这些各图中，白色圆圈表示高分辨率预测残差采样的配置，带斜线的圆圈表示 低分辨率预测残差采样的配置。此外，各圆圈内的字符a~e、A~D是像素值的例子，在图内示 出高分辨率预测残差采样的像素值a~e的每一个是如何根据周围的低分辨率预测残差采 样的像素值A~D来计算的。
[0020] 在包含2个以上的残差值彼此较大不同的采样的块中，利用伴随该上采样的插值 被重新构成的残差的精度降低而使解码图像的品质下降。此外，通常在块边界部的上采样 中仅利用块内的采样，不会参照不同的块的采样。因此，有时由于插值精度而在块边界部产 生块失真(在块边界附近特有的失真)。
[0021] 为了避免这样的品质下降、失真，考虑了改进用于残差的上采样插值的插值滤波 器这样的方法，但是，存在通常难以完全恢复由于下采样插值而损失的残差信息这样的问 题。
[0022] 本发明是鉴于这样的情况而完成的，目的在于提供能够避免RRU中的由预测残差 上采样造成的解码图像的品质下降、块失真并以全分辨率且良好的品质对最终得到的解码 图像进行重新构成的视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编 码程序以及视频解码程序。
[0023] 用于解决课题的手段 本发明提供一种视频解码方法，在对视频的码数据进行解码时，将构成所述视频的各 帧分割成多个处理区域，按照每个所述处理区域进行预测解码，所述视频解码方法具有：临 时解码步骤，生成根据低分辨率预测残差临时对图像进行解码后的临时解码图像；以及解 码图像生成步骤，通过对所述临时解码图像的解码值进行更新来生成最终解码图像。
[0024] 在优选例子中，其特征在于，还具有：插值采样步骤，通过对具有所述低分辨率预 测残差(该残差被设定）的像素进行插值采样的插值处理生成插值预测残差，在所述临时解 码步骤中，基于所述插值预测残差来生成所述临时解码图像。
[0025] 在该情况下，在所述插值采样步骤中，也可以进一步参照与所述视频具有相关性 的辅助信息来进行所述插值处理。
[0026] 此外，在所述解码图像生成步骤中，也可以进一步参照与所述视频具有相关性的 辅助信息来生成所述最终解码图像。
[0027] 在另一优选例子中，其特征在于，还具有：残差对应像素决定步骤，决定与具有所 述低分辨率预测残差的各像素对应的所述临时解码图像的各像素的对应位置关系，在所述 临时解码步骤中，基于所述对应位置关系对所述临时解码图像的像素中的具有与所述低分 辨率预测残差对应的像素的像素进行解码，由此，生成所述临时解码图像，在所述解码图像 生成步骤中，参照与所述低分辨率预测残差的各像素对应的所述临时解码图像的各像素的 解码值来更新其它的像素的解码值，由此，生成所述最终解码图像。
[0028] 在该情况下，在所述残差对应像素决定步骤中，也可以预先确定所述对应位置关 系。
[0029] 此外，在所述残差对应像素决定步骤中，也可以适合地决定所述对应位置关系。 [0030]在该情况下，在所述残差对应像素决定步骤中，也可以参照与所述视频具有相关 性的辅助信息来适合地决定所述对应位置关系。
[0031] 此外，在所述解码图像生成步骤中，也可以进一步参照与所述视频具有相关性的 辅助信息来生成所述最终解码图像。
[0032] 此外，也可以还具有：插值采样步骤，通过对具有所述低分辨率预测残差的像素进 行插值采样的插值处理生成插值预测残差，在所述临时解码步骤中，基于所述对应位置关 系对所述临时解码图像的像素中的具有与所述低分辨率预测残差对应的像素的像素进行 解码，针对不具有对应的像素的像素基于所述插值预测残差进行解码，由此，生成所述临时 解码图像，在所述解码图像生成步骤中，参照与所述低分辨率预测残差的各像素对应的所 述临时解码图像的各像素的解码值来更新其它的像素的解码值，由此，生成所述最终解码 图像。
[0033] 在该情况下，在所述残差对应像素决定步骤中，也可以预先确定所述对应位置关 系。
[0034] 此外，在所述残差对应像素决定步骤中，也可以适合地决定所述对应位置关系。
[0035] 在该情况下，在所述残差对应像素决定步骤中，也可以参照与所述视频具有相关 性的辅助信息来适合地决定所述对应位置关系。
[0036] 此外，在所述解码图像生成步骤中，也可以进一步参照与所述视频具有相关性的 辅助信息来生成所述最终解码图像。
[0037] 作为典型例子，所述辅助信息是所述视频的预测图像。
[0038] 作为另一典型例子，所述辅助信息是在所述视频为由多个分量构成的信号的情况 下的一部分分量。
[0039] 作为又一典型例子，其特征在于，所述辅助信息是与所述视频具有相关性的辅助 视频。
[0040] 在该情况下，所述辅助视频也可以是将与所述视频相同的场景作为对象的另外的 视频。
[0041] 此外，所述辅助视频也可以是在所述视频为多视点视频中的一个视点视频的情况 下的其它的视点视频。
[0042] 此外，所述辅助视频也可以是与所述视频对应的深度图。
[0043] 此外，所述辅助视频也可以是在所述视频为深度图的情况下的对应的纹理。
[0044] 作为又一典型例子，所述辅助信息也可以是根据与所述视频具有相关性的辅助视 频基于所述视频的预测信息而生成的辅助视频预测图像，也可以还具有：辅助视频预测图 像生成步骤，根据所述辅助视频基于所述视频的预测信息来生成所述辅助视频预测图像。
[0045] 在该情况下，所述辅助信息也可以是根据所述辅助视频和所述辅助视频预测图像 生成的辅助视频预测残差，也可以还具有：辅助视频预测残差生成步骤，根据所述辅助视频 和所述辅助视频预测图像来生成所述辅助视频预测残差。
[0046] 作为又一典型例子，也可以还具有：解复用步骤，对所述码数据进行解复用而分离 成辅助信息码数据和视频码数据；以及辅助信息解码步骤，对所述辅助信息码数据进行解 码来生成所述辅助信息。
[0047] 本发明此外还提供一种视频编码方法，在将构成视频的各帧分割成多个处理区域 而按照每个所述处理区域进行预测编码时，对高分辨率预测残差进行下采样来生成低分辨 率预测残差，所述视频编码方法具有：二次采样步骤，通过仅对所述高分辨率预测残差中的 一部分像素进行采样的二次采样处理生成二次采样预测残差；以及残差下采样步骤，将所 述二次采样预测残差作为所述低分辨率预测残差。
[0048] 在优选例子中，其特征在于，在