视频编码/解码方法、装置、程序、记录介质的制作方法

视频编码/解码方法、装置、程序、记录介质的制作方法
【技术领域】
[0001]本发明涉及视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序、视频解码程序以及记录介质。
[0002]本申请基于在2012年7月9日提交的专利申请2012-153953号要求优先权，并将其内容引用于此。
【背景技术】
[0003]在一般性的视频编码中，利用被摄物的空间性/时间性的连续性来将视频的各帧分割为成为处理单位的块，对每块空间性/时间性地预测该视频信号，对示出该预测方法的预测信息和预测残差进行编码，由此，谋求与对视频信息自身进行编码的情况相比大幅度的编码效率的提高。
[0004]RRU (Reduced Resolut1n Update:降低分辨率更新)通过在预测残差的变换/量化之前使图像的至少一部分的预测残差的分辨率降低来谋求进一步的编码效率的提高(例如，参考非专利文献I )。在高分辨率基准下进行预测，此外在对低分辨率的预测残差解码时应用向上采样过程，因此，最终性的图像能以高分辨率再构成。
[0005]该过程的结果是客观性的品质降低，但由于编码对象比特的减少，所以在结果上比特率提高。此外，与对客观品质的影响相比较，对主观品质的影响不大。
[0006]该功能由ITU-T H.263标准支持，已知在序列内存在激烈的动态区域的情况下特别有效。这是因为，能通过利用RRU模式来将编码器的帧率维持得高，另一方面能良好地保证静态区域的分辨率和品质。
[0007]然而，动态区域的品质较大地受到预测残差的向上采样精度的影响。因此，具有解决历来技术的上述问题点的RRU视频编码和解码用的方法和装置是优选且有效的。
[0008]在此，对自由视点视频编码进行说明。自由视点视频是指通过使用许多摄像装置从各种位置/角度摄像对象场景来取得场景的光线信息，基于其而复原任意的视点中的光线信息，由此，生成从任意的视点看到的视频。
[0009]场景的光线信息通过各种数据形式来表现，而作为最一般性的形式，存在使用视频及其视频的各帧中的被称为深度图的纵深图像的方式(例如，参考非专利文献2)。
[0010]深度图是指对每个像素记述从摄像机到被摄物的距离(纵深/深度)，是被摄物具有的三次元信息的简易表现。在从两个摄像机观测相同的被摄物时，被摄物的深度值与摄像机之间的视差的倒数成比例，因此，有时也将深度图称为视差图(视差图像)。
[0011]深度图是关于图像的各像素具有一个值的表现，因此能看成灰阶图像来记述。此夕卜，可以说作为深度图时间性连续的记述的深度图视频(在以下，不区别图像/视频而称为深度图)与视频信号同样地由于被摄物的空间性/时间性的连续性而具有空间性/时间性相关。因而，能通过为了对通常的视频信号进行编码而使用的视频编码方式来一边移除空间性/时间性冗长性一边对深度图高效地编码。
[0012]一般，视频和深度图之间存在高的相关，因此，在如自由视点视频编码那样将视频和深度图合起来编码的情况下，能利用两者之间的相关来实现进一步的编码效率的提高。
[0013]在非专利文献3中，通过使被用于两者的编码的预测信息(块分割、运动矢量、参考帧)共同化来排除冗长性，实现高效的编码。
[0014]现有技术文献专利文献
非专利文献 1:Α.M.Tourapis, J.Boyce, “Reduced Resolut1n Update Mode forAdvanced Video Coding”， ITU-T Q6/SG16, document VCEG-VO5, Munich, March 2004.非专利文献 2:Y.Mori, N.Fukusima, T.Fuji, and M.Tanimoto, “View Generat1nwith 3D Warping Using Depth Informat1n for FTV，，， In Proceedings of3DTV-C0N2008, pp.229-232， May 2008.非专利文献 3:1.Daribo, C.Tillier, and B.P.Popescu, “Mot1n Vector Sharingand Bitrate Allocat1n for 3D Video-Plus-Depth Coding，，， EUPASIP Journal onAdvances in Signal Processing, vol.2009, Article ID 258920, 13 pages, 2009。

【发明内容】

[0015]发明要解决的课题
历来的RRU在不利用来自块外的任一数据的情况下处理各块的预测残差。低分辨率预测残差根据高分辨率预测残差利用基于样本的相对性位置的向下采样内插(二维双线性内插等)来计算。为了取得解码后的块，该低分辨率预测残差通过编码、再构成、向上采样内插而被复原为高分辨率预测残差，并被添加到预测图像。
[0016]图19、图20是示出关于历来的RRU的相对于高分辨率预测残差样本的低分辨率预测残差样本的空间配置和用于进行向上采样内插的计算例的图。
[0017]在这些图中，空白圆示出高分辨率预测残差样本的配置，带斜线的圆示出低分辨率预测残差样本的配置。此外，各圆内的文字a?e、A?D是像素值的例子，在图内示出了高分辨率预测残差样本的像素值a?e中的每个如何从周围的低分辨率预测残差样本的像素值A?D算出。
[0018]在包括两个以上的残差值互相较大地不同的样本的块中，通过伴随着该向上采样的内插而再构成的残差的精度下降，使解码图像的品质降低。此外，一般，对块边界部的向上采样仅利用块内的样本而不参考不同的块的样本。因此，由于内插精度，有时在块边界部发生块变形(在块边界附近特有的变形)。
[0019]为了提高向上采样精度，需要适当地选择用于向上采样的内插滤波器。对于该问题，例如，可想到在编码时生成最适合的滤波器，将该滤波器系数作为附加信息与视频信号一起编码这样的方法。然而，在这样的方法中，由于必须按每个样本对贡献于内插的系数进行编码，所以存在附加信息的码量增大而不能实现高效的编码这样的问题。
[0020]本发明鉴于这样的事情而完成，其目的在于提供能提高RRU中的预测残差的向上采样精度而提高最终得到的图像的品质的视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序、视频解码程序以及记录介质。
[0021]用于解决课题的方案
本发明提供一种视频编码方法，在将构成编码对象的视频的各帧分割为多个处理区域而对每个处理区域进行预测编码时，使用内插滤波器对预测残差的信号向下采样，由此进行编码，所述视频编码方法的特征在于，具有:滤波器确定步骤，在所述处理区域中，参考能在解码时参考的信息来适应性地生成或选择所述内插滤波器，由此，确定不编码滤波器系数的所述内插滤波器；以及向下采样步骤，使用所述确定的内插滤波器对所述预测残差的信号向下采样而作为低分辨率预测残差的信号。
[0022]作为典型例，所述滤波器确定步骤参考根据所述视频的信息而生成的辅助信息来生成或选择所述内插滤波器。
[0023]所述辅助信息可以是示出所述处理区域内部的边界的状态的信息。
[0024]所述辅助信息可以是示出所述处理区域的纹理(texture)特性的信息。
[0025]作为另外的典型例，所述滤波器确定步骤参考用于所述视频的编码的预测图像来生成或选择所述内插滤波器。
[0026]作为另外的典型例，所述滤波器确定步骤参考用于所述视频的编码的运动矢量来生成或选择所述内插滤波器。
[0027]作为优选例，所述滤波器确定步骤参考与所述视频具有相关的辅助信息来生成或选择所述内插滤波器。
[0028]所述辅助信息可以是所述视频是从多个视点对同一场景进行摄影的多视点视频之中的某一个视点视频的情况下的其他视点的视频的信息。
[0029]还可以具有:辅助信息编码步骤，对所述辅助信息进行编码而生成辅助信息码数据；以及复用步骤，输出将所述辅助信息码数据与视频码数据复用后的码数据。
[0030]所述辅助信息编码步骤可以将要选择的内插滤波器的识别号码编码为辅助信息。
[0031]所述辅助信息可以是与所述视频对应的深度图。
[0032]还可以具有:辅助信息生成步骤，根据所述深度图将示出所述处理区域内部的边界的状态的信息生成为辅助信息。
[0033]所述滤波器确定步骤除了所述深度图之外还可以参考与所述视频对应的其他视点的视频来生成或选择所述内插滤波器。
[0034]还可以具有:深度图编码步骤，对所述深度图进行编码来生成深度图码数据；以及复用步骤，输出将所述深度图码数据与视频码数据复用后的码数据。
[0035]所述编码对象的视频的信息是深度图，所述辅助信息可以是与所述深度图对应的相同视点的视频的信息。
[0036]在该情况下，还可以具有:辅助信息生成步骤，根据所述相同视点的视频的信息将示出所述处理区域内部的边界的状态的信息生成为辅助信息。
[0037]本发明还提供一种视频解码方法，在对编码对象的视频的码数据进行解码时，将构成所述视频的各帧分割为多个处理区域，对每个处理区域使用内插滤波器对预测残差的信号向上采样，由此进行预测解码，所述视频解码方法的特征在于，具有:滤波器确定步骤，在所述处理区域中，参考与在编码时参考的信息对应的信息来适应性地生成或选择所述内插滤波器，由此，不对滤波器系数进行解码而确定所述内插滤波器；以及向上采样步骤，使用所述确定的内插滤波器对所述预测残差的信号向上采样而作为高分辨率预测残差的信号。
[0038]作为典型例，所述滤波器确定步骤参考根据所述码数据而生成的辅助信息来生成或选择所述内插滤波器。
[0039]所述辅助信息可以是示出所述处理区域内部的边界的状态的信息。
[0040]所述辅助信息可以是示出所述处理区域的纹理特性的信息。
[0041]作为另外的典型例，所述滤波器确定步骤参考用于所述码数据的解码的预测图像来生成或选择所述内插滤波器。
[0042]作为另外的典型例，所述滤波器确定步骤参考用于所述码数据的解码的运动矢量来生成或选择所述内插滤波器。
[0043]作为优选例，所述滤波器确定步骤参考与所述视频具有相关的辅助信息来生成或选择所述内插滤波器。
[0044]作为另外的优选例，还具有:去复用步骤，对所述码数据去复用而分离为辅助信息码数据和视频码数据；以及辅助信息解码步骤，对所述辅助信息码数据进行解码而生成辅助信息，所述滤波器确定步骤参考所述解码后的所述辅助信息来生成或选择所述内插滤波器。
[0045]所述辅助信息可以是所述视频是从多个视点对同一场景进行摄影的多视点视频之中的某一个视点视频的情况下的其他视点视频。
[0046]所述辅助信息可以是要选择的所述内插滤波器的识别号码。
[0047]所述辅助信息可以是与所述视频的信息对应的深度图。
[0048]在该情况下，还可以具有:辅助信息生成步骤，根据所述深度图将示出所述处理区域内部的边界的状态的信息生成为辅助信息。
[0049]所述滤波器确定步骤除了所述