深度图之外还可以参考与所述视频对应的其他视点的视频来生成或选择所述内插滤波器。
[0050]还可以具有:去复用步骤，对所述码数据去复用而分离为深度图码数据和视频码数据；以及深度图解码步骤，对所述深度图码数据解码而生成深度图。
[0051]所述编码对象的视频的信息是深度图，所述辅助信息可以是与所述深度图对应的相同视点的视频的信息。
[0052]在该情况下，还可以具有:辅助信息生成步骤，根据所述相同视点的视频的信息将示出所述处理区域内部的边界的状态的信息生成为辅助信息。
[0053]本发明还提供一种视频编码装置，在将构成编码对象的视频的各帧分割为多个处理区域而对每个处理区域进行预测编码时，使用内插滤波器对预测残差的信号向下采样，由此进行编码，所述视频编码装置的特征在于，具备:滤波器确定单元，在所述处理区域中，参考能在解码时参考的信息来适应性地生成或选择所述内插滤波器，由此，确定所述内插滤波器；以及向下采样单元，使用所述确定的内插滤波器对所述预测残差的信号向下采样而作为低分辨率预测残差的信号。
[0054]本发明还提供一种视频解码装置，在对编码对象的视频的码数据进行解码时，将构成所述视频的各帧分割为多个处理区域，对每个处理区域使用内插滤波器对预测残差的信号向上采样，由此进行预测解码，所述视频解码装置的特征在于，具备:滤波器确定单元，在所述处理区域中，参考与在编码时参考的信息对应的信息来适应性地生成或选择所述内插滤波器，由此，不对滤波器系数进行解码而确定所述内插滤波器；以及向上采样单元，使用所述确定的内插滤波器对所述预测残差的信号向上采样而作为高分辨率预测残差的信号。
[0055]本发明还提供一种用于使所述视频编码方法在计算机实行的视频编码程序。
[0056]本发明还提供一种用于使所述视频解码方法在计算机实行的视频解码程序。
[0057]本发明还提供一种记录了所述视频编码程序的计算机可读记录介质。
[0058]本发明还提供一种记录了所述视频解码程序的计算机可读记录介质。
[0059]发明效果
根据本发明，利用与视频信号一起编码的附加信息、或能在解码侧根据视频而预测的信息来在解码时对预测残差的各处理块适应性地生成或选择内插滤波器，由此，能提高RRU中的预测残差向上采样精度，并提高最终图像的品质。
[0060]由此，能利用RRU模式来提高编码效率，并且能得到能充分保证视频的品质这样的效果。
【附图说明】
[0061]图1是示出本发明的第一实施方式的视频编码装置100的结构的框图。
[0062]图2是示出图1所示的视频编码装置100的动作的流程图。
[0063]图3是示出边界将块斜切的情况下的内插滤波器的例子的图。
[0064]图4是示出边界的状态的模式的图。
[0065]图5A是示出编码对象块及其周边块的运动矢量和能从其估计的边界状态的例子的图。
[0066]图5B是示出编码对象块及其周边块的运动矢量和能从其估计的边界状态的其他例子的图。
[0067]图6是示出根据该第一实施方式的视频解码装置200的结构的框图。
[0068]图7是示出图6所示的视频解码装置200的动作的流程图。
[0069]图8是示出根据本发明的第二实施方式的视频编码装置10a的结构的框图。
[0070]图9是示出图8所示的视频编码装置10a的动作的流程图。
[0071]图10是示出根据该第二实施方式的视频解码装置200a的结构的框图。
[0072]图11是示出图10所示的视频解码装置200a的动作的流程图。
[0073]图12是示出根据本发明的第三实施方式的视频编码装置10b的结构的框图。
[0074]图13是示出图12所示的视频编码装置10b的动作的流程图。
[0075]图14是示出根据该第三实施方式的视频解码装置200b的结构的框图。
[0076]图15是示出图14所示的视频解码装置200b的动作的流程图。
[0077]图16是示出根据变换/量化后的深度图的DCT系数求取的边界信息的例子的图。
[0078]图17是示出由计算机和软件程序构成视频编码装置的情况下的硬件结构的图。
[0079]图18是示出由计算机和软件程序构成视频解码装置的情况下的硬件结构的图。
[0080]图19是示出关于历来的RRU的相对于高分辨率预测残差样本的低分辨率预测残差样本的空间配置和用于进行向上采样内插的计算例的图。
[0081]图20是示出关于历来的RRU的相对于高分辨率预测残差样本的低分辨率预测残差样本的空间配置和用于进行向上采样内插的其他计算例的图。
【具体实施方式】
[0082]以下，参考附图来说明本发明的第一实施方式。
[0083]<第一实施方式>
开始，对根据本发明的第一实施方式的视频编码装置进行说明。
[0084]图1是示出根据该第一实施方式的视频编码装置的结构的框图。
[0085]如图1所示，视频编码装置100具备编码对象视频输入部101、输入帧存储器102、辅助信息生成部103、辅助信息存储器104、滤波器生成部105、预测部106、减法部107、向下采样部108、变换/量化部109、反量化/反变换部110、向上采样部111、加法部112、环路滤波器部113、参考帧存储器114、以及熵编码部115。
[0086]编码对象视频输入部101向视频编码装置100输入成为编码对象的视频。在以下，将该成为编码对象的视频称为编码对象视频，特别地，将进行处理的帧称为编码对象帧或编码对象图像。
[0087]输入帧存储器102存储所输入的编码对象视频。
[0088]辅助信息生成部103根据存储在输入帧存储器102中的编码对象视频或编码对象帧来生成为了生成内插滤波器而需要的辅助信息。在以下，将该滤波器生成所需的辅助信息简称为辅助信息。
[0089]辅助信息存储器104存储所生成的辅助信息。
[0090]滤波器生成部105参考存储在辅助信息存储器104中的辅助信息来生成在预测残差的向下采样和向上采样中使用的内插滤波器。在以下，将在该向下采样和向上采样中使用的内插滤波器简称为内插滤波器。
[0091]再有，参考辅助信息的内插滤波器的生成既可以为向下采样和向上采样用做成共同的一个滤波器，也可以做成各自的滤波器。此外，也可以仅对向下采样和向上采样中的任一者生成内插滤波器，而关于未生成的一侧提供规定的滤波器等。
[0092]预测部106对存储在输入帧存储器102中的编码对象图像进行预测处理，生成预测图像。
[0093]减法部107取得存储在输入帧存储器102中的编码对象图像与预测部106生成的预测图像的差分值，生成高分辨率预测残差。
[0094]向下采样部108使用内插滤波器对生成的高分辨率预测残差向下采样，生成低分辨率预测残差。
[0095]变换/量化部109对生成的低分辨率预测残差进行变换/量化，生成量化数据。
[0096]反量化/反变换部110对生成的量化数据进行反量化/反变换，生成解码低分辨率预测残差。
[0097]向上采样部111使用内插滤波器对生成的解码低分辨率预测残差向上采样，生成解码高分辨率预测残差。
[0098]加法部112将生成的解码高分辨率预测残差和预测图像加起来，生成解码帧。
[0099]环路滤波器部113将生成的解码帧乘以环路滤波器，生成参考帧。
[0100]参考帧存储器114存储生成的参考帧。
[0101]熵编码部115对量化数据进行熵编码，输出码数据(或编码数据)。
[0102]接下来，参考图2来说明图1所示的视频编码装置100的动作。图2是示出图1所示的视频编码装置100的动作的流程图。
[0103]在此，关于对编码对象视频中的某一帧编码的处理进行说明。能通过按每帧重复该处理来实现视频的编码。
[0104]首先，编码对象视频输入部101将编码对象帧输入到视频编码装置100，存储在输入帧存储器102中(步骤S101)。再有，编码对象视频中的若干个帧已经被编码，该解码帧被存储在参考帧存储器114中。
[0105]接下来，辅助信息生成部103根据编码对象帧来生成辅助信息。
[0106]该辅助信息和由其生成的内插滤波器无论是什么样都可以。此外，在辅助信息的生成中，除了编码对象帧之外，既可以参考已经编码/解码完的参考帧，也可以使用用于运动补偿预测的运动矢量等信息。
[0107]此外，也可以使用在向上采样用和向下采样用中不同的辅助信息来生成不同的内插滤波器以使用。在该情况下，向下采样滤波器用的辅助信息可以参考能在编码装置中参考的无论什么样的信息来估计。例如，可以使用编码对象视频自身、编码对象高分辨率预测残差、其他未编码的?目息。
[0108]关于用于向上采样的内插滤波器，为了在编码装置和解码装置中生成/选择相同的内插滤波器，需要参考能在解码装置中参考的信息来估计。例如是，预测图像、低分辨率预测残差、已经解码完的参考图片或预测信息、其他复用的码数据等。
[0109]或者，只要能在编码装置和解码装置中参考相同的信息，则也可以参考未编码的其他?目息。例如，在能在编码侧和解码侧参考未编码的其他视频的情况下，也可以参考未编码的其他视频。
[0110]在此，对解决作为历来的RRU所存在的问题之一的、与图像内的动态区域同伴或者静态区域的边界(在以下简称为边界)的品质劣化的内插滤波器和其生成用的辅助信息进行说明。
[0111]一般，在相当于边界的块中，由于运动补偿预测而造成的预测误差较大，该块的预测残差取不均的值，因此，由于预测残差的向下采样和向上采样，容易产生在解码图像中被摄物边界部失真这样的劣化。为了防止这样的劣化，根据边界的状态来决定内插滤波器的系数是有效的。
[0112]图3是以虚线示出的边界将块斜切的情况下的内插滤波器的例子。
[0113]在该图中，空白圆示出了高分辨率预测残差样本的配置，带斜线的圆示出了低分辨率预测残差样本的配置。此外，各圆内的文字a?1、Α?H是像素值的例子，在图内示出了高分辨率预测残差样本的像素值a?I中的每个如何从周围的低分辨率预测残差样本的像素值A?H算出。
[0114]在该例中，在比边界上部的区域中，不使用下部区域的样本而仅使用上部区域的样本来进行内插。关于下部区域中的内插也是同样的。此外，在位于边界上的区域中，仅使用边界上的样本来进行内插。
[0115]作为用于生成这样的内插滤波器的辅助信息，使用示出边界的状态的任一信息。边界的状态既可以以像素单位严密地示出，也可以如图4 (示出边界的状态的模式例的图)那样预先决定大量的模式而使用最近的模式。
[0116]此外，估计边界的方法不论是什么样的都可以，例如，可以将通过对编码对象帧施行轮廓抽取处理而得到的轮廓估计为边界。该情况下的辅助信息既可以是轮廓图像自身，也可以是示出构成轮廓的像素的坐标。
[0117]在解码时，不能根据低分辨率预测残差自身来求取高分辨率的轮廓图像，