专利名称：用于多层视频传输的自适应内插滤波器的制作方法
技术领域：
本公开涉及图像处理和视频压缩。更具体地，本公开的实施例涉及多层视频传输。 多层视频传输的示例性实施例包括但不限于2D可伸缩编码(scalable coding)、2D兼容的 3D以及帧兼容的3D。
背景技术：
为了在消费者中促进对立体(3D)内容的迅速采用，理想的家用3D系统应该是可以以对诸如机顶盒、DVD和蓝光碟播放器的现有播放设备进行最小改动或者不进行改动而实现的家用3D系统。理想的家用3D系统也应该最大限度地与现有的具有3D功能的显示器相兼容，诸如三星(Samsung)和三菱(Mitsubishi)的DLP (参见参考文献1，其全部内容通过引用合并于此)显示器、一些等离子显示器、以及基于偏振的和帧顺序的(frame sequential) LCD 显不器。对于全分辨率3D内容的期望已经产生了一些系统，例如MPEG-4AVC/H. 264视频编码标准(参见参考文献3，其全部内容通过引用合并于此)的多视图视频编码(Multiview Video Coding, MVC)扩展，以利用两个或者更多个层，其中，基础层代表一个视图而每个增强层代表附加的视图，所有这些层均处于原始分辨率。H. 264/AVC 的可伸缩视频编码(Scalable Video Coding, SVC)扩展([2]中的附录G)定义了用于2D视频编码的多层视频编码系统。SVC扩展提供了各种类型的可伸缩性 空间可伸缩性、质量可伸缩性、时间可伸缩性或者以上各项的任意组合。例如，在空间可伸缩性中，基础层比特流携带较低空间分辨率的视频信号，而增强层比特流携带附加的信息， 使得当一起解码增强层比特流与基础层比特流时，可获得较高空间分辨率的视频信号。再例如，在质量可伸缩性中，增强层比特流携带附加信息，该附加信息可改进基础层比特流所携带的视频信号的质量。本公开中的教导可进一步改进诸如SVC系统的2D可伸缩视频系统的编码性能，这一点在随后的描述中将变得明显。
并入本说明书中并构成本说明书一部分的附图示出了本公开的一个或多个实施例，并与示例实施例的描述一起用于说明本公开的原理和实现。图1示出了用于立体内容的传输的水平采样/并排排列。图2示出了帧兼容3D系统架构。
10
图3示出了编码侧的帧兼容3D系统架构的图。图4示出了解码侧的帧兼容3D系统架构的图。图5示出了在给定用于水平采样+并排压缩排列的基础层的情况下对增强层的预测处理。图6示出ID自适应滤波器的示例。图7示出根据本公开实施例的改进的参考处理单元。图8示出编码器处的选择性参考处理。图9示出基础层视频的滤波。图10示出多层帧兼容3D视频系统。
具体实施例方式概述本公开的实施例涉及图像处理和视频压缩。全部内容通过引用合并于此的美国临时申请第61/170，995号公开了一种使得能够对图像或视频信号进行经指导的处理(guided processing)的系统，这种经指导的处理可用在视频压缩或后处理(post processing)应用中。例如，处理可为利用特定的滤波器或者机制对图像进行滤波或或内插(分级)，该特定的滤波器或者机制可以导致某些期望的性能或行为。全部内容通过引用合并于此的美国临时申请第61/223,027号公开了一种 FCFR(frame-compatible full-resolution,帧兼容全分辨率)3D系统。帧兼容配置的各种方法允许使用各种滤波、采样以及排列方法。例如，采样可为水平的、垂直的或五点式的(quincunx)。类似地，排列(arrangement)可包括并排的(side-by-side)、上下的 (over—under)、Pfttf 白勺(line—interleaved)、棋盘式封装白勺(checkerboard packing)、等等。图1中示出了示例性的帧配置(水平采样/并排排列)。在图1中，左视图的帧和右视图的帧被水平子采样，并被并排封装为一个视频帧。除了其它可能性之外，帧采样/排列的附加示例还包括以下的可能性。此外，也可以对视图进行不对称的子采样。-五点式采样/棋盘式交织排列-水平采样/列交织排列-垂直采样/行交织排列-垂直采样/上下排列-五点式采样/并排排列采样减小了帧分辨率，因此会使高质量3D内容的用户体验劣化。可以在子采样期间施加滤波，以缓和某些潜在问题(例如图形失真，aliasing)并改进视频质量。然而，在很多应用中，全分辨率立体内容的传输与3D系统的迅速采用及运用是相关的。根据美国临时申请第61/223，027号中描述的帧兼容3D系统的某些方面(参见图 2-5)，基础层对应于之前已经使用上述各种采样方法及排列中的任意一个而被子采样并被复用的两个视图。为了实现全分辨率视频传输，将增强层用于传送与两个视图的较高分辨率有关的丢失的视频信息(例如一些高频信息)。由基础层和增强层代表的视频信号高度相关。因此，为了促进增强层的有效压缩，当对增强层视频进行编码时，可以将基础层重构的视频用作预测。此外，如图2至图4所示， 可以引入预处理级，以在将基础层信息用作增强层的潜在预测前处理该基础层信息。这种预处理可以包括全局运动补偿校正、固定或自适应内插机制等等，其中固定或自适应内插机制导致系统所使用的采样及排列方法的特性。例如，处理可包括可分离(s印arable)或不可分离的(non-sparable)内插滤波器，边缘自适应内插机制，基于小波(wavelet)、细带(bandlet)或脊波(ridgetlet)方法的滤波器，等等。预处理方法的设计和选择可以是编码器决策的一部分，或者，可基于具有诸如成本、复杂度和编码/质量性能的各种考虑的用户输入。为了清楚并易于阅读起见，在图2中示出了根据上述美国临时申请第61/223，027 号的3D系统架构的高级别框图。在编码侧，在基础层编码器O20)与增强层编码器(230) 之间示出了参考处理单元(reference processing unit,RPU)例如3D RPU)，而在解码侧，在基础层解码器(250)与增强层解码器(260)之间示出了 RPU(MO)(例如3D RPU)。 也参见其全部内容通过引用合并于此的美国临时申请第61/170，995号。参考处理单元 (210)获得参考画面和要被编码的当前画面，并执行参考画面的定向处理，以使得参考画面尽可能地与当前画面类似。以此方式，利用了这两个画面之间可能存在的相关性。如图2所示，3D RPU(210)产生稍后进一步描述的元数据信息，并且，通常，这个预处理级的作用是处理和调节基础层视频的特性，以便与增强层视频的特性更匹配。例如，这可通过考虑诸如滤波(例如，锐化滤波器或低通滤波器)的预处理机制、或者诸如全局/区域运动补偿/纹理映射的甚至其它更复杂的方法来完成。本领域技术人员将理解，遍及本公开中描述的方法也可应用于包括多于一个增强层的3D视频系统和2D可伸缩视频系统。 图10示出了这种系统的示例，例如具有两个增强层的帧兼容3D视频系统。在本公开的其余部分中，讨论了基于内插滤波器的技术。此外，也提出了将内插与其它预处理步骤相组合的考虑。根据第一方面，提供了一种多层视频编码系统，包括基础层，包括基础层视频编码器；与基础层相关联的至少一个增强层，该至少一个增强层包括增强层视频编码器；以及编码器处理模块，用于对基础层视频编码器的输出进行滤波以形成经处理的编码器输出，以及将该经处理的编码器输出作为增强层估计而输入至增强层视频编码器。根据第二方面，提供了一种多层视频系统，包括基础层，包括基础层视频编码器和基础层视频解码器；与基础层相关联的至少一个增强层，该至少一个增强层包括增强层视频编码器和增强层视频解码器；编码器处理模块，用于对基础层视频编码器的输出进行滤波以形成经处理的编码器输出，以及将该经处理的编码器输出作为增强层估计而输入至增强层视频编码器；以及解码器处理模块，用于处理基础层视频解码器的输出，以形成经处理的解码器输出以重构增强层，以及将该经处理的解码器输出输入至增强层视频解码器。根据第三方面，提供了一种多层视频解码系统，包括基础层，包括基础层视频解码器；与基础层相关联的至少一个增强层，该至少一个增强层包括增强层视频解码器；以及解码器处理模块，用于处理基础层视频解码器的输出以形成解码器处理输出，以及将该解码器处理输出输入至增强层视频解码器，该解码器处理模块包括用于重构增强层视频信号的自适应滤波器，以及一个或更多个解码滤波器缓冲器，在一个或更多个解码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的解码。
根据第四方面，提供了一种多层视频系统，包括基础层，包括基础层视频编码器和基础层视频解码器；与基础层相关联的至少一个增强层，该至少一个增强层包括增强层视频编码器和增强层视频解码器；编码器处理模块，用于对基础层视频编码器的输出进行处理以形成编码器处理输出，以及将该编码器处理输出输入至增强层视频编码器，该编码器处理模块包括基于基础层视频信号而估计增强层视频信号的自适应滤波器；解码器处理模块，用于处理基础层视频解码器的输出以形成解码器处理输出，以及将该解码器处理输出输入至增强层视频解码器，该解码器包括基于基础层视频信号而重构增强层视频信号的自适应滤波器；一个或更多个编码滤波器缓冲器，在一个或更多个编码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的编码；以及一个或更多个解码滤波器缓冲器，在一个或更多个解码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的解码。根据第五方面，提供了一种多层视频方法，包括对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；对基础层视频信号进行自适应滤波，以估计增强层视频信号；使用固定滤波器对基础层视频信号进行滤波， 以估计增强层视频信号；建立编码准则；基于编码准则，针对自适应滤波和固定滤波二者， 建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器 ’传达(signal)表现最佳的滤波器；采用表现最佳的滤波器和经处理的基础层视频信号，用于增强视频层编码；对基础层视频信号进行基础层视频解码，以形成解码视频信号；处理基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的表现最佳的滤波器，用于增强层视频解码；以及对增强层视频信号进行增强层视频解码。根据第六方面，提供了一种多层视频编码方法，包括对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；对基础层视频信号进行运动预测，以形成预测的基础层视频信号；对预测的基础层视频信号进行自适应滤波，以估计增强层视频信号；使用固定滤波器对预测的基础层视频信号进行滤波，以估计增强层视频信号；建立编码准则；基于编码准则，针对自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器；传达表现最佳的滤波器；以及采用表现最佳的滤波器和经处理的基础层视频信号，用于增强视频层编码。根据第七方面，提供了一种多层视频方法，包括对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；对增强层视频信号进行增强层视频编码；对基础层视频信号进行运动预测，以形成预测的基础层视频信号； 对预测的基础层视频信号进行自适应滤波，以估计增强层视频信号；建立编码准则；基于编码准则，针对自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器；传达表现最佳的滤波器；采用表现最佳的滤波器和经处理的基础层视频信号，用于增强视频层编码；对基础层视频信号进行基础层视频解码；处理基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的表现最佳的滤波器，用于增强层视频解码；以及对增强层视频信号进行增强层视频解码。根据第八方面，提供了一种多层视频编码方法，包括对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；使用固定滤波器对基础层视频信号进行滤波，以估计增强层视频信号；以及建立编码准则，以评估增强层视频信号估计的质量；如果固定滤波满足编码准则，则传达固定滤波器进行；以及采用固定滤波器和经处理的基础层视频信号，用于增强视频层编码；否则，对基础层视频信号进行自适应滤波，以估计增强层视频信号；基于编码准则，针对自适应滤波和固定滤波二者， 建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器；传达表现最佳的滤波器；以及采用表现最佳的滤波器和经处理的基础层视频信号，用于增强视频层编码。根据第九方面，提供了一种多层视频方法，包括对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；使用固定滤波器对基础层视频信号进行滤波，以估计增强层视频信号；以及建立编码准则，以评估增强层视频信号估计的质量；如果固定滤波满足编码准则，则传达固定滤波器；以及采用固定滤波器和经处理的基础层视频信号，用于增强视频层编码；否则，对基础层视频信号进行自适应滤波，以估计增强层视频信号；基于编码准则，建立增强层视频信号的质量；基于编码准则，针对自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器；传达表现最佳的滤波器；以及采用表现最佳的滤波器和经处理的基础层视频信号，用于增强视频层编码；对基础层视频信号进行基础层视频解码； 对基础层视频信号进行基础层视频解码；处理基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的滤波器，用于增强层视频解码；以及对增强层视频信号进行增强层视频解码。根据第十方面，提供了一种多层视频编码方法，包括对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；建立一个或更多个图像特性准则；识别增强层视频画面的当前区域的若干相邻区域，其中，相邻区域与增强层视频画面的当前区域满足相同的一个或多个图像特性准则；针对增强层视频画面的当前区域，选择与用于对满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器相同的滤波器；传达所选择的滤波器；以及采用所选择的滤波器和经处理的基础层视频信号，用于增强视频层编码。根据第十一方面，提供了一种多层视频方法，包括对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；建立一个或更多个图像特性准则；识别增强层视频画面的当前区域的若干相邻区域，其中，相邻区域与增强层视频画面的当前区域满足相同的一个或多个图像特性准则；针对增强层视频画面的当前区域，选择与用于对满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器相同的滤波器；传达所选择的滤波器；采用所选择的滤波器和经处理的基础层视频信号，用于增强视频层编码；对基础层视频信号进行基础层视频解码，以形成基础层解码视频信号；处理基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的滤波器，用于增强层视频解码；以及对增强层视频信号进行增强层视频解码，以形成解码第二视图。根据第十二方面，提供了一种多层视频编码方法，包括对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；建立一个或更多个图像特性准则；识别增强层视频画面的当前区域的若干相邻区域，其中，相邻区域
14与增强层视频画面的当前区域满足相同的一个或多个图像特性准则；建立一个或更多个滤波器特性准则；从一组滤波器中，针对增强层视频画面的当前区域选择若干滤波器，这若干滤波器与用于对满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器满足相同的一个或更多个滤波器特性准则；传达所选择的若干滤波器；以及采用所选择的滤波器和经处理的基础层视频信号，用于增强视频层编码。根据第十三方面，提供了一种多层视频方法，包括对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；建立一个或更多个图像特性准则；识别增强层视频画面的当前区域的若干相邻区域，其中，相邻区域与增强层视频画面的当前区域满足相同的一个或多个图像特性准则；建立一个或更多个滤波器特性准则；从一组滤波器中，针对增强层视频画面的当前区域选择若干滤波器，这若干滤波器与用于对满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器满足相同的一个或更多个滤波器特性准则；传达所选择的若干滤波器；采用所选择的滤波器和经处理的基础层视频信号，用于增强视频层编码；对基础层视频信号进行基础层视频解码，以形成解码视频信号；处理基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的滤波器，用于增强层视频解码；以及对增强层视频信号进行增强层视频解码。在本申请的描述、附图和权利要求书中示出了本公开的其它方面。在下文中，给出了对自适应内插滤波器的导出处理的简要回顾。随后的是在帧兼容的或2D兼容的3D(立体或多视图)传输系统、或者2D可伸缩传输系统的示例性环境下应用自适应滤波器的细节。1.自适应内插滤波器综述先前已广泛研究了自适应内插滤波器(AIF)(参见参考文献4-7，其全部内容通过引用合并于此)，以改进运动预测处理的准确性，其中运动预测处理在诸如H. ^4/AVC(参见参考文献3，其全部内容通过引用合并于此)的很多视频编码系统中被用于减小时间冗余。遍及本公开中，将自适应滤波器定义为，其系数基于预定义编码准则而被自适应地估计的滤波器。由于自适应滤波器的系数是基于传入的视频信号的统计信息而导出的，因此，这些系数可被应用于通过从基础层进行内插而获得增强层的更准确的预测信号。参考图6，尽管作为示例将假定使用ID滤波器来根据基础层(阴影像素)对增强层(白像素)进行内插，然而以下处理可容易地扩展为导出任意抽头长度(tap length)的 2D不可分离滤波器。在本公开中，术语“抽头长度”表示滤波器抽头的数目。
L-I (χ, y) = Σ h^ .B、x + n- FOj y) (1)
=ο其中，h(n)是第η个滤波器系数，L是滤波器抽头长度，FO = 是滤波器偏移
(filter (^作⑷，而会氏力和^叉，y)分别代表位置(x, y)处的内插的增强层像素与基础层。基于使预定义失真测量最小化，来自适应导出滤波器系数h(n)。假定将误差平方和(Sum of Squared Error)作为失真测量，那么通过使如下SSE最小化来导出滤波器系数
权利要求
1.一种多层视频编码系统，包括基础层，包括基础层视频编码器；与所述基础层相关联的至少一个增强层，所述至少一个增强层包括增强层视频编码器；以及编码器处理模块，用于对所述基础层视频编码器的输出进行滤波以形成经处理的编码器输出，以及将所述经处理的编码器输出作为增强层估计而输入至所述增强层视频编码ο
2.一种多层视频系统，包括基础层，包括基础层视频编码器和基础层视频解码器；与所述基础层相关联的至少一个增强层，所述至少一个增强层包括增强层视频编码器和增强层视频解码器；编码器处理模块，用于对所述基础层视频编码器的输出进行滤波以形成经处理的编码器输出，以及将所述经处理的编码器输出作为增强层估计而输入至所述增强层视频编码器；以及解码器处理模块，用于处理所述基础层视频解码器的输出，以形成经处理的解码器输出以重构所述增强层，以及将所述经处理的解码器输出输入至所述增强层视频解码器。
3.如权利要求1或2所述的多层视频系统，其中，所述编码器处理模块包括对基础层视频输出进行滤波并估计增强层视频信号的自适应滤波器。
4.如权利要求3所述的多层视频系统，其中，基于被输入至所述基础层视频编码器和所述增强层视频编码器的输入视频信号的统计信息，导出所述自适应滤波器的系数。
5.如权利要求3所述的多层视频系统，其中，基于增强层视频信号与估计的增强层视频信号之间的失真测量，导出所述自适应滤波器的系数。
6.如权利要求3所述的多层视频系统，其中，与输入视频信号的分区相对应的滤波器系数是使用针对该分区的相邻分区而导出的滤波器来预测的。
7.如权利要求1或2所述的多层视频系统，其中，所述编码器处理模块包括自适应滤波器和固定滤波器。
8.如权利要求7所述的多层视频系统，其中，所述编码器处理模块基于编码准则，在所述自适应滤波器和所述固定滤波器中选择表现最佳的滤波器。
9.如权利要求3所述的多层视频系统，其中，所述编码器处理模块包括一维自适应滤波器、二维自适应滤波器、具有不同抽头长度的自适应滤波器以及具有不同的系数对称性的自适应滤波器中的一个或更多个。
10.如权利要求1或2所述的多层视频系统，其中，所述基础层视频编码器和所述增强层视频编码器中的每个都接收表明第一视图和第二视图的两个输入。
11.如权利要求10所述的多层视频系统，还包括自适应滤波器，其中，针对所述第一视图和所述第二视图中的每个以及所述第一视图和所述第二视图的每个颜色分量，单独地导出所述自适应滤波器的系数。
12.如权利要求10所述的多层视频系统，其中，针对所述第一视图和所述第二视图二者和/或所述第一视图和所述第二视图的全部或一些颜色分量，联合地导出所述自适应滤波器的系数。
13.如权利要求10所述的多层视频系统，其中，针对所述第一视图和所述第二视图中的每个的两个色度分量或者所述第一视图和所述第二视图二者的两个色度分量，使用相同的滤波器。
14.一种多层视频编码系统，包括 基础层，包括基础层视频编码器；与所述基础层相关联的至少一个增强层，所述至少一个增强层包括增强层视频编码器；以及编码器处理模块，用于对所述基础层视频编码器的输出进行处理以形成编码器处理输出，以及将所述编码器处理输出输入至所述增强层视频编码器，所述编码器处理模块包括用于基于基础层视频信号估计增强层视频信号的自适应滤波器，以及一个或更多个编码滤波器缓冲器，在所述一个或更多个编码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的编码。
15.一种多层视频解码系统，包括 基础层，包括基础层视频解码器；与所述基础层相关联的至少一个增强层，所述至少一个增强层包括增强层视频解码器；以及解码器处理模块，用于处理所述基础层视频解码器的输出以形成解码器处理输出，以及将所述解码器处理输出输入至所述增强层视频解码器，所述解码器处理模块包括用于重构增强层视频信号的自适应滤波器，以及一个或更多个解码滤波器缓冲器，在所述一个或更多个解码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的解码。
16.一种多层视频系统，包括基础层，包括基础层视频编码器和基础层视频解码器；与所述基础层相关联的至少一个增强层，所述至少一个增强层包括增强层视频编码器和增强层视频解码器；编码器处理模块，用于对所述基础层视频编码器的输出进行处理以形成编码器处理输出，以及将所述编码器处理输出输入至所述增强层视频编码器，所述编码器处理模块包括用于基于基础层视频信号而估计增强层视频信号的自适应滤波器；解码器处理模块，用于处理所述基础层视频解码器的输出以形成解码器处理输出，以及将所述解码器处理输出输入至所述增强层视频解码器，所述解码器包括用于基于所述基础层视频信号而重构增强层视频信号的自适应滤波器；一个或更多个编码滤波器缓冲器，在所述一个或更多个编码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的编码；以及一个或更多个解码滤波器缓冲器，在所述一个或更多个解码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的解码。
17.如权利要求16所述的多层视频系统，其中，所述基础层视频编码器和所述增强层视频编码器中的每个都接收表明第一视图和第二视图的两个输入，针对所述第一视图或所述第二视图中的每个单独地维护或者联合地维护所述一个或更多个编码器滤波器缓冲器和所述一个或更多个解码器滤波器缓冲器。
18.如权利要求16所述的多层视频系统，其中，所述基础层视频编码器和所述增强层视频编码器中的每个都接收表明一个或更多个颜色分量的视频信号，针对所述一个或更多个颜色分量中的每个单独地维护或者联合地维护所述一个或更多个编码器滤波器缓冲器和所述一个或更多个解码器滤波器缓冲器。
19.如权利要求16所述的多层视频系统，其中，针对所述基础层和所述至少一个增强层中的每个单独地维护或者联合地维护所述一个或更多个编码器滤波器缓冲器和所述一个或更多个解码器滤波器缓冲器。
20.如权利要求4-19中的任意一个所述的多层视频系统，其中处理基础层视频信号，以形成经处理的基础层视频信号；以及基于所述经处理的基础层视频信号，导出所述自适应滤波器。
21.如权利要求20所述的多层视频系统，其中，所述经处理的基础层视频信号是对所述基础层视频信号的运动预测。
22.如权利要求21所述的多层视频系统，其中，全局地或局部地执行所述运动预测。
23.如权利要求21所述的多层视频系统，其中，迭代执行自适应滤波和运动预测的组合，直至所获得的滤波器不会改变、满足质量准则、完成特定次数的迭代、或以上各情形的组合为止。
24.如权利要求4所述的多层视频系统，其中，所述增强层还包括基于在先编码的增强层视频的当前增强层视频的时间预测器。
25.如权利要求24所述的多层视频系统，其中，所述增强层估计是基于视频块的，基于 RPU预测器预测一些块，基于时间预测器预测一些块，以及基于以上各项的组合预测一些块。
26.如权利要求25所述的多层视频系统，其中，执行迭代的增强层编码，其中通过从计算中至少部分地排除基于时间预测器预测的增强层块以及对应的基础层块， 计算所述自适应滤波器；将计算出的自适应滤波器用于对所述增强层再次编码；以及对增强层编码进行再次迭代，直至能够实现的编码增益在预定义阈值以下或者执行特定次数的迭代为止。
27.如权利要求25所述的多层视频系统，其中，执行预分析以识别使用时间预测器可能预测到的增强层视频块。
28.如权利要求3-27中的任意一个所述的多层视频系统，其中，对基础层视频应用自适应滤波，以及传达对应的自适应滤波器系数。
29.如权利要求观所述的多层视频系统，其中，将基础层视频滤波应用于RPU处理循环的外部或内部。
30.一种多层视频编码方法，包括对基础层视频信号进行基础层视频编码；处理所述基础层视频信号；对增强层视频信号进行增强层视频编码；对所述基础层视频信号进行自适应滤波，以估计所述增强层视频信号；使用固定滤波器对所述基础层视频信号进行滤波，以估计所述增强层视频信号；建立编码准则；基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器； 传达所述表现最佳的滤波器；以及采用所述表现最佳的滤波器和经处理的基础层视频信号，用于所述增强视频层编码。
31.一种多层视频方法，包括对基础层视频信号进行基础层视频编码； 处理所述基础层视频信号； 对增强层视频信号进行增强层视频编码；对所述基础层视频信号进行自适应滤波，以估计所述增强层视频信号； 使用固定滤波器对所述基础层视频信号进行滤波，以估计所述增强层视频信号； 建立编码准则；基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器； 传达所述表现最佳的滤波器；采用所述表现最佳的滤波器和经处理的基础层视频信号，用于所述增强视频层编码； 对所述基础层视频信号进行基础层视频解码，以形成解码视频信号； 处理所述基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的表现最佳的滤波器，用于增强层视频解码；以及对所述增强层视频信号进行增强层视频解码。
32.—种多层视频编码方法，包括 对基础层视频信号进行基础层视频编码； 处理所述基础层视频信号；对增强层视频信号进行增强层视频编码；对所述基础层视频信号执行运动预测，以形成预测的基础层视频信号； 对所述预测的基础层视频信号进行自适应滤波，以估计所述增强层视频信号； 使用固定滤波器对所述预测的基础层视频信号进行滤波，以估计所述增强层视频信号；建立编码准则；基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器； 传达所述表现最佳的滤波器；以及采用所述表现最佳的滤波器和经处理的基础层视频信号，用于所述增强视频层编码。
33.一种多层视频方法，包括对基础层视频信号进行基础层视频编码；处理所述基础层视频信号； 对增强层视频信号进行增强层视频编码；对所述基础层视频信号执行运动预测，以形成预测的基础层视频信号； 对所述预测的基础层视频信号进行自适应滤波，以估计所述增强层视频信号； 使用固定滤波器对所述预测的基础层视频信号进行滤波，以估计所述增强层视频信号；建立编码准则；基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器； 传达所述表现最佳的滤波器；采用所述表现最佳的滤波器和经处理的基础层视频信号，用于所述增强视频层编码； 对所述基础层视频信号进行基础层视频解码； 处理基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的表现最佳的滤波器，用于增强层视频解码；以及对所述增强层视频信号进行增强层视频解码。
34.一种多层视频编码方法，包括 对基础层视频信号进行基础层视频编码； 处理所述基础层视频信号；对增强层视频信号进行增强层视频编码；使用固定滤波器对所述基础层视频信号进行滤波，以估计所述增强层视频信号；以及建立编码准则，以评估增强层视频信号估计的质量； 如果固定滤波满足所述编码准则，则 传达所述固定滤波器；以及采用所述固定滤波器和经处理的基础层视频信号，用于所述增强视频层编码； 否则，对所述基础层视频信号进行自适应滤波，以估计所述增强层视频信号； 基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器； 传达所述表现最佳的滤波器；以及采用所述表现最佳的滤波器和所述经处理的基础层视频信号，用于所述增强视频层编码。
35.一种多层视频方法，包括对基础层视频信号进行基础层视频编码； 处理所述基础层视频信号； 对增强层视频信号进行增强层视频编码；使用固定滤波器对所述基础层视频信号进行滤波，以估计所述增强层视频信号；以及建立编码准则，以评估增强层视频信号估计的质量； 如果固定滤波满足所述编码准则，则 传达所述固定滤波器；以及采用所述固定滤波器和经处理的基础层视频信号，用于所述增强视频层编码； 否则，对所述基础层视频信号进行自适应滤波，以估计所述增强层视频信号； 基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器； 传达所述表现最佳的滤波器；以及采用所述表现最佳的滤波器和所述经处理的基础层视频信号，用于所述增强视频层编码；对所述基础层视频信号进行基础层视频解码； 处理基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的滤波器，用于增强层视频解码；以及对所述增强层视频信号进行增强层视频解码。
36.一种多层视频编码方法，包括 对基础层视频信号进行基础层视频编码； 处理所述基础层视频信号；对增强层视频信号进行增强层视频编码； 建立一个或更多个图像特性准则；识别增强层视颜画面的当前区域的若干相邻区域，其与所述增强层视频画面的当前区域满足相同的一个或更多个图像特性准则；针对所述增强层视频画面的当前区域，选择与用于对所述满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器相同的滤波器； 传达所选择的滤波器；以及采用所选择的滤波器和经处理的基础层视频信号，用于所述增强视频层编码。
37.一种多层视频方法，包括对基础层视频信号进行基础层视频编码； 处理所述基础层视频信号； 对增强层视频信号进行增强层视频编码； 建立一个或更多个图像特性准则；识别增强层视频画面的当前区域的若干相邻区域，其与所述增强层视频画面的当前区域满足相同的一个或更多个图像特性准则；针对所述增强层视频画面的当前区域，选择与用于对所述满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器相同的滤波器； 传达所选择的滤波器；采用所选择的滤波器和经处理的基础层视频信号，用于所述增强视频层编码； 对所述基础层视频信号进行基础层视频解码，以形成基础层解码视频信号；处理所述基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的滤波器，用于增强层视频解码；以及对所述增强层视频信号进行增强层视频解码，以形成解码第二视图。
38.一种多层视频编码方法，包括 对基础层视频信号进行基础层视频编码； 处理所述基础层视频信号；对增强层视频信号进行增强层视频编码； 建立一个或更多个图像特性准则；识别增强层视频画面的当前区域的若干相邻区域，其与所述增强层视频画面的当前区域满足相同的一个或更多个图像特性准则； 建立一个或更多个滤波器特性准则；从一组滤波器中，针对所述增强层视频画面的当前区域选择若干滤波器，所述若干滤波器与用于对所述满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器满足相同的一个或更多个滤波器特性准则； 传达所选择的若干滤波器；以及采用所选择的滤波器和经处理的基础层视频信号，用于所述增强视频层编码。
39.一种多层视频方法，包括对基础层视频信号进行基础层视频编码； 处理所述基础层视频信号； 对增强层视频信号进行增强层视频编码； 建立一个或更多个图像特性准则；识别增强层视频画面的当前区域的若干相邻区域，其与所述增强层视频画面的当前区域满足相同的一个或更多个图像特性准则； 建立一个或更多个滤波器特性准则；从一组滤波器中，针对所述增强层视频画面的当前区域选择若干滤波器，所述若干滤波器与用于对所述满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器满足相同的一个或更多个滤波器特性准则； 传达所选择的若干滤波器；采用所选择的滤波器和经处理的基础层视频信号，用于所述增强视频层编码； 对所述基础层视频信号进行基础层视频解码，以形成解码视频信号； 处理所述基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的滤波器，用于增强层视频解码；以及对所述增强层视频信号进行增强层视频解码。
40.如权利要求36-39中的任意一个所述的多层视频方法，其中，所述相邻区域是时间邻域、空间邻域、或时间且空间的邻域。
41.如权利要求1-14或16-29中的任意一个所述的多层视频系统，其中，所述基础层和所述至少一个增强层接收帧兼容3D视频信号、2D兼容的3D视频信号或2D可伸缩视频信号。
42.一种编码器，用于根据权利要求30、32、34、36、38或40中的一个或更多个所述的方法来对视频信号进行编码。
43.一种设备，用于根据权利要求30、32、34、36、38或40中的一个或更多个所述的方法来对视频信号进行编码。
44.一种系统，用于根据权利要求30、32、34、36、38或40中的一个或更多个所述的方法来对视频信号进行编码。
45.一种包含指令的集合的计算机可读介质，所述指令使计算机执行如权利要求 30-42中的一个或更多个所述的方法。
46.一种如权利要求30、32、34、36、38、40中的一个或更多个所述的方法的用途，用于对视频信号进行编码。
47.一种如权利要求31、32、33、35、37、39或40中的一个或更多个所述的方法，用于对视频信号进行解码。
全文摘要
描述了用于多层视频传输的自适应内插滤波器。也提出了在帧兼容3D视频传输系统或2D兼容的3D视频传输系统、以及2D可伸缩视频传输系统的环境下具有其它预处理步骤的这种自适应滤波器的组合。
文档编号H04N7/26GK102598660SQ201080013282
公开日2012年7月18日 申请日期2010年4月20日 优先权日2009年4月20日
发明者亚历山德罗斯·图拉皮斯, 佩沙拉·V·帕哈拉瓦达, 叶琰 申请人:杜比实验室特许公司