在视频应用中用于视频预处理的滤波器选择的制作方法
【专利说明】在视频应用中用于视频预处理的滤波器选择
[0001]本发明申请是申请日期为2010年4月20日、申请号为“201080012997.2”、发明名称为“在视频应用中用于视频预处理的滤波器选择”的发明专利申请的分案申请。
[0002]相关申请的交叉引用
[0003]本申请要求在2009年4月20日提交的第61/170，995号美国临时申请、在2009年7月4日提交的第61/223，027号美国临时申请以及在2009年9月14日提交的第61/242，242号美国临时申请的优先权，所有申请的全部内容都通过引用合并到本申请中。本申请还会涉及在2008年12月25日提交的第61/140，886号美国临时申请，该申请的全部内容通过引用合并到本申请中。
技术领域
[0004]本公开涉及视频应用。更具体地，本发明的实施例涉及用于在给定发生在增强层(enhancement layer, EL)解码器和编码器中的基本层(base layer, BL)到增强层(EL)的预测处理的知识的情况下，选择预处理滤波器和滤波器参数的方法以及器件。可以将上述方法和器件应用到各种应用中，诸如，空间上或时间上可伸缩的视频编码以及可伸缩3D (三维)视频应用。
【附图说明】
[0005]图1示出了包括基本层(BL)编码部分和增强层(EL)编码部分的可伸缩视频编码结构。
[0006]图2示出了与图1的编码系统相对应的解码结构。
[0007]图3示出了用于执行预处理器优化的开环处理。
[0008]图4示出了用于执行预处理器优化的闭环处理。
[0009]图5示出了出现了简化编码的闭环处理的另外的示例。
[0010]图6示出了序列/图像分析阶段在前的预处理滤波器阶段。
[0011]图7示出了通过从EL编码器收到的反馈进行的预处理滤波器选择。
[0012]图8示出了基于用于先前图像的滤波器来预测预处理滤波器参数的结构。
【具体实施方式】
[0013]以下描述用于选择预处理滤波器的方法以及器件。
[0014]根据第一实施例，提供了一种对用于视频传送的预处理滤波器进行选择的方法，该方法包括:将一个或更多个输入图像输入到多个预处理滤波器中；处理每个预处理滤波器的输出以针对每个预处理滤波器形成输出图像或数据流；针对每个预处理滤波器来评估输出图像或数据流的度量值；以及基于针对每个预处理滤波器的评估的度量值来在多个预处理滤波器中选择预处理滤波器。
[0015]根据第二实施例，提供了一种对用于视频传送的预处理滤波器进行选择的方法，该方法包括:分析输入图像；选择输入图像的区域；评估是否必须针对所选区域进行预处理滤波器的新选择；如果必须进行新选择，那么就对预处理滤波器进行选择；以及如果没有必要进行新选择，那么就选择先前所选的预处理滤波器。
[0016]根据第三实施例，提供了一种用于视频传送的预处理滤波器选择器，该预处理滤波器选择器包括:多个预处理滤波器，上述多个预处理滤波器适于接收输入图像；处理模块，该处理模块对每个预处理滤波器的输出进行处理以形成输出图像或数据流；度量值评估模块，该度量值评估模块针对每个预处理滤波器来评估输出图像或数据流的度量值；以及预处理滤波器选择器，该预处理滤波器选择器基于借助失真模块的针对每个预处理滤波器的评估的度量值在多个预处理滤波器中选择预处理滤波器。
[0017]根据第四实施例，提供了一种用于根据上述一种或更多种方法对视频信号进行编码的编码器。
[0018]根据第五实施例，提供了一种用于根据上述一种或更多种方法对视频信号进行编码的设备。
[0019]根据第六实施例，提供了一种用于根据上述一种或更多种方法对视频信号进行编码的系统。
[0020]根据第七实施例，提供了一种包括有使计算机执行上述一种或更多种方法的指令集的计算机可读介质。
[0021]根据第八实施例，提供上述一种或更多种方法用于对视频信号进行编码的用途。
[0022]用于可伸缩视频传送的一种方法是:按照较低分辨率对原始视频进行子采样并对基本层(BL)码流中的子采样后的数据进行编码。然后可以对基本层解码视频进行上采样以获得对原始全分辨率视频的预测。增强层(EL)可以将此预测用作参考并对恢复原始全分辨率视频所需的残差信息进行编码。分辨率子采样可以发生在空间域、时域以及像素精度域。参见例如:J.R.0hm, “Advances in Scalable Video Coding, Proceedings of theIEEE, vol.93, n0.1, January 2005。可伸缩视频传送也可以与位深度可伸缩性和3D可伸缩性或多视图可伸缩性有关。
[0023]虽然本申请的附图和一些实施例参考了单一增强层，但是本公开也致力于存在有多于一个增强层的情况，以进一步改善解码视频的质量或改善视频传送系统的功能性/灵活性/复杂度。
[0024]图1示出了一种这样的可伸缩视频编码系统的示例，其中，作为示例，仅使用一个增强层。BL(基本层)至EL(增强层)预测器模块(110)根据重构的BL视频预测EL并将该预测输入到EL编码器(120)中作为参考。
[0025]在立体视频数据传输或多视图视频数据传输的情况下，子采样可以是为了在现有视频传送管路上传输的目的而将不同视图交织成一幅图像的结果。例如，棋盘、逐行、并排和上下是一些为了传送的目的用来将两个立体3D视图交织成一幅左/右交织图像的技术。在每种情况下，还可以使用诸如梅花、水平、垂直等不同的子采样方法。
[0026]在2008年12月25日提交的并通过引用和作为附件A合并到本申请中的第61/140，886号美国临时申请示出了一些可以在图1的BL至EL预测器块(110)中使用的内容自适应插值技术。另外，在2009年4月20日提交的并通过引用和作为附件B合并到本申请中的第61/170，995号美国临时申请示出了直接插值技术，在这些直接插值技术中，依赖待插值的内容和图像区域来适应性修改插值格式，且最优的滤波器作为元数据以信号发送到增强层解码器。
[0027]图2示出了用于BL和EL的相对应的解码器结构。BL到EL预测器(210)在解码器侧使用基本层重构图像(220)连同被引导的插值元数据(230)(该插值元数据(230)与图1的预测器元数据(130)相对应)一起来产生对EL的预测(240)。在2009年4月20日提交的、通过引用合并到本申请中的第61/170，995号美国临时申请更详细地讨论了预测器元数据。
[0028]返回到图1，在BL图像和EL图像产生前可以有预处理模块(140)、预处理模块(150)。对图像或视频在压缩之前应用预处理从而改善压缩效率和衰减伪迹。预处理模块可以例如包括被设计成消除伪迹的下采样滤波器，这些伪迹诸如来自子采样后的图像的混淆(aliasing)。下采样滤波器可以是固定的有限脉冲响应(FIR)滤波器(诸如iS: ff.Li, J-R.0hm, M.van der Schaar, H.Jiang and S.Li, “MPEG_4Video Verificat1nModel Vers1n 18.0, ” ISO/IEC JTC1/SC29/WG11N3908, January 2001 中描述的滤波器)、运动补偿时间滤波器(诸如在E.Dubois and S.Sabri，“Noise Reduct1n inImage Sequences Using Mot1n-Compensated Temporal Filtering,，，IEEE Trans.0nCommunicat1ns, Vol.COM-32, N0.7, Julyl984中描述的滤波器)或自适应滤波器(诸如在S.Chang, B.Yu, and M.Vetterli, “Adaptive Wavelet Thresholding for Image Denoisingand Compress1n,，，IEEE Trans.0n Image Processing, vol.9, n0.9, pp.1532-1546，September 2000中描述的滤波器)。也可以结合特定的上采样/插值处理(诸如在Y.Tsaig, M.Elad, P.Milanfar, and G.Golub, “Variable Project1n for Near-Optimal Filtering inLow Bit-Rate Coders,，，IEEE Trans, on Circuits and Systems for Video Technology,vol.15，n0.1, pp.154-160, January 2005中所描述的)来优化下采样滤波器。
[0029]在接下来的多幅图中，将描述在给定从一层到另一层(例如BL到EL)的预测处理的知识的情况下、用于对预处理滤波器和滤波器参数进行选择的方法以及器件的实施例。具体地，图3的实施例包括对于将如何执行BL到EL预测的假设。这样的假设不是基于根据压缩之后的实际BL重构图像进行的预测，而是基于根据未压缩图像的预测(开环)。另一方面，图4的实施例涉及根据压缩之后的BL重构图像的预测(闭环)。然而，如图5所示，为了降低滤波器选择处理的复杂度的目的，可以使用简化压缩。简化压缩与完全压缩处理的性质近似，并且简化压缩允许容忍可能通过压缩处理所引入的编码伪迹和比特率。
[0030]图3示出了根据本公开的预处理器以及预处理优化方法的实施例。可选的区域选择模块(310)将输入图像或源(320)分成多个区域。在2009年4月20日提交的并通过引用和作为附件B合并到本申请中的第61/170，995号美国临时申请描述了这样的区域选择模块的示例。输入图像分成多个区域，这允许在每个给予了其区域内容特性的区域中执行不同预处理以及自适应插值。
[0031]对于每个区域，在一组表示为(330-1)，(330-2)，(330-3)，...，(330-N)的滤波器I到N上执行对最优的预处理滤波器的搜索。预处理滤波器可以是可分离的或不可分离的滤波器、具有不同主成分长度(support length)的F