在视频应用中用于视频预处理的滤波器选择的制作方法_3

文档序号:9238577阅读:来源:国知局
模块(730)中编码BL之后,BL到EL预测优化可以确定:对于图像的多个区域的预测来说,相同上采样滤波器是足够的。在此情况下,预处理器还可以适于针对这些区域选择相同或相似的预处理滤波器。这将减少需要在其上执行整个闭环优化的区域的数量,从而减少处理的计算时间。更一般地,此步骤还可以应用于与BL/EL配置不同的配置。
[0053]通过基于用于序列的先前图像或图像区域的滤波器来预测预处理滤波器参数,可以进一步降低预处理器优化的计算负担。图8示出了这样的系统的示例。
[0054]例如,可以每N个图像/区域执行一次预处理器优化(810),其中,N是固定的或是基于可获得的计算资源和时间而修改的。在一个实施例中,对是否使用先前优化的滤波器参数的决定(830)可以依赖于从图像分析模块(820)(还参见图6的图像分析模块¢20))获得的信息。例如,如果发现两个图像或图像区域高度相关,那么仅需要针对这些区域中的一个区域对滤波器参数优化一次,并然后可以将其再用于/精化后用于(840)另一个区域。图像区域可以是空间邻域或时间邻域、或在多视图情况下是从每个视图获得的相对应的图像区域。例如,当考虑视频序列的两个连续图像时,可以将两个图像之间的像素值的平均绝对差用作对时间相关的测量,并且,如果平均绝对差小于阈值,那么滤波器可以再使用(840)。
[0055]在另一个实施例中,可以基于在重构解码图像之后相对于原始视频源的失真计算来做出是否再使用相同滤波器的决定(830)。如果计算出的失真大于特定阈值,或者,如果计算出的失真比先前图像/区域的失真明显增加,那么可以执行预处理器优化。
[0056]在再一个实施例中,可以使用在图像分析阶段或在视频编码期间计算出的运动信息来确定区域在图像内的运动。这样,来自先前图像的所使用的滤波器参数可以遵循相应区域的运动。
[0057]在另一个实施例中,可以使用相邻区域来确定在其上搜索最优滤波器的滤波器组。例如,如果在相邻区域上的优化示出:一组出自N个全部可能的滤波器的M个滤波器总是胜过其他的滤波器,那么只有这M个滤波器可以用在对当前图像区域的优化中。
[0058]此外,用于当前区域的滤波器可以采用如下形式:
[0059]a*f(L,T,D,P)+b
[0060]其中,L是使用被优化以用于当前区域左边的图像区域的滤波器所得的滤波后的值,T是使用被优化以用于当前区域上边的图像区域的滤波器所得的滤波后的值,D是使用被优化以用于当前区域右上方的图像区域的滤波器所得的滤波后的值,以及P是使用被优化以用于与先前图像定位在同一处的图像区域的滤波器所得的滤波后的值。函数f使用平均、中位数或还考虑当前区域与每个相邻区域的相似性的其他测量将来自每个滤波器的滤波值相结合。变量a和b可以是常量,或可以依赖于空间特性/时间特性,诸如运动和纹理。更一般地,所考虑的滤波器可以是相邻区域的已被选择的滤波器。一个用于光栅扫描的实施例可以是刚才提到的L,T, D, P情况。
[0061 ] 在再一个实施例中,除了考虑滤波器的率失真性能之外,还可以考虑滤波器的“资源失真”性能。在此情况下,资源可以包括可获得的比特,然而资源还可以包括在编码器件中可获得的功率、计算复杂度预算、还有时间约束应用情况下的延迟约束。
[0062]在再一个实施例中,失真测度可以包括多个失真度量的结合,或者可以考虑诸如传输误差和误差隐藏的另外因素以及显示器件或回放器件使用的其他后处理方法来计算失真测度。
[0063]总之,可以将本公开示出的这些方法用于对视频序列的区域进行自适应预处理。这些方法的目的在于改善输出视频的率失真性能同时使优化的计算复杂度最小化。尽管上述方法被描述为分离的实施例,但是还可以将这些方法结合起来在低复杂度可伸缩视频编码器中使用。
[0064]虽然参照可伸缩视频传送技术提供了本公开的示例,但是本公开的教导还应用于不可伸缩视频传送。例如,一种应用会是:如果在编码之前对视频进行下采样以降低带宽要求,那么对视频在解码之后进行插值成全分辨率。如果使用自适应插值技术,那么可以优化下采样以考虑自适应插值。在这样的不可伸缩应用的情况下,输出将是自适应上采样后的输出而不是EL编码器的输出。
[0065]另一种应用是交错(interlace)视频编码,其中,可以基于在解码器处使用的去交错方案来优化预处理滤波器。而且,可以将本公开的教导应用于与交错视频编码相似的不可伸缩3D应用,其中,在编码之前,左视图图像和右视图图像可以在空间上或时间上被下采样并被交织,然后在解码器处被自适应插值,以获得全空间分辨率或全时间分辨率。在这样的情况中,右视图和左视图二者可以彼此相互预测。在不同的情况中,一层可以包括具有第一类型的彩色空间表示方法、位深度和/或(例如对数的或线性的)比例的帧,而另一层可以包括具有第二类型的彩色空间表示方法、位深度、和/或比例的相同的帧。可以将此公开的教导应用于根据一层中的样本来优化对另一层中的样本的预测和压缩。
[0066]可以以硬件、软件、固件或其组合的形式来实施本公开中描述的方法和系统。可以将被描述为块、模块或部件的特征一起实施(例如在诸如集成逻辑器件的逻辑器件中)或单独实施(例如作为单独连接的逻辑器件)。本公开的方法的软件部分可以包括包含有下述指令的计算机可读介质,这些指令在其运行时至少部分地执行所描述的方法。计算机可读介质可以包括例如随机存取存储器(RAM)和/或只读存储器(ROM)。可以通过处理器(例如,数字信号处理器(DSP)、专用集成电路(ASIC)、或现场可编程逻辑阵列(FPGA))运行这些指令。
[0067]本发明的实施例可以涉及多个示例实施例中的一个或更多个,列举如下:
[0068]1.一种选择用于视频传送的预处理滤波器的方法,包括:
[0069]将一个或更多个输入图像输入到多个预处理滤波器中;
[0070]处理每个预处理滤波器的输出以针对每个预处理滤波器形成输出图像或数据流;
[0071]针对每个预处理滤波器评估输出图像或数据流的度量值;以及
[0072]基于针对每个预处理滤波器的评估的度量值,在多个预处理滤波器中选择预处理滤波器。
[0073]2.根据列举的示例实施例1的方法,其中,该方法用于可伸缩视频传送,可伸缩视频传送包括通过基本层和一个或更多个增强层对输入图像进行编码和重构。
[0074]3.根据列举的示例实施例2的方法,其中,预处理滤波器是基本层预处理滤波器,并且处理每个预处理滤波器的输出包括按照针对基本层的分辨率对每个预处理滤波器的输出进行子采样。
[0075]4.根据列举的示例实施例1的方法,其中,处理每个预处理滤波器的输出包括对每个预处理滤波器的输出进行3D交织。
[0076]5.根据列举的示例实施例1的方法,其中,处理每个预处理滤波器的输出包括对每个预处理滤波器的输出进行分样。
[0077]6.根据列举的示例实施例1的方法,其中,相对于输入图像来评估输出图像或比特流的度量值。
[0078]7.根据列举的示例实施例1的方法,其中,评估输出图像或比特流的度量值包括针对每个预处理滤波器有差别地评估失真。
[0079]8.根据列举的示例实施例1的方法,其中,评估输出图像或比特流的度量值包括根据输入图像的所选区域有差别地评估度量值。
[0080]9.根据列举的示例实施例8的方法,其中,所述有差别地评估度量值基于在选择一个或更多个区域时产生的基于区域的统计量。
[0081]10.根据前面列举的示例实施例中任一个的方法,其中,在对视频图像进行编码之前执行所述方法。
[0082]11.根据前面列举的示例实施例中任一个的方法,其中,处理每个预处理滤波器的输出以形成输出图像或数据流包括对每个预处理滤波器的输出进行编码以形成输出编码数据流。
[0083]12.根据列举的示例实施例11的方法,其中,编码包括基本层编码、针对基本层到增强层预测的自适应插值、以及增强层编码。
[0084]13.根据列举的示例实施例11或12的方法,其中,基于针对每个滤波器的评估的度量值来选择预处理滤波器允许选择与所选预处理滤波器相应的输出编码数据流。
[0085]14.根据前面列举的示例实施例中任一个的方法,该方法还包括执行两阶段编码,第一阶段编码发生在选择预处理滤波器之前,而第二阶段编码发生在选择预处理滤波器之后。
[0086]15.根据列举的示例实施例14的方法,其中,第一阶段编码在处理每个预处理滤波器的输出时发生。
[0087]16.根据列举的示例实施例14或15的方法,其中,第一阶段编码是简化编码。
[0088]17.根据列举的示例实施例16的方法,其中,第一阶段编码仅限于帧内编码。
[0089]18.根据列举的示例实施例16或17的方法,其中,第一阶段编码不使用子像素运动估计、去块滤波器以及色度编码中的一个或更多个,和/或使用更低的率失真优化处理以及更低的分辨率编码中的一个或更多个。
[0090]19.根据列举的示例实施例14到18中任一个的方法,其中,基于第二阶段编码更新第一阶段编码。
[0091]20.根据列举的示例实施例19的方法,其中,通过更新第一阶段编码中的参考图片缓冲器来更新第一阶段编码。
[0092]21.根据前面列举的示例实施例中任一个的方法,其中,一个或更多个输入图像是输入图像的所选区域。
[0093]22.根据前面列举的示例实施例中任一个的方法,还包括:
[0094]在将输入图像输入到多个预处理滤波器之前分析输入图像;以及
[0095]基于所述分析,减少要输入输入图像的预处理滤波器的数量或后续待选择的区域的数量。
[0096]23.根据前面列举的示例实施例中任一个的方法,还包括:
[0097]在评估输出图像或数据流的度量值之前,对输出图像或数据流进行编码和重构。
[0098]24.根据列举的示例实施例23的方法,其中,
[0099]该方法用于可伸缩视频传送,该可伸缩视频传送包括通过基本层和一个或更多个增强层对输入图像进行编码和重构,以及
[0100]多个预处理滤波器包括多个基本层滤波器以及针对每
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1