专利名称：用于参考图片处理的优化的滤波器的选择的制作方法
技术领域：
本发明一般地涉及视频处理。更具体地，本发明的实施方式涉及优化的参考处理滤波器选择方法。
背景技术：
多层视频编解码提供了例如空间和时间分辨率、位深、色域以及质量上的可伸缩性。大量的多层视频编解码已经由视频编码委员会标准化。属标准化的多层视频编解码之列的是MPEG-4AVC/H.264标准的多视点视频编码扩展(MVC)和可伸缩视频编码扩展(SVC)。可以在 2010 年 3 月发表在 http: "WWW, itu.1nt/rec/T-REC~H.264/e 的 “Advanced videocoding for generic audiovisual services”中找到介绍H.264标准的不例性参考，其全部内容通过引用合并到本文中。
图1示出多层视频编解码系统的实现。图2示出利用参考处理的多层视频编解码系统的实现。图3示出帧兼容编解码系统的实现。图4示出帧兼容编码器的实现。图5示出滤波器选择方法的实施方式。图6示出涉及单遍(single pass)编码的滤波器选择方法的实施方式。图7示出利用来自时间参考的信息的滤波器选择方法的实施方式。图8示出利用来自基本层的运动信息的滤波器选择方法的实施方式。
具体实施例方式根据本公开内容的第一方面，提供有一种用于从多个滤波器当中选择特定滤波器的方法，该特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，该多层视频编码系统包括基本层以及一个或更多个增强层，该方法包括:a)提供参考图片和增强层源图片；b)使用来自多个滤波器的至少一个滤波器来对参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器被应用于参考图片的相应副本；c)基于增强层源图片和至少一个经滤波的参考图片的全集或子集来执行差异估计；以及d)基于对在
c)步骤中生成的差异信息进行比较来选择特定滤波器，其中差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。根据本公开内容的第二实施方式，提供有一种用于从多个滤波器当中选择特定滤波器的方法，该特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，该多层视频编码系统包括基本层以及一个或更多个增强层，该方法包括:a)提供参考图片和增强层源图片山)使用来自多个滤波器的至少一个滤波器来对参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器被应用于参考图片的相应副本；c)基于增强层源图片以及至少一个经滤波的参考图片的全集或子集来执行差异估计，其中差异估计适于生成差异信息；d)基于差异信息来获得失真信息；以及e)基于对步骤d)中生成的失真信息进行比较来选择特定滤波器，其中差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。根据本公开内容的第三实施方式，提供有一种用于从多个滤波器当中选择特定滤波器的方法，该特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，该多层视频编码系统包括基本层以及一个或更多个增强层，该方法包括:a)提供增强层源图片山)基于增强层源图片和来自特定层的运动信息来执行差异估计，其中该差异估计适于生成差异信息；c)基于增强层源图片和来自特定层的运动信息来获得失真信息；以及d)基于对步骤c)中获取的失真信息进行比较来选择特定滤波器，其中该差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数，并且其中，来自特定层的运动信息是基于特定层的时间参考图片的。根据本公开内容的第四实施方式，提供有一种用于从多个滤波器当中选择特定滤波器的方法，该特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，该多层视频编码系统包括基本层以及一个或更多个增强层，该方法包括:a)提供参考图片和增强层源图片山)使用来自多个滤波器的至少一个滤波器来对参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器被应用于参考图片的相应副本；c)基于增强层源图片、至少一个经滤波的参考图片的全集或子集以及来自特定层的运动信息来执行差异估计，其中差异估计适于生成差异信息；d)基于增强层源图片、至少一个经滤波的参考图片的全集或子集以及来自特定层的运动信息来获得失真信息；以及e)基于对步骤
d)中获取的失真信息进行比较来选择特定滤波器，其中差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数，并且其中，运动信息是基于特定层的时间参考图片的。根据本公开内容的第五实施方式，提供有一种用于从多个滤波器当中选择特定滤波器的方法，该特定滤波器适于在视频编码系统中的参考图片处理单元中使用，该编码系统包括层，该方法包括:a)设置参考图片和源图片，其中参考图片和源图片两者均来自同一层山)使用来自多个滤波器的至少一个滤波器来对参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器被应用于参考图片的相应副本；c)基于源图片和至少一个经滤波的参考图片的全集或子集来执行差异估计，其中该差异估计适于生成差异息；d)基于差异信息来获得失真信息；以及e)基于对步骤d)中生成的失真信息进行比较来选择特定滤波器，其中差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。根据本公开内容的第六实施方式，提供有一种适于从多个滤波器当中选择特定滤波器的滤波器选择器，该特定滤波器适于在多层视频编码系统中的参考处理单元中使用，该多层视频编码系统包括基本层以及一个或更多个增强层，该滤波器选择器包括:多个滤波器的全集或子集，该多个滤波器的全集或子集用于处理参考图片或参考图片的区域以获得一个或更多个经处理的参考图片；以及差异估计器，该差异估计器适于基于增强层源图片和来自一个或更多个经处理的参考图片的至少一个经处理的参考图片来生成差异信息，其中该差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数，其中基于差异信息能够选择特定滤波器。根据本公开内容的第七实施方式，提供有一种适于从多个滤波器当中选择特定滤波器的滤波器选择器，该特定滤波器选择器适于在多层视频编码系统中的参考处理单元中使用，该多层视频系统包括基本层以及一个或更多个增强层，该滤波器选择器包括:多个滤波器的全集或子集，该多个滤波器的全集或子集用于处理参考图片或参考图片的区域以获得一个或更多个经处理的参考图片；以及差异估计器，该差异估计器适于基于增强层源图片以及来自一个或更多个经处理的参考图片的至少一个经处理的参考图片来生成差异信息，其中差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数；以及失真信息计算模块，该失真信息计算模块适于基于增强层源图片和来自多个经处理的参考图片的至少一个经处理的参考图片来生成失真信息，其中基于失真信息能够选择特定滤波器。根据本公开内容的第八实施方式，提供有一种适于从多个滤波器当中选择特定滤波器的滤波器选择器，该特定滤波器适于在多层视频编码系统中的参考处理单元中使用，该多层视频编码系统包括基本层以及一个或更多个增强层，该滤波器选择器包括:差异估计器，该差异估计器适于基于增强层源图片和来自特定层的运动信息来生成差异信息，其中差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数；以及失真信息计算模块，该失真信息计算模块适于基于增强层源图片和来自特定层的运动信息来生成失真信息，其中基于失真信息能够选择特定滤波器。 在诸如MVC的多层视频编解码中，根据视点的数目，可以使用若干编码/解码处理以对基本层和若干增强层的图像序列进行编码/解码，其中每个增强层通常对应于不同的视点。例如，可以组合使用若干独立或非独立的编码/解码处理以对不同的视点进行编码/解码。独立编码的视点通常被称为基本层视点，而非独立编码的视点被称为增强层视点。图1示出至少支持基本层(100)和增强层(110)的视频编解码系统的实现。在具体的实现中，在增强层(110)中相应图片(120，122)的编码/解码之前，分别将基本层编码器(102)和基本层解码器(104)的重构输出图片(120，122)连同每层(100，110)的时间参考(106，116)—起插入到增强层编码器(112)以及增强层解码器(114)的参考图片缓冲器中。该具体实现能够使增强层(110)使用自身的时间参考(116)和来自预先解码的层的参考(106)两者，以用于诸如运动估计和运动补偿的目的。理论上，如果每层(100, 110)中编码的图像(106，116)之间存在高相关性，则来自前一层(100)的参考(106)可以改进增强层
(110)的编码效率。应该注意，图1的视频编解码系统的实现也可以支持附加层(152，154)，其中附加层也包括相应的编码器和解码器。换言之，也可以被称作这种多层实现中的(多个其他间层当中的)间层的，图1中所示的增强层(110)可以提供用在后续增强层(152，154)中的增强
层参考。图2示出至少支持基本层(200)和增强层(210)的系统的第二实现。在该实现中，在将前一层的参考(206，220，222)插入到增强层(210)的参考图片缓冲器之前，使用参考处理单元(RPU) (230，240)对前一层的参考(206，220，222)进行处理。RPU (230，240)得到针对每个相应层的新的参考图片(232，242)，与不具有RPU (230，240)的情况如图1所示的实现相比，该新的参考图片(232，242)通常与待编码的增强层源图片(216)更好地相关。更好的相关性通常产生针对增强层(210)的更好压缩效率。类似于图1，增强层(210)可以用作针对后续增强层(252，254)的间层，并因此向后续增强层(252，254)提供间层参考。因此，RI3U可以用于基于来自一个层的参考以及来自前层的参考来得到新的参考图片。通过以示例但非限制性的方式由RPU (230)提供的附加处理可以涉及线性/非线性滤波、运动变换、运动补偿、照明补偿、缩放、反转以及前向色调映射、颜色格式转换以及伽玛校正。处理可以应用于参考图片上的区域层次，从而使得利用不同特性的方法的处理能够被用于参考图片的不同部分。考虑到输出视频的最终重构质量以及可用的带宽和计算能力，可以在编码器(202，212)中得到处理参数，然后将其用信号来通知给解码器(204，214)。应该注意，如本公开内容中所使用的术语“处理”等同于术语“滤波”。因此，对参考图片的处理可以通过将滤波器应用到参考图片来执行。介绍了使得具有不同特性的滤波器能够用于参考图片的不同部分的示例性参考文献是于 2009 年 4 月 20 日提交的题为“Directed Interpolation and Post-Processing”的美国临时专利申请N0.61/170, 995。介绍了用于基于内容特性来适应性地获取这样的滤波器的方法的两个示例性参考文献是于2009年4月20日提交的题为“DirectedInterpolation and Post-Processing” 的美国临时专利申请 N0.61/170, 995 和于 2010年 2 月 I 日提交的题为 “Adaptive Interpolation Filter for Mult1-layered VideoDelivery”的美国临时专利申请N0.61/300,427。这些参考文献的全部内容均通过引用合并到本文中。基于诸如图2中所示的基于参考处理的架构的应用是具有3D立体视频的帧兼容全分辨率传递的应用。帧兼容立体3D传递指的是如下立体内容的传递:其中首先在滤波或不滤波的情况下将原始的左眼和右眼图像下采样至较低分辨率(通常是原始分辨率的一半)，然后在编码之前将其一起封装为单个图像帧(通常是原始分辨率)。许多二次采样(例如，水平、垂直以及五点形)以及封装(例如，并排、上下、逐行以及棋盘)方法被用于帧兼容立体视频传递。图3示出帧兼容全分辨率3D传递体系结构的实现。该实现将基本层(300)或间层编码为帧兼容比特流(308 )。然后，参考处理单元(330 )被用于处理基本层(306 )或间层参考，并且生成针对增强层(310)的预测(332)。增强层包含如下的信息:当与基本层经解码的图像(332)以及来自其他层的经解码的图像(未示出)组合时，总体上改进了最终解码的左眼视点(350)和右眼视点(360)的分辨率。本公开内容的许多实施方式涉及参考处理滤波器的获取，通常用在遵循图2和图3中所呈现的架构的编码器的参考处理单元中。应该注意，编码器通常将与用在编码器中的RPU滤波器有关的信息用信号来通知给相应的解码器。解码器通常使用所发送的信息来选择其RPU滤波器。应该注意，发送信号未必需要包括特定的滤波器系数。替代地，编码器可以发送如下的方法:解码器通过该方法得到滤波器系数。在涉及立体视频中的应用的实施方式中，可以如图4中所示来得到参考处理滤波器。在图4中，来自基本层参考图片缓冲器(420)的基本层参考图片被作为输入提供至RPU(430)。与之前图的情况一样，除基本层参考图片之外或代替基本层参考图片，给RPU(430)的输入也可以是来自其他的层的参考图像或包括来自其他的层的参考图片。另外，左眼和右眼的源图像(400，410)也被输入到RPU (430)中。RPU (430)内的优化的滤波器选择(未示出)包括:将来自每个滤波器的参考经处理的图片或经处理的图片区域与源增强层图片(400, 410)比较，并且选择提供最优的代价失真权衡的滤波器。在一种实施方式中，可以使用拉格朗日优化技术获得滤波器选择。通过示例但非限制性的方式，在如下等式(I)中示出的拉格朗日优化技术能够被用于基于代价失真准则来得到滤波器:min Jj = Djr ~￥ A.C..厂(I)其中f表示识别所考虑的具体滤波器的滤波器索引，Df表示当与源增强层图片相比时参考处理图片中的失真，以及Cf表示由于使用滤波器f而导致的滤波器代价。使用包括有像素之间的绝对或平方误差的总和、均方误差、PSNR (峰值信噪比)、变换的平方误差的加权总和、变换的绝对的总和、SSIM(结构相似性指数测量)、多尺度SSIM以及其他感知的图像/视频质量度量的各种技术，可以计算失真Df。代价Cf通常是用于用信号来通知滤波器参数的比特的数目的函数。然而，代价也可以是其他因子的函数。例如，在受限于功率/复杂度的应用中，代价也可以考虑应用滤波器的计算复杂度和功率需求。在代价包括了包括但不限于比特的数目、计算复杂度以及功率需求的多个因子的情况下，可以使用多个拉姆达参数以便于分别调整每个因子对总代价的影响。
在图4中所示的实施方式中，以上所提供的滤波器选择处理独立于增强层编码器的运动/差异估计以及模式判定处理。模式判定处理通常涉及选择针对要由增强层编码器使用的块或宏块(例如，帧间、帧内或跳过块)的编码模式。在图4中，模式判定处理是基于率失真优化的(446)。在其他实施方式中，模式确定处理可以包括例如率失真复杂度优化。增强层编码器包括运动补偿器(442)、运动估计器(444)以及率失真优化模块(446)，其执行相应的运动补偿(442)、运动估计(444)以及率失真优化(446)处理。具体地，基于来自增强层参考图片缓冲器(440)的参考图片来应用增强层编码器的运动补偿(442)、运动估计(444)以及率失真优化(446)处理。如这样，使用来自基本层或之前的增强层的经处理的图像以及来自增强层参考图片缓冲器(440)的时间参考图片来应用处理(442，444，446)。在本实施方式中，增强层中的RI3U滤波器(未示出)的编码效率没有将运动补偿(442)、运动估计(444)以及率失真优化(446)的处理考虑在内。图5示出考虑到增强层编码器的运动估计(525)以及率失真优化(530)处理的滤波器选择处理的实施方式。分别使用运动估计器(525)和率失真优化模块(530)来执行运动估计(525)和率失真优化(530)的处理。在一种实施方式中，使用RPU (未示出)中可能的滤波器(510)中的每个滤波器对预先编码的基本层图片(500)(也称为基本层参考图像)的每个区域(505)进行滤波，以获得经滤波的基本层参考图片(515)。应该注意，虽然具体指的是基本层，但是参考或参考的区域也可以来自之前的间层，并且可以通过RPU中的滤波器来滤波以获得经滤波的间层参考图片。然后，一个或多个经滤波的图片(515)被插入到增强层参考图片缓冲器(520)中。然后，增强层编码器基于经滤波的基本层参考图片(515)和增强层源图像(545)来对经滤波的图片(515)执行运动/差异估计(525)以及率失真优化(530)。在本实施方式中，增强层编码器的运动估计(525)和与率失真优化(530)—起发生的模式判定将使用经滤波的基本层图片(515)作为除其他时间参考图片之外的潜在参考，并且生成使用特定的RPU滤波器(510)的失真和代价估计。确定潜在参考是否确实被用作参考图片的因子可以取决于例如由于利用潜在参考所导致的失真、代价以及计算复杂度。除滤波器代价之外，代价估计可以包括例如运动代价(诸如用于用信号来通知涉及每个参考图片的运动向量的代价)以及用于对预测残差进行编码的代价。滤波器代价可以包括用信号来通知滤波器参数(诸如滤波器类型、滤波器系数等)的代价。在一种实施方式中，可以使用运动补偿以及增强层源图像的编码之后的最终重构的像素值来计算失真。在针对可能的滤波器(510)中的每个滤波器执行运动估计(525)和率失真优化(530)处理之后，率失真优化(530)将率失真代价输出到滤波器选择器(550)，滤波器选择器(550 )基于率失真代价来选择一个或更多个滤波器。在一些实施方式中，可以针对基本层参考图片(500)的每个区域选择一个滤波器。另外，可以选择针对增强层图片的编码模式，其中由增强层编码器使用编码模式以将块、宏块和/或域编码为增强层图片。在率失真优化处理(530 )之后，可以从增强层参考缓冲器(520 )去除(535 )经滤波的基本层图片(515)。在某些实施方式中，在多遍编码或使用不同准则的重新评估的情况下，随后可以再使用同一经滤波的基本层图片(515)。注意，图5描述了其中单个增强层图片缓冲器(520)被用于率失真优化(530)处理的顺序方案。在另一实施方式中，并行方案也是可能的，在该并行方案中，在增强层编码器处的运动估计和模式选择(诸如基于率失真优化(530)的模式选择)之前，生成多个增强层参考图片缓冲器以存储每个可能的RPU滤波的图片(515)。应该注意，每个可能的RI3U滤波的图像(515)可能来自其他的增强层参考图片缓冲器。另外，在图5中所示的实施方式中，滤波器选择是基于重构的基本层图片(515)的。在另一实施方式中，可以使用原始的非编码基本层或者可替选的间层图像(500)来执行滤波器选择。类似地，在滤波器选择处理中被用作输入源图像(545)的原始的非编码增强层图像可以是已被处理或未被处理的(540)。可以对例如原始的非编码增强层图像执行处理(540)以去除噪声并改进运动估计处理(525)。根据本公开内容的其他的实施方式，滤波器选择处理可以执行单遍编码，并且使滤波器选择判定基于在经滤波的图像(500)和源图像(545)之间的失真以及运动估计和模式判定的代价。另外，可以对二次采样图像或图像内较小的区域执行运动估计以减少计算
复杂度。应该注意，图5可以涉及多遍(mult1-pass)编码。具体地,在各种实施方式中，率失真优化处理(530)可以包括变换和/或熵编码以及循环滤波。因此，经滤波的参考(515)可以在滤波器选择处理期间已被多次编码。应该注意，在图5所示的该具体实施方式
中使用运动估计(525)和率失真优化(530)。在其他实施方式中，运动估计(525)可以被例如由差异估计器所执行的差异估计处理代替，而率失真优化(530)可以被例如率失真代价优化代替。通过示例但是非限制性的方式，差异信息可以包括运动信息(例如，运动向量和预测失真)、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数。而且，在以下图6至图8中给出的运动估计处理和率失真优化处理中的每个处理也可以被例如差异估计处理和率失真代价优化处理代替。图6示出涉及单遍编码的滤波器选择方法的实施方式。该实施方式捕获了运动估计/补偿对RPU的总体性能的影响。来自基本层参考图片缓冲器(600)的基本层参考图片(670)被用作多个滤波器(610)的输入。每个滤波器(610)输出经滤波的基本层参考图片(612)。如之前所提及的，实施方式不需要涉及基本层，并且可以替代地涉及间层。在该情况下，来自相应的间层参考图片缓冲器的间层参考图片可以被滤波以输出经滤波的间层参考图片。在图6中所示的实施方式中，对每个经滤波的基本层参考或间层参考(612)执行运动估计(620)以便于获得针对增强层的预测。使用运动估计器(620)来执行运动估计(620)。然后计算应用每个滤波器(610)的失真和代价。在一些实施方式中，失真对例如由于运动补偿处理所引起的损失进行量化，并且代价将例如用于用信号来通知运动向量和/或用信号来通知滤波器参数比特的数目以及滤波器的计算复杂度考虑在内。可以分别使用失真计算模块(622)和代价计算模块(622)来计算每个滤波器的失真和代价。注意，在生成与运动估计处理(620)(诸如用信号来通知运动向量)相关联的代价中，也可以考虑从相邻块的运动向量可以预测特定块的运动向量的可能性。在一种实施方式中，用于运动估计处理(620)的块尺寸可以被选择为常量。在另一实施方式中，可以基于图像特性(诸如在所考虑的图像中元素的边缘特征、纹理、颜色、形状以及尺寸)来选择块尺寸。在又一实施方式中，除运动估计处理(620)之外，还可以执行模式判定处理(未示出)以便于针对每个块确定块的尺寸和类型、照明参数、变换参数、量化参数等。而且，在一种实施方式中，运动估计可以涉及亮度和/或色度分量。在那种情况下，可以基于一个或更多个分量的失真来计算失真，或者失真可以包括一个或更多个分量的运动估计失真与假定其他分量(无论是亮度分量还是其他色度分量)为零运动的失真的组合。在另一实施方式中，可以使用仅分量的子集来执行运动估计。从分量的子集得到的运动分量可以被用于确定其他分量的运动估计失真。当获得遍及所有分量的组合失真时，从不同分量获得的失真也可以针对每个分量被不同地加权。图7示出捕获了时间参考对关于视频编解码系统的编码处理的RPU的性能的影响的滤波器选择方法的实施方式。在本实施方式中，并非增强层源图片(750)中的所有编码块会使用经滤波的基本层参考图片(712)或来自间层(未示出)的经滤波的参考图片作为参考。可替代地，一些块可以使用来自增强层图片缓冲器(702)的时间参考，而其他块可以是帧内编码的。在本实施方式中，除经滤波的基本层或间层(未示出)参考图片(712 )之外，增强层时间参考(730)对于在增强层编码器处的RPU也是可用的。通过运动估计器(720)的方式，RPU可以使用可用的参考(712，730)中的全部或一些来执行运动估计(720)，并且参考选择器(760)会针对经编码的图片(750)的每个块来确定可能被增强层编码器所使用的参考图片(712，730 )。另外，参考选择器(760 )确定在所选择的参考图片(712，730 )与经编码的图配比之间的运动向量，并且做出模式判定。为了简化运动估计(720)和模式判定处理，可以在时间域选择器(740)中选择比实际上可用于编码器的时间参考的集合更小的来自增强层图片缓冲器(702)的时间参考(730)的集合，该时间域选择器(740)可以被设计为忽略较不重要的时间参考(730)。在一种实施方式中，可以基于来自当前待编码的增强层图片(750)的时间距离来确定时间参考的重要性(750)。例如，假定当前图像(750)处于时刻t，则仅可以使用来自时刻t-Ι和时刻t+Ι的可用参考。在另一实施方式中，可以基于相关性度量来确定时间参考(730)的重要性，该相关性度量确定在参考图片缓冲器(702)中的时间参考(730)中的每个时间参考与当前待编码的图片(750)之间的相关性，并且仅M个最相关的时间参考将被用在RPU滤波器确定处理中，其中M是任意数字。注意，在以上实施方式中，也可以在基本层滤波参考(712)与时间参考(730)之间执行双向预测或多假设搜索，以便于生成对后续的增强层图片的更精确的预测。图8示出针对下述情况的实施方式，在该情况中使用来自基本层或间层的运动信息替代增强层时间参考或者共同使用来自基本层或间层的运动信息与增强层时间参考。如之前所提到的众多解释，虽然对基本层进行参考，但是基本层也可以是多个间层中一个。为了利用来自基本层的运动信息来替代增强层时间参考，通常存在基本层图像的运动信息和增强层图像的运动信息高度相关的隐含假设。在高相关度的情况下，用于基本层或间层的运动向量和/或模式判定也可以被用于增强层，原因是不同的层共享相似的运动特性。因此，如果在增强层中不存在基本层或相关的间层参考，则期望在基本层或间层与当前增强层之间的时间运动向量和/或模式确定之间存在高度相关是合理的。鉴于该假设，增强层中的时间失真/代价估计器可以重新使用来自基本层的模式判定和运动向量，以便于生成对时间失真和预测运动向量的代价的估计，并且针对增强层做出模式判定。如果已知的关系或变换(如，例如空间或时间分辨率、旋转、平移等的改变)存在于基本层和增强层图像之间，那么在使用来自基本层的运动向量和模式判定来针对增强层生成估计之前，可以类似地变换基本层信息(880)(诸如运动向量和模式判定)。在另一实施方式中，基于在针对增强层预先编码的图片或区域中所得到的运动向量，可以确定应用到基本层(或间层)的运动向量以便于针对增强层获取经估计的运动向量的关系或变换。在先前编码的图片中每层的运动向量之间的差异也能够被用作引导确定运动估计中的置信水平。类似地，通过重新使用运动向量所获得的失真估计可以通过失真估计的置信水平进行加权。给定时间失真和代价估计以及由经滤波的基本层参考(812)(或间层参考)所产生的运动估计，可以执行参考选择(860)和模式判定(830)的处理，这考虑到了时间参考(830)和经滤波的基本层参考(812)(或间层参考)两者而不必增加滤波器选择处理的计算复杂度。继续参照图8，通过将运动估计处理(820)限制为较低复杂度的方案可以将滤波器选择方法简化。例如，在一种实施方式中，对包括基本层参考图片(830)或间层参考图片(未示出)以及增强层时间参考(870)的参考图片(830，870)仅执行整像素运动估计。在另一实施方式中，可以对使用多个滤波器(810)的子集或时间参考(830)的子集生成的参考图片(830，870)执行子像素精确运动估计(例如，子像素细化之前的整运动估计)，而对剩余的参考(830，870)执行整像素运动估计。这样的简化可以针对增强层编码器减少计算复杂度以及存储需求两者。在另一实施方式中，基于滤波器类型，运动搜索范围也可以是适应性的。通过提供更精确的运动向量预测器也可以减少运动估计的计算复杂度，该运动向量预测器可以从执行运动搜索所围绕的运动向量来得到。运动向量可以从基本层、间层提取，或者在时间上从增强层自身提取。也可以使用空间(帧内预测)。例如，返回参照图7和图8的实施方式，在相应图片的经编码的基本层中，通过提供从运动向量得到的运动向量预测器或其他预测模式信息(诸如帧内预测)，可以帮助时间参考图片(图7中的730，图8中的830)的运动估计(图7中的720，图8中的820)。在此情况下，照原样使用这些预测器或执行这些预测器的附加的简单细化(诸如执行小搜索范围运动估计)可以足以降低计算复杂度。在基本层经滤波的参考图片(712,812)的情况下，基于用于生成参考图片(712，812)的滤波器类型也可以得到运动向量预测值。例如，可以用在RI3U中的一个可能的“滤波器”是简单地复制基本层参考图片而没有任何附加滤波的滤波器。在此情况下，假定在基本层图像和增强层图像之间存在已知的相位偏移，则可以使用解释相位偏移的运动向量预测器。通过重新使用来自预先编码的图片的信息也可以获得计算复杂度的额外减少，其中预先编码的图片可以包括时间图片和来自不同层的图片。用于重新使用来自预先编码的图片的信息以用于滤波器选择的许多技术可以应用于此情况。根据如图7和图8中所示的一些实施方式，针对在增强层中待编码的每个图片，RPU滤波器判定处理将提供使用每个经RPU处理的图像(712，812)作为参考的的失真和代价以及使用时间参考(730，830)的失真和代价的映射。该映射可以用于选择在RPU中使用的滤波器。另外，该映射也可以用于执行进一步改进增强层的编码效率的许多其他编码器优化。例如，通常由RPU所做的编码判定可以包括确定滤波之前在其上划分基本层参考图片(870)的区域的数目和形状。由于用信号来通知滤波器参数的代价随着区域的数目而增加，所以RPU中的区域尺寸通常被分配为比用于运动估计/补偿的块尺寸更大。在一种实施方式中，通过使用滤波器失真和代价以及时间失真和代价的映射，，滤波器选择处理可以将区域尺寸选择为与针对其所选择的滤波器保持相同的块的最小连续集合的尺寸相等。在另一实施方式中，可以在滤波器选择器(890)中针对滤波器失真和滤波器代价两者来测试不同的区域尺寸和形状，并且可以针对给定的失真和/或代价准则来选择最优的执行形状和尺寸。另外，可以对基本层参考图片(770，780)执行边缘检测以便于确定可能被增强层编码器使用的区域的数目和形状。在另一实施方式中，RPU可以确定时间参考(730，830)的使用提供了针对整个图片或一片图片在失真和代价之间的更理想的权衡。可替选地，RPU可以确定基本层经滤波的参考(770，870)的使用提供了更理想的权衡。在任一情况下，RI3U可以用信号来通知给增强层编码器以修改参考图片缓冲器(700，702, 800, 802)内的参考图片(730，770, 830, 870)的顺序，使得由提供了更理想的失真/代价权衡的参考(730，770, 830, 870)所给出的较重要的参考可以使用比较不重要的参考更少的比特来用信号通知。换言之，比较不重要的参考更频繁地用于预测目的的较重要的参考通常被编码为使得较重要的参考与较不重要的参考相比使用更较少的比特来用信号通知。在另一实施方式中，如果认为仅时间参考(830)就足够了，则针对当前待编码的图片可以禁用RPU，从而节省计算时间和存储器两者。
总之，本公开内容的实施方式提供了用于实现对多层编解码的参考处理单元中使用的滤波器进行滤波器选择的方案的集合。具体地，所选择的滤波器可以用于提供经滤波的预先编码的层图片，该经滤波的预先编码的层图片被用作针对增强层的参考图片。然而，应该注意，类似的原则可以应用在单层编解码的情况下。例如，单层编解码可以使用可以在单个层中用于预测的时间参考。在预测之前，可以利用全局或局部的运动补偿、预滤波等来对时间参考进行处理。
在本公开内容中描述的方法和系统可以以硬件、软件、固件或它们的组合来实现。被描述为块、模块或分量的特征可以一起实现(例如，在诸如集成逻辑装置的逻辑装置中)或单独实现(例如，作为单独连接的逻辑装置)。本公开内容的方法的软件部分可以包括包含指令的计算机可读介质，当运行该指令时至少部分地执行所描述的方法。计算机可读介质可以包括例如随机存取存储器(RAM)和/或只读存储器(ROM)。指令可以由处理器(例如，数字信号处理器(DSP)，特定用途集成电路(ASIC))或现场可编程逻辑阵列(FPGA))运行。
如本文所描述的，本发明的实施方式可以因此涉及如下表I中所列举的一个或更多个示例性实施方式。因此，本发明可以以本文所描述的形式中的任一种来实施，包括但不限于以下描述了本发明的一些部分的结构、特征以及功能性的列举的示例性实施方式(EEE)0
表I
列举的示例性实施方式
EEE1.一种用于从多个滤波器当中选择特定滤波器的方法，所述特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述方法包括:
a)提供参考图片和增强层源图片；
b)使用来自所述多个滤波器的至少一个滤波器来对所述参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器被应用于所述参考图片的相应副本；
c)基于所述增强层源图片和所述至少一个经滤波的参考图片的全集或子集来执行差异估计，其中所述差异估计适于生成差异信息；以及
d)基于对在步骤c)中生成的所述差异信息进行比较来选择所述特定滤波器，
其中，所述差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。
EEE2.一种用于从多个滤波器当中选择特定滤波器的方法，所述特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述方法包括:
a)提供参考图片和增强层源图片；
b)使用来自所述多个滤波器的至少一个滤波器来对所述参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器被应用于所述参考图片的相应副本；
c)基于所述增强层源图片和所述至少一个经滤波的参考图片的全集或子集来执行差异估计，其中所述差异估计适于生成差异信息；
d)基于所述差异信息来获得失真信息；以及
e)基于对在步骤d)中生成的所述失真信息进行比较来选择所述特定滤波器，
其中，所述差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。
EEE3.一种用于从多个滤波器当中选择特定滤波器的方法，所述特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述方法包括:
a)提供增强层源图片；
b)基于所述增强层源图片和来自特定层的运动信息来执行差异估计，其中所述差异估计适于生成差异息；
c)基于所述增强层源图片和来自所述特定层的所述运动信息来获得失真信息；以及
d)基于对在步骤c)中获取的所述失真信息进行比较来选择所述特定滤波器，
其中，所述差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数，并且其中，来自所述特定层的所述运动信息是基于所述特定层的时间参考图片的。
EEE4.一种用于从多个滤波器当中选择特定滤波器的方法，所述特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述方法包括:
a)提供参考图片和增强层源图片；
b)使用来自所述多个滤波器的至少一个滤波器来对所述参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器被应用于所述参考图片的相应副本；
c)基于所述增强层源图片、所述至少一个经滤波的参考图片的全集或子集以及来自特定层的运动信息来执行差异估计，其中所述差异估计适于生成差异信息；
d)基于所述增强层源图片、所述至少一个经滤波的参考图片的所述全集或子集以及来自所述特定层的运动信息来获得失真信息；以及
e)基于对在步骤d)中获得取的所述失真信息进行比较来选择所述特定滤波器，
其中，所述差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数，并且其中，所述运动信息是基于所述特定层的时间参考图片的。
EEE5.一种用于从多个滤波器当中选择特定滤波器的方法，所述特定滤波器适于在视频编码系统中的参考图片处理单元中使用，所述编码系统包括层，所述方法包括:
a)提供参考图片和源图片，其中所述参考图片和所述源图片两者均来自同一层；
b)使用来自所述多个滤波器的至少一个滤波器来对所述参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器被应用于所述参考图片的相应副本；
c)基于所述源图片和所述至少一个经滤波的参考图片的全集或子集来执行差异估计，其中所述差异估计适于生成差异信息；
d)基于所述差异信息来获得失真信息；以及
e)基于对在步骤d)中生成的所述失真信息进行比较来选择所述特定滤波器，
其中，所述差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。
EEE6.根据列举的示例性实施方式I至2或4至5中任一项所述的方法，其中，所述参考图片没有在所述滤波步骤之前被预先编码。
EEE7.根据列举的示例性实施方式1、2或4中任一项所述的方法，其中，所述参考图片是基本层参考图片或间层参考图片，其中，间层是来自所述一个或更多个增强层的层。
EEE8.根据列举的示例性实施方式I至2或4中任一项所述的方法，其中，所述参考图片是来自所述增强层的空间参考图片或时间参考图片。
EEE9.根据列举的示例性实施方式I至4、6或7中任一项所述的方法，其中，所述提供步骤还包括处理所述增强层源图片，其中该处理将所述增强层源图片中的噪声去除。
EEE10.根据列举的示例性实施方式5所述的方法，其中，所述提供步骤还包括处理所述源图片，其中该处理将所述源图片中的噪声去除。
EEEl1.根据列举的示例性实施方式I至4或6至9中任一项所述的方法，其中，所述提供步骤还包括处理所述增强层源图片，其中该处理涉及到应用滤波、运动变换、运动补偿、照明补偿、缩放、反转以及前向色调映射、颜色格式转换以及伽玛校正中的至少一个。
EEE12.根据列举的示例性实施方式5或10所述的方法，其中，所述提供步骤还包括处理所述增强层源图片，其中所述处理涉及到应用滤波、运动变换、运动补偿、照明补偿、缩放、反转以及前向色调映射、颜色格式转换以及伽玛校正中的至少一个。
EEE13.根据前述列举的示例性实施方式中任一项所述的方法，其中，所述经滤波的参考图片中的至少一个是所述参考图片。
EEE14.根据列举的示例性实施方式I所述的方法，其中，所述执行差异估计的步骤还包括针对用在所述滤波步骤中的、来自所述多个滤波器当中的所述至少一个滤波器来获得代价信息，并且其中，所述选择步骤还是基于所述代价信息的，其中:
所述代价信息是所述差异信息、在用信号来通知每个滤波器的滤波器参数中要使用的比特的数目、在用信号来通知与每个经滤波的参考图片对应的所述运动向量中要使用的比特的数目、在用信号来通知与每个经滤波的参考图片对应的所述预测失真中要使用的比特的数目、应用每个滤波器的计算复杂度以及每个滤波器的功率消耗的函数。
EEE15.根据列举的示例性实施方式2所述的方法，其中，所述执行差异估计的步骤还包括针对用在步骤b)中的、来自所述多个滤波器当中的所述至少一个滤波器来获得代价信息，并且其中，所述选择步骤还是基于所述代价信息的，其中:
所述代价信息是所述差异信息、所述增强层源图片与每个经滤波的参考图片之间的失真、在用信号来通知每个滤波器的滤波器参数中要使用的比特的数目、在用信号来通知与每个经滤波的参考图片对应的所述运动向量中要使用的比特的数目、在用信号来通知与每个经滤波的参考图片对应的所述预测失真中要使用的比特的数目、应用每个滤波器的计算复杂度以及所述滤波器的功率消耗中的至少一个的函数。
EEE16.根据列举的示例性实施方式3或4所述的方法，其中所述获得失真信息的步骤还包括获得代价信息，并且所述选择步骤还是基于所述代价信息的，并且其中，所述代价估计是在用信号来通知所述多个滤波器中的滤波器的全集或子集的滤波器参数中要使用的比特的数目、在用信号来通知来自所述特定层的所述运动信息中要使用的比特的数目以及所述多个滤波器中的滤波器的所述全集或子集的功率消耗中的至少一个的函数。
EEE17.根据列举的示例性实施方式2至4中任一项所述的方法，其中，根据由像素之间的绝对或平方误差的总和、均方误差、PSNR、变换的平方误差的加权总和、变换的绝对误差的总和、SSIM以及多尺度SSM所构成的组来计算所述获得失真信息。
EEE18.根据列举的示例性实施方式I所述的方法，还包括:在所述执行步骤和所述选择步骤之间，对所述增强层源图片执行差异补偿以获得最终重构图片的步骤，其中所述差异补偿是基于所述差异估计的步骤的。
EEE19.根据列举的示例性实施方式2至4中任一项所述的方法，还包括:在所述差异估计的步骤和所述失真信息的步骤之间，对所述增强层源图片执行差异补偿以获得最终重构图片的步骤，其中所述运动补偿是基于所述差异估计的步骤的。
EEE20.根据列举的示例性实施方式19所述的方法，其中，所述获得失真信息还基于所述最终重构图片。
EEE21.根据前述列举的示例性实施方式中任一项所述的方法，其中，对所述参考图片的区域执行所述步骤中的每个步骤。
EEE22.根据列举的示例性实施方式21所述的方法，其中，使用多个区域尺寸和区域形状来分解所述参考图片以获得多个重构参考图片，并且其中，对所述多个重构参考图片执行所述步骤中的每个步骤。
EEE23.根据列举的示例性实施方式22所述的方法，其中，基于对所述参考图片执行边缘检测来确定所述区域尺寸和所述区域形状。
EEE24.根据前述列举的示例性实施方式中任一项所述的方法，其中，所述差异估计包括基于块的运动估计。
EEE25.根据列举的示例性实施方式24所述的方法，其中，对应于特定块的运动向量适于通过与所述特定块相邻的块的运动向量来预测。
EEE26.根据列举的示例性实施方式24或25所述的方法，其中，所述块尺寸是基于所述参考图片的图像特性的，其中所述图像特性是所述参考图片的亮度分量、色度分量和边缘特性以及所述参考图片中的元素的纹理、颜色、形状和尺寸中的至少一个的函数。
EEE27.根据列举的示例性实施方式24至26中任一项所述的方法，其中，所述执行差异估计的步骤或所述获得失真信息的步骤也确定块尺寸和块形状中的至少一个。
EEE28.根据前述列举的示例性实施方式中任一项所述的方法，其中，所述执行差异估计包括整像素运动估计。
EEE29.根据列举的示例性实施方式I至27中任一项所述的方法，其中，所述执行差异估计包括子像素精确运动估计。
EEE30.根据列举的示例性实施方式I所述的方法，其中，所述执行差异估计还基于来自增强层参考图片缓冲器的时间参考图片。
EEE31.根据列举的示例性实施方式2至4中任一项所述的方法，其中，所述执行差异估计还基于来自增强层参考图片缓冲器的时间参考图片。
EEE32.根据列举的示例性实施方式31所述的方法，还包括:在所述执行差异估计的步骤和所述获得失真信息的步骤之间，选择在所述获得失真信息的步骤中要使用的时间参考图片的步骤。
EEE33.根据列举的示例性实施方式32所述的方法，其中，所述选择时间参考图片的步骤是基于所述时间参考图片和所述增强层源图片之间的时间差异的。
EEE34.根据列举的示例性实施方式33所述的方法，其中，所述选择时间参考图片的步骤是基于在所述时间参考图片中的每个时间参考图片与所述增强层源图片之间的相关度的。
EEE35.根据列举的示例性实施方式31至34中任一项所述的方法，还包括基于对所述参考图片之间的所述代价信息和所述失真信息进行比较，从高重要性到低重要性来区分所述参考图片的重要性的优先次序以获得参考图片的优先次序集的步骤。
EEE36.根据列举的示例性实施方式35所述的方法，其中，与用于用信号来通知所述参考图片的优先次序集中具有较低重要性的的图片相比，用于用信号来通知参考图片的优先次序集中具有较高重要性的图片使用的比特更少。
EEE37.根据列举的示例性实施方式31至36中任一项所述的方法，其中，对所述至少一个经滤波的参考图片的子集和所述时间参考图片的子集执行子像素精确运动估计，而对剩余的经滤波的参考图片和剩余的时间参考图片执行整像素运动估计。
EEE38.根据列举的示例性实施方式35或36所述的方法，其中，在所述获得失真信息的步骤中不使用重要性低于预定义阈值的参考图片。
EEE39.根据列举的示例性实施方式35或36所述的方法，其中，针对具有较高重要性的参考图片以较高的精度执行所述差异估计，并且针对具有较低重要性的参考图片以较低的精度执行所述差异估计。
EEE40.根据列举的示例性实施方式3或4所述的方法，其中:
所述增强层的运动信息是基于来自所述特定层的所述运动信息的，
所述增强层的运动信息与所述特定层的运动信息之间的差异被用于计算置信水平，以及
运动信息包括运动向量和预测失真。
EEE41.根据列举的示例性实施方式40所述的方法，其中，所述失真信息是基于所述增强层的运动信息与所述特定层的运动信息之间的差异的，并且通过所述置信水平对所述失真息进行加权。
EEE42.根据前述列举的示例性实施方式中任一项所述的方法，其中，所述差异估计还是基于一个或更多个亮度和色度分量的。
EEE43.根据列举的示例性实施方式42所述的方法，其中，所述差异估计还是基于亮度和色度分量的子集的，并且其中，基于从亮度和色度分量的所述子集所获得的差异信息来计算剩余的亮度和色度分量的失真。
EEE44.根据列举的示例性实施方式43所述的方法，还包括多个加权因子，其中，一个加权因子被应用于每个亮度分量和每个色度分量。
EEE45.根据列举的示例性实施方式3或4所述的方法，其中，所述运动信息是基于从所述特定层获得的运动向量、用在所述特定层中的运动模型以及来自所述特定层的预先编码图片或所述特定层的预先编码图片的区域的运动向量中的至少一个的。
EEE46.根据列举的示例性实施方式I至2或4至5中任一项所述的方法，其中，所述提供步骤包括提供多个参考图片，并且对所述多个参考图片的全集或子集执行所述滤波步骤以获得至少一个经滤波的参考图片，并且其中，每个滤波器被应用于所述多个参考图片的所述全集或子集的每个参考图片。
EEE47.一种适于从多个滤波器当中选择特定滤波器的滤波器选择器，所述特定滤波器适于在多层视频编码系统中的参考处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述滤波器选择器包括:
所述多个滤波器的全集或子集，其用于处理参考图片或所述参考图片的区域以获得一个或更多个经处理的参考图片；以及
差异估计器，所述差异估计器适于基于增强层源图片以及来自所述一个或更多个经处理的参考图片的至少一个经处理的参考图片来生成差异信息，其中所述差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数，
其中，所述特定滤波器能够基于所述差异信息来选择。
EEE48.一种适于从多个滤波器当中选择特定滤波器的滤波器选择器，所述特定滤波器适于在多层视频编码系统中的参考处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述滤波器选择器包括:
所述多个滤波器的全集或子集，其用于处理参考图片或所述参考图片的区域以获得一个或更多个经处理的参考图片；以及
差异估计器，所述差异估计器适于基于增强层源图片以及来自所述一个或更多个经处理的参考图片的至少一个经处理的参考图片来生成差异信息，其中所述差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数；以及
失真信息计算模块，所述失真信息计算模块适于基于所述增强层源图片以及来自所述多个经处理的参考图片的所述至少一个经处理的参考图片来生成失真信息，
其中，所述特定滤波器能够基于所述失真信息来选择。
EEE49.根据列举的示例性实施方式47或48所述的滤波器选择器，还包括适于生成代价信息的代价信息计算模块，其中，所述代价信息是所述增强层源图片与所述至少一个经滤波的参考图片之间的失真、在用信号来通知每个滤波器的滤波器参数中要使用的比特的数目、在用信号来通知与每个经滤波的参考图片对应的所述运动向量中要使用的比特的数目、在用信号来通知与每个经滤波的参考图片对应的所述预测失真中要使用的比特的数目、应用每个滤波器的计算复杂度以及所述滤波器的功率消耗中的至少一个的函数。
EEE50.一种适于从多个滤波器当中选择特定滤波器的滤波器选择器，所述特定滤波器适于在多层视频编码系统中的参考处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述滤波器选择器包括:
差异估计器，所述差异估计器适于基于增强层源图片和来自特定层的运动信息来生成差异信息，其中，所述差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数；以及
失真信息计算模块，所述失真信息计算模块适于基于所述增强层源图片和来自所述特定层的所述运动信息来生成失真信息，
其中，所述特定滤波器能够基于所述失真信息来选择。
EEE51.根据列举的示例性实施方式47至50中任一项所述的滤波器选择器，其中，基于所述差异信息和来自增强层参考图片缓冲器的时间参考图片来选择所述特定滤波器。
EEE52.根据列举的示例性实施方式51所述的滤波器选择器，还包括参考选择器，所述参考选择器选择所述时间参考图片以用于选择所述特定滤波器。
EEE53.根据列举的示例性实施方式52所述的滤波器选择器，其中，所述参考选择器基于对所述时间参考图片的所述差异信息和所述代价信息进行比较来对所述时间参考图片区分优先次序。
EEE54.根据列举的示例性实施方式48或50所述的滤波器选择器，其中，所述失真信息计算模块使用由像素之间的绝对或平方误差的总和、均方误差、PSNR、变换的平方误差的加权总和、变换的绝对误差的总和、SSIM、以及多尺度SSIM所组成的组来计算所述失真信息。
EEE55.一种从多个滤波器当中选择特定滤波器的滤波器选择器，根据前述列举的示例性实施方式中任一项所述的方法，所述特定滤波器适于在参考处理单元中使用。
EEE56.一种包括多个滤波器以及列举的示例性实施方式55所述的滤波器选择器的参考处理单元，其中，所述滤波器选择器从所述多个滤波器中选择用在所述参考处理单元中的特定滤波器。
EEE57.一种计算机可读存储介质，所述计算机可读存储介质包含使计算机执行列举的示例性实施方式I至46中任一项所述的方法的指令集。
EEE58.一种用于对视频信号进行编码的编码器，所述编码器包括参考处理单元，其中，所述参考处理单元基于列举的示例性实施方式I至46中任一项所述的方法来选择滤波器。
另外，说明书中所提及的所有专利和公开可以表明本公开内容所属的领域的技术人员的技术水平。本公开内容中所引用的所有参考文献通过引用而被合并的程度如同每个参考文献的全部内容已经分别通过弓I用而被合并的程度一样。
提供以上所阐述的示例，以向本领域的普通技术人员提供对如何制造并使用本公开内容的参考处理滤波器选择方法的实施方式的完整公开内容和描述，并且这些示例并非意在限制发明人所认为的他们的公开内容的范围。用于实施本公开内容的上述模式的修改可以由视频领域的技术人员使用，并且该修改意在位于所附权利要求的范围之内。
应该理解，本公开内容不限于特定的方法或系统，其当然可以变化。还应该理解，本文中所使用的术语仅出于描述具体实施方式
的目的，而并非意在限制。如本说明书以及所附权利要求书中使用的，单数形式“一”、“一个”以及“该”包括复数对象，除非该内容是以其他方式明确指出的。除非另外定义，否则本文中所使用的所有技术和科学术语具有与本公开内容所属领域的普通技术人员所普遍理解的意义相同的意义。
已经描述了本公开内容的许多实施方式。然而，要理解，可以在不背离本公开内容的精神和范围的情况下做出各种修改。因此，其他实施方式也在所附权利要求的范围之内。
权利要求
1.一种用于从多个滤波器当中选择特定滤波器的方法，所述特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述方法包括: a)提供参考图片和增强层源图片； b)使用来自所述多个滤波器的至少一个滤波器来对所述参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器包括被应用于所述参考图片的相应副本； c)基于所述增强层源图片和所述至少一个经滤波的参考图片的全集或子集来执行差异估计，其中所述差异估计包括适于生成差异信息；以及 d)基于对在所述差异估计步骤c)中生成的所述差异信息进行比较来选择所述特定滤波器； 其中，所述差异信息包括运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。
2.根据权利要求1所述的方法，其中，所述参考图片在所述滤波步骤之后被编码。
3.根据权利要求1所述的方法，其中，所述参考图片包括基本层参考图片或间层参考图片，其中，间层包括来自所述一个或更多个增强层当中的层。
4.根据权利要求1所述的方法，其中，所述参考图片包括来自所述增强层的空间参考图片或时间参考图片。
5.根据权利要求1所述的方法，其中，所述提供步骤还包括处理所述增强层源图片，其中该处理将所述增强层源图片中的噪声去除。
6.根据权利要求5所述的方法，其中，所述提供步骤还包括处理所述源图片，其中该处理将所述源图片中的噪声去除。
7.根据权利要求1所述的方法，其中，所述提供步骤还包括处理所述增强层源图片，其中该处理涉及到应用滤波、运动变换、运动补偿、照明补偿、缩放、反转以及前向色调映射、颜色格式转换以及伽玛校正中的至少一个。
8.根据权利要求7所述的方法，其中，所述提供步骤还包括处理所述增强层源图片，其中该处理涉及到应用滤波、运动变换、运动补偿、照明补偿、缩放、反转以及前向色调映射、颜色格式转换以及伽玛校正中的至少一个。
9.根据权利要求1所述的方法，其中，所述经滤波的参考图片中的至少一个包括所述参考图片。
10.根据权利要求1所述的方法，其中，所述执行差异估计的步骤还包括针对用在所述滤波步骤中的、来自所述多个滤波器当中的所述至少一个滤波器来获得代价信息，并且其中，所述选择步骤还是基于所述代价信息的；以及 其中，所述代价信息包括所述差异信息、在用信号来通知每个滤波器的滤波器参数中要使用的比特的数目、在用信号来通知与每个经滤波的参考图片对应的所述运动向量中要使用的比特的数目、在用信号来通知与每个经滤波的参考图片对应的所述预测失真中要使用的比特的数目、应用每个滤波器的计算复杂度以及每个滤波器的功率消耗的函数。
11.根据权利要求1所述的方法，还包括:在所述执行步骤和所述选择步骤之间，对所述增强层源图片执行差异补偿以获得最终重构图片的步骤，其中所述差异补偿是基于所述差异估计的步骤的。
12.根据权利要求1所述的方法，其中，对所述参考图像的区域执行所述步骤中的每个步骤。
13.根据权利要求12所述的方法，其中，使用多个区域尺寸和区域形状来分解所述参考图片以获得多个重构参考图片，并且其中，对所述多个重构参考图片执行所述步骤中的每个步骤。
14.根据权利要求12所述的方法，其中，基于对所述参考图片执行边缘检测来确定所述区域尺寸和所述区域形状。
15.根据权利要求1所述的方法，其中，所述差异估计包括基于块的运动估计。
16.根据权利要求15所述的方法，其中，对应于特定块的运动向量适于通过与所述特定块相邻的块的运动向量来预测。
17.根据权利要求15所述的方法，其中，块尺寸是基于所述参考图片的图像特性的，其中所述图像特性包括所述参考图片的亮度分量、色度分量和边缘特性以及所述参考图片中的元素的纹理、颜色、形状和尺寸中的至少一个的函数。
18.根据权利要求15所述的方法，其中，所述执行差异估计的步骤或所述获得失真信息的步骤也确定块尺寸和块形状中的至少一个。
19.根据权利要求1所述的方法，其中，所述差异估计包括整像素运动估计。
20.根据权利要求1所述的方法，其中，所述差异估计包括子像素精确运动估计。
21.根据权利要求1所述的方法，其中，所述执行差异估计还基于来自增强层参考图片缓冲器的时间参考图片。
22.根据权利要求1所述的方法，其中，所述差异估计还是基于一个或更多个亮度和色度分量的。
23.根据权利要求22所述的方法，其中，所述差异估计还是基于亮度和色度分量的子集的，并且其中，基于从亮度和色度分量的所述子集获得的所述差异信息来计算剩余的亮度和色度分量的失真。
24.根据权利要求23所述的方法，还包括多个加权因子，其中，一个加权因子包括被应用于每个亮度分量和每个色度分量。
25.根据权利要求1所述的方法，其中，所述提供步骤包括提供多个参考图片，并且对所述多个参考图片的全集或子集执行所述滤波步骤以获得至少一个经滤波的参考图片，并且其中，每个滤波器包括被应用于所述多个参考图片的所述全集或子集的每个参考图片。
26.一种用于从多个滤波器当中选择特定滤波器的系统，所述特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述系统包括: a)用于提供参考图片和增强层源图片的装置； b)用于使用来自所述多个滤波器的至少一个滤波器来对所述参考图片的副本进行滤波以获得至少一个经滤波的参考图片的装置，其中每个滤波器包括被应用于所述参考图片的相应副本； c)用于基于所述增强层源图片和所述至少一个经滤波的参考图片的全集或子集来执行差异估计的装置，并且其中所述差异包括估计适于生成差异信息；以及d)用于基于对使用所述差异估计装置C)生成的所述差异信息进行比较来选择所述特定滤波器的装置； 其中，所述差异信息包括运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。
27.一种计算机可读存储介质，包括使用其进行有形编码的指令，当使用处理器来执行所述指令时，所述指令使所述处理器对用于从多个滤波器当中选择特定滤波器的处理至少部分地进行引发、控制、编程或配置，所述特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述处理包括: a)提供参考图片和增强层源图片； b)使用来自所述多个滤波器的至少一个滤波器来对所述参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器包括被应用于所述参考图片的相应副本； c)基于所述增强层源图片和所述至少一个经滤波的参考图片的全集或子集来执行差异估计，其中所述差异估计包括适于生成差异信息；以及 d)基于对在所述差异估计步骤c)中生成的所述差异信息进行比较来选择所述特定滤波器； 其中，所述差异信息包括运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。
28.一种用于从多个滤波器当中选择特定滤波器的方法，所述特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述方法包括: a)提供参考图片和增强层源图片； b)使用来自所述多个滤波器的至少一个滤波器来对所述参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器包括被应用于所述参考图像的相应副本； c)基于所述增强层源图片和所述至少一个经滤波的参考图片的全集或子集来执行差异估计，其中所述差异估计包括适于生成差异信息； d)基于所述差异信息来获得失真信息；以及 e)基于对在所述失真信息获得步骤d)中生成的所述失真信息进行比较来选择所述特定滤波器； 其中，所述差异信息包括运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。
29.一种用于从多 个滤波器当中选择特定滤波器的方法，所述特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述方法包括: a)提供增强层源图片； b)基于所述增强层源图片和来自特定层的运动信息来执行差异估计，其中所述差异估计包括适于生成差异信息；c)基于所述增强层源图片和来自所述特定层的所述运动信息来获得失真信息；以及 d)基于对在所述失真信息获得步骤c)中获取的所述失真信息进行比较来选择所述特定滤波器； 其中，所述差异信息包括运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数，并且其中，来自所述特定层的所述运动信息基于所述特定层的时间参考图片。
30.一种用于从多个滤波器当中选择特定滤波器的方法，所述特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述方法包括: a)提供参考图片和增强层源图片； b)使用来自所述多个滤 波器的至少一个滤波器来对所述参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器包括被应用于所述参考图片的相应副本； c)基于所述增强层源图片、所述至少一个经滤波的参考图片的全集或子集以及来自特定层的运动信息来执行差异估计，其中所述差异估计包括适于生成差异信息； d)基于所述增强层源图片、所述至少一个经滤波的参考图片的所述全集或子集以及来自所述特定层的运动信息来获得失真信息；以及 e)基于对在所述失真信息获得步骤d)中获取的所述失真信息进行比较来选择所述特定滤波器， 其中，所述差异信息包括运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数，并且其中，所述运动信息是基于所述特定层的时间参考图片的。
31.一种用于从多个滤波器当中选择特定滤波器的方法，所述特定滤波器适于在视频编码系统中的参考图片处理单元中使用，所述编码系统包括层，所述方法包括: a)提供参考图片和源图片，其中所述参考图片和所述源图片两者均来自同一层； b)使用来自所述多个滤波器的至少一个滤波器来对所述参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器包括被应用于所述参考图片的相应副本； c)基于所述源图片和所述至少一个经滤波的参考图片的全集或子集来执行差异估计，其中所述差异估计包括适于生成差异信息； d)基于所述差异信息来获得失真信息；以及 e)基于对在所述失真信息获得步骤d)中生成的所述失真信息进行比较来选择所述特定滤波器， 其中，所述差异信息包括运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。
全文摘要
参考处理可以用在视频编码器或解码器中，以得到与待编码或待解码的源图像更好地相关联的参考图片，这样做通常会产生较好的编码效率。讨论了针对适于用在视频编解码系统中的参考处理单元的用于滤波器选择的方法。具体地，讨论了基于通过将待编码的源图像与经处理的或未经处理的参考图片进行比较来执行运动估计并获得失真/代价信息的用于滤波器选择的方法。
文档编号H04N7/26GK103141099SQ201180047490
公开日2013年6月5日 申请日期2011年9月19日 优先权日2010年10月1日
发明者佩沙拉·V·帕哈拉瓦达, 贺玉文, 亚历山德罗斯·图拉皮斯 申请人:杜比实验室特许公司