用于使用参考处理信号进行多层图像和视频传输的系统和方法

专利名称：用于使用参考处理信号进行多层图像和视频传输的系统和方法
技术领域：
本公开内容涉及图像处理和视频压缩。更具体地，本公开内容涉及用于多层图像和视频传输的编码和解码系统及方法。
背景技术：
大量的3D流行电影字幕的发行导致对用于向家庭传输诸如电影、体育和其它节目的3D内容的途径的需求。然而，在向家庭传输3D内容时，必须考虑大量限制。一个这样的限制是与现有的(传统)硬件和系统基础设施的向后兼容性。例如，允许家庭用户使用现有的机顶盒观看3D图像和视频、同时与2D内容相比消耗最小附加带宽的传输解决方案对于大部分服务提供者来说将是有吸引力的解决方案。以下案件通过引用合并于此:2010年4月20日提交的国际专利申请第PCT/US2010/031762 号(国际公布号 W0/2010/123909，公布于 2009 年 4 月 20 日)；2010 年 6 月30日提交的国际专利申请第PCT/US2010/040545号(国际公布号W0/2011/005624，公布于2011年I月13日)；以及2010年4月20日提交的国际专利申请第PCT/US2010/031693号(国际公布号W0/US2010/123855，公布于2010年10月28日)。


并入本说明书并构成本说明书的一部分的附图示出了本公开内容的一个或多个实施例，并且连同示例实施例的描述一起用于说明本公开内容的原理和实现。图1示出了用于帧兼容多视图视频传输的并排(SbS)打包(packing)布置。图2绘出了用于巾贞兼容多视图视频传输的上/下打包(over/underpacking)布置。图3绘出了根据本公开内容的实施例的3D立体视频传输系统的框图。图4示出了根据本公开内容的多个实施例的用于SbS帧打包的参考处理单元(RPU)中的像素复制滤波器的示例。图5绘出了根据本公开内容的另一实施例的、使用另一 RPU来处理基本层参考画面的3D立体视频传输系统的框图。图6示出了根据本公开内容的一个实施例的、用于RPU中的SbS解包的不同采样偏移的使用:(a)视图O使用零偏移，视图1使用单个像素水平偏移，(b)两个视图均采用
零偏移。图7绘出了根据本公开内容的实施例的非3D图像/视频的可调节多层传输系统的框图。
图8绘出了根据本公开内容的实施例的、包含用于处理基本层画面的另一 RPU的非3D图像/视频的可调节多层传输系统的框图。
图9示出了根据本公开内容的实施例的、使用多于一个增强层的多层多视图视频编码架构。
图10绘出了根据本公开内容的实施例的、使用多于一个增强层的帧兼容多层编码架构。
图11绘出了根据本公开内容的实施例的、用于多层编码的多假设参考生成。
图12绘出了根据本公开内容的实施例的、用于多层编码/解码的多假设解码器。
具体实施方式
根据本公开内容的第一方面，提供了一种用于图像和视频传输的多层编码方法，该多层编码方法包括:通过基本层对至少一个输入图像或视频帧进行基本层处理，所述基本层处理包括通过对至少一个输入图像或视频帧进行处理来获得至少一个第一较低分辨率图像或视频帧并且通过对至少一个第一较低分辨率图像或视频帧进行编码来获得多个基本层编码位流信号；以及通过一个或多个增强层对至少一个图像或视频帧进行增强层处理，所述增强层处理包括:通过根据第一规则集对至少一个基本层信号或至少一个第一增强层信号进行参考处理来获得第一多个参考处理信号和至少一个第一参考处理后图像或视频帧，通过根据第二规则集对至少一个第一参考处理后图像或视频帧和至少一个输入图像或视频帧进行处理来获得至少一个残差图像或视频帧，通过对至少一个残差图像或视频帧进行处理来获得至少一个第二较低分辨率图像或视频帧，通过对至少一个第二较低分辨率图像或视频帧进行编码来获得多个增强层编码位流信号，并且通过根据第三规则集对至少一个第二增强层信号进行参考处理来获得第二多个参考处理信号。
根据本公开内容的第二方面，提供了一种用于图像和视频传输的多层编码器，该多层编码器包括被适配用于至少一个输入图像或视频帧的基本层处理器，所述基本层处理器包括被适配成输出多个基本层编码位流信号的基本层编码器和被适配用于至少一个输入图像或视频帧的至少一个增强层处理器，所述增强层处理器包括增强层编码器和至少两个参考处理单元(RPU)，其中，增强层编码器被适配用于输出多个增强层编码位流，第一RPU被适配用于根据第一规则集处理来自基本层编码器的至少一个输出或至少一个增强层信号并输出第一多个参考处理数据和至少一个第一参考处理后图像或视频帧，并且第二RPU被适配成根据第二规则集处理来自增强层编码器的至少一个输出并输出第二多个参考处理数据。
根据本公开内容的第三方面，提供了一种使用多假设处理的多层编码器，该多层编码器包括:第一层编码器；第一参考处理单元(RPU)，耦合到第一层编码器；第二层编码器，耦合到第一层编码器；第二 RPU，耦合到第二层编码器；组合器，耦合到第一 RPU和第二RPU ;比较器，耦合到组合器；第三层编码器，耦合到第二层编码器和比较器；以及第三RPU，耦合到第三层编码器，其中，组合器被适配用于通过对第一 RPU的输出和第二 RPU的输出的加权组合来生成作为第三层编码器的输入的预测图像，比较器被适配成根据预测图像和原始视像计算残差图像，并且第三层编码器被适配成对残差图像进行编码。
根据本公开内容的第四方面，提供了一种用于图像和视频传输的多层解码方法，该多层解码方法包括:通过基本层对多个基本层编码位流信号进行基本层处理，所述基本层处理包括通过对多个基本层编码位流信号进行解码来获得至少一个第一低分辨率图像或视频帧；以及通过一个或多个增强层对多个增强层位流信号进行增强层处理，其中，多个增强层位流信号包括多个增强层编码位流信号、第一多个参考处理信号和第二多个参考处理信号，所述增强层处理包括:通过对第一多个参考处理信号和至少一个第一低分辨率图像或视频帧进行参考处理来获得至少一个参考处理后图像或视频帧，通过对多个增强层编码位流信号进行解码并对基本层信号或增强层信号进行处理来获得至少一个增强层解码信号，通过对第二多个参考处理信号和至少一个增强层解码信号进行参考处理来获得至少一个第二参考处理后图像或视频帧，并且通过对至少一个第一参考处理后图像或视频帧和至少一个第二参考处理后图像或视频帧进行组合来获得至少一个全分辨率图像或视频帧。根据本公开内容的第五方面，提供了一种用于图像和视频传输的多层解码器，该多层解码器包括:至少一个基本层解码器，被适配成对多个基本层编码位流信号进行解码；至少一个增强层处理器，被适配成对多个增强层位流信号进行处理，其中，所述多个增强层位流信号包括多个增强层编码位流信号、第一多个参考处理信号和第二多个参考处理信号，所述增强层处理器包括:增强层解码器，被适配成对多个增强层位流信号进行解析并对多个增强编码位流信号进行解码；第一参考处理单元(RPU)，被适配成根据第一多个参考处理信号，对来自基本层解码器的输出进行处理并输出至少一个第一内插重构图像或视频帧；第二 RPU，被适配成根据第二多个参考处理信号来对来自增强层解码器的输出进行处理并输出至少一个第二内插重构图像或视频帧；以及至少一个组合器，被适配成对至少一个第一内插重构图像或视频和至少一个第二内插重构图像或视频帧进行组合，以获得至少一个全分辨率图像或视频帧。根据本公开内容的第六方面，提供了一种使用多假设处理的多层解码器，该多层解码器包括:第一层解码器；第一参考处理单元(RPU)，耦合到第一层解码器；第二层解码器，耦合到第一层解码器；第二 RPU，耦合到第二层解码器；组合器，耦合到第一 RPU和第二RPU ;第三层编码器，耦合到第二层编码器；第三RPU，耦合到第三层编码器；以及加法器，耦合到组合器和第三RPU。向后兼容的3D视频传输系统可通过现有或传统2D视频硬件和系统来向家庭或其它地点传输3D视频。帧兼容3D视频系统提供了这样的向后兼容传输架构。参见附录B。在该情况下，可以使用如下分层方法:基本层提供以“帧兼容”格式(诸如，并排(SbS)、上下(OU)或棋盘格(CB))布置的左眼和右眼的低分辨率版本。可使用多种技术(诸如，水平、垂直、梅花形采样等)对原始的全分辨率视图进行滤波和采样。例如，图1示出了用于帧兼容多视图视频传输的SbS打包，并且图2示出了用于帧兼容多视图视频传输的OU打包。一个或多个增强层可以以向后兼容方式嵌入同一位流中，以使得未来的全分辨率解码器将能够以全分辨率对两个视图进行解码。在附录B中提出了一个这样的用于可调节3D视频传输的方案。本公开内容提出了对该方案的扩展，其可以改进性能或者提供具有不同特性的替选实现，诸如使得具有微小修改的现有解码器架构能够执行类似的增强。该方案还可以应用于获得2D图像和视频的空间可调节传输，并且可以适配成提供其它形式的可调节性(诸如，SNR/质量、时间、位深等)以及用于可涉及两个或更多个视图的通用多视图视频编码。
图3示出了根据本公开内容的实施例的3D立体视频传输系统(300)的框图。根据该实施例，首先分别使用滤波器F1L (306)和(308)对要编码的原始左眼视图(302)和右眼视图(304)进行滤波，然后，使用下采样器(310，312)进行子采样以获得半分辨率左眼视图和右眼视图。根据本公开内容的其他实施例，滤波和子采样可与水平、垂直、梅花形等子采样方案中的任一个有关。另外，下采样滤波器可对于整个序列是固定的，或者可基于特定空间和/或时间区域的特性而适配。例如，与低纹理化或运动区域相比，高纹理化或运动区域可使用更强的滤波。在编码器或解码器处进行不同滤波也可应用于相对视图的相应区域中，以更好地开发立体掩蔽(stereo masking)。假定编解码器支持这些要求和像素精度准确性，则可以对滤波后的样本进行量化/调制以达到任意适当精度。解码器还提供了去量化/解调处理，以在应用任何处理之前得回滤波后的样本。
根据图3所示的实施例，接着在3D复用模块(314)中对子采样后的图像进行复用，该3D复用模块(314)可执行并排、上下、行交织、列交织、棋盘格等数据布置中的任一种以形成帧兼容图像序列。
另外，在本公 开内容的其它实施例中，可使用另外的“非传统”子采样技术和布置，诸如，例如对一个视图子采样以达到比其它视图低的分辨率(垂直或水平、或者两者)，以对于不同视图提供在一个或多个维度中不等的质量。在一个这样的实施例中，可以以在一个维度高于其它视图而在另一维度低于其它视图的分辨率来对一个视图进行子采样。
根据图3所示的实施例，使用视频编码器(316)对所得到的帧兼容图像进行编码，该视频编码器(316)可与现有的视频编码标准和编解码器(诸如，MPEG-2、H.264/AVC/MPEG-4Part 10、VC1、VP6、VP7和VP8等)以及下一代视频编码标准和编解码器兼容。编解码器可支持任意输入颜色和采样格式，诸如YUV 4:0:0、4:2:0、4:2:2和4:4:4、1 8、乂￥2等，并且可以支持任意位深精度。在层之间可以支持不同的格式和/或精度。在本公开内容的另一实施例中，应该可通过符合相同标准的现有解码器对该编码器(316)的输出位流进行解码。在另一实施例中，可将整个方案视为使得每层的位流和RPU数据合并以形成单层位流的一个编解码器。
根据图3所示的实施例，来自编码器(316)的重构输出画面接着被馈送到区域处理单元(318) (RPU1)(也称为参考处理单元，但是定义“参考”不暗示该画面明确地用作完整编码处理中的参考)。在附录A和B中描述了 RPU。如果不指定，RPU的以下描述适用于编码器的RPU和解码器的RPU。本领域普通技术人员在阅读本公开内容时将理解并能够区分编码器特定的、解码器特定和通用的RPU描述、功能和处理。在帧兼容3D编码系统的上下文中，诸如图3所示的实施例，RPU (318)根据用于选择不同RPU滤波器的规则集，获得低分辨率解码后3D图像，并且对图像进行内插以获得对原始高分辨率左眼视图和右眼视图的预测(320)。
RPU使得内插处理能够在区域级自适应，其中根据该区域的特征来对画面/序列的每个区域进行内插。在RPU内所应用的可能区域相关滤波器当中，可以是水平滤波器、垂直滤波器或2D滤波器、边缘自适应滤波器或基于频率的滤波器以及像素复制滤波器或者用于内插的其它方法。
例如，一个像素复制滤波器将仅执行零阶保持，S卩，内插图像中的每个样本将等于低分辨率图像中的相邻样本的值。另一像素复制滤波器可执行交叉视图拷贝操作，即，一个视图中的每个内插样本将等同于来自相对视图的非内插同位置样本。另一选择可以是为内插样本仅分配零值的“零滤波器(zero filter)”(参见图4)。根据本公开内容的另一实施例，还可以在RPU中使用“视差补偿拷贝”方案。根据该实施例，滤波器可拷贝可以使用视差矢量来指定要拷贝区域的位置的样本的非同位置区域，该要拷贝区域也可以是来自不同视图的区域。视差矢量可使用整数或子像素准确性来指定并且可涉及简单的(例如，平移运动参数)或更复杂的运动模型(诸如仿射或透视运动信息等)。图3的编码器(310)处的RPU1滤波器选择处理将被提供作为输入数据(322)的区域处理信号(322)输出到解码器处的RPU1 (324)。信令以每个区域为基础指定滤波方法，其中，在RPU数据报头中指定区域的参数(诸如，数量、大小、形状等)。一些滤波器可由固定滤波器系数构成，在该情况下，滤波器系数不需要由RPU明确地发信号通知，或者一些滤波器模式可以是要求滤波器系数(诸如，系数值、水平/垂直抽头的数量等)明确以信号通知的明确模式。滤波器也可按照每个颜色分量来指定。除了线性滤波器之外，在RPU中还可指定诸如边缘自适应滤波器、双边滤波器等的非线性滤波器，同时还可以发信号通知包括指定高级运动补偿方法的模型(诸如，仿射或透视运动模型)的更高级预测模型。然后，根据规则集将来自图3的RPU1 (318)的预测图像(320)与原始的左眼视图(302)和右眼视图(304)进行比较，并且使用滤波器(330)和F/ (332)来对预测误差(326)进行滤波和子采样，以及可选地对该预测误差(326)进行递增和量化以适合于目标编解码器支持的适当像素精度。根据图3所示的实施例，比较可以是差分计算(328)，以获得RPU1预测图像(320 )与原始图像(302，304)之间的残差(326 )。在不同的实施例中，可采用将RPU1处理后图像和“残差”图像与原始视图相关的线性或非线性函数。这样的函数可以是简单的减法，或者可涉及一些其它的线性或非线性变换，例如，比率计算。注意，尽管在图3中，来自每个视图的RPU1预测图像(320)被视为分开的图像，但出于计算的目的，在另一实施例中，它们可被视为一个图像。F2中的滤波器(328，330)和子采样方案(334)可与层I中的滤波器和子采样方案不同，并且还可自适应于每个空间和时间区域。根据图3所示的实施例，接着在增强层“3D复用”模块(336)中对滤波后和子采样后的图像进行再复用，以获得对层2视频编码器(338)的输入。在另一实施例中，编码器处的RPU1 (318)的处理可仅提供来自互补位置(诸如，被抽出十分之一以生成基本层图像的位置)的样本作为输出。在这样的实施例中，这些样本与原始视图之间的残差可以被复用并被输入到层2编码器(338)，从而避免了在层2编码时对额外滤波(330，332)和子采样(334)的需要。层2编码器(338)和解码器(340)不必与层I编码器(338)和解码器(342)类似。层2编码器(338)的重构输出画面(344)被馈送到RPU2 (346)。编码器处的RPU2(346)在区域级执行优化以确定对于来自层2的重构画面(344)的最佳上变频方案，以使得当来自解码器处的RPU2 (348)的输出图像(350)与来自解码器处的RPU1 (324)的输出图像(352)组合时，增强组合图像质量。RPU2 (346)的基于区域的滤波器还可采取对于RPU1(318)的上述形式中的任一种。在增强层位流中，相关联的信号362被传送到解码器，该增强层位流还包含RPU1信令(322)以及来自层2的编码位流(354)。注意，在另一实施例中，由于在层I中的编码样本与层2中的要编码样本之间可能存在高度关联，因此来自层I编码器(316)的重构画面(356)也可用作层2的视频编码器(338)的参考画面缓冲器中的参考，从而允许层2的一些区域参考层I的区域以进行空间/时间预测。根据另一实施例，RPU(318，346)还可执行抖动处理或者将舒适噪声引入RPU处理后图像(320)，以减少取轮廓/条带伪像，并且提高最终重构信号(360)的感知质量。
图5示出了根据本公开内容的另一实施例的3D立体视频传输系统(500)的框图。特别地，根据图5所示的实施例，在输入(506)到层2的编码器(508)的参考画面缓冲器之前，来自前一层的参考(504)可使用如在附录A和B中的基于RPU的技术来处理。另外，宏块模式、运动矢量等也可从层I编码器(502)传递到层2编码器(508)。在一个实施例中，层2可使用层I的信息(诸如，参考画面、宏块模式、运动矢量等)作为预测指标(predictor)来改进层2编码的压缩效率。在不同的实施例中，可独立于层I来对层2的图像进行编码，从而允许简化的解码器实现。注意，即使在该情况下，仍可使用层I的信息以初始化层2的编码器的编码决定，从而降低层2编码的计算复杂度。
RPU中的上采样处理可针对不同的颜色分量、根据要编码/解码的层使用对于左眼和右眼不同的采样偏移以及对于每个画面不同的采样偏移。因此，还将在RPU中指定采样偏移信息。图6示出了当在SbS方案中对低分辨率重构图像进行内插以达到全分辨率时，可以用在每个视图中的采样偏移的两个示例。可发信号通知包括非整数采样偏移的另外的采样偏移。同样，在其它采样布置中也会出现采样偏移的类似差别。
对于所提出的系统的解码处理相对简单。图3的基本层(层I)解码器(342)对层I的位流(358)进行解码，其独立地提供可以使用传统解码器和现有的3D显示器来以3D显示的帧兼容输出。增强层解码器(340)对包含RPU1和RPU2信令数据(322，362)以及层2编码位流(354)的增强层位流进行解析。然后，每层的解码输出被馈送到相应的RPU (324，348)以获得内插后的重构视图L1, R1 (352WPL2，R2 (350)。通过将RPU处理后的左图像和右图像中的每一个组合在一起来获得输出的全分辨率(FR)左右视图(360)。在本公开内容的实施例中，增强层解码器在组合处理之前对RPU处理后的左图像和右图像进行变换。根据另外的实施例，这样的变换可以是偏移调整、精度调整和缩放。例如，根据本公开内容的实施例，增强层解码器在变换处理中从RPU处理后的左图像和右图像的像素值中减去偏移(如128)。在另一实施例中，增强层解码器以2对RPU处理后的左图像和右图像进行缩放。RPU或单独的单元可执行这样的变换。在另一实施例中，解码器还可执行抖动处理或将舒适噪声引入RPU处理后图像以减少取轮廓/条带伪像，并且提高最终重构信号(360)的感知质量。这样的抖动处理也可由RPU (324，348)来执行。
如图7和图8所示，相同的概念也可以适用于非3D图像/视频的可调节的多层传输。根据图7和图8所示的实施例，对原始图像进行滤波和子采样，以获得接着在基本层编码器(702，802)中编码的低分辨率图像。然后，使用RPU1 (704，804)对层I的重构图像进行内插以达到全分辨率，并且将其与原始图像进行比较以获得层2的“残差”图像。如上所述，比较可以是简单的减法，或者可涉及一些其它线性或非线性变换，诸如比率计算。对这些图像进行滤波和子采样，并且在层2的编码器(706，806)中进行编码。解码处理也与对于3D视频的先前情况类似，并且可以在对每层解码之后在后处理单元内组合两层。另外，应注意，在该情况下以及在如上所述的3D立体视频编码的情况下，可以以不同的空间或时间分辨率对每层进行编码，从而允许系统提供的可调节性的附加灵活性。
根据本公开内容的另外的实施例，RI^U数据信令可以嵌入编码位流中，或者分开传送到解码器。在实施例中，随同对其执行RPU处理的层一起，将发信号通知RPU数据。在另一实施例中，可在一个RPU数据包内发信号通知所有层的RPU数据，这一个RPU数据包嵌入在层2的编码数据之前或之后的位流中。另外，应注意，RI3U数据的提供对于给定层可以是可选的，并且在RPU数据不可用的情况下，默认方案可以用于该层的上变频。类似地，增强层编码位流的提供也是可选的。所提出的架构允许在每个RPU中可选地选择滤波器和滤波区域的多种可能方法。多个准则可分开或结合用于确定最佳的RPU选择。这些准则是基本层位流的解码质量、增强层位流的解码质量、对包括RPU数据的每层编码所需的位速率以及数据的解码和RPU处理的复杂度。在一个实施例中，可执行优化以使得RPU1的优化独立于增强层中的随后处理。在该情况下，在一个实施例中，可确定对于RPU1的最佳滤波器选择以使得内插后的基本层图像与原始左眼图像和右眼图像之间的预测误差最小程度受到诸如位速率和滤波器复杂度的其它限制。在另一实施例中，类似于在附录C中描述的方法，可将对于RPU1的滤波器选择与对于片和V的滤波器选择组合，以进一步增强系统的性能。类似地，可以独立于RPU1的优化而执行RPU2的优化，以使得全分辨率解码后图像的失真最小程度地受到系统限制。在一个实施例中，然而，可使用被选择用于RPU1的滤波器以及用于对层I的编码的其它编码器参数以初始化RPU2的较小滤波器搜索集合，以使编码器处的滤波器选择的复杂度降低。在另一实施例中，可在可以在对每个位流编码之前应用的“开环”方案中分别使用层2和层I的预编码图像来优化RPU2或RPU1或两者。在另一实施例中，可联合优化层I和层`2的RI3U滤波器选择以及每层的编码，以改进受到限制的整个系统的性能。在该情况下，可使用迭代处理，其首先优化RPU1、然后优化受RPU1中选择的滤波器约束的RPU2,并且接着再优化受RPU2中选择的滤波器约束的RPU1,
坐坐寸寸ο还可以扩展所提出的架构以实现对另外的增强层的编码和传送，这可以接着用于实现多视图(多于两个视图)应用以及单视图和多视图应用中的多级可调节性。图9示出了根据本公开内容的一个实施例的、用于将架构扩展到多个视图的一种方法。根据该实施例，诸如重构画面的信息从初始的两层编码器/解码器传递到后两层编码器/解码器中的相应层。在另一实施例中，还可进一步处理参考画面以将例如每层的视图之间的不同采样位置以及视图之间的视差纳入考虑。注意，这也可以扩展到当仅使用一个或奇数个附加视图的情况，在该情况下，将仅需要一个附加编码器/解码器。图10示出了根据本公开内容的一个实施例的用于将方案扩展到另外的层的技术。根据图10所示的实施例，前两层相比于第三层可使用较低分辨率编码器，该第三层在对前两层解码之后对残差信息进行编码。注意，在另一实施例中，编码分辨率可在所有层中保持相同。根据本公开内容的另一实施例，可使用不同的预测处理或不同的假设处理来对不同的视图进行编码和解码。即，使用一种预测(假设)处理对第一视图进行编码和解码，而使用另一种对第二或第三视图进行编码和解码。使用多种预测或多假设处理的编解码器系统能够通过线性地或非线性地组合假设处理来分开或联合使用两种或更多种假设处理。图11和图12示出了用于使用多假设处理的多层编码的实施例。根据实施例，使用加权组合来组合层I编码器和层2编码器的解码后的RPU处理输出，以生成对于至层3编码器的输入的预测。可明确地或隐含地来指定权重，并且如果是明确的，则组合权重还将与层3位流一起被发送到解码器。然后，相对于来自层I和层2的预测，层3对要编码视图的残差信息进行编码。类似地，在解码器处，对层I和层2的解码后输出进行组合，然后将层3的解码后输出与该结果相加以获得最终的解码后视图。注意，如之前所述，在不同的实施例中，层I和层2数据可以以不同于减法/加法的方式(诸如，线性/非线性滤波器)与层3数据组合，以生成层3的残差图像。本公开内容中所描述的方法和系统可以以硬件、软件、固件或其组合来实现。被描述为块、模块或部件的特征可一起(例如，在诸如集成逻辑装置的逻辑装置中)或分开(例如，作为分开连接的逻辑装置)实现。本公开内容的方法的软件部分可包括计算机可读介质，该计算机可读介质包括指令，这些指令在被执行时至少部分地执行所描述的方法。计算机可读介质可包括例如随机存取存储器(RAM)和/或只读存储器(ROM)。指令可由处理器(例如，数字信号处理器(DSP)、专用集成电路(ASIC)或现场可编程门阵列(FPGA))来执行。本说明书中提及的所有专利和公布可表示本公开内容所属领域内的技术人员的技能水平。本公开内容中所引用的所有参考文献通过引用合并于此，正如每个参考文献单独地通过引用将其全文合并于此一样。提供上述示例以向本领域的普通技术人员给出如何得到并利用本公开内容的、用于使用参考处理信号进行多层图像和视频传输的系统和方法的实施例的完整公开内容及描述，并且不旨在限制发明人视为其公开内容的范围。用于实现本公开内容的上述方式的变型可由本领域技术人员使用，并且旨在落入所附权利要求的范围内。说明书中涉及的所有专利和公布可表示本公开内容所属领域内的技术人员的技能水平。本公开内容中所引用的所有参考文献通过引用合并于此，正如每个参考文献单独地通过引用将其全文合并于此一样。应理解，本公开内容不限于特定的方法或系统，其当然可以变化。应理解，这里使用的术语仅用于描述特定实施例的目的，并且不旨在进行限制。如在本说明书和所附权利要求中所使用的，单数形式“一(a)”、“一个(an)”和“所述(the)”包括复数的所指对象，除非内容清楚地相反指出。除非相反限定，否则这里使用的所有技术和科学术语都具有与本公开内容所属领域的普通技术人员通常所理解的含义相同的含义。因此，本发明的实施例可涉及以下描述的示例实施例中的一个或多个。因此，本发明可以以这里描述的任意形式来实施，包括但不限于以下描述本发明的一些部分的结构、特征和功能的枚举示例实施例(EEE)。因此，本发明的实施例可涉及以下描述的示例实施例中的一个或多个。EEE1.一种用于图像和视频传输的多层编码方法,包括:通过基本层对至少一个输入图像或视频帧(302，304)进行基本层处理，所述基本层处理包括:
通过对所述至少一个输入图像或视频帧(302，304)进行处理来获得至少一个第一较低分辨率图像或视频帧(316输入)；以及通过对所述至少一个第一较低分辨率图像或视频帧(314输入)进行编码来获得多个基本层编码位流信号(358);以及通过一个或多个增强层对所述至少一个图像或视频帧(302，304)进行增强层处理，所述增强层处理包括:通过根据第一规则集对至少一个基本层信号(356 )或至少一个第一增强层信号进行参考处理来获得第一多个参考处理信号(322 )和至少一个第一参考处理后图像或视频帧(320)；通过根据第二规则集对所述至少一个第一参考处理后图像或视频帧(320)和所述至少一个输入图像或视频帧(302，304)进行处理来获得至少一个残差图像或视频帧(326)；通过对所述至少一个残差图像或视频帧(326 )进行处理来获得至少一个第二较低分辨率图像或视频巾贞(338输入)；通过对所述至少一个第二较低分辨率图像或视频帧(338输入)进行编码来获得多个增强层编码位流信号；以及通过根据第三规则集对至少一个第二增强层信号(344)进行参考处理来获得第二多个参考处理信号(362)。EEE2.根据枚举示例实施例1所述的多层编码方法，其中，所述至少一个输入图像或视频帧(302，304)是多个视图的图像或视频帧。EEE3.根据枚举示例实施例2所述的多层编码方法，其中，所述多个视图是第一视图和第二视图(302，304)。EEE4.根据枚举示例实施例3所述的多层编码方法，其中，所述至少一个第一较低分辨率图像或视频帧(316输入)是通过对所述第一视图和所述第二视图的图像或视频帧(302，304)进行基本层滤波(306)、基本层子采样(310)和基本层3D复用(314)而获得的至少一个帧兼容图像或视频帧。EEE5.根据枚举示例实施例4所述的多层编码方法，其中，所述基本层子采样是水平子采样、垂直子采样或梅花形子采样。EEE6.根据枚举示例实施例4所述的多层编码方法，其中，所述基本层子采样为两个视图提供在至少一个维度中不等的质量。EEE7.根据枚举示例实施例6所述的多层编码方法，其中，对一个视图进行子采样以达到在至少一个第一维度比其它视图低而在至少一个第二维度比所述其它视图高的分辨率。EEE8.根据枚举示例实施例4_7中任一项所述的多层编码方法，其中，所述基本层滤波对于所述第一视图和所述第二视图的所有图像或视频帧(302，304)是固定的。EEE9.根据枚举示例实施例4-8中任一项所述的多层编码方法，其中，所述基本层滤波取决于所述第一视图和所述第二视图的图像或视频帧(302，304)的空间或时间区域的至少一个特征。EEE10.根据枚举示例实施例4-9中任一项所述的多层编码方法，其中，所述基本层3D复用(314)是并排布置、上下布置、行交织布置、列交织布置或棋盘格布置。EEEl1.根据枚举示例实施例4_10中任一项所述的多层编码方法，其中，所述基本层编码位流信号(358)能够由符合多个现有视频编码标准和编解码器之一的解码器来解码。EEE12.根据枚举示例实施例4_11中任一项所述的多层编码方法，其中，对所述至少一个帧兼容图像或视频帧(316输入)的编码还包括以多个现有颜色和采样格式之一进行编码。EEE13.根据枚举示例实施例12所述的多层编码方法，其中，所述多个现有颜色和采样格式包括 YUV 4:0:0、YUV 4:2:2, YUV 4:4:4、RGB 和 XYZ。EEE14.根据枚举示例实施例11_13中任一项所述的多层编码方法，其中，所述基本层子采样根据所述多个现有视频编码标准和编解码器之一或者所述多个现有颜色和采样格式之一来提供位深精度。EEE15.根据枚举示例实施例11_13中任一项所述的多层编码方法，其中，所述增强层子采样提供比所述基本层子采样高的位深精度。EEE16.根据枚举示例实施例4_15中任一项所述的多层编码方法，其中，所述至少一个基本层信号(356)包括来自基本层编码器(316)的至少一个重构输出画面。EEE17.根据枚举示例实施例16所述的多层编码方法，其中，来自所述基本层编码器(316)的至少一个重构输出画面包括至少一个低分辨率解码后3D图像(356)。EEE18.根据枚举示例实施例4_17中任一项所述的多层编码方法，其中，对所述至少一个基本层信号(356)进行参考处理包括对所述基本层信号(356)进行内插。EEE19.根据枚举示例实施例4_18中任一项所述的多层编码方法，其中，所述第一规则集包括选择并应用参考处理中的至少一个区域相关滤波器。EEE20.根据枚举示例实施例19所述的多层编码方法，其中，所述至少一个区域相关滤波器选自水平滤波器、垂直滤波器、2D滤波器、边缘自适应滤波器、基于频率的滤波器以及像素复制滤波器。EEE21.根据枚举示例实施例20所述的多层编码方法，其中，所述像素复制滤波器是零阶保持滤波器。EEE22.根据枚举示例实施例20所述的多层编码方法，其中，所述像素复制滤波器是交叉视图拷贝滤波器。EEE23.根据枚举示例实施例20所述的多层编码方法，其中，所述像素复制滤波器是具有交替的零值和非零值的滤波器。EEE24.根据枚举示例实施例4_18中任一项所述的多层编码方法，其中，所述第一规则集包括视差补偿拷贝，还包括拷贝由视差矢量指定要拷贝区域的位置的非同位置样本区域。EEE25.根据枚举示例实施例24所述的多层编码方法，其中，使用整数或子像素准确性来指定所述视差矢量。EEE26.根据枚举示例实施例4_25中任一项所述的多层编码方法，还包括提供所述第一多个参考处理信号(322 )作为用于解码器的参考处理单元(324)的输入数据。EEE27.根据枚举不例实施例4_26中任一项所述的多层编码方法,其中，所述第一多个参考处理信号(322)包括至少一个基于区域的滤波参数。EEE28.根据枚举示例实施例27所述的多层编码方法，其中，所述至少一个基于区域的滤波参数包括选自在参考处理单元数据报头中指定的区域的数量、大小、形状的至少一个参数。EEE29.根据枚举示例实施例28所述的多层编码方法，其中，所述至少一个基于区域的滤波参数包括选自滤波器系数值、水平抽头数量和垂直抽头数量的至少一个参数。EEE30.根据枚举示例实施例4-29中任一项所述的多层编码方法，其中，所述第一多个参考处理信号(322)还包括与按照每个颜色分量的至少一个滤波器相关联的至少一个信号。EEE31.根据枚举示例实施例4_30中任一项所述的多层编码方法，其中，所述第一多个参考处理信号(322)还包括与至少一个非线性滤波器相关联的至少一个信号。EEE32.根据枚举示例实施例31所述的多层编码方法，其中，所述至少一个非线性滤波器包括选自边缘自适应滤波器和双边滤波器的至少一个滤波器。EEE33.根据枚举示例实施例4_32中任一项所述的多层编码方法，其中，所述第一多个参考处理信号(322)还包括与至少一种高级补偿方法相关联的至少一个信号。EEE34.根据枚举示例实施例33所述的多层编码方法，其中，所述至少一种高级补偿方法是仿射运动模型或透视运动模型。EEE35.根据枚举示例实施例4_34中任一项所述的多层编码方法，其中，对所述至少一个残差图像或视频帧(326)的处理包括对所述至少一个残差图像或视频帧(326)的增强层滤波、增强层子采样和增强层3D复用。EEE36.根据枚举示例实施例4_35中任一项所述的多层编码方法，其中，根据第二规则集对所述至少一个第一参考处理后图像或视频帧(320 )和所述至少一个输入图像或视频帧(302，304)的处理包括计算所述至少一个第一参考处理后图像或视频帧(320)与至少一个输入图像或视频帧(302，304)之间的差。EEE37.根据枚举示例实施例4_36中任一项所述的多层编码方法，其中，根据第二规则集对所述至少一个第一参考处理后图像或视频帧(320)和所述至少一个输入图像或视频帧(302，304)的处理包括根据线性或非线性函数来进行计算，所述线性或非线性函数使所述至少一个第一参考处理后图像或视频帧(320)和所述至少一个残差图像或视频帧(320)与所述至少一个输入图像或视频帧(302，304)相关。EEE38.根据枚举示例实施例4_34中任一项所述的多层编码方法，其中，根据第一规则集对所述至少一个基本层信号(356)的参考处理包括提供来自多个互补位置的样本。EEE39.根据枚举示例实施例38的多层编码方法，其中，对至少残差图像或视频帧(326)的处理包括对至少残差图像或视频帧(326)进行复用并将其输入到增强层编码器(338)。EEE40.根据枚举示例实施例4-39中任一项所述的多层编码方法，其中，对所述至少一个第一较低分辨率图像或视频帧(314输入)的编码不同于对所述至少一个第二较低分辨率或视频帧(338输入)的编码。EEE41.根据枚举示例实施例4_40中任一项所述的多层编码方法，其中，所述至少一个第二增强层信号(344)包括来自增强层编码器(338)的至少一个重构输出画面。
EEE42.根据枚举示例实施例4_41中任一项所述的多层编码方法，其中，根据第三规则集对所述至少第二增强层信号(344)的参考处理包括在区域级进行优化以确定对于所述至少第二增强层信号(344)的最优上变频方案，以增强解码器的组合图像输出的质量。EEE43.根据枚举示例实施例4_41中任一项所述的多层编码方法，其中，所述第三规则集包括所述第一规则集的部分或全部。EEE44.根据枚举示例实施例1_43中任一项所述的多层编码方法，还包括将多个增强层位流信号提供到解码器，所述多个增强层位流信号包括所述第一多个参考处理信号(322)、所述多个增强层编码位流信号以及所述第二多个参考处理信号。EEE45.根据枚举示例实施例1_44中任一项所述的多层编码方法，其中，对所述至少一个第二较低分辨率图像或视频帧(338输入)的编码还包括使用通过对所述至少一个第一较低分辨率图像或视频帧(314输入)的编码而生成的至少一个重构图像或视频帧作为参考。EEE46.根据枚举示例实施例1_45中任一项所述的多层编码方法，还包括通过根据第四规则集对所述至少一个基本层信号(356 )进行参考处理来获得至少一个第三参考处理后图像或视频(506 )。EEE47.根据枚举示例实施例46所述的多层编码方法，其中，对所述至少一个第二较低分辨率图像或视频帧(338输入)的编码还包括使用所述至少一个第三参考处理后图像或视频(506)作为参考。EEE48.根据枚举示例实施例46或47所述的多层编码方法，其中，对所述至少一个第二较低分辨率图像或视频帧(338输入)的编码还包括选择通过对所述至少一个第一较低分辨率图像或视频帧(314输入)的编码而生成的运动矢量、参考画面和宏块模式中的至少一个作为至少一个预测指标。EEE49.根据枚举示例实施例46_48中任一项所述的多层编码方法，其中，对所述至少一个第二较低分辨率图像或视频帧(338输入)的编码独立于对所述至少一个第一较低分辨率图像或视频巾贞(314输入)的编码。EEE50.根据枚举示例实施例49所述的多层编码方法，其中，对所述至少一个第二较低分辨率图像或视频帧(338输入)的编码还包括使用至少一个第二基本层信号来初始化所述编码。EEE51.根据枚举示例实施例3_43中任一项所述的多层编码方法，其中，对所述至少一个基本层信号(356)的参考处理包括使用对于所述第一视图和所述第二视图不同的采样偏移。EEE52.根据枚举示例实施例3_43和51中任一项所述的多层编码方法，其中，对所述至少一个第二增强层信号(344)的参考处理包括使用对于所述第一视图和所述第二视图不同的采样偏移。EEE53.一种用于图像和视频传输的多层编码器,包括:基本层处理器，被适配用于至少一个输入图像或视频帧，包括被适配成输出多个基本层编码位流信号(358)的基本层编码器(314);以及至少一个增强层处理器，被适配用于至少一个输入图像或视频帧，包括增强层编码器(336)和至少两个参考处理单元(RPU) (318,346),
其中，所述增强层编码器被适配成输出多个增强层编码位流(354)；第一 RPU (318)被适配成根据第一规则集，对来自所述基本层编码器(316)的至少一个输出(356)或至少一个增强层信号进行处理，并且输出第一多个参考处理数据(332)和至少一个第一参考处理后图像或视频帧(320);以及第二 RPU (346 )被适配成根据第二规则集对来自所述增强层编码器(338 )的至少一个输出进行处理并输出第二多个参考处理数据(362)。EEE54.根据枚举示例实施例53所述的多层编码器，其中，所述至少一个输入图像或视频帧(302，304)是多个视图的图像或视频帧。EEE55.根据枚举示例实施例54所述的多层编码器，其中，所述多个视图是第一视图和第二视图(302，304)。EEE56.根据枚举示例实施例53所述的多层编码器，其中，所述基本层处理器还包括至少两个基本层滤波器(306，308)、至少两个基本层子采样器(310，312)，所述至少两个基本层滤波器(306，308)被适配成对所述第一视图和所述第二视图(302，304)的图像或视频帧进行滤波，并且所述至少两个基本层子采样器被适配成对所述第一视图和所述第二视图的滤波后图像或视频帧进行子采样以获得所述第一视图和所述第二视图的半分辨率图像。EEE57.根据枚举示例实施例56所述的多层编码器，其中，所述至少两个基本层滤波器(306，308)和所述至少两个基本层子采样器(310，312)是水平、垂直或梅花形子采样方案。EEE58.根据枚举示例实施例56所述的多层编码器，其中，所述至少两个基本层子采样器(310，312)被适配成对于所述两个视图提供在至少一个维度中不等的质量。EEE59.根据枚举示例实施例58所述的多层编码器，其中，所述至少两个基本层子采样器(310，312)被适配成对一个视图进行子采样以达到在至少一个第一维度比其他视图低而在至少一个第二维度比所述其他视图高的分辨率。EEE60.根据枚举不例实施例56_59中任一项所述的多层编码器,其中，所述至少两个基本层滤波器(310，312)被适配成对于所述第一视图和所述第二视图的所有图像或视频帧(302，304)是固定的。EEE61.根据枚举不例实施例56_59中任一项所述的多层编码器,其中，所述至少两个基本层滤波器(306，308 )被适配成取决于所述第一视图和所述第二视图的图像或视频帧(302，304)的空间或时间区域的至少一个特征。EEE62.根据枚举示例实施例56_61中任一项所述的多层编码器，其中，所述基本层处理器还包括基本层3D复用器(314)，所述基本层3D复用器(314)被适配成使用并排布置、上下布置、行交织布置、列交织布置或棋盘格布置来对图像或视频帧进行3D复用。EEE63.根据枚举示例实施例56_61中任一项所述的多层编码器，其中，所述基本层编码位流信号(358)能够由符合多个现有视频编码标准和编解码器之一的解码器来解码。EEE64.根据枚举示例实施例56_63中任一项所述的多层编码器，其中，所述基本层编码器(316)被适配成根据多个现有颜色和采样格式之一对至少一个帧兼容图像或视频帧(316输入)进行编码。EEE65.根据枚举示例实施例64所述的多层编码器，其中，所述多个现有颜色和采样格式包括 YUV 4:0:0、YUV 4:2:2, YUV 4:4:4、RGB 和 XYZ。EEE66.根据枚举示例实施例61_65中任一项所述的多层编码器，其中，所述基本层子采样器根据所述多个现有视频编码标准和编解码器之一或者所述多个现有颜色和采样格式之一来提供位深精度。EEE67.根据枚举示例实施例61_66中任一项所述的多层编码器，其中，所述增强层子采样器提供比所述基本层子采样器高的位深精度。EEE68.根据枚举不例实施例56_66中任一项所述的多层编码器,其中，所述基本层编码器(316)的至少一个输出(356)包括来自所述基本层编码器(316)的至少一个重构输出画面。EEE69.根据枚举示例实施例68所述的多层编码器，其中，来自所述基本层编码器
(316)的至少一个重构输出画面包括至少一个低分辨率解码后3D图像(356)。EEE70.根据枚举不例实施例56_69中任一项所述的多层编码器,其中，所述第一RPU (318)被适配成对来自所述基本层编码器(316)的至少一个输出(356)进行内插。EEE71.根据枚举示例实施例56_70中任一项所述的多层编码器，其中，所述第一规则集包括在所述第一 RPU (318)中选择并应用至少一个区域相关滤波器。EEE72.根据枚举示例实施例71所述的多层编码器，其中，所述至少一个区域相关滤波器是选自水平滤波器、垂直滤波器、2D滤波器、边缘自适应滤波器、基于频率的滤波器、像素复制滤波器的至少一个。EEE73.根据枚举示例实施例72所述的多层编码器，其中，所述像素复制滤波器是零阶保持滤波器。EEE74.根据枚举示例实施例72所述的多层编码器，其中，所述像素复制滤波器是交叉视图拷贝滤波器。EEE75.根据枚举示例实施例72所述的多层编码器，其中，所述像素复制滤波器是具有交替的零值和非零值的滤波器。EEE76.根据枚举示例实施例56_75中任一项所述的多层编码器，其中，所述第一RPU (318)使用视差补偿拷贝方案的滤波器，所述滤波器拷贝由视差矢量指定要拷贝区域的位置的样本的非同位置区域。EEE77.根据枚举示例实施例76所述的多层编码器，其中，所述视差矢量是使用整数或子像素准确性来指定的。EEE78.根据枚举不例实施例56_77中任一项所述的多层编码器,所述第一多个参考处理信号(322)被适配成通过所述第一 RPU (318)的滤波器选择处理生成并且作为解码器的参考处理单元(324)的输入数据。EEE79.根据枚举不例实施例56_78中任一项所述的多层编码器,其中，所述第一多个参考处理信号(322)包括至少一个基于区域的滤波参数。EEE80.根据枚举示例实施例79所述的多层编码器，其中，所述至少一个基于区域的滤波参数包括选自在RPU数据报头中指定的区域的数量、大小和形状的至少一个参数。EEE81.根据枚举示例实施例79所述的多层编码器，其中，所述至少一个基于区域的滤波参数包括选自滤波器系数值、水平抽头数量和垂直抽头数量的至少一个参数。EEE82.根据枚举示例实施例56_81中任一项所述的多层编码器，其中，所述第一RPU (318)的滤波器是按照每个颜色分量来指定的。EEE83.根据枚举示例实施例56_82中任一项所述的多层编码器，其中，至少一个非线性滤波器是在所述第一 RPU (318)中指定的。EEE84.根据枚举示例实施例83所述的多层编码器，其中，所述至少一个非线性滤波器包括选自边缘自适应滤波器和双边滤波器的至少一个滤波器。EEE85.根据枚举不例实施例56_84中任一项所述的多层编码器,其中，所述第一多个参考处理信号(322)还包括与至少一种高级补偿方法相关联的至少一个信号。EEE86.根据枚举示例实施例85所述的多层编码器，其中，所述至少一种高级补偿方法是仿射运动模型或透视运动模型。EEE87.根据枚举示例实施例56_86中任一项所述的多层编码器，其中，所述增强层处理器还包括至少两个增强层滤波器(330，332)、至少两个增强层子采样器(334)和至少一个增强层3D复用器(336)。EEE88.根据枚举示例实施例56_87中任一项所述的多层编码器，其中，所述增强层处理器还包括至少一个比较器(328)，所述至少一个比较器(328)被适配成根据所述至少一个第一参考处理后图像或视频帧(320)与所述至少一个输入图像或视频帧(302，304)之间的差别来计算至少一个残差图像或视频帧。EEE89.根据枚举示例实施例88所述的多层编码器，其中，所述至少一个比较器(328)被适配成根据线性或非线性函数来计算所述至少一个残差图像或视频帧，所述线性或非线性函数将所述至少一个第一参考处理后图像或视频帧(320 )和所述至少一个残差图像或视频帧(320)与所述至少一个输入图像或视频帧(302，304)相关。EEE90.根据枚举不例实施例88_89中任一项所述的多层编码器,其中，所述第一RPU (318)被适配成提供来自多个互补位置的样本。EEE91.根据枚举示例实施例90所述的多层编码器，其中，所述至少一个残差图像或视频帧被适配成被复用和输入到所述增强层编码器(338)。EEE92.根据枚举示例实施例56_91中任一项所述的多层编码器，其中，所述基本层编码器不同于所述增强层编码器。EEE93.根据枚举示例实施例56_92中任一项所述的多层编码器，其中，来自所述增强层编码器(338)的至少一个重构输出画面被适配成馈送到所述第二 RPU (346)。EEE94.根据枚举不例实施例56_93中任一项所述的多层编码器,其中，所述第二RPU (346)被适配成在区域级执行优化以确定对于来自所述增强层编码器(338)的重构画面(344)的最优上变频方案，以增强解码器的组合图像输出的质量。EEE95.根据枚举不例实施例56_94中任一项所述的多层编码器,其中，所述第二规则集包括所述第一规则集的部分或全部。EEE96.根据枚举不例实施例53_95中任一项所述的多层编码器,还被适配成将多个增强层位流信号提供到解码器，所述多个增强层位流信号包括所述第一多个参考处理信号(322)、所述多个增强层编码位流信号(354)和所述第二多个参考处理信号(362)。EEE97.根据枚举示例实施例53_96中任一项所述的多层编码器，其中，来自所述基本层编码器(316)的至少一个重构图像(356)用作所述增强层编码器(338)的参考。EEE98.根据枚举示例实施例53_97中任一项所述的多层编码器，还包括第三RPU，所述第三RPU被适配成根据第三规则集，对来自所述基本层编码器的至少一个输出(504)进行处理，并且输出作为所述增强层编码器(508)的输入的至少一个第三参考处理后图像或视频(506)。EEE99.根据枚举示例实施例98所述的多层编码器，其中，所述增强层编码器(508)被适配成使用所述至少一个第三参考处理后图像或视频(506)作为参考。EEE100.根据枚举示例实施例98或99所述的多层编码器，其中，所述增强层编码器(508)被适配成使用选自所述基本层编码器(502)的参考画面、宏块模式和运动矢量的至少一个预测指标。EEE101.根据枚举示例实施例98-100中任一项所述的多层编码器，其中，所述增强层编码器(508 )被配置为独立于所述基本层编码器(502 )。EEE102.根据枚举示例实施例101所述的多层编码器，其中，所述增强层编码器(502)被适配成使用来自所述基本层编码器(508)的至少一个信号来初始化所述编码。EEE103.根据枚举不例实施例56_95中任一项所述的多层编码器,其中，所述第一RPU被适配成使用对于所述第一视图和所述第二视图不同的采样偏移。EEE104.根据枚举示例实施例56_95和103中任一项所述的多层编码器，其中，所述第二 RPU被适配成使用对于所述第一视图和所述第二视图不同的采样偏移。EEE105.根据枚举示例实施例53所述的多层编码器，其中:所述基本层处理器还包括:基本层滤波器，以及基本层子采样器；以及所述增强层处理器还包括:增强层滤波器，增强层子采样器，以及增强层比较器。EEE106.根据枚举示例实施例105所述的多层编码器，其中，所述基本层滤波器被适配成对所述至少一个输入图像或视频帧进行滤波；所述基本层子采样器被适配成对滤波后的至少一个输入图像或视频帧进行子采样并且输出至少一个低分辨率图像或视频帧；所述基本层编码器被适配成对所述至少一个低分辨率图像或视频帧进行编码；所述第一 RI3U被适配成对来自所述基本层编码器的至少一个重构图像或视频帧进行内插并且输出至少一个全分辨率图像或视频帧；所述增强层比较器被适配成根据所述至少一个重构图像或视频帧以及所述至少一个输入图像或视频帧来计算至少一个残差图像或视频帧；所述增强层滤波器被适配成对所述至少一个残差图像或视频帧进行滤波；所述增强层子采样器被适配成对滤波后的至少一个残差图像或视频帧进行子采样；以及所述增强层编码器被适配成对子采样后的至少一个残差图像或视频帧进行编码。
EEE107.根据枚举示例实施例106所述的多层编码器，其中，所述增强层比较器执行的计算包括减法、线性变换或非线性变换。EEE108.根据枚举示例实施例105-107中任一项所述的多层编码器，其中，所述第一多个参考处理数据和所述第二多个参考处理数据被适配成嵌入所述多个增强层编码位流号中。EEE109.根据枚举示例实施例105-107中任一项所述的多层编码器，其中，所述第一多个参考处理数据和所述第二多个参考处理数据被适配成独立于所述多个增强层编码位流信号而传递到解码器。EEEl 10.根据枚举不例实施例105-109中任一项所述的多层编码器,其中，同一增强层处理器内的所述第一多个参考处理数据和所述第二多个参考处理数据被适配成一起传递。EEEl 11.根据枚举示例实施例106-110中任一项所述的多层编码器，其中，所述多层编码器的所述多个参考处理数据全部被适配成分组在RPU数据包中，所述RPU数据包嵌入在所述多个增强层编码位流信号之前或之后的多个增强层位流信号中。EEEl 12.根据枚举示例实施例105-111中任一项所述的多层编码器，其中，所述第一规则集和所述第二规则集取决于选自以下的至少一个因素:所述多个基本层编码位流信号的解码质量、所述多个增强层编码位流信号的解码质量、每层的编码所需的位速率以及解码和参考处理的复杂度。EEEl 13.根据枚举示例实施例105-112中任一项所述的多层编码器，其中，所述第一规则集和所述第二规则集被适配成优化所述两个RPU的滤波器选择。EEEl 14.根据枚举示例实施例113所述的多层编码器，其中，所述第一 RPU的优化独立于所述第二 RPU的优化。EEE115.根据枚举示例实施例114所述的多层编码器，其中，所述第一规则集被适配成为所述第一 RPU选择使得所述至少一个内插基本层图像或视频帧与所述至少一个输入图像或视频帧之间的预测误差最小化的滤波器组。EEEl 16.根据枚举示例实施例113所述的多层编码器，其中，所述第一规则集被适配成选择用以增强编码器性能的、用于所述第一 RPU的滤波器组和用于所述基本层滤波器的滤波器组。EEE117.根据枚举示例实施例113所述的多层编码器，其中，所述第二规则集被适配成为所述第二 RPU选择使得全分辨率解码后图像的失真最小化的滤波器组。EEEl 18.根据枚举示例实施例113-117中任一项所述的多层编码器，其中，为所述第一 RPU选择的滤波器用于初始化对于所述第二 RPU的较小滤波器搜索。EEEl 19.根据枚举示例实施例113所述的多层编码器，其中，所述第一规则集和所述第二规则集被配置成优化所述第一 RPU、所述第二 RPU、所述基本层编码器和所述增强层编码器的性能。EEE120.根据枚举示例实施例53所述的多层编码器，还适配成对多视像或视频帧进行编码。EEE121.根据枚举示例实施例120所述的多层编码器，还被适配成通过考虑每层的视图之间的不同采样位置和视图之间的视差来对至少一个参考画面进行处理。
EEE122.根据枚举示例实施例53所述的多层编码器，包括第二增强层处理器，其中:所述基本层处理器和所述第一增强层处理器的编码器被适配成具有比所述第二增强层处理器低的分辨率，所述第二增强层处理器在对所述基本层处理器和所述第一增强层处理器的输出进行解码之后对所述残差信息进行编码。EEE123.一种使用多假设处理的多层编码器，包括:第一层编码器；第一参考处理单元(RPU)，耦合到所述第一层编码器；第二层编码器，耦合到所述第一层编码器；第二 RPU，耦合到所述第二层编码器；组合器，耦合到所述第一 RPU和所述第二 RPU ；比较器，耦合到所述组合器；第三层编码器，耦合到所述第二层编码器和所述比较器；以及第三RPU，耦合到所述第三层编码器，其中，所述组合器被适配成通过对所述第一 RPU的输出和所述第二 RPU的输出的加权组合来生成作为所述第三编码器层的输入的预测图像；所述比较器被适配成根据所述预测图像和原始视像计算残差图像；以及所述第三层编码器被适配成对所述残差图像进行编码。EEE124.一种用于图像和视频传输的多层解码方法,包括:通过基本层对多个基本层编码位流信号(358)进行基本层处理，所述基本层处理包括:通过对所述多个基本层编码位流信号(358 )进行解码来获得至少一个第一低分辨率图像或视频帧(342的输出)；以及通过一个或多个增强层对多个增强层位流信号进行增强层处理，其中，所述多个增强层位流信号包括:多个增强层编码位流信号(354)，第一多个参考处理信号(322)，以及第二多个参考处理信号(362);所述增强层处理包括:通过对所述第一多个参考处理信号(322)和所述至少一个第一低分辨率图像或视频帧(342的输出)进行参考处理来获得至少一个第一参考处理后图像或视频帧(352)；通过对所述多个增强层编码位流信号(354)进行解码并且对基本层信号(340的其他输入)或增强层信号进行处理来获得至少一个增强层解码信号(340输出)；通过对所述第二多个参考处理信号(362)和所述至少一个增强层解码信号(340输出)进行参考处理来获得至少一个第二参考处理后图像或视频帧(350);以及通过对所述至少一个第一参考处理后图像或视频帧(352 )和所述至少一个第二参考处理后图像或视频帧(350)进行组合来获得至少一个全分辨率图像或视频帧。
EEE125.根据枚举示例实施例124所述的多层解码方法，其中，所述至少一个全分辨率图像或视频帧是多个视图的至少一个图像或视频帧。EEE126.根据枚举示例实施例125所述的多层解码方法，其中，所述多个视图是第一视图和第二视图(302，304)。EEE127.根据枚举示例实施例126所述的多层解码方法，其中，对所述多个基本层编码位流信号(358)的解码包括利用多个现有视频编码标准和编解码器之一进行解码。EEE128.根据枚举示例实施例126所述的多层解码方法，其中，所述多个现有视频编码标准和编解码器包括 MPEG-2、H.264/AVC/MPEG-4Part 10、VC1、VP6、VP7 和 VP8。EEE129.根据枚举示例实施例127或128所述的多层解码方法，其中，所述基本层编码位流信号(358)能够由符合所述多个现有视频编码标准和编解码器之一的解码器来解码。EEE130.根据枚举示例实施例125-129中任一项所述的多层解码方法，其中，对所述多个基本层编码位流信号(358)的解码还包括利用多个现有颜色和采样格式之一进行解码。EEE131.根据枚举示例实施例130所述的多层解码方法，其中，所述多个现有颜色和采样格式包括 YUV 4:0:0、YUV 4:2:2, YUV 4:4:4、RGB 和 XYZ。EEE132.根据枚举示例实施例125-131中任一项所述的多层解码方法，其中，对所述第一多个参考处理信号(322)和所述至少一个第一低分辨率图像或视频帧(342的输出)的参考处理包括对所述至少一个第一低分辨率图像或视频帧(342的输出)进行内插。EEE133.根据枚举示例实施例132所述的多层解码方法，其中，所述至少一个第一低分辨率图像或视频帧(342的输出)的内插是并排解包布置、上下解包布置或棋盘格解包布置。EEE134.根据枚举示例实施例126-133中任一项所述的多层解码方法，其中，所述第一多个参考处理信号(322)包括至少一个基于区域的滤波参数。EEE135.根据枚举示例实施例134所述的多层解码方法，其中，所述至少一个基于区域的滤波参数包括选自在参考处理单元数据报头中指定的区域的数量、大小、形状的至少一个参数。EEE136.根据枚举示例实施例134所述的多层解码方法，其中，所述至少一个基于区域的滤波参数包括选自滤波器系数值、水平抽头数量以及垂直抽头数量的至少一个参数。EEE137.根据枚举示例实施例126-136中任一项所述的多层解码方法，其中，所述第一多个参考处理信号(322)还包括与按照每个颜色分量的至少一个滤波器相关联的至少
一个信号。EEE138.根据枚举示例实施例126-137中任一项所述的多层解码方法，其中，所述第一多个参考处理信号(322)还包括与至少一个非线性滤波器相关联的至少一个信号。EEE139.根据枚举示例实施例138所述的多层解码方法，其中，所述至少一个非线性滤波器包括选自边缘自适应滤波器和双边滤波器的至少一个滤波器。EEE140.根据枚举示例实施例126-139中任一项所述的多层解码方法，其中，所述第一多个参考处理信号(322)还包括与至少一个高级补偿方法相关联的至少一个信号。
EEE141.根据枚举示例实施例140所述的多层解码方法，其中，所述至少一个高级补偿方法是仿射运动模型或透视运动模型。EEE142.根据枚举示例实施例126-141中任一项所述的多层解码方法，还包括通过对来自对所述多个基本层编码位流信号的解码的输出和第三多个参考处理信号进行参考处理来获得至少一个第三参考处理后图像或视频帧。EEE143.根据枚举示例实施例142所述的多层解码方法，其中，对所述基本层信号或所述增强层信号的处理还包括使用所述至少一个第三参考处理后图像或视频作为参考。EEE144.根据枚举示例实施例126-143中任一项所述的多层解码方法，其中，对所述第一多个参考处理信号(322)和所述至少一个第一低分辨率图像或视频帧(342的输出)的参考处理包括使用对于所述第一视图和所述第二视图不同的采样偏移。EEE145.根据枚举示例实施例126-144中任一项所述的多层编码方法，其中，对所述第二多个参考处理信号(362)和所述至少一个增强层解码信号(340输出)的参考处理包括使用对于所述第一视图和所述第二视图不同的采样偏移。EEE146.一种用于图像和视频传输的多层解码器,包括:至少一个基本层解码器(342)，被适配成对多个基本层编码位流信号(358)进行解码，至少一个增强层处理器，被适配成对多个增强层位流信号进行处理，其中，所述多个增强层位流信号包括:多个增强层编码位流信号(354)，第一多个参考处理信号(322)，以及第二多个参考处理信号(362);所述增强层处理器包括:增强层解码器(340)，被适配成对所述多个增强层位流信号进行解析并对所述多个增强编码位流信号(354)进行解码；第一参考处理单元(RPU) (324)，被适配成根据所述第一多个参考处理信号
(322)，对来自所述基本层解码器(342)的输出进行处理并输出至少一个第一内插重构图像或视频帧(352)；第二 RPU (348)，被适配成根据所述第二多个参考处理信号(322)，对来自所述增强层解码器(340)的输出进行处理并输出至少一个第二内插重构图像或视频帧(350);以及至少一个组合器，被适配成对所述至少一个第一内插重构图像或视频(352)和所述至少一个第二内插重构图像或视频帧(350 )进行组合以获得至少一个全分辨率图像或视频帧(360)。EEE147.根据枚举示例实施例146所述的多层解码器，其中，所述至少一个全分辨率图像或视频帧是多个视图的至少一个图像或视频帧。EEE148.根据枚举示例实施例147所述的多层解码器，其中，所述多个视图是第一视图和第二视图(302，304)。EEE149.根据枚举示例实施例146-148中任一项所述的多层解码器，其中，所述基本层解码器(342 )被适配成根据多个现有视频编码标准和编解码器之一对所述多个基本层编码位流信号(358)进行解码。
EEE150.根据枚举示例实施例149所述的多层解码器，其中，所述多个现有视频编码标准和编解码器包括 MPEG-2、H.264/AVC/MPEGPart 10、VC1、VP6、VP7 和 VP8。EEE151.根据枚举示例实施例146-150中任一项所述的多层解码器，其中，所述基本层解码器(342 )被适配成根据多个现有颜色和采样格式之一对所述多个基本层编码位流信号(358)进行解码。EEE152.根据枚举示例实施例151所述的多层解码器，其中，所述多个现有颜色和采样格式包括 YUV 4:0:0、YUV 4:2:2, YUV 4:4:4、RGB 和 XYZ。EEE153.根据枚举不例实施例146-152中任一项所述的多层解码器,其中，所述第一 RPU (324)被适配成对来自所述基本层解码器(342)的至少一个输出进行内插。EEE154.根据枚举不例实施例146-153中任一项所述的多层解码器,其中，所述第一 RPU (324)还包括至少一个区域相关滤波器。EEE155.根据枚举示例实施例154所述的多层解码器，其中，所述至少一个区域相关滤波器是选自水平滤波器、垂直滤波器、2D滤波器、边缘自适应滤波器、基于频率的滤波器、像素复制滤波器的至少一个。EEE156.根据枚举示例实施例155所述的多层解码器，其中，所述像素复制滤波器是零阶保持滤波器。EEE157.根据枚举示例实施例155所述的多层解码器，其中，所述像素复制滤波器是交叉视图拷贝滤波器。EEE158.根据枚举示例实施例155所述的多层解码器，其中，所述像素复制滤波器是具有交替的零值和非零值的滤波器。EEE159.根据枚举不例实施例146-158中任一项所述的多层解码器，其中，所述第一 RPU (342)使用视差补偿拷贝方案的滤波器，所述滤波器拷贝由视差矢量指定要拷贝区域的位置的样本的非同位置区域。EEE160.根据枚举示例实施例159所述的多层解码器，其中，所述视差矢量是使用整数或子像素准确性来指定的。EEE161.根据枚举不例实施例146-160中任一项所述的多层解码器，其中，所述第一多个参考处理信号(322)包括至少一个基于区域的滤波参数。EEE162.根据枚举示例实施例161所述的多层解码器，其中，所述至少一个基于区域的滤波参数包括选自在RPU数据报头中指定的区域的数量、大小、形状的至少一个参数。EEE163.根据枚举示例实施例161所述的多层解码器，所述至少一个基于区域的滤波参数包括选自滤波器系数值、水平抽头数量以及垂直抽头数量的至少一个参数。EEE164.根据枚举不例实施例146-163中任一项所述的多层解码器,其中，所述第一 RPU (342)的滤波器是按照每个颜色分量来指定的。EEE165.根据枚举示例实施例146-164中任一项所述的多层解码器，其中，所述至少一个非线性滤波器是在所述第一 RPU (342)中指定的。EEE166.根据枚举示例实施例165所述的多层解码器，其中，所述至少一个非线性滤波器包括选自边缘自适应滤波器和双边滤波器的至少一个滤波器。EEE167.根据枚举不例实施例146-166中任一项所述的多层解码器，其中，所述第一多个参考处理信号(322)还包括与至少一个高级补偿方法相关联的至少一个信号。
EEE168.根据枚举示例实施例167所述的多层解码器，其中，所述至少一个高级补偿方法是仿射运动模型或透视运动模型。EEE169.根据枚举示例实施例146-168中任一项所述的多层解码器，其中，所述基本层解码器不同于所述增强层解码器。EEE170.根据枚举示例实施例146-169中任一项所述的多层解码器，其中，来自所述增强层解码器(340)的至少一个重构输出画面被适配成馈送到所述第二 RPU (348)。EEE171.根据枚举示例实施例146-170中任一项所述的多层解码器，其中，来自所述基本层编码器(342)的至少一个重构图像被用作所述增强层解码器(340)的参考。EEE172.根据枚举示例实施例146-170中任一项所述的多层解码器，还包括第三RPU，所述第三RI3U被适配成根据第三多个参考处理信号，对来自所述基本层解码器(342)的输出进行处理，并且输出作为所述增强层解码器(340)的输入的至少一个第三参考处理后图像或视频。EEE173.根据枚举示例实施例172所述的多层解码器，其中，所述增强层解码器被适配成使用所述至少一个第三参考处理后图像或视频作为参考。EEE174.根据枚举示例实施例172或173所述的多层解码器，其中，所述增强层解码器被适配成使用选自所述基本层解码器的运动矢量、参考画面以及宏块模式的至少一个预测指标。EEE175.根据枚举示例实施例172-174中任一项所述的多层解码器，其中，所述增强层解码器被配置成独立于所述基本层解码器。EEE176.根据枚举示例实施例175所述的多层解码器，其中，所述增强层解码器被适配成使用来自所述基本层解码器的至少一个信号来初始化所述解码。EEE177.根据枚举不例实施例148-176中任一项所述的多层解码器,其中，所述第
一RPU被适配成使用对于所述第一视图和所述第二视图不同的采样偏移。EEE178.根据枚举示例实施例148-177中任一项所述的多层解码器，其中，所述第
二RPU被适配成使用对于所述第一视图和所述第二视图不同的采样偏移。EEE179.根据枚举示例实施例146所述的多层解码器，其中，所述增强层组合器执行的组合处理包括减法、线性变换或非线性变换。EEE180.根据枚举示例实施例146所述的多层解码器，还被适配成对多视像或视频帧进行编码。EEE181.根据枚举示例实施例180所述的多层解码器，还被适配成通过考虑每层的视图之间的不同采样位置以及视图之间的视差来对至少一个参考画面进行处理。EEE182.一种使用多假设处理的多层解码器，包括:第一层解码器；第一参考处理单元(RPU)，耦合到所述第一层解码器；第二层解码器，耦合到所述第一层解码器；第二 RPU，耦合到所述第二层解码器；组合器，耦合到所述第一 RPU和所述第二 RPU ；第三层编码器，耦合到所述第二层编码器；第三RPU，耦合到所述第三编码器；以及
加法器，耦合到所述组合器和所述第三RPU。EEE183.一种用于图像或视频传输的方法，包括:根据枚举示例实施例1-52中的一个或多个所述的方法的编码处理；以及根据枚举示例实施例124-145中的一个或多个所述的方法的解码处理。EEE184.一种用于图像或视频传输的编解码器系统,包括:根据枚举示例实施例53-123中任一项所述的多层编码器；以及根据枚举示例实施例146-181中任一项所述的多层解码器。EEE185.一种使用多假设处理的编解码器系统，包括:根据枚举示例实施例117所述的多层编码器；以及根据枚举示例实施例182所述的多层解码器。
权利要求
1.一种用于图像和视频传输的多层编码方法，包括: 通过基本层对至少一个输入图像或视频帧(302，304)进行基本层处理，所述基本层处理包括: 通过对所述至少一个输入图像或视频帧(302，304)进行处理来获得至少一个第一较低分辨率图像或视频帧(316输入)；以及 通过对所述至少一个第一较低分辨率图像或视频帧(314输入)进行编码来获得多个基本层编码位流信号(358); 通过一个或多个增强层对所述至少一个图像或视频帧(302，304)进行增强层处理，所述增强层处理包括: 通过根据第一规则集对至少一个基本层信号(356)或至少一个第一增强层信号进行参考处理来获得第一多个参考处理信号(322)和至少一个第一参考处理后图像或视频帧(320)； 通过根据第二规则集对所述至少一个第一参考处理后图像或视频帧(320 )和所述至少一个输入图像或视频帧(302，304)进行处理来获得至少一个残差图像或视频帧(326)； 通过对所述至少一 个残差图像或视频帧(326)进行处理来获得至少一个第二较低分辨率图像或视频帧(338输入)； 通过对所述至少一个第二较低分辨率图像或视频帧(338输入)进行编码来获得多个增强层编码位流信号；以及 通过根据第三规则集对至少一个第二增强层信号(344)进行参考处理来获得第二多个参考处理信号(362)。
2.根据权利要求1所述的多层编码方法，其中，所述至少一个输入图像或视频帧(302，304)包括多个视图的图像或视频帧。
3.根据权利要求2所述的多层编码方法，其中，所述多个视图包括第一视图和第二视图(302，304)。
4.根据权利要求3所述的多层编码方法，其中，所述至少一个第一较低分辨率图像或视频帧(316输入)包括通过对所述第一视图和所述第二视图的图像或视频帧(302，304)进行基本层滤波(306)、基本层子采样(310)和基本层3D复用(314)而获得的至少一个帧兼容图像或视频帧。
5.根据权利要求4所述的多层编码方法，其中，所述基本层子采样包括水平子采样、垂直子采样或梅花形子采样。
6.根据权利要求4所述的多层编码方法，其中，所述基本层子采样对于两个视图提供在至少一个维度中不等的质量。
7.根据权利要求6所述的多层编码方法，其中，对一个视图进行子采样以达到在至少一个第一维度比其他视图低而在至少一个第二维度比所述其他视图高的分辨率。
8.根据权利要求4-7中任一项所述的多层编码方法，其中，所述基本层滤波对于所述第一视图和所述第二视图的所有图像或视频帧(302，304 )是固定的。
9.根据权利要求4-8中任一项所述的多层编码方法，其中，所述基本层滤波取决于所述第一视图和所述第二视图的图像或视频帧(302，304)的空间或时间区域的至少一个特征。
10.根据权利要求4-9中任一项所述的多层编码方法，其中，所述基本层3D复用(314)包括并排布置、上下布置、行交织布置、列交织布置或棋盘格布置。
11.根据权利要求4-10中任一项所述的多层编码方法，其中，所述基本层编码位流信号(358)能够由符合多个现有视频编码标准和编解码器之一的解码器来解码。
12.根据权利要求4-11中任一项所述的多层编码方法，其中，对所述至少一个帧兼容图像或视频帧(316输入)的编码还包括利用多个现有颜色和采样格式之一进行编码。
13.根据权利要求12所述的多层编码方法，其中，所述多个现有颜色和采样格式包括YUV 4:0:0, YUV 4:2:2, YUV 4:4:4、RGB 和 XYZ。
14.根据权利要求11-13中任一项所述的多层编码方法，其中，所述基本层子采样根据所述多个现有视频编码标准和编解码器之一或者所述多个现有颜色和采样格式之一来提供位深精度。
15.根据权利要求11-13中任一项所述的多层编码方法，其中，所述增强层子采样提供比所述基本层子采样高的位深精度。
16.根据权利要求1-15中任一项所述的多层编码方法，还包括将多个增强层位流信号提供到解码器，所述多个增强层位流信号包括所述第一多个参考处理信号(322)、所述多个增强层编码位流信号和所述第二多个参考处理信号。
17.根据权利要求1-16中任一项所述的多层编码方法，其中，对所述至少一个第二较低分辨率图像或视频帧(338输入)的编码还包括使用通过对所述至少一个第一较低分辨率图像或视频帧(314输入)的编码而生成的至少一个重构图像或视频帧作为参考。
18.根据权利要求1-17中任一项所述的多层编码方法，还包括:通过根据第四规则集对所述至少一个基本层信号(356 )进行参考处理来获得至少一个第三参考处理后图像或视频(506)。
19.一种用于图像和视频传输的多层编码器，包括: 基本层处理器，被适配用于至少一个输入图像或视频帧，包括被适配成输出多个基本层编码位流信号(358)的基本层编码器(314);以及 至少一个增强层处理器，被适配用于至少一个输入图像或视频帧，包括增强层编码器(336)和至少两个参考处理单元(RPU) (318，346)， 其中， 所述增强层编码器被适配成输出多个增强层编码位流(354)； 第一 RPU (318)被适配成根据第一规则集，对来自所述基本层编码器(316)的至少一个输出(356)或至少一 个增强层信号进行处理，并且输出第一多个参考处理数据(322)和至少一个第一参考处理后图像或视频帧(320);以及 第二 RPU (346)，被适配成根据第二规则集对来自所述增强层编码器(338)的至少一个输出进行处理并输出第二多个参考处理数据(362)。
20.一种使用多假设处理的多层编码器，包括: 第一层编码器； 第一参考处理单元(RPU)，耦合到所述第一层编码器； 第二层编码器，耦合到所述第一层编码器； 第二 RPU，耦合到所述第二层编码器；组合器，耦合到所述第一 RPU和所述第二 RPU ； 比较器，耦合到所述组合器； 第三层编码器，耦合到所述第二层编码器和所述比较器；以及 第三RPU，耦合到所述第三层编码器， 其中， 所述组合器被适配成通过对所述第一 RPU的输出和所述第二 RPU的输出的加权组合来生成作为所述第三层编码器的输入的预测图像； 所述比较器被适配成根据所述预测图像和原始视像来计算残差图像；以及 所述第三层编码器被适配成对所述残差图像进行编码。
21.一种用于图像和视频传输的多层解码方法，包括: 通过基本层对多个基本层编码位流信号(358)进行基本层处理，所述基本层处理包括: 通过对所述多个基本层编码位流信号(358)进行解码来获得至少一个第一低分辨率图像或视频帧(342的输出)；以及 通过一个或多个增强层对多个增强层位流信号进行增强层处理，其中， 所述多个增强层位流信号包括: 多个增强层编码位流信号(354)； 第一多个参考处理信号(322);以及 第二多个参考处理信号(362)； 所述增强层处理包括: 通过对所述第一多个参考处理信号(322)和所述至少一个第一低分辨率图像或视频帧(342的输出)进行参考处理来获得至少一个第一参考处理后图像或视频帧(352)； 通过对所述多个增强层编码位流信号(354)进行解码并对基本层信号(340的其它输入)或增强层信号进行处理来获得至少一个增强层解码信号(340输出)； 通过对所述第二多个参考处理信号(362)和所述至少一个增强层解码信号(340输出)进行参考处理来获得至少一个第二参考处理后图像或视频帧(350 );以及 通过对所述至少一个第一参考处理后图像或视频帧(352 )和所述至少一个第二参考处理后图像或视频帧(350)进行组合来获得至少一个全分辨率图像或视频帧。
22.一种用于图像和视频传输的多层解码器，包括: 至少一个基本层解码器(342)，被适配成对多个基本层编码位流信号(358)进行解码； 至少一个增强层处理器，被适配成对多个增强层位流信号进行处理，其中， 所述多个增强层位流信号包括: 多个增强层编码位流信号(354)， 第一多个参考处理信号(322)，以及 第二多个参考处理信号(362)； 所述增强层处理器包括: 增强层解码器(340)，被适配成对所述多个增强层位流信号进行解析并且对所述多个增强编码位流信号(354)进行解码； 第一参考处理单元(RPU) (324)，被适配成根据所述第一多个参考处理信号(322)，对来自所述基本层解码器(342 )的输出进行处理并且输出至少一个第一内插重构图像或视频帧(352)；第二 RPU (348)，被适配成根据所述第二多个参考处理信号(322)，对来自所述增强层解码器(340)的输出进行处理并且输出至少一个第二内插重构图像或视频帧(350);以及至少一个组合器，被适配成对所述至少一个第一内插重构图像或视频(352)和所述至少一个第二内插重构图像或视频帧(350)进行组合，以获得至少一个全分辨率图像或视频帧(360)。
23.一种使用多假设处理的多层解码器，包括: 第一层解码器； 第一参考处理单元(RPU)，耦合到所述第一层解码器； 第二层解码器，耦合到所述第一层解码器； 第二 RPU，耦合到所述第二层解码器； 组合器，耦合到所述第一 PRU和所述第二 RPU ； 第三层编码器，耦合到所述第二层编码器； 第三RPU，耦合到所述第三层编码器；以及 加法器，耦合到所述组合器和所述第三RPU。
24.一种用于图像或视频传输的方法，包括: 根据权利要求1-20中的一个或多个所述的方法中所述的编码处理；以及 根据权利要求21-23中的一个或多个所述的方法中所述的解码处理。
25.一种用于图像或视频传输的编解码器系统，包括: 如权利要求1-21中任一项所述的多层编码器；以及 如权利要求21-23中任一项所述的多层解码器。
26.一种使用多假设处理的编解码器系统，包括: 根据权利要求22所述的多层编码器；以及 根据权利要求23所述的多层 解码器。
全文摘要
本公开内容描述了一种用于使用参考处理信号进行多层图像和视频传输的系统和方法。提供了多层编码器和多层解码器，二者均包括使用参考处理的至少一个增强层处理器和基本层处理器。还描述了使用参考处理并且能够进行帧兼容3D视频传输的多层编码器和多层解码器。
文档编号H04N7/26GK103155568SQ201180033746
公开日2013年6月12日 申请日期2011年7月6日 优先权日2010年7月8日
发明者佩沙拉·V·帕哈拉瓦达, 亚历山德罗斯·图拉皮斯, 沃尔特·J·胡萨克 申请人:杜比实验室特许公司