专利名称：用于hevc的空间可缩放性的方法和设备的制作方法
技术领域：
本申请涉及视频流的编译，并且特别地，涉及根据在该视频流中发现的特征来划分视频流并且然后使用适当的编译方法来对所划分的视频流进行编码。
背景技术：
许多视频压缩技术例如MPEG-2和MPEG-4第10部分/AVC使用基于块的运动补偿变换编译。这些方法试图用残差的DCT变换编译来使块尺寸适于内容以得到空间和时间预测。尽管可以实现有效编译，但是对于块尺寸和块假象的限制常常能够影响性能。所需要的是允许可以更好适于局部图像内容的视频的编译以得到有效编码和改进的视觉感知的框架。
附图用来全部依照本发明进一步图示各种实施例并且解释各种原理和优点，在附图中相同的附图标记在所有单独的视图中指代相同或功能上类似的元素，并且附图与下文中的具体描述一起被并入并形成本说明书的一部分。图1是本发明的一些实施例使用的网络架构的示例。图2是依照本发明的一些实施例使用的编码器/解码器的图。图3是依照本发明的一些实施例使用的编码器/解码器的图。图4是合并了本发明的原理中的一些的编码器的图示。图5是与图4中示出的编码器相对应的解码器的图示。图6是依照本发明的一些实施例的来自视频流的分割图片的图示。图7是合并了本发明的原理中的一些的编码器的图示。图8是与图7中示出的编码器相对应的解码器的图示。图9 Ca)和9 (b)是合并了本发明的原理中的一些的插值模块的图示。图10是合并了本发明的原理中的一些的编码器的图示。图11是与图10中示出的编码器相对应的解码器的图示。图12是3D编码的图示。图13是3D编码的另一图示。图14是3D编码的又一图示。图15是合并了本发明的原理中的一些的编码器的图示。
图16是与图15中示出的编码器相对应的解码器的图示。图17是示出了根据本发明的一些实施例的对输入视频流进行编码的操作的流程图。图18是示出了根据本发明的一些实施例的对经编码的比特流进行解码的操作的流程图。图19图示了通过分析滤波输入X到两个层中的分解。技术人员将了解的是，图中的元素是为了简单和清楚而示出的，并且不一定按比例绘制。例如，图中某些元素的尺寸相对于其它元素可以被放大以帮助提高对本发明的实施例的理解。
具体实施例方式在详细地描述依照本发明的实施例之前，应该观察到，实施例主要存在于与视频流的基于特征编译的方法和设备相关的方法步骤和设备组件的组合。因此，设备组件和方法步骤在适当情况下由图中的常规符号来表示，从而仅示出与理解各种实施例有关的那些特定细节以便不使本公开因将对于得益于本文描述的本领域的普通技术人员而言是容易地显而易见的细节而混淆。在本文档中，诸如第一和第二、顶部和底部等等的相关术语可以仅用来区分一个实体或动作与另一实体或动作，而不一定要求或暗示在这样的实体或动作之间的任何实际的这种关系或顺序。术语“含” “含有”或其任何其它变化均旨在涵盖非排他的包括，从而使得含元素列表的处理、方法、物品或设备不仅包括那些元素而且可以包括没有明确列举的或这样的处理、方法、物品或设备所固有的其它元素。继之以“含”的元素在没有更多的约束的情况下不排除在含该元素的处理、方法、物品或设备中存在附加的相同的元素。应当了解的是，本文所述的本发明的实施例可以包括一个或多个常规处理器和唯一存储的程序指令，所述程序指令控制一个或多个处理器以与某些非处理器电路相结合地实现如本文所述的视频流的基于特征编译的功能中的一些、大多数或全部。非处理器电路可以包括但不限于无线接收机、无线发射机、信号驱动器、时钟电路、电源电路以及用户输入装置。同样地，这些功能可以被解释为用于执行视频流的基于特征编译的方法的步骤。可替换地，一些或全部功能能够由不具有存储的程序指令的状态机来实现，或被实现在一个或多个专用集成电路(ASIC)中，其中每个功能或特定功能的一些组合被实现为定制逻辑。当然，能够使用这两种方式的组合。因此，已经在本文中描述了用于这些功能的方法和装置。另外，普通技术人员期望的是，尽管可能显著的努力和许多涉及受到例如可用的时间、当前技术以及经济考虑驱动，但是当通过本文所公开的构思和原理引导是，将容易地能够以最小试验生成软件指令以及程序和1C。依照本描述，所描述的原理是针对在视频分发系统的头端处操作的设备和用于将输入视频流分割成用于该视频的多个信道中的每一个的分块的划分器。该设备还包括耦合到划分器的信道分析器，其中该信道分析器对分块进行分解；以及编码器，所述解码器被耦合到信道分析器以将经分解的分块编码成经编码的比特流，其中，所述编码器从所述多个信道中的至少一个接收编译信息以在将经分解的分块编码成经编码的比特流中使用。在实施例中，该设备包括重构回路，该重构回路用来对经编码的比特流进行解码并且将经解码的比特流重组合成重构的视频流；以及缓存器，该缓存器用来存储所重构的视频流。在另一实施例中，缓存器能够存储来自视频流的其它信道的其它编译信息。此外，编译信息包括所重构的视频流和用于编码器的编译信息中的至少一个，并且该编译信息是视频流的参考图片信息和编译信息中的至少一个。此外，划分器使用多个特征集合中的至少一个来形成分块。在实施例中，由从比特流所创建的重构的视频流来确定参考图片信息。在另一实施例中，公开了包括接收经编码的比特流的解码器的设备，其中解码器根据接收到的有关经编码的比特流的信道的编译信息来对比特流进行解码。该设备还包括信道合成器，该信道合成器耦合到解码器以将经解码的比特流合成为视频流的分块；以及组合器，该组合器耦合到信道合成器以从经解码的比特流创建重构的视频流。编译信息能够包括重构的视频流和用于所重构的视频流的编译信息中的至少一个。此外，该设备包括耦合到组合器的缓存器，其中该缓存器存储所重构的视频流。滤波器能够耦合在缓存器与解码器之间以将所重构的视频流的至少一部分作为编译信息反馈到解码器。还可以基于所重构的视频流的多个特征集合中的至少一个来确定分块。此外，所描述的原理公开了包括接收输入视频流并且将该输入视频流分割成多个分块的方法。该方法还包括分解所述多个分块，并且将经分解的分块编码成经编码的比特流，其中所述编码使用来自输入视频流的信道的编译信息。在实施例中，该方法进一步包括接收得自经编码的比特流的重构的视频流作为用来将分块编码成比特流的输入。此外，该方法能够包括缓存从经编码的比特流所重构的重构的视频流以用作用于输入视频流的其它信道的编译信息。该编译信息可以是视频流的参考图片信息和编译信息中的至少一个。还公开了另一方法。这个方法包括接收至少一个经编码的比特流并且对所接收到的比特流进行解码，其中所述解码使用来自输入视频流的信道的编译信息。此外，该方法将经解码的比特流合成为输入视频流的一系列分块，并且将分块组合成重构的视频流。在实施例中，编译信息是输入视频流的参考图片信息和编译信息中的至少一个。此外，该方法能够包括将所重构的视频流用作用于对比特流进行解码的输入，并且合成所重构的视频流以用于对该比特流进行解码。本描述基于视频流中的图片的每个区域都用特定的特征集合来最有效地描述的前提来开发。例如，可以确定特征集合以得到针对给定的面部模型来有效地描述面部的参数。此外，对图像的一部分进行描述的特征集合的效率取决于在对那些特征的最小描述长度进行编码中所使用的压缩算法的应用(例如，对于其中人类是终端用户的那些应用的感知相关性)和效率。所提出的视频编解码器使用了 N个特征集合，SP {FS^"FSN}，其中每个FSi由命名为Ki(I)…fi (IiiM的~个特征构成。所提出的视频编缉器有效地(例如基于某速率失真感知方案)将每个图片划分成可以重叠或者不相交的P个合适的分块。接下来，每个分块j被分配最佳地描述该分块的特征集合，例如FSi。最后，与用来描述分块j中的数据的征集合中的Iii特征中的每一个相关联的值将被编码/压缩并且发送到解码器。解码器重构每个特征值并且然后重构该分块。所述多个分块将形成重构的图片。
在实施例中，执行接收将被编码和传送或者存储在合适的介质中的视频流的方法。该视频流由被布置在序列中的多个图片组成。对于所述多个图片中的每一个，该方法为图片确定特征集合并且将每个图片划分成多个分块。每个分块对应于描述该分块的特征中的至少一个。该方法根据适于对该分块进行描述的特征的编码方案来对每个分块进行编码。经编码的分块然后可以被传送或者存储。能够了解的是，使用基于特征编码对被接收到的视频流执行了解码的合适方法。该方法根据所接收到的视频流来确定经编码的分块。根据每个接收到的分块，根据所使用的编码方法确定了用来对每个分块进行编码的特征。基于所确定的特征，该方法重构用来创建经编码的视频流中的所述多个图片中的每一个的所述多个分块。在实施例中，每个特征编译方案对于该特定特征而言可能是唯一的。在另一实施例中，每个特征编译方案可以被共享以用于多个不同特征的编译。编译方案能够对相同的分块使用跨该特征空间的空间、时间或编译信息来最佳地对任何给定特征进行编译。如果解码器取决于这样的空间、时间或跨特征信息，则它必须来自已经传送的和经解码的数据。转向图1，图示了根据在视频流的图片中发现的特征来对视频流进行编码和解码的网络架构100。在下文更详细地描述了编码和解码的实施例。如图1中所示，网络架构100被图示为有线电视(CATV)网络架构100，包括电缆头端单元110和电缆网络111。然而，应当理解的是，在这里所描述的概念适用于包括其它有线和无线类型的传输的其它视频流送实施例。多个数据源101、102、103可以被通信地耦合到电缆头端单元110，包括但绝不限于多个服务器101、因特网102、无线电信号或经由内容提供商103所接收到的电视信号。电缆头端110通过电缆网络111还被通信地耦合到一个或多个订户150a-n。电缆头端110包括必要的设备以根据下述各种实施例来对它从数据源101、102、103接收到的视频流进行编码。电缆头端110包括特征集合装置104。特征集合装置104存储被用来分割视频流的下述各种特征。当特征被确定时，特征的质量被存储在特征集合装置104的存储器中。电缆头端110还包括划分器105，所述划分器105根据由特征集合装置104所确定的视频流的各种特征将视频流划分成多个分块。编码器106使用适于描述分块的特征的各种编码方案中的任何一个来对所述分块进行编码。在实施例中，编码器能够根据各种不同编码方案中的任何一个来对视频流进行编码。该视频流的经编码的分块被提供给电缆网络111并且使用收发器107传送到各种订户单元150a-n。此外，处理器108和存储器109与特征集合装置104、划分器105、编码器106以及收发器107相结合地用作电缆头端110的操作的一部分。订户单元150a-n可以是支持2D的TV150n或支持3D的TV150d。在实施例中，电缆网络111使用例如固定光纤或同轴电缆将3D和2D视频内容流提供给订户单元150a-n中的每一个。订户单元150a-n每个包括机顶盒(STB)120、120d，其接收正在使用所描述的基于特征的原理的视频内容流。如所理解的那样，订户单元150a-n能够包括来自STB120、120d的其它类型的无线或有线收发器，所述收发器能够传送和接收来自头端110的视频流和控制数据。订户单元150d可以具有能够显示3D立体视图的支持3D的TV组件122d。订户单元150η具有能够显示2D视图的2D TV组件122。订户单元150a_n中的每一个都包括接收经解码的分块并且再创建视频流的组合器121。此外，处理器126和存储器128以及未示出的其它组件与STB和TV组件122、122d相结合地用作订户单元150a_n的操作的一部分。如所提及的，视频流中的每个图片根据在图片中发现的各种特征被分割。在实施例中，通过其来分解或者分析分块以用于编码并且重构或者合成以用于解码的规则是基于被编码器和解码器两者所知道的固定特征集合的。这些固定特征分别被存储在头端装置110和订户单元150a-n的存储器109、128中。在该实施例中，不需要从编码器向解码器发送关于如何在这类基于固定特征的视频编解码中重构分块的任何信息。在该实施例中，编码器106和解码器124被配置有用来编码/解码视频流的各种分块的特征集合。在另一实施例中，分解或者分析分块以用于编码并且重构或者合成以用于解码的规则是基于由编码器106设置以适应给定分块的更有效编译的特征集合的。由编码器106所设置的规则是自适应重构规则。这些规则需要在订户单元150a-n处被从头端110发送到解码器124。图2示出了高级图200，其中输入视频信号x202通过特征集合装置104而被分解成两个特征集合。可以通过诸如运动(例如低、高)、强度(亮、暗)、纹理、图案、定向、形状以及基于输入视频x202的内容、质量或上下文的其它类别的特征来分类来自输入视频x202的像素。还可以通过时空频率、信号对噪声或者通过使用某一图像模型来分解输入视频信号x202。此外，可以使用不同类别中的任何一个的组合来分解输入视频信号x202。因为每个特征的感知重要性可能不同，所以每个特征可以通过编码器106与使用不同的编码器参数的不同编码器Ei204、206中的一个或多个一起来更适当地编码以产生比特流匕208、210。编码器E106还能够联合利用单独的特征编码器Ei204、206。包括解码器212、214的解码器D124在来自在头端110与订户单元105a_n之间正被发送的所有比特流的信息的可能的联合利用情况下从比特流bi208、210重构特征，并且所述特征被组合器121组合以产生所重构的输出视频信号X’ 216。如可以被理解的那样，输出视频信号X’ 126对应于输入视频信号x202。更具体而言，图3示出了所提出的高效视频编译(HVC)方法的图。例如，被用作HVC的一部分的特征是基于空间频率分解的。然而，应当理解的是，针对HVC所描述的原理能够适用于除空间频率分解之外的特征。如所示，输入视频信号x302被提供给划分器105，其包括分割模块304和信道分析模块306。分割模块304被配置成根据例如空间频率的给定特征集合来分析输入视频信号x302，并且基于该特征集合将输入视频信号x302划分或者分割成多个分块。输入视频信号x302的分割是基于与给定特征集合相对应的规则的。例如，因为空间频率内容在图片内变化，所以通过分割模块304来分割每个输入图片使得每个分块能够具有不同的空间频率分解，使得每个分块具有不同的特征集合。例如，在信道分析模块306中，输入视频分块可以基于空间频率例如用于总共四个特征集合的低-低、低-高、高-低以及高-高而被分解成2x2个带,或者分解成对于这两个特征集合需要两个特征(H与L频率分量)的2x1 (垂直)或1x2 (水平)频带。可以使用空间预测、时间预测以及跨带预测以适当的子带特异性主观或感知的质量度量(例如，均方差(MSE)加权)来编译这些子带或“信道”。现有的编解码器技术可以被使用或者适配来使用信道编码器106对带进行编译。经编码的视频信号分块的结果的比特流被传送到订户单元150a-n以便进行解码。被解码器124解码的信道被模块308用于信道合成以通过模块310重构分块，从而产生输出视频信号312。在图4中示出两信道HVC编码器400的示例。输入视频信号x402可以是来自划分器105的整个图像或单个图像分块。输入视频信号x402通过滤波器404、406根据函数h被滤波。应当理解的是，取决于特征集合可以使用任何数目的滤波器。在实施例中，经滤波的信号然后由采样器408通过与滤波器404、406的数目例如两个相对应的因子来采样，使得所有信道中的样本的总数目是与输入样本的数目相同的。输入图像或分块可以被适当地补齐(例如，使用对称延拓)以便在每个信道中实现适当数目的样本。作为结果的信道数据然后分别被编码器EJlO和E012编码以产生信道比特流M14和M16。如果到编码器Ei的输入数据的比特深度分辨率大于编码器能够处理的，则在编码之前可以适当地重新换算输入数据。这个重新换算可以通过数据的有界量化(均匀的或非均匀的)来完成，所述有界量化可以包括数据的换算、偏移、取整以及限幅。在编码之前执行的任何操作(诸如换算和偏移)在解码之后应该是颠倒的。在变换中所使用的特定参数可以被传送到解码器，或者根据编码器与解码器之间的先验来约定。信道编码器可以利用来自其它信道(在ijk的情况下信道k用于信道j)的编译信息4418来提高编译效率和性能。如果Icil已经在解码器处可用，则不需要将这个信息包括在比特流中；否则，i01与比特流一起还可用于下述解码器。在实施例中，编译信息iik可以是编码器或解码器所需要的信息，或者它可以是基于该信息和信道条件的分析的预测信息。空间或时间预测信息的再使用能够跨由HVC编译方法所确定的多个子带。可以使得来自信道的运动矢量可用于编码器和解码器，使得一个子带的编译能够被另一子带使用。这些运动矢量可以是子带的精确运动矢量或预测性运动矢量。任何当前编译的编译单元能够从可用于编码器和解码器的子带中的一个或多个继承编译模式信息。此外，编码器和解码器能够使用该编译模式信息来预测当前编译单元的编译模式。因此，一个子带的模式还可以被另一子带使用。为了和经解码的输出匹配，解码器重构回路420还被包括在编码器中，如由比特流解码器1^422、424所图示 的那样。作为解码器重构回路420的一部分，经编码的比特流414,416被采样器423通过因子二上采样，其中所述因子对应于比特流的数目，并且然后被滤波器428、430通过函数gi后滤波。可以选择滤波器1^404、406和滤波器gi428、430使得当经后滤波的输出被组合器431加起来时，原始的输入信号X在不存在编译失真的情况下可以被恢复为重构的信号X’。可替换地，可以设计滤波器匕404、406和&428、430以便在存在编译失真的情况下最小化总失真。图4还图示了重构的输出X’可以如何被用作用于对未来图片进行编译以及用于对另一信道k (未示出)的信息i进行编译的参考。缓存器431存储这些输出，其然后可以被滤波h并且抽样以产生图片而这个是针对编码器Ei和解码器Di两者来执行的。如所示，图片A可以被反馈以被编码器410以及解码器422两者使用，所述解码器422是重构回路420的一部分。此外，可以使用滤波器民432、434实现优化，所述滤波器使用滤波函数h436、438和采样器440对用于解码器重构回路420的输出进行滤波和采样。在实施例中，滤波器民432、434为每个图像或分块选择若干个信道分析(在没有分解情况下包括默认的)中的一个。然而，一旦图像或分块被重构，经缓存的输出然后就能够使用所有可能的信道分析来滤波以产生适当的参考图片。如所理解的那样，这些参考图片可以被用作编码器410、412的一部分并且用作用于其它信道的编译信息。此外，尽管图4示出了参考信道在滤波之后被抽样，但是对于待非抽样的参考信道来说也是可能的。虽然图4示出了两个信道分析的情况，但是容易从所描述的原理中理解更多信道的扩展。子带参考图片插值可以被用来提供关于视频流应该是什么的信息。重构的图像可以被适当地分解以生成参考子带信息。经子采样的子带参考数据的生成可以使用可能已经被正确地合成的非抽样参考图片来完成。可以基于每个子带的频谱特性来使用固定插值滤波器的设计。例如，平面插值适用于高频数据。另一方面，自适应插值滤波器可以是基于MSE极小化，其可以包括应用于被非抽样的合成参考帧的维纳(Wiener)滤波器系数。图5示出了与图4中所图示的编码器对应的解码器500。解码器500对所接收到的比特流匕414、416和共信道编译信息i418进行操作。这个信息可以被用来在编码器和解码器两者处得到编译信息或者在信道之间重新使用编译信息。所接收到的比特流414、416由被配置成和编码器410、412匹配的解码器502、504来解码。当编码/解码参数被约定为先验时，则解码器502、504被配置有类似的参数。可替换地，解码器502、504将参数数据作为比特流414、416的一部分来接收，以便被配置为对应于编码器410、412。采样器506被用来对经解码的信号进行重新采样。使用滤波函数g,_的滤波器508、510被用来获得重构的输入视频信号X’。来自滤波器508、510的输出信号& 512和Si 514被加法器516加在一起以产生重构的输入视频信号X’ 518。如所看见的那样，重构的视频信号X’ 518还被提供给缓存器520。经缓存的信号被提供给滤波器522、524，滤波器522、524通过函数匕526、528对所重构的输入信号进行滤波，并且然后使用采样器530对信号进行重新采样。如所示，经滤波的重构输入信号被反馈到解码器502、504中。如上所述，输入视频流X可以通过划分器105而被划分成分块。在实施例中，输入视频流X的图片被划分成分块，其中使用最合适的分析、子采样以及合成滤波器集合(基于每个给定分块的局部图片内容)来分解每个分块，其中分块被配置为与该特征集合具有类似的特征。图6示出了编译场景的示例，该编译场景使用了将空间频率分解用作用来自适应地对图片600进行分割、分解以及编码的特征集合的示例的总共四个不同的分解选项。可以通过基于最小特征描述长度准则的一个特征集合FS来描述视频流中的图片的自适应分割。如所理解的那样，可以使用其它特征集合。对于空间频率分解，图片600被检查以确定可以发现类似特性的不同分块。基于该图片600的检查，创建了分块602-614。如所示，分块602-614彼此不重叠，但应当理解的是，分块602-614的边缘能够重叠。在空间频率分解的示例中，特征集合选项是同样地基于垂直或水平滤波和子采样的。在被指定为V1H1、用在分块604、610中作为示例的一个示例中，该分块的像素值被编译:这个特征集合具有仅一个特征，其是该分块的像素值。这相当于传统的图片编译，其中编码器和解码器对像素值进行操作。如所示，由V1H2所指定的分块606、612针对两个子带中的每一个通过因子二被水平地滤波和子采样。这个特征集合具有两个特征。一个是低频子带的(一个或多个)值而另一个是高频子带的(一个或多个)值。每个子带然后用适当的编码器被编译。此外，由V2H1所指定的分块602使用垂直滤波器来滤波并且对两个子带中的每一个通过因子二来子采样。像使用V1H2的分块606、612 —样，用于分块602的特征集合具有两个特征。一个是低频子带的(一个或多个)值而另一个是高频子带的(一个或多个)值。可以用适当的编码器来编译每个子带。由V2H2所指定的分块608、614在水平和垂直方向中的每一个上通过因子二来使用可分的或不可分的滤波和子采样。当滤波和子采样是在两个维度上时，对四个子带中的每一个进行该操作使得特征集合具有四个特征。例如，在可分分解的情况下，第一特征捕获低频率(LL)子带的(一个或多个)值，第二和第三特征分别捕获低和高频率即LH和HL (—个或多个)子带值的组合，而第四特征捕获高频率(HH)子带的(一个或多个)值。然后用适当的编码器编译每个子带。划分器105能够使用对创建输入视频流X中的每个图片的分块602-614的方法使用多个不同的自适应分割方案。一个类别是基于速率失真(RD)的。基于RD的分块的一个示例是树状结构方法。在这个方法中，分割图将使用例如四叉树的树结构来编译。基于包括最佳分解方案的性能以及对于树节点和叶的描述所需要的比特两者的成本最小化来决定树分支。可替换地，基于RD的分块能够使用两遍方法。在第一遍中，具有给定尺寸的所有分块将经过自适应分解以发现每个分解选项的成本，然后来自第一遍的分块将被最佳合并以最小化对图片进行编译的总成本。在这个计算中，还可以考虑分割信息的传输的成本。在第二遍中将根据最佳分块图来分割和分解图片。另一类分块是基于非RD的。在这个方法中利用了范数-P最小化:在该方法中，将针对分解的每个可能的选项来计算用于相同空间位置的所有信道的子带数据的范数-P。通过图片的最佳划分来实现最佳分割，以最小化在所有分块602-614处的超范数-P。同样在本方法中，通过添加适当加权的比特率(实际的或估计的)来考虑发送分割信息的成本，以将分割信息发送到该数据的总体范数-P。对于具有自然内容的图片，通常使用范数-1。在上文中描述了视频编译中的图片或分块的自适应子带分解。由子采样在水平和垂直方向中的每一个上的水平来描述每个分解选项，这进而定义了例如V1HpV1H2等子带的数目和尺寸。如所理解的那样，可以通过发送残余增量对将来的图片或分块再使用或者预测用于图片或分块的分解信息。在压缩之前通过应用例如滤波器匕404、406的分析滤波器来得到每个子带，并且在正确的上采样之后通过应用例如滤波器gi428、430的合成滤波器来重构每个子带。在级联分解的情况下，可能存在涉及到分析或者合成每个带的一个以上的滤波器。返回到图4和 5，滤波器404、406、428、430、436、438、508、510、524、522可以被配置
和设计成最小化总失真并且作为自适应合成滤波器(ASF)。在ASF中，滤波器正尝试最小化由每个信道的编译所引起的失真。可以基于所重构的信道来设置合成滤波器的系数。ASF的一个示例是基于联合子带优化的。对于给定尺寸的函数gi，线性均方估计技术可以被用来计算gi的系数，使得最后重构的分块X’与该分块中的原始信号X中的原始像素之间的均方估计误差被减到最小。在可替换的实施例中，使用独立的信道优化。在该示例中，联合子带优化需要原始信号X与在上采样之后的重构子带信号之间的自相关和互相关。此外，可以解决矩阵方程的系统。与该联合子带优化相关联的计算在许多应用中可能是禁止性的。可以在图7中看到用于编码器700的独立信道优化解决方案的示例，其集中于ASF因此省略了使用图3中所示出的滤波器432和434的参考图片处理。在ASF中，滤波估计模块(FEi) 702、704被提供来执行经解码的重构信道Γ〔其通常是有噪声的)与未经解码的重构信道c\ (其是无噪声的)之间的滤波器估计。如所示，输入视频信号x701被分离并且提供给滤波器706、708，所述滤波器706、708根据已知函数Iii对信号x进行滤波并且然后使用采样器710以由分块的数目所确定的速率来采样。在两信道分解的实施例中，滤波器706、708中的一个可以是低通滤波器，而另一个可以是高通滤波器。应当理解的是，在两信道分解中分割数据使数据加倍。 因此，采样器710能够临界地对输入信号进行采样到数据的量一半，使得相同数目的样本可用于在解码器处重构输入信号。经滤波的和经采样的信号然后被编码器EJ12、714编码以产生比特流bi716、718。经编码的比特流bJ16、718被提供给解码器720、722。编码器700配备有插值模块724、726，插值模块724、726接收提供给编码器712、714和来自解码器720、722的信号经滤波的和经采样的信号。抽样和采样信号以及经解码的信号由采样器728、730采样。经重新采样的信号被滤波器732、734处理以产生信号c%，而经解码的信号还被滤波器736、738处理以产生信号@。信号c’ i和2；都被提供给上述滤波估计模块702、704。滤波估计模块702、704的输出对应于插值模块724、726的滤波器信息inf0i。info,还可以被提供给对应的解码器以及提供给其它编码器。插值模块还可以配置有利用了滤波函数&的滤波器740、742。滤波器740、742可以被导出来最小化c’ 1与「乙间的误差度量，并且该滤波器被应用于c’’ i以生成4。作为结果的经滤波的信道输出4 然后被组合以产生总输出。在实施例中，ASF输出4可以被用来代替图4中的S；。因为ASF在组合之前被应用于每个信道，所以相对于最后输出的比特深度分辨率，ASF经滤波的输出Ci可以保持在较高的比特深度分辨率下。也就是说，经组合的ASF输出在内部可以保持在较高的比特深度分辨率下以用于参考图片处理的目的，而可以例如通过限幅和取整来降低最后输出的比特深度分辨率。由插值模块740、742所执行的滤波能够填充被由采样器710进行的采样所丢弃的信息。在实施例中，编码器712、714能够基于用来分割输入视频信号并且然后对信号进行编码的特征集合来使用不同的参数。滤波器信息^可以被传送到图8中示出的解码器800。经修改的合成滤波器802、804gi’可以从滤波器706、708、732-738的函数gi和得到，使得编码器700和解码器800两者执行等同滤波。在ASF中，合成滤波器732-738gi被修改为滤波器802、804中的gi’以说明由编译所引入的失真。还可以将来自滤波器706、708的分析滤波函数Iii修改为滤波器806、808中的h/以说明自适应分析滤波(AAF)中的编译失真。同时的AAF和ASF也是可能的。ASF/AAF可以被应用于整个图片或者应用于图片分块，并且不同的滤波器可以被应用于不同的分块。在AAF的示例中，例如9/7、3/5等的分析滤波器可以选自滤波器组集合。被使用的滤波器是基于进入滤波器的信号的质量的。可以基于每个分块的内容和编译条件来设置AAF滤波器的系数。此外，滤波器可以被用于生成子带参考数据，如果滤波指标或系数可以被传送到解码器以防止编码器与解码器之间的漂移的话。如图8中所看见的，比特流bJ16、718被提供给解码器810、812，解码器810、812具有与编码器712、714互补的参数。在系统中解码器810、812还接收来自编码器700以及来自其它编码器和解码器的编译信息h作为输入。解码器810、812的输出被采样器814重新采样并且提供给上述滤波器802、804。经滤波的解码比特流c’ ’ i被组合器816组合以产生重构的视频信号X’。重构的视频信号X’还可以被缓存在缓存器818中并且由滤波器806,808处理以及由采样器820采样以被作为反馈输入供应给解码器810、812。可以针对HVC增强图4-5和7-8中所示出的编解码器。在实施例中，可以使用跨子带预测。为了对具有多个子带特征集合的分块进行编译，编码器和解码器能够使用来自已经被解码并且在解码器处可用的所有子带的编译信息而无需发送任何额外的信息。这个由提供给编码器和解码器的编译信息ii的输入来示出。这个的示例是对已经在解码器处解码的共同定位的子带再使用时间和空间预测信息。跨带预测的问题是与编码器和解码器相关的问题。现描述可以被用来在当代视频解码器和编码器的背景下执行这个任务的一些方案。一个这样的方案使用跨子带运动矢量预测。因为在子带中的每一个中的对应位置中的运动矢量指向输入视频信号X的像素域中的相同区域并且因此用于X的各个分块，所以使用来自在对应位置处的已经编译的子带块的运动矢量以得到当前块的运动矢量是有益的。两个额外的模式可以被添加到编解码器以支持这个特征。一个模式是运动矢量的再使用。在该模式下，直接地从已经传送的子带中的对应块的所有运动矢量中得到用于每个块的运动矢量。另一模式使用运动矢量预测。在该模式下，直接地通过将增量运动矢量添加到所预测的运动矢量从已经传送的子带中的对应块的所有运动矢量中得到用于每个块的运动矢量。另一方案使用跨子带编译模式预测。因为取自视频流中的图片或取自该图片的分块的每个图像位置中的诸如边缘之类的结构梯度可以溢出到子带中的每一个中的对应位置，所以对于任何给定块的编译来说，再使用来自在对应位置处的已经编译的子带块的编译模式信息是有益的。例如，在该模式下，可以从低频子带的对应宏块得到用于每个宏块的预测模式。编解码器增强的另一实施例使用参考图片插值。出于参考图片处理的目的，所重构的图片像图4和5中看见的那样被缓存并且被用作用于未来图片的编译的参考。因为编码器Ei在经滤波的/抽样的信道上进行操作，所以通过由滤波器432、434所执行的参考图片过程民来同样地滤波和抽样参考图片。然而，一些编码器可以使用较高的子像素精度，并且通常针对四分之一像素分辨率的情况像图9 (a)和9 (b)中所示出的那样插入函数民。在图9 (a)和9 (b)中，重构的输入信号X’被提供给滤波器％902和Q’#04。如在图9 (a)中所看见的，通过滤波器民432操作的参考图片处理操作处理使用滤波器4436，并且使用采样器440来对信号进行抽样。可以使用四分之一像素插值模块910在滤波器的Qi902操作中组合在编码器中通常执行的插值操作。这个总体操作生成编码器信道输入的四分之一像素分辨率参考样本％906。可替换地，图9 (b)中示出用来生成插值的参考图片q/的另一方式。在这个“非抽样插值” Q/中，重构的输出仅使用滤波器1^436在R/中滤波并且不抽样。经滤波的输出然后使用二分之一像素插值模块912通过二分之一像素来插值以生成四分之一像素参考图片q/ 908。Q/优于Qi的优点是Q/能够访问“原始的”(非抽样的)二分之一像素样本，从而导致较好的二分之一像素和四分之一像素值。Q/插值可以适于每个信道i的特定特性，并且它还可以被扩展到任何期望的子像素分辨率。如从前述中所理解的那样，连续地组成输入视频流X的每个图片可以被作为整个图片来处理，或者分割成如图5中所看见的更小的连续或重叠的子图片。分块能够具有固定的或自适应的尺寸和形状。可以在图片级下或者自适应地完成分块。在自适应实施例中，可以使用多个不同方法中的任何一个而将图片分割成分块，所述不同方法包括树结构或两遍结构，其中第一遍使用固定的块而第二遍工作在合并块上。在分解中，可以根据图片和视频流的内容来选择信道分析和合成。对于基于滤波器分析和合成的示例，分解能 够呈现任何数目的水平和/或垂直带以及多级分解。分析/合成滤波器可以是可分的或不可分的，并且它们可以被设计成在无损编译情况下实现完美重构。可替换地，对于有损编译情况，它们可以被联合地设计成最小化总的端到端误差或感知误差。至于分割，每个图片或子图片能够具有不同的分解。图片或视频流的这样的分解的示例是基于滤波器的、基于特征的、基于内容的，诸如垂直、水平、对角线、特征、多级、可分的和不可分的、完美重构(PR)或非PR以及图片和子图片自适应方法。为了通过信道的编码器Ei进行编译，可以使用或者调整现有的视频编码技术。在通过频率的分解的情况下，低频带可以被直接地编译为正常视频序列，因为它保持了原始视频内容的许多属性。因为这个，所以框架可以被用来维持“后向兼容性”，其中使用当前的编解码器技术独立地解码低带。较高的带可以使用未来开发的技术被解码并且连同低带一起用来以较高的质量重构。因为每个信道或带可以展示彼此不同的属性，所以可以应用特定的信道编译方法。信道间冗余还可以被空间地和临时地采用来提高编译效率。例如，可以基于一个或多个其它信道来得到运动矢量、预测运动矢量、系数扫描次序、编译模式判定以及其它方法。在这种情况下，所得到的值可能需要被适当地换算或者在信道之间映射。该原理可以适用于任何视频编解码器，可以是后向兼容的(例如低带)，可以是针对特定的信道编译方法的(例如高带)以及可以采用信道间冗余。对于参考图片插值，可以对插值定位使用非抽样二分之一像素样本、插值值以及自适应插值滤波器(AIF)样本的组合。例如，除了其中使用非抽样小波样本是有益的高带二分之一定位之外，一些试验表明使用AIF样本可能是有益的。尽管Q’中的二分之一像素插值可以适于每个信道的信号和噪声特性，但是低通滤波器可以被用于所有信道以生成四分之一像素值。应当理解的是，可以在信道的编译中调整一些特征。在实施例中，基于RD成本为每个分块/信道选择最好的量化参数。视频序列的每个图片可以被分割和分解成若干个信道。通过对每个分块或信道允许不同的量化参数，可以改进总体性能。为了 在相同分块的不同子带之间或者跨不同的分块执行最佳的比特分配，可以使用RD最小化技术。如果逼真度的测量是峰值信噪比(PSNR)，则当相同的拉格朗日乘子(λ )被用来实现单独信道和分块的最佳编译时，可以针对每个子带来独立地最小化拉格朗日成本(D+λ.R)。对于保留了自然图像内容的大部分的低频带，它的由传统视频编解码器所生成的RD曲线维持凸性质，并且通过递归RD成本搜索来获得量化参数(qp)。例如，在第一步骤处，计算了在ClP1=ClP' Φ2=(1Ρ+Δ、Φ3=Φ_Δ下的rD成本。具有最小成本的ClPi (i=l、2或3)的值被用来重复其中新的qp被设置为qPi的过程。然后计算在qpfqp、qp2=qp+A/2>QP3=QP- Λ /2下的RD成本，并且重复这个直到qp增量Λ变成I为止。对于高频带，凸性质不再成立。代替递归方案，穷举搜索被应用来发现具有最低RD成本的最好qp。然后运行在从qp_ Δ至qp+Λ的不同量化参数下的编码过程。例如，Λ在低频信道搜索中被设置为2，而这相对于在信道级下没有RD优化的情况在时间上导致编译复杂度的5χ增加。对于高频信道搜索，△被设置为3，对应于编译复杂度的7χ增加。通过上述方法，以多遍编码和增加的编码复杂度为代价确定了每个信道的最佳qp。可以开发在不用经历多遍编码的情况下为每个信道直接地分配qp的用于降低复杂度的方法。在另一实施例中，可以对每个信道使用拉姆达(lambda)调节。如在上文所提及的，用于不同子带的相等拉格朗日乘子选项在某些条件下将导致最佳编译。一个这样的条件是来自所有子带的失真在最后重构的图片的形成中添加有相等权重。随着知道用于不同子带的压缩噪声在不同的频率相关增益情况下通过不同的(合成)滤波器的这个观察建议，取决于压缩噪声的频谱形状和滤波器的特性，可以通过为不同的子带分配不同的拉格朗日函数来提高编译效率。例如，这个通过将换算因子分配给信道拉姆达来完成，其中所述换算因子可以是来自配置文件的输入参数。在又一实施例中，可以使用图片类型确定。高级视频编码(AVC)编码器在对高频子带进行编译方面可能不是非常有效的。将HVC中的许多宏块(MB)用包括P和B码片(slice)的预测码片进行内编译。在某些极端情况下，预测码片中的所有的MB被内编译。因为内MB模式的上下文模型对于不同的码片类型来说是不同的，所以当子带被编译为I码片、P码片或B码片时，所生成的比特率是完全不同的。换句话说，在自然图像中，内MB较少可能出现在预测码片中。因此，分配了具有低的内MB概率的上下文模型。对于I码片，分配了具有较高的内MB概率的上下文模型。在这种情况下，甚至当每一个MB在相同的模式下编译时，其中所有MB被内编译的预测码片比I码片消耗更多的比特。结果，不同的熵编译器可以被用于高频信道。此外，每个子带能够基于每个子带的统计特性来使用不同的熵编译技术或编译器。可替换地，另一解决方案是以不同的码片类型对信道中的每个图片进行编译，并且然后选择具有最低RD成本的码片类型。对于另一实施例，对每个基本编译单元使用了新的内跳跃模式。内跳跃模式得益于基于块的算法的稀疏数据编译，其中来自已经重构的邻近像素的预测被用来重构内容。高子带信号通常包含许多平坦区域并且高频分量被稀疏地定位。使用一个比特来区分块域是否是平坦的可能是有利的。特别地，内跳跃模式被定义为指示具有平坦内容的MB。每当判定内跳跃模式时，该区域不编译，没有进一步的残差被发出，并且通过使用邻近MB中的像素值来预测该区域的DC值。具体地，内跳跃模式是附加的MB级标志。MB可以是任何尺寸。在AVC中，MB尺寸是16x16。对于一些视频编解码器，针对高清晰度视频序列提出了较大的MB尺寸(32x32、64x64等)。内跳跃模式因为从平坦区域生成的潜在较少的比特而受益于较大的MB尺寸。内跳跃模式仅在高带信号的编译中启用而在低带信号的编译中禁用。因为低频信道中的平坦区域不像高频信道中的那些一样频繁，所以一般而言，内跳跃模式对于低频信道提高比特率而对于高频信道降低比特率。跳跃模式还能够应用于整个信道或带。对于又一实施例，使用了回路内解块滤波器。在AVC编解码器中回路内解块滤波器帮助RD性能和视觉质量。存在其中回路内解块滤波器可以在HVC编码器中放置的两个地方。图10中图示了针对编码器的这些，而图11中图示了针对对应的解码器的这些。图10和11被配置为图4的编码器400和图5的解码器500，其中类似的组件被类似地编号并且执行与如上所述的相同功能。一个回路内解块滤波器是解码器04002、1004的一部分，是每个单独信道重构的末端。另一回路内解块滤波器1006在通过组合器431的全图片的信道合成和重构之后。第一回路内解块滤波器1002、1004被用于信道重构并且是中间信号。它在MB边界上的平滑度可以在RD意义上改进最后的图片重构。它还能够导致中间信号进一步远离真实值而变化，使得性能劣化是可能的。为了克服这个，可以针对每个信道基于该信道如何将被合成的属性来配置回路内解块滤波器1002、1004。例如，滤波器1002、1004可以是基于上采样方向以及合成滤波器类型的。另一方面，回路内解块滤波器1006在图片重构之后应该是有帮助的。由于子带/信道编译的性质，最后重构的图片保留了除诸如振铃效应的区块效应(blockiness)之外的假象。因此，最好重新设计回路内滤波器以有效地对待那些假象。应当理解的是，针对回路内解块滤波器1002-1006所描述的原理应用于在图11的解码器1100中发现的回路内解块滤波器1102、1104以及1106。在另一实施例中，可以使用子带相关的熵编译。在某变换域(例如在趋于遵循拉普拉斯和高斯分布的一些混合的AVC情况下为DCT)中基于来自自然图像的统计特性来设计诸如常规编解码器(MC、MPEG等)中的VLC表和CABAC之类的传统熵编译器。可以通过使用熵编译器基于每个子带的统计特性来增强子带熵编译的性能。在又一实施例中，可以使用分解相关系数扫描次序。针对每个分块的最佳分解选项可以指示该分块中的特征的定向。因此，在编译变换系数的熵编译之前使用合适的扫描次序将是优选的。例如，可以针对于可用的分解方案中的每一个将特定的扫描次序分配给每个子带。因此，不需要发送额外的信息以传送扫描次序的选项。可替换地，可以从可能的扫描次序选项的列表中选择性地选择和传送经编译的系数的扫描图案，所述系数诸如在AVC的情况下量化的DCT系数，并且对每个分块的每个编译的子带发送这个扫描次序选择。这需要针对给定分块的给定分解的每个子带发送该选择选项。还可以根据具有相同方向偏好的已经编译的子带来预测这个扫描次序。此外，可以执行每子带和每分解选项的固定扫描次序。可替换地，分块中的每子带可以使用选择性扫描图案。在实施例中，可以使用子带失真调整。子带失真可以是基于来自一些子带的更多信息的创建的，而对于其它子带不产生任何信息。这样的失真调整可以经由失真合成或者通过从子带到像素域的失真映射来完成。在一般情况下，子带失真可以被首先映射到某频域并且然后根据子带合成过程的频率响应来加权。在常规的视频编译方案中，许多编译判定通过最小化速率失真成本来执行。每个子带中所测量的失真未必反映了从该子带到最后重构的图片或图片分块的失真的最后影响。对于感知质量度量，这在相同量的失真情况下是更明显的，例如频率子带中的一个中的MSE比不同子带中的相同量的失真将对最后重构的图像有不同的感知影响。对于诸如MSE的非主观质量测量，失真的频谱密度能够影响合成分块的质量中的失真。为了解决这个，可以将噪声块插入到另外的无噪声图像分块中。此外，子带上采样和合成滤波在计算该给定块的失真之前可能是必要的。可替换地，可以使用从子带数据中的失真到最后合成的分块中的失真的固定映射。对于感知的质量度量，这可以涉及收集主观测试结果以生成映射函数。对于更一般的情况，子带失真可以被映射到一些更细微的频率子带，其中总失真将是根据来自上采样和合成滤波的组合频率响应的每个子子带失真的加权和。在另一实施例中，提供了范围调整。可能的是，子带数据可以是需要被转换为具有特定动态范围的整数点的浮点。编码器也许不能够处理浮点输入，因此该输入被改变以补偿正被接收的。这可以通过使用子带分解的整数实现经由提升方案来实现。可替换地，可以使用通用的有界量化器，其通过使用后面是均匀量化器的连续非递减映射曲线(例如S形的)来构建。用于该映射曲线的参数应当被解码器知道或者被传递给它以在子采样和合成之前重构子带信号。所描述的HVC提供若干个优点。频率子带分解能够提供更好地子带分离以得到更好地时空预测和编译效率。因为典型的视频内容中的能量的大部分集中于一些子带，所以可以对低能带执行更有效的编译或子带跳跃。还可以执行子带相关量化、熵编译以及主观/客观优化。这个可以被用来根据每个子带的感知重要性来执行编译。同样地，与其它仅预滤波方法相比，临界采样分解不增加样本的数目并且完美重构是可能的。从预测编译视角来看，除空间预测和时间预测之外HVC添加了跨子带预测。可以使用与其它子带不同的图片类型(例如I/P/B码片)来编译每个子带，只要它遵守图片/分块类型(例如，内类型分块对于所有它的子带仅能够具有内类型编译)。借助于分解，在不需要明确地设计新的预测模式、子分割方案、变换、系数扫描、熵编译等的情况下扩展虚拟编译单元和变换单元。较低的计算复杂度在其中仅对抽样的低频子带执行诸如例如运动估计(ME)的耗时操作的HVC中是可能的。子带和分解的并行处理也是可能的。因为HVC框架独立于所使用的特定信道或子带编译，所以它能够对不同的带利用不同的压缩方案。它不和其它提出的编译工具(例如KTA和所提出的JCT-VC)冲突，并且能够在其它编译工具之上提供附加的编译增益。针对2D视频流送在上文中所描述的HVC的原理还能够应用于3D视频输出诸如以用于3DTV。HVC还能够最大限度地利用3DTV压缩技术，较新的编码和解码硬件是需要的。因为这个，最近已经对使用现有的2D编解码器技术提供3D兼容信号的系统感兴趣。这样的“基层”(BL)信号将与现有2D硬件兼容，而具有3D硬件的较新系统能够利用附加的“增强层”信号来交付较高质量3D信号。对3D实现这样的迁移路径编译的一个方式是对BL使用并排或顶部/底部3D面板格式，并且对EL使用两个全分辨率视图。可以在仅小的附加改变情况下使用诸如AVC的现有2D压缩来编码和解码BL，以处理3D格式的正确信令(例如帧封装SEI消息和HDMI1.4信令)。较新的3D系统能够对BL和EL两者进行解码，并且使用它们来重构全分辨率3D信号。对于3D视频编译BL和EL可以具有级联视图。对于BL，可以级联前两个视图，例如左和右视图，并且然后所级联的2x图片将被分解以产生BL。可替换地，视图可以被分解并且然后来自每个视图的低频子带可以被级联以产生BL。在这个方法中，分解过程不混合来自任一视图的信息。对于EL，可以级联前两个视图，并且然后所级联的2x图片将被分解以产生增强层。每个视图可以被分解并且然后由一个增强层或两个增强层来编译。在一个增强层实施例中，针对每个视图的高频子带将被级联以产生和基层一样大的EL。在两层实施例中，针对一个视图的高频子带将首先被编译为第一增强层，并且然后针对另一视图的高频子带将被编译为第二增强层。在这个方法中，EL_1能够将已经编译的EL_0用作用于编译预测的参考。图12示出了针对并排情况使用可缩放视频编码(SVC)压缩1200的迁移路径编译的方法。如可以被理解的那样，对其它3D格式(例如顶部/底部、棋盘格等)的扩展是明确的。因此，本描述集中于并排情况。EL1202是两个全分辨率视图1204的级联倍宽版本，而BL1206通常是EL1204的经滤波的和水平子采样版本。SVC空间可缩放性工具然后可以被用来对BL1206和EL1204进行编码，其中BL被AVC编码。可以从经解码的EL中提取两个全分辨率视图。对于迁移路径编译的另一可能性是使用多视图视频编译(MVC)压缩。在MVC方法中，两个全分辨率视图通常在不用滤波的情况下被采样以产生两个面板。在图13中，BL面板1302将左视图和右视图两者的偶数列包含在全分辨率1304中。EL面板1306包含两个视图1304的奇数列。BL1302还有可能包含一个视图的偶数列和另一视图的奇数列，或者反之亦然，而EL1306将包含另一方。BL面板1302和EL面板1306然后可以使用MVC而被编译为两个视图，其中选择了 GOP编译结构使得BL是独立AVC编码的视图，而EL被编译为相关视图。在对BL和El两者进行解码之后，可以通过适当地重新交织BL和EL列来生成两个全分辨率视图。通常在生成BL和EL中不执行预滤波，使得可以在不存在编译失真的情况下恢复原始的全分辨率视图。转向图14，可以在迁移路径3DTV编译中应用HVC，因为典型的视频内容趋于本质上为低频。当HVC的输入是两个全分辨率视图的级联倍宽版本时，BL1402在全分辨率视图1406的2带水平分解(针对并排情况)中是低频带，而EL1404可以是高频带。在图15中示出了通过编码器1500的3DTV迁移路径编译的这个HVC方案，其是通用HVC方法的应用和特殊情况。如看见的那样，在上文中所讨论的许多原理被包括在用于这个3DTV方法的迁移路径中。使用输入视频编译流X1502的低频编码路径被示出为使用与图4相结合地描述的一些原理。因为期望BL为AVC顺从的，所以图15中的顶部低频信道对编码使用AVC工具。流X1502的路径使用滤波器1^1504来滤波并且通过采样器1506来抽样。如下文更详细地描述的那样，范围调整模块1508限制基层的范围。信息^作趴可以被所示出的编码器、对应的解码器(参见图16)以及如上所述的其它编码器等使用。受限制的输入信号然后被提供给编码器EciISlO以产生比特流1^1512。包含有关高带信号和低带信号形成编码 器、解码器或其它信道的信息的编译信息icu被提供给编码器1526以改进性能。如所理解的那样，可以使用重构回路来重构比特流Iv该重构回路包括互补解码器DQ1514、范围调整模块ΚΑ δΜ、采样器1518以及滤波器8(|1520。还提供了高频编码路径，与图7相结合地描述了高频编码路径。不像在上文中所讨论的低频信道，高频信道能够使用附加的编译工具，诸如非抽样插值、ASF、跨子带模式以及运动矢量预测、内跳跃模式等。高频信道甚至可以被依赖地编译，其中一个视图被独立地编码而另一视图被依赖地编码。如与图7相结合地描述的那样，高频带包括对高频输入流X进行滤波的滤波器hJ522，所述高频输入流X然后被采样器1524抽样。编码器EJ526对经滤波的和抽样的信号进行编码以形成比特流bil528。和低频信道一样，高频信道包括解码器DJ529，其将经解码的信号供应给插值模块1530。插值模块1530被提供用于高频信道以产生信息inf0l1532。插值模块1530对应于图7中所示出的插值模块726，并且包括采样器728、730、滤波器gl734、738、FE1滤波器704以及滤波器f\742以产生信息inf0l。来自经解码的低频输入流1521和来自插值模块1532的输出被组合器1524组合以产生重构的信号X’ 1536。所重构的信号X’ 1536还被提供给缓存器1538，其与在上文中所讨论的缓存器类似。经缓存的信号可以被供应给如与图9 (b)相结合地描述的参考图片处理模块0^1540。参考图片处理模块的输出被供应给高频编码器EJ526。如所示，可以在对高频信道进行编译中使用来自包括对低频信道进行编译的参考图片处理模块的信息icu，但未必反之亦然。因为在3DTV中BL常常被约束为每颜色分量8个比特，所以滤波器Iitl的输出(和抽样)在比特深度上被限于8个比特是重要的。遵守基层的受约束的动态范围的一个方式是使用由RA模块1508所执行的某一范围调节(RA)操作。RA模块1508旨在将输入值映射成所期望的比特深度。通常可以通过输入值的有界量化(均匀的或非均匀的)来实现RA过程。例如，一个可能的RA操作可以被定义为RAout=clip (round (标度 *Rain+ 偏移))其中IxnmdO接近最近的整数，而clip O将值的范围限于[最小值，最大值](例如对于8个比特为
)，并且标度古O。可以定义其它RA操作，包括同时地对一组输入和输出值进行操作的RA操作。如果这些参数不是固定的或者不知何故解码器不知道，则RA参数信息需要被发送到解码器(作为inf0RA)。“逆” RA—1模块1516将值重新换算回到原始范围，但是当然具有由于前向RA操作中的取整和限幅而导致的一些可能的损失，其中:RA-1OUt= (RA-1 in -偏移)/标度。BL的范围调节通过对子带数据进行换算和移位、或者通过使用更一般的非线性变换来提供可接受的视觉质量。在固定换算的实施例中，固定换算被设置为使得合成滤波器和换算的dc增益是一。在自适应换算和移位中，针对每个视图的标度和移位的两个参数被选择使得BL中的该视图的归一化直方图具有与对应的原始视图的归一化直方图相同的均值和变化。图16中所示出的对应解码器1600还执行RA—1操作，但仅用于重构倍宽级联的全分辨率视图的目的，因为BL被假定为仅被AVD解码和输出。解码器1600包括低频信道解码器％1602，其能够产生针对基层的经解码的视频信号 Μ。经解码的信号被供应给逆范围调节模块R^1IeOl该信号被采样器16 06重新采样并且由滤波器g(l1608滤波以产生低频重构的信号1610。对于高频路径，解码器0^612对该信号进行解码，所述信号然后被采样器1614重新采样并且由滤波器g’iieie来滤波。信息inf0i可以被提供给滤波器1616。滤波器1616的输出产生重构的信号€ 1617。所重构的低频和高频信号被组合器1618组合以创建重构的视频信号 1620。所重构的视频信号T 1620被供应给缓存器1612以被其它编码器和解码器使用。经缓存的信号还可以被提供给参考图片处理模块1624，该信号被反馈到高频解码器D1中。可以基于感知和/或编译效率考虑和权衡来确定RA模块的特定选项。从编译效率观点看，常常期望利用由比特深度所规定的整个输出动态范围。因为对于每个图片或分块来说RA的输入动态范围通常是不同的，所以最大化输出动态范围的参数将在图片之间不同。尽管从编译观点来看这可能不是问题，但是当BL被解码并且直接地观看时它可能引起问题，因为在被观看之前RA—1操作可能未被执行，从而可能导致亮度和对比度的变化。这与更一般的HVC相反，其中单独的信道是内部的并且不旨在被观看。用来补救与RA过程相关联的信息的损失的可替换的解决方案是使用运用给基带层带来所期望的动态范围的提升方案的子带编译的整数实现。如果经AVC编码的BL支持每图片或分块RA—1的自适应范围换算(诸如通过SEI消息收发)，则RA和RA—1操作可以被选择以优化感知质量和编译效率两者。在对BL和/或关于输入动态范围的信息缺少这样的解码器处理的情况下，一个可能性是选择固定的RA以保留某个期望的视觉特性。例如，如果分析滤波器&1504具有α古O的DC增益，则RA在模块1508中的合理选项被设置为增益=1/ α并且偏移=0。值得注意的是，尽管在图15和16中未示出，但是EL还能够经历类似的RA和RA—1操作。然而，EL比特深度通常高于由BL所需要的比特深度。而且，可以通过图15和16中的比和gi执行级联倍宽图片的分析、合成以及参考图片滤波，使得在视图边界附近没有视图的混合(和SVC滤波对比)。这可以例如通过给定视图在边界处的对称补齐和延拓来实现，与在其它图片边缘处所使用的类似。鉴于前文，所讨论的HVC视频编译提供了从传统的像素域视频编译中提供许多优点和灵活性的框架。HVC编译方法的应用可以被用来向3DTV编译提供可缩放的迁移路径。与诸如SVC和MVC的其它可缩放的方法相比，它的性能看来提供了一些承诺增益。它对较低分辨率3DTV BL使用现有的AVC技术，并且允许附加的工具以用于提高EL和全分辨率视图的编译效率。转向上述装置执行对输入视频流进行编码的方法1700。在所描述的视频分发系统的头端处接收1702输入视频流，并且基于该输入视频流的至少一个特征集合来将输入视频流划分1704成一系列分块。特征集合可以是视频流的任何类型的特征，包括视频流的内容、上下文、质量以及编译函数的特征。此外，可以根据视频流的各个信道来分割该输入视频流，使得根据相同的或不同的特征集合单独地划分每个信道。在划分之后，输入视频流的分块被处理和分析以通过如分块的抽样和采样这样的操作来分解1706分块以用于编码。经分解的分块然后被编码1708以产生经编码的比特流。作为编码过程的一部分，编译信息可以被提供给编码器。编译信息能够包括来自输入视频流的其它信道的输入信息以及基于重构的视频流的编译信息。编译信息还能够包括有关控制的信息和关于视频流的质量信息以及有关特征集合的信息。在实施例中，经编码的比特流被重构1710成可以被缓存和存储1712的重构的视频流。所重构的视频流可以被反馈1714到编码器中并且用作编译信息，以及被提供1716给用于输入视频流的其它信道的编码器。如从在上文从描述中所理解的，重构视频流以及将所重构的视频流作为编译信息来提供的过程能够包括分析并且合成经编码的比特流和重构的视频流的过程。图18是图示解码作为图17中所示出的方法的结果形成的经编码的比特流的方法1800的流程图。由作为视频分发系统的一部分的订户单元150a-n接收经解码的比特流。使用被解码器所接收到的编译信息来解码1804该比特流。解码信息可以被接收作为该比特流的一部分，或者它可以被解码器存储。此外，可以从用于视频流的不同信道接收编译信息。经解码的比特流然后被合成1806为一系列分块，所述分块然后被组合1808以创建对应于与图17相结合地描述的输入视频流的重构的视频流。又一实现利用了输入视频分解成可以被有效地表示并且与该视频的感知更好匹配的特征。尽管最适当的分解可能取决于视频的特性，但是这种贡献集中于针对包括典型的自然视频的广泛各种内容的分解。图19图示了通过分析滤波输入X到两个层中的分解。在本示例中，滤波将X分离成不同的空间频带。尽管输入X能够对应于图片的一部分或者对应于整个图片，但是这种贡献中的焦点是在整个图片上。对于典型的视频，如与高频层11相比较，可以在低频层10中级联能量的大部分。同样地，Itl趋于捕获局部强度特征而I1捕获诸如边缘的变化细节。
每个层Ii然后可以用Ei编码以产生比特流bi。为了空间可缩放性，分析过程能够包括滤波后面是子采样使得b0能够对应于适当的基层比特流。作为增强比特流，可以使用来自如由从EO到El的箭头所指示的基层10的信息来生成bl。EO和El的组合被称为总体可缩放的编码器Es。可缩放的解码器Ds能够由基层解码器DO和增强层解码器Dl构成。基层比特流b0可以被DO解码以重构层1’0。增强层比特流bl可以通过Dl连同来自b0的可能的信息一起解码以重构层I’ I。两个经解码的层d’ O和d’ I然后可以被用来使用合成操作来重构X，。为了图示所提出的用于空间可缩放性的实施例，以图片级在两带分解中使用临界采样。水平和垂直方向两者通过因子二来子采样，从而导致四层可缩放的系统。对编码器Ei和解码器Di两者使用HM2.0执行模拟。尽管可以通过采用层之间的相关性来提高编译效率，但是这些模拟不利用任何层间预测。所提出的实现的性能与单层和同时联播情况对比。在单层情况下，直接地使用HM2.0编码X。在同时联播情况下，通过将用于直接地编码X的比特和用于直接地编码Itl的比特加在一起来确定比特率，而PSNR是与X的直接编码相对应的PSNR。在所提出的实现中，比特率对应于针对所有层的比特，而PSNR是针对X’的PSNR。有效表示:通过利用临界采样的层，编码器Ei在本示例中对与输入X相同总数目的像素进行操作。这与SVC相反，其中对于空间可缩放性存在待编码的像素的总数目的增力口，并且存储器要求也增加。通用空间可缩放性:本实现能够扩展到其它空间可缩放性因子，例如，l:n。因为层能够具有相同的尺寸，所以在层之间的并列信息(例如像素、CU/PU/TU、运动矢量、编译模式等)中可以存在简单的对应。这与SVC相反，其中层的尺寸(和可能的形状)是不相同的，并且层之间的并列信息中的对应性可能不是明确的。锐度增强:该实现在本文中可以被用来实现锐度增强，因为附加的层提供给了特征的更多细节，诸如边缘。这种类型的锐度增强与仅通过量化的量中的改变来改进质量的其它质量可缩放的实现相反。层的独立编译:对于空间可缩放性的模拟结果指示可以执行层的独立编译同时仍然维持良好的编译效率性能。这使得层的并行处理成为可能，其中层可以被同时地处理。对于利用SVC的两层空间可缩放性情况，层的独立编译(无层间预测)将对应于同时联播情况。注意在层的独立编译情况下，一个层中的错误不会影响其它层。此外，不同的编码器Ei可以被用来对每个Ii进行编码以与层的特性更好匹配。层的相关编译:在本文所公开的实现中，层的相关编译能够提高编译效率。当层具有相同的尺寸时，并列信息在层之间的共享是简单的。还可以依赖地或者独立地对层进行自适应地编码以权衡编译效率性能与差错恢复性能。在前述说明书中，已经描述了本发明的特定实施例。然而，本领域的普通技术人员了解，在不背离如下文在权利要求中所阐述的本发明的范围的情况下可以做出各种修改和改变。因此，说明书和图应当被视为是说明性的而非约束性意义，并且所有这样的修改均旨在被包括在本发明的范围内。益处、优点、对问题的解决方案以及可以使得任何益处、优点或解决方案发生的或变得更显著的任何元素将不应当被解释为任何或全部权利要求的关键、必须或必要的特征或元素。本发明仅由所附权利要求来限定，包括在本申请的待审期间做出的任何修改和如所发布的那些权利要求的所有等同物。
权利要求
1.一种设备，包括: 划分器，所述划分器用来将输入视频流分割成用于所述视频流的多个分块中的每一个的分块； 信道分析器，所述信道分析器被耦合到所述划分器，其中所述信道分析器分解所述分块，以及 编码器，所述编码器被耦合到所述信道分析器以将每个经分解的分块编码成经编码的比特流以产生多个经编码的比特流， 其中，所述编码器利用来自所述经分解的分块中的至少一个的编译信息以在将所述经分解的分块编码成所述多个经编码的比特流中使用， 其中，所述经分解的分块中的每一个都是相同尺寸。
2.根据权利要求1所述的设备，进一步包括重构回路，所述重构回路用来对所述经编码的比特流进行解码并且将经解码的比特流重组合成重构的视频流。
3.根据权利要求2所述的设备，进一步包括缓存器，所述缓存器用来存储所述重构的视频流。
4.根据权利要求1所述的设备，其中，所述重构的视频流和编译信息中的至少一个被用作用于所述编码器的编译信息。
5.根据权利要求1所述的 设备，其中，所述划分器使用多个特征集合中的至少一个来形成所述分块。
6.根据权利要求1所述的设备，其中，所述编译信息是视频流的编译信息和参考图片信息中的至少一个。
7.根据权利要求6所述的设备，其中，从自所述比特流创建的重构的视频流来确定所述参考图片信息。
8.—种设备,包括: 解码器，所述解码器接收经编码的比特流，其中，所述解码器根据接收到的有关所述经编码的比特流的信道的编译信息来对所述比特流中的全部或部分进行解码； 信道合成器，所述信道合成器被耦合到所述解码器以将经解码的比特流合成为视频流的一个或多个分块，以及 组合器，所述组合器被耦合到所述信道合成器以从所述经解码的比特流中的全部或部分来创建重构的视频流。
9.根据权利要求8所述的设备，其中，所述编译信息包括所述重构的视频流和用于所述重构的视频流的编译信息中的至少一个。
10.根据权利要求8所述的设备，进一步包括耦合到所述组合器的缓存器，其中，所述缓存器存储所述重构的视频流。
11.根据权利要求10所述的设备，进一步包括滤波器，所述滤波器耦合在所述缓存器与解码器之间以将所述重构的视频流的至少一部分作为编译信息反馈给所述解码器。
12.根据权利要求8所述的设备，其中，基于与所述重构的视频流相对应的输入视频流的多个特征集合中的至少一个来确定所述分块。
13.—种方法,包括: 接收输入视频流；将所述输入视频流分割成多个分块； 分解所述多个分块，以及 将所分解的分块编码成经编码的比特流，其中，所述编码使用来自所述输入视频流的信道的编译信息， 其中，所述经分解的分块中的每一个都是相同尺寸。
14.根据权利要求13所述的方法，其中，所述编码进一步包括接收从所述经编码的比特流得到的重构的视频流，作为用来将所述分块编码成所述比特流的输入。
15.根据权利要求13所述的方法，进一步包括缓存从所述经编码的比特流重构的重构的视频流以用作为用于所述输入视频流的其它信道的编译信息。
16.根据权利要求13所述的方法，其中，所述编译信息是视频流的编译信息和参考图片信息中的至少一个。
17.一种方法，包括: 接收至少一个经编码的比特流； 对所接收到的比特流中的全部或部分进行解码，其中，所述解码使用来自输入视频流的信道的编译信息； 将经解码的比特流合成为所述输入视频流的一个或多个分块，以及 将所述分块中的一个或多个组合成重构的视频流。
18.根据权利要求17所述的方法，其中，所述编译信息是所述输入视频流的编译信息和参考图片信息中的至少一个。
19.根据权利要求17所述的方法，进一步包括将所述重构的视频流用作用于对所述比特流进行解码的输入。
20.根据权利要求19所述的方法，进一步包括合成所述重构的视频流以用于对所述比特流进行解码。
全文摘要
在视频分发系统中，提供了用来将输入视频流(302)分割成用于所述视频流的多个信道中的每一个的分块的划分器(105)。信道分析器(306)被耦合到所述划分器，其中，所述信道分析器分解所述分块。编码器(106)被耦合到所述信道分析器以将经分解的分块编码成经编码的比特流(208,210)，其中，所述编码器从所述多个信道中的至少一个接收编译信息以在将所述经分解的分块编码成所述经编码的比特流中使用。解码器(124)接收经编译的比特流以对所接收到的比特流进行解码并且以重构所述输入视频流。所述解码器使用所述编译信息来对所述比特流进行解码。
文档编号H04N7/50GK103155561SQ201280003235
公开日2013年6月12日 申请日期2012年3月12日 优先权日2011年3月11日
发明者大卫·M·贝隆, 孔维颖, 阿杰伊·K·卢特拉, 库亚·米鲁, 克里特·帕努索波内 申请人:通用仪表公司