专利名称：用于基于特征的视频编译的方法和设备的制作方法
技术领域：
本申请涉及视频流的编译，并且特别是，涉及根据在视频流中找到的特征划分视频流并且然后使用合适编译方法对经划分的视频流编码。
背景技术：
例如MPEG-2和MPEG_4PartlO/AVC的多种视频压缩技术使用基于块的运动补偿变换编译。这些方法试图通过残差的DCT变换编译，使块大小适合用于空间和时间预测的内容。虽然可以实现有效编译，但是对块大小和块效应的限制可能通常影响性能。需要的是允许可以更好地适于局部图像内容地编译视频的架构，用于有效编译和提高视觉感知。
附图用于进一步示出各种实施例并且解释根据本发明的各种原理和优点，其中，类似附图标记贯穿各个视图是指相同或功能类似的元件，并且其与以下详细描述一起被并入并且形成说明书的一部分。图1是由本发明的一些实施例使用的网络架构的示例。图2是根据本发明的一些实施例使用的编码器/解码器的示意图。图3是根据本发明的一些实施例使用的编码器/解码器的示意图。图4是结合本发明的一些原理的编码器的示图。图5是对应于图4中所示的编码器的解码器的示图。图6是根据本发明的一些实施例的来自视频流的经分块的图片的示图。图7是结合本发明的一些原理的编码器的示图。图8是对应于图7中所示的编码器的解码器的示图。图9 (a)和图9 (b)是结合本发明的一些原理的插值模块的示图。图10是结合本发明的一些原理的编码器的示图。图11是对应于图10中所示的编码器的解码器的示图。图12是3D编码的示图。图13是3D编码的另一个示图。图14是3D编码的又一个示图。图15是结合本发明的一些原理的编码器的示图。图16是对应于图15中所示的编码器的解码器的示图。图17是示出根据本发明的一些实施例的对输入视频流编码的操作的流程图。
图18是示出根据本发明的一些实施例的对编码比特流解码的操作的流程图。本领域技术人员将想到，图中的元件被示出用于简单和清楚的目的，并且不必须按比例绘制。例如，图中的一些元件的尺寸可以相对于其他元件被放大，以帮助提高对本发明的实施例的理解。
具体实施例方式在描述根据本发明的详细实施例之前，可以看出，实施例主要在于与基于特征的视频流编译的方法和设备相关的方法步骤和设备组件的组合。从而，设备组件和方法步骤已通过图中的传统符号被适当地表示，仅示出与理解本发明的实施例相关的那些特定细节，以不由对受益于在此的说明书的本领域普通技术人员而言显而易见的细节模糊本公开。在本文档中，诸如第一和第二、顶部和底部等的关系术语可以被单独使用，以区分一个实体或动作与另一个实体或动作，而不必须要求或暗示这样的实体或动作之间的任何实际这样的关系或顺序。术语“包括”、“包含”、或其任何其他变型意图覆盖非排他性包括，使得包括元件的列表的过程、方法、物品、或设备不仅包括那些元件，而且可以包括未明确列出或这样的过程、方法、物品或设备固有的其他元件。在没有更多约束的情况下，“包括一个”随后的元件在包括该元件的过程、方法、物品或设备中不排除存在额外相同元件。将想至IJ，在此描述的本发明的实施例可以由一个或多个传统处理器和结合特定非处理器电路控制一个或多个处理器以实现在此描述的基于特征的视频流编译的一些、大多数、或所有功能的唯一存储程序指令构成。非处理器电路可以包括但不限于无线电接收器、无线电发射器、信号驱动器、时钟电路、电源电路、以及用户输入装置。同样地，这些功能可以被解释为执行基于特征的视频流编译的方法的步骤。替代地，一些或所有功能都可以通过不存储程序指令的状态机或者在一个或多个专用集成电路(ASIC)中实现，其中，每个功能或特定功能的一些组合被实现为定制逻辑。当然，可以使用两种方法的组合。从而，在此描述了用于这些功能的方法和装置。而且，虽然可能存在很大努力和由例如可用时间、当前技术、以及经济考虑推动的多种设计选择，但是当由在此公开的思想和原理引导时，期望本领域普通技术人员将能够通过最少实验生成这样的软件指令和程序以及1C。根据说明书，所描述的原理在于在视频分配系统的首端操作的设备和将输入视频流分割为用于视频的多个信道中的每一个的分块(partition)的划分器。该设备还包括:信道分析器，其耦合至划分器，其中，信道分析器分解分块；以及编码器，其耦合至信道分析器，以将经分解的分块编码为编码比特流，其中，编码器从多个信道中的至少一个接收编译信息以在将经分解的分块编码为编码比特流时使用。在一个实施例中，该设备包括:重构环，其对编码比特流解码，并且将经解码的比特流重新组合为重构视频流；以及缓存器，其存储重构视频流。在另一个实施例中，缓存器还可以存储来自视频流的其他信道的其他编译信息。另外，编译信息包括重构视频流和用于编码器的编译信息中的至少一个，并且编译信息是视频流的编译信息和参考图片信息中的至少一个。而且，划分器使用多个特征集合中的至少一个形成分块。在实施例中，从由比特流创建的重构视频流确定参考图片信息。在另一个实施例中，公开了一种设备，包括:解码器，其接收编码比特流，其中，解码器根据所接收的关于编码比特流的信道的编译信息对比特流解码。该设备还包括:信道合成器，其耦合至解码器，将解码比特流合成到视频流的分块中；以及组合器，其耦合至信道合成器，以从解码比特流创建重构视频流。编译信息可以包括重构视频流和用于重构视频流的编译信息中的至少一个。另外，该设备包括:耦合至组合器的缓存器，其中，缓存器存储重构视频流。滤波器可以耦合在缓存器和解码器之间，以将重构视频流的至少一部分反馈回解码器作为编译信息。还可以基于重构视频流的多个特征集合中的至少一个确定分块。另外，所描述的原理公开一种方法，包括:接收输入视频流，并且将输入视频流分块为多个分块。该方法还包括:分解多个分块，以及将经分解的分块编码为编码比特流，其中，编码使用来自输入视频流的信道的编译信息。在一个实施例中，该方法进一步包括:接收从编码比特流得到的重构视频流作为用于将分块编码为比特流的输入。而且，该方法可以包括:缓存将被用作用于输入视频流的其他信道的编译信息的从编码比特流重构的重构视频流。编译信息可以是视频流的编译信息和参考图片信息中的至少一个。还公开了另一种方法。该方法包括:接收至少一个编码比特流并且解码所接收的比特流，其中，解码使用来自输入视频流的信道的编译信息。另外，该方法将经解码的比特流合成到输入视频流的一系列分块中，并且将分块组合到重构视频流中。在一个实施例中，编译信息是输入视频流的编译信息和参考图片信息中的至少一个。而且，该方法可以包括:使用重构视频流作为用于解码比特流并且合成用于解码比特流的重构视频流的输入。本发明基于视频流中的图片的每个区域都通过特定一组特征被最有效地描述的假设而被开发。例如，对于给定脸模型，对于有效描述脸的参数可以确定一组特征。另外，描述图像的一部分的一组特征的有效性取决于应用(例如，用于人类是最终用户的那些应用的感知相关性(perceptual relevance))和在用于那些特征的最小描述长度的编码中使用的压缩算法的有效性。所提出的视频编译器使用N组特征，S卩，(FS1...FSJ其中，每个FSi由Iii个特征构成，S卩{fjl)...& (Iii)K所提出的视频编译器有效地(例如，基于一些速率-失真获知方案)将每个图片划分为可以重叠或不相交的P个合适分块。接下来，每个分块j被分配最好地描述该分块的一组特征，例如，FSi0最后，与描述分块j中的数据的FSi特征集合中的Iii个特征中的每一个相关的值将被编码/压缩并且发送至解码器。解码器重构每个特征值，并且然后重构分块。多个分块将形成重构图片。在一个实施例中，执行接收将被编码和发送或者存储在合适介质中的视频流的方法。视频流由连续布置的多个图片构成。对于多个图片中的每一个，该方法确定用于图片的一组特征，并且将每个图片划分为多个分块。每个分块对应于描述分块的特征中的至少一个。该方法根据适于描述分块的特征的编码方案对每个分块编码。然后，经编码的分块被发送或存储。将理解，对于使用基于特征的编码接收的视频流执行合适的解码方法。该方法从所接收的视频流确定经编码的分块。从每个接收的分块，根据使用的编码方法确定用于对每个分块编码的特征。基于所确定的特征，该方法重构用于创建经编码的视频流中的多个图片中的每一个的多个分块。在一个实施例中，每个特征编译方案对于该特定特征可能是唯一的。在另一个实施例中，每个特征编译方案都可以对于多个不同特征的编译共享。编译方案可以对于相同分块使用空间、时间或跨特征空间的编译信息，以最好地编译任何给定特征。如果解码器依赖这样的空间、时间或跨特征信息，其必须来自已经发送和解码的数据。现在转到图1，示出根据在视频流的图片中找到的特征编码和解码视频流的网络架构100。以下更详细地描述编码和解码的实施例。如图1中所示，网络架构100被示出为有线电视(CATV)网络架构100，包括电缆头端单元110和电缆网络111。然而，将理解，在此描述的概念可应用至包括其他有线和无线类型的传输的其他视频流实施例。多个数据源101、102、103可以可通信地耦合至电缆头端单元110，包括但不限于多个服务器101、互联网102、经由内容提供商103接收的无线电信号或电视信号。电缆头端110还通过电缆网络111可通信地耦合至一个或多个订户150a-n。根据以下描述的各种实施例，电缆头端110包括对从数据源101、102、103接收的视频流编码的必要装置。电缆头端110包括特征设置装置104。特征设置装置104存储用于分块视频流的以下描述的各种特征。当特征被确定时，特征的质量被存储在特征设置装置104的存储器中。电缆头端110还包括划分器105，其根据由特征设置装置104确定的视频流的各种特征将视频流划分为多个分块。编码器106使用适于描述分块的特征的多种编码方案中的任一种对分块编码。在一个实施例中，编码器能够根据多种不同编码方案中的任一种对视频流编码。视频流的经编码的分块被提供给电缆网络111并且被使用收发器107发送至各个订户单元150a-n。另夕卜，处理器108和存储器109与特征设置装置104、划分器105、编码器106和收发器107结合用作电缆头端110的操作的一部分。订户单元150a_n可以是支持2D的TV150n或支持3D的TV150d。在一个实施例中，电缆网络111使用例如固定光纤或同轴电缆，将3D和2D视频内容流提供给订户单元150a-n中的每一个。订户单元150a-n每个都包括机顶盒(STB)120、120d，其接收使用所描述的基于特征的原理的视频内容流。如所理解的，订户单元150a-n可以包括来自能够发送和接收视频流并且控制来自头端110的数据的STB120、120d的其他类型的无线或有线收发器。订户单元150d可以具有能够显示3D立体视图的支持3D的TV组件122d。订户单元150n具有能够显示2D视图的2D TV组件122。订户单元150a_n中的每一个都包括接收经解码的分块并且重新创建视频流的组合器121。另外，处理器126和存储器128、以及未示出的其他组件结合STB和TV组件122、122d被用作订户单元150a_n的操作的一部分。如所述，视频流中的每个图片根据在图片中找到的各种特征被分块。在一个实施例中，分块为了编码而被分解或分析并且为了解码而被重构或合成的规则基于编码器和解码器已知的一组固定特征。这些固有规则分别被存储在头端装置Iio和订户单元150a-n的存储器109、128中。在该实施例中，不需要将关于如何在该类型的基于固定特征的视频编译器中重构分块的任何信息从编码器发送至解码器。在该实施例中，通过用于对视频流的各个分块编码/解码的特征集合来配置编码器106和解码器124。在另一个实施例中，分块为了编码而被分解或分析以及为了解码而被重构或合成的规则基于由编码器106设置的一组特征以提供给定分块的更有效编译。由编码器106设置的规则是自适应重构规则。这些规则需要从头端110被发送至订户单元150a-n处的解码器124。图2示出输入视频信号x202由特征设置装置104分解为两组特征的高级视图200。来自输入视频x202的像素可以通过诸如运动(例如，低、高)、强度(亮、暗)、纹理、图案、定向、形状、以及基于输入视频x202的内容、质量或上下文的其他种类的特征被分类。输入视频信号x202还可以通过时空频率、信号比噪声，或通过使用一些图像模型被分解。另外，输入视频信号x202可以使用任何不同种类的组合被分解。由于每个特征的感知重要性可以不同，所以每一个都可以通过具有使用不同编码器参数的不同编码器Ei204、206中的一个或多个的编码器106更适当地编码，以产生比特流bi208、210。编码器E106还可以联合使用各个特征编码器Ei204、206。包括解码器212、214的解码器D124通过来自在头端110和订户单元105a_n之间发送的所有比特流的信息的可能联合使用，从比特流bi208、210重构特征，并且该特征由组合器121组合，以产生重构输出视频信号x’216。可以理解，输出视频信号x’216对应于输入视频信号x202。更特别地，图3示出所提出的高效视频编译(HVC)方法的示意图。例如，被用作HVC的一部分的特征基于空间频率分解。然而，将理解，被描述用于HVC的原理可以被应用至除了空间频率分解之外的特征。如所示，输入视频信号x302被提供给划分器105，其包括分块模块304和信道分析模块306。分块模块304被配置成根据例如空间频率的给定特征集合分析输入视频信号x302，并且基于该特征集合，将输入视频信号x302划分或分块为多个分块。输入视频信号x302的分块基于对应于给定特征集合的规则。例如，由于空间频率内容在图片内改变，每个输入图片都通过分块模块304被分块，使得每个分块都可以具有不同空间频率分解，使得每个分块都具有不同特征集合。例如，在信道分析模块306中，输入视频分块对于总计四个特征集合可以基于例如低-低、低-高、高-低、以及高-高的空间频率被分解为2X2个频带，或者对于两个特征(H&L频率分量)集合被分解为要求这两个特征的2X1 (垂直)或1X2 (水平)个频带。这些子带或“信道”可以通过合适子带特定对象或感知质量度量(例如，均方差(MSE)加权)，使用空间预测、时间预测、以及交叉频带预测被编译。现有编译器技术可以用于或适于使用信道编码器106对频带编译。所得到的经编码的视频信号分块的比特流被发送至订户单元150a-n用于解码。由解码器124解码的信道被用于通过模块308信道合成，以通过模块310重构分块，由此产生输出视频信号312。图4中示出二信道HVC编码器400的示例。输入视频信号x402可以是整个图像或来自划分器105的单个图像分块。输入视频信号x402根据通过滤波器404、406根据函数比被滤波。将理解，可以根据特征集合使用任何数量的滤波器。在一个实施例中，经滤波的信号然后通过与滤波器404、406的数量对应的因数，例如2，而由采样器408采样，使得所有信道中的采样的总数与输入采样的数量相同。输入图像或分块可以被适当地填充(例如，使用对称扩展)，以实现每个信道中的合适数量的采样。所得到的信道数据然后由编码器EJlO和E012编码，以分别产生信道比特流M14和M16。如果到编码器Ei的输入数据的位深分辨率大于编码器可以处理的分辨率，则在编码之前，输入数据可以被适当地重缩放。该重缩放可以通过数据的有界量化(均匀或非均匀)做出，数据的有界量化可以包括数据的缩放、偏移、舍入和限幅。在编码之前执行的任何操作(诸如，缩放和偏移)应该在解码之后被反转。在转换中使用的特定参数可以被发送至解码器，或者在编码器和解码器之间先验地一致。
信道编码器可以利用来自其他信道(在ijk的情况下，对于信道j的信道k)的编译信息4418，以提高编译效率和性能。如果Itll在解码器处可用，则不需要在该信息比特流中包括该信息；否则，也通过该比特流使ica对于解码器可用，如下所述。在一个实施例中，编译信息iik可以是编码器或解码器所需的信息，或者其可以是基于信息和信道条件的分析的预测信息。空间或时间预测信息的重新使用可以跨由HVC编译方法确定的多个子带。可以使来自信道的运动矢量对于编码器和解码器可用，使得一个子带的编译可以由另一个子带使用。这些运动矢量可以是子带的准确运动矢量或预测运动矢量。任何当前编译的编译单元都可以继承来自对于编码器和解码器可用的一个或多个子带的编译模式信息。另外，编码器和解码器可以使用编译模式信息来预测用于当前编译单元的编译模式。从而，一个子带的模式还可以由另一个子带使用。为了匹配经解码的输出，在编码器中还包括解码器重构环420，如由比特流解码器D022、424所示的。作为解码器重构环420的一部分，经解码的比特流414、416通过采样器423由因数2上采样，其中，该因数对应于比特流的数量，并且经解码的比特流414、416然后通过滤波器428、430由函数gi后置滤波。滤波器1^404、406和滤波器gi428、430可以被选择为，使得当经后置滤波的输出通过组合器431相加，在不存在编译失真的情况下，原始输入信号X可以被恢复为重构信号X’。替代地，滤波器4404、406和gi428、430可以被设计成在存在编译失真的情况下最小化总体失真。图4还示出重构输出X’如何可以用作用于编译未来图片以及用于编译用于另一个信道k (未示出)的信息i的参考。缓存器431存储这些输出，其然后可以被滤波Iii并且被抽取(decimate)以产生图片并且这对于编码器Ei和解码器Di两者执行。如所示，图片A可以被反馈以由编码器410以及解码器422使用，解码器422是重构环420的一部分。另外，最优化可以使用滤波器民432、434实现，其使用滤波器函数h436、438和采样器440，滤波和采样用于解码器重构环420的输出。在一个实施例中，滤波器民432、434选择用于每个图像或分块的多个信道分析(包括没有分解的默认值)中的一个。然而，一旦图像或分块被重构，被缓存的输出就可以被使用所有可能信道分析滤波，以产生合适参考图片。如将理解的，这些参考图片可以用作编码器410、412的一部分并且作为用于其他信道的编译信息。另外，虽然图4示出 在滤波之后抽取参考信道，但是还可以不抽取参考信道。虽然图4示出二信道分析的情况，但是从所描述的原理可以容易地理解到更多信道的扩展。子带参考图片插值可以用于提供关于视频流应该是什么的信息。重构图像可以被适当地分解，以生成参考子带信息。子采样的子带参考数据的生成可以使用可以已经被适当合成的未被抽取的参考图片做出。可以基于每个子带的空间特性，使用固定插值滤波器的设计。例如，平面插值适用于高频数据。另一方面，自适应插值滤波器可以基于MSE最小化，其可以包括应用至不被抽取的合成参考帧的维纳滤波器系数。图5示出与图4中所示的编码器相应的解码器500。解码器500对所接收的比特流匕414、416和共信道编译信息i418操作。该信息可以用于在编码器和解码器两者处的信道之间推导或重新使用编译信息。所接收的比特流414、416由被配置成与编码器410、412匹配的解码器502、504解码。当编码/解码参数先验地一致时，解码器502、504被配置有类似参数。替代地，解码器502、504接收参数数据作为比特流414、416的一部分，以与编码器410、412对应地被配置。采样506被用于重新采样经解码的信号。使用滤波器函数&的滤波器508、510用于获取重构输入视频信号X’。来自滤波器508、510的输出信号512和C1 514由加法器516相加在一起，以产生重构输入视频信号X’ 518。如所示，重构视频信号X’ 518还被提供给缓存器520。经缓存的信号被提供给通过函数h1526、528滤波重构输入信号的滤波器522、524，并且然后使用米样器530重新米样信号。如所示，经滤波的重构输入信号被反馈回解码器502、504。如上所述，输入视频流X可以通过划分器105划分为分块。在一个实施例中，输入视频流X的图片被划分为分块，其中，每个分块都使用分析、子采样、以及合成滤波器的最合适集合(基于用于每个给定分块的局部图片内容)被分解，其中，分块被配置成具有来自特征集合的类似特征。图6示出使用空间频率分解作为用于自适应分块、分解和对图片600编译的特征集合的示例，使用总计四个不同分解选择的编码情况的示例。视频流中的图片的自适应分块可以通过基于最小特征描述长度标准的一个特征集合FS描述。如所理解的，可以使用其他特征集合。对于空间频率分解，图片600被检验，以确定可以找到类似特性的不同分块。基于图片600的检验,可以创建分块602-614。如所不,分块602-614不相互重叠，但是将理解，分块602-614的边缘可以重叠。在空间频率分解的示例中，特征集合选择基于垂直或水平滤波和子采样。在一个示例中，作为示例，被指定为V1H1的、在分块604、610中使用的分块的像素值被编译:该特征集合仅具有一个特征，该特征是分块的像素值。其等效于传统图片编译，其中，编码器和解码器对像素值操作。如所示，由V1H2指定的分块606、612被水平地滤波，并且对于两子带中的每一个由因数2子采样。该特征集合具有两个特征。一个是低频子带的(一个或多个)值，并且另一个是高频子带的(一个或多个)值。然后，通过合适编码器对每个子带编译。另夕卜，由V2H1指定的分块602使用垂直滤波器滤波，并且对于两子带中的每一个由因数2子采样。类似于使用V1H2的分块606、612，用于分块602的特征集合具有两个特征。一个是低频子带的(一个或多个)值，并且另一个是高频子带的(一个或多个)值。每个子带都可以通过合适编码器编译。由V2H2指定的分块608、614在水平和垂直方向中的每一个上，使用可分离或不可分离滤波并且通过因数2子采样。当滤波和子采样是二维的时，操作对于四个子带中的每一个进行，使得特征集合具有四个特征。例如，在可分离分解的情况下，第一特征捕捉低频(LL)子带的(一个或多个)值，第二和第三特征分别捕捉(一个或多个)低和高频(即，LH和HL)子带值的组合，并且第四特征捕捉高频(HH)子带的(一个或多个)值。每个子带然后通过合适编码器编译。划分器105可以使用多个不同自适应分块方案，以接近在输入视频流X中创建每个图片的分块602-614。一个种类是基于速率失真(RD)。基于RD的分块的一个不例是树结构方法。在该方法中，使用树结构(例如，四叉树)对分块图编译。基于生产成本最低化判定树分支，该生产成本最低化包括最佳分解方案的性能以及用于描述树节点和叶子所要求的位。替代地，基于RD的分块可以使用二通方法(two pass approach)ο在第一通中，具有给定大小的所有分块都经过自适应分解，以找到每个分解选择的成本，然后来自第一通的分块被最佳地合并，以最小化对图片编译的总体成本。在该计算中，还可以考虑分块信息的传输成本。在第二通中，图片可以根据最优分块图被分块和分解。另一种类的分块是基于非RD的。在该方法中，利用范数-P最小化:在该方法中，可以对于分解的每个可能选择计算用于相同空间位置的所有信道的子带数据的范数-P。最佳分块通过图片的最佳划分实现，以最小化在所有分块602-614处的超(over)范数-P。而且，在该方法中，通过将发送分块信息的合适加权位速率(实际的或估计的)相加至数据的总体范数-P考虑发送分块信息的成本。对于具有自然内容的图片，通常使用范数-1。以上描述视频编译中的图片或分块的自适应子带分解。每个分解选择都通过水平和垂直方向中的每一个上的子采样的等级描述，其继而限定子带的数量和大小，例如 '氏、V1H2等。如将理解，用于图片或分块的分解信息可以通过发送用于未来图片或分块的残差增量被重新使用或预测。在压缩之前，每个子带通过例如应用滤波器匕404、406的分析滤波器被推导，并且在合适上采样之后，通过应用例如滤波器&428、430的合成滤波器被重构。在级联分解的情况下，可能存在涉及分析或合成每个频带的多于一个滤波器。返回到图4 和图 5，滤波器 404、406、428、430、436、438、508、510、524、522 可以被配置和设计成最小化总体失真并且作为自适应合成滤波器(ASF)。在ASF中，滤波器试图最小化由每个信道的编译导致的失真。合成滤波器的系数可以基于重构信道被设置。ASF的一个示例基于联合子带优化。对于函数^的给定大小，线性均方估计技术可以被用于计算^的系数，使得最终重构的分块X’和分块中的原始信号X中的原始像素之间的均方估计误差被最小化。在替代实施例中，使用独立信道优化。在该示例中，联合子带优化在上采样之后要求原始信号X和重构子带信号之间的自动和互相关。而且，可以求解矩阵方程组。与该联合子带优化相关的计算可能在很多应用中被禁止。用于编码器700的独立信道优化解决方案的示例可以在图7中看出，其集中于ASF，所以使用图3中所示的滤波器432和434的参考图片处理被省略。在ASF中，提供滤波器估计模块(FEi) 702,704,以在通常有噪声的经解码的重构信道^.和无噪声的未编码的重构信道之间执行滤波器估计。如所示，输入视频信号x701被分裂并且提供给根据已知函数Iii滤波信号X的滤波器706、708，并且然后以由分块的数量确定的速率使用采样器710被米样。在二信道分解的实施例中，滤波器706、708之一可以是低通滤波器,并且另一个可以是高通滤波器。将理解，在二信道分解中分块数据使速率加倍。从而，采样器710可以决定性地采样输入信号，以 使数据量减半，使得相同数量的采样可用于在解码器处重构输入信号。经滤波和采样的信号然后由编码器EJ12、714编码，以产生比特流bi716、718。经编码的比特流bi716、718被提供给解码器720、722。编码器700被提供有插值模块724、726，其接收提供给编码器712、714并且来自解码器720、722的经滤波的信号和经采样的信号。被抽取和采样的信号和经解码的信号由采样器728、730采样。重新采样的信号由滤波器732、734处理，以产生信号c’ i；同时经解码的信号也由滤波器736、738处理，以产生信号2；。信号c’ i和^被提供给上述滤波器估计模块702、704。滤波器估计模块702、704的输出对应于插值模块724、726的滤波器信息info,0滤波器信息11^01还可以提供给相应解码器以及其他编码器。插值模块还可以配置有利用滤波器函数&的滤波器740、742。滤波器740、742可以被推导，以最小化c’ i和€之间的误差度量，并且该滤波器被应用至c'以生成名。然后，所得到的经滤波的信道输出4被组合，以产生总体输出。在一个实施例中，ASF输出4可以用于代替图4中的c由于在组合之前，ASF被应用至每个信道，ASF滤波的输出Ci可以保持在相对于最终输出位深分辨率的更高位-深分辨率。即，组合的ASF输出可以为了参考图片处理的目的而内部地保持在更高位-深分辨率，同时最终输出位-深分辨率可以例如通过限幅和舍入被减小。由插值模块740、742执行的滤波可以填充通过由采样器710进行的采样可能被丢弃的信息。在一个实施例中，编码器712、714可以使用基于用于分块输入视频信号特征集合的不同参数并且然后对信号编码。滤波器信息h可以被发送至解码器800，其在图8中示出。经修改的合成滤波器802、804gi’可以从滤波器706、708、732-738的函数gi和推导，使得编码器700和解码器800执行等效滤波。在ASF中，合成滤波器732-73881被修改为滤波器802、804中的gi’，以解决由编译引入的失真。还可以将来自滤波器706、708的分析滤波器函数h修改为滤波器806,808中的Iii’，以解决自适应分析滤波(AAF)中的编译失真。同时AAF和ASF也是可能的。ASF/AAF可以被应用至整个图片或图片分块，并且不同滤波器可以被应用至不同分块。在AAF的示例中，可以从一组滤波器库选择分析滤波器，例如，9/7、3/5等。被使用的滤波器基于进入滤波器的信号的质量。AAF滤波器的系数可以基于每个分块的内容和编译条件设置。另外，在滤波器索引或系数可以被发送至解码器以防止编码器和解码器之间的漂移的情况下，滤波器可以用于生成子带参考数据。可以从图8中看出，比特流bJ16、718被提供给解码器810、812，其具有到编码器712,714的补充参数。解码器810、812还从编码器700以及从系统中的其他编码器和解码器接收作为输入的编译信息ii。解码器810、812的输出由采样器814重新采样，并且被提供给上述滤波器802、804。经滤波解码的比特流c'由组合器816组合，以产生重构视频信号X’。重构视频信号X’还可以在缓存器818中被缓存并且由滤波器806、808处理并且由采样器820采样，以被提供为到解码器810、812的反馈输入。图4-图5和图7-图8中所不的编译器可以对于HVC被增强。在一个实施例中，可以使用交叉子带 预测。为了通过多个子带特征集合对分块编译，编码器和解码器可以在不需要发送任何额外信息的情况下使用来自在解码器处已被解码并且可用的所有子带的编译信息。这通过提供给编码器和解码器的编译信息^的输入示出。其示例是用于在解码器处已被解码的同位置的子带的时间和空间预测信息的重新使用。交叉带预测的问题是与编码器和解码器相关的问题。现在描述可以用于在当代视频编码器和解码器的上下文中执行该任务的一些方案。一种这样的方案使用交叉子带运动矢量预测。由于每个子带中的相应位置中的运动矢量指向输入视频信号X的像素域中的相同区域，并且从而对于X的各个分块，有益的是使用来自已被编译的子带块在相应位置处的运动矢量，以推导用于当前块的运动矢量。两个额外模式可以被添加至编译器，以支持该特征。一个模式是运动矢量的重新使用。在该模式下，从已经发送的子带中的相应块的所有运动矢量直接推导用于每个块的运动矢量。另一个模式使用运动矢量预测。在该模式下，通过将德尔塔(delta)运动矢量相加至预测运动矢量，从已被发送的子带中的相应块的所有运动矢量的直接推导用于每个块的运动矢量。另一个方案使用交叉子带编译模式预测。由于诸如从视频流中的图片或者从图片的分块获得的每个图像位置中的边缘的结构梯度可能溢出到每个子带中的相应位置，这对于任何给定块的编译重新使用在相应位置处来自已被编译的子带块的编译模式信息是有益的。例如，在该模式下，可以从低频子带的相应宏块推导用于每个宏块的预测模式。
编译器增强的另一个实施例使用参考图片插值。为了参考图片处理的目的，重构图片被缓存，参见图4和图5，并且被用作用于编译未来图片的参考。由于编码器Ei在经滤波/抽取的信道上操作，参考图片通过由滤波器432、434执行的参考图片过程Ri被同样地滤波和抽取。然而，一些编码器可以使用更高子像素精度，并且函数Ri通常被插值，如用于四分之一像素分辨率情况的图9 (a)和图9 (b)。在图9 (a)和图9 (b)中，重构输入信号X’被提供给滤波器％902和Q’#04。参见图9 (a)，通过滤波器R032操作的参考图片处理操作使用滤波器4436，并且使用采样器440抽取信号。通常在编码器中执行的插值操作可以使用四分之一像素插值模块910被组合在滤波器的QP02操作中。该总体操作生成编码器信道输入的四分之一像素分辨率参考像素qi906。替代地，图9 (b)中示出生成经插值的参考图片士’的另一种方式。在该“未抽取的插值”Q/中，重构输出仅使用滤波器比436在R/中被滤波但不被抽取。然后，经滤波的输出使用半像素插值模块912通过半像素被插值，以生成四分之一像素参考图片q/908。Q/超过Qi的优点在于，Q/存取“原始”(未抽取的)半像素采样，得到更好的半像素和四分之一像素采样值。Q/插值可以适于每个信道i的特定特性，并且其还可以扩展至任何期望子像素分辨率。如从以上理解，顺序组成输入视频流X的每个图片可以被处理为完整图片，或者被分块为更小的连续或重叠子图片，如图5中所示。分块可以具有固定或自适应大小和形状。分块可以在图片等级或自适应地做出。在自适应实施例中，图片可以使用包括树结构或二通结构的任何数量的不同方法被分割为分块，在二通结构中，第一通使用固定块，并且第二通在合并块上工作。在分解中，信道分析和合成可以取决于图片和视频流的内容来选择。对于基于滤波器的分析和合成的示例，分解可以采取任何数量的水平和/或垂直频带、以及多个等级的分解。分析/合成滤波器可以是可分离或不可分离的，并且它们可以被设计成在无损编译的情况下实现完美重构。替代地，对于有损编译情况，它们可以被联合设计成最小化总体端到端误差或感知误差。如同分块一样，每个图片或子图片都可以具有不同分解。这样的图片或视频流的分解的示例是基于滤波器的、基于特征的、基于内容的，诸如，垂直、水平、对角线、特征、多等级、可分离和不可分离、完美重构(PR)或非PR、以及图片和子图片的自适应方法。为了通过信道的编码器Ei编译，可以使用或采用现有视频编译技术。在通过频率分解的情况下，低频带可以被直接编译为正常视频序列，这是因为其保持原始视频内容的多个特性。因此，可以使用框架来保持“后向兼容性”，其中，低频带使用当前编译器技术被独立解码。较高频带可以使用未来开发的技术来解码并且与低频带一起使用，从而以更高质量重构。由于每个信道或频带可能禁止相互不同的特性，所以可以应用特定信道编译方法。信道间冗余还可以在空间和时间上被开发，以提高编译效率。例如，运动矢量、预测运动矢量、系数扫描顺序、编译模式决策、以及其他方法可以基于一个或多个其他信道被推导。在该情况下，所推导的值可能需要在信道之间被适当地缩放或映射。该原理可以被应用至任何视频编译器，可以后向兼容(例如，低频带)，可以用于特定信道编译方法(例如，高频带)，并且可以开发信道间冗余。对于参考图片插值，可以使用未抽取的半像素采样、以及经插值的值、以及用于经插值的位置的自适应插值滤波器(AIF)采样的组合。例如，一些实验显示，除了高频带半像素位置之外，使用AIF采样是有益的，其中，使用未抽取的小波采样是有益的。虽然Q’中的半像素插值可以适于每个信道的信号和噪声特性，但是低通滤波器可以用于所有信道，以生成四分之一像素值。将理解，一些特征可以适于信道的编译。在一个实施例中，最佳量化参数基于RD-成本被选择用于每个分块/信道。视频序列的每个图片可以被分块和分解为多个信道。通过允许用于每个分块或信道的不同量化参数，可以提高总体性能。为了执行在相同分块的不同子带之间或跨不同分块的最佳位分配，可以使用RD最小化技术。如果保真度的量度是峰值信噪比(PSNR)，则当使用相同拉格朗日乘子(λ )时，可以独立地最小化用于每个子带的拉格朗日成本(D+X.R)，以实现各个信道和分块的最优化编译。对于保持大多数自然图像内容的低频带，由传统视频编译器生成的其RD曲线保持凸起特性(convex property),并且量化参数(qp)通过递归RD成本搜索获得。例如,在第一步骤,计算在qppqp'qpfqp+A、qp3=qp-A处的RD成本。具有最小成本的qPi ( i=l、2或3)的值被用于重复该过程,其中，新qp被设置为qpit)然后计算在qpeqp'qpfqp+A/〗、QP3=QP- Δ /2处的RD成本，并且其重复直到Φ增量Λ变为I为止。对于高频带，凸起特性不再保持。代替递归方法，应用穷举方法以通过最低RD成本寻找最佳qp。然后，运行在从qp-Λ到qp+Λ的不同量化参数处的编码过程。例如，Λ在低频信道搜索中被设置为2，并且这导致相对于没有信道级的RD最优化的情况在时间上的编译复杂性的5Χ增加。对于高频信道搜索，Δ被设置为3，对应于编译复杂性的7 X增加。通过以上方法，以多通道编码和增加的编码复杂性为代价，确定用于每个信道的最佳qp。可以开发用于减小复杂性的方法，其直接分配用于每个信道的qp，而不经过多通道编码。在另一个实施例中，拉姆达(lambda)调节可以用于每个信道。如上所述，用于不同子带的相等拉格朗日乘子选择将导致特定条件下的最佳编译。一个这样的条件是来自所有子带的失真在形成最终重构图片时添加有相等权重。根据用于不同子带的压缩噪声经过具有不同频率依赖增益的不同(合成)滤波器的知识，该观测提出，可以根据压缩噪声的谱形状和滤波器的特性，通过为不同子带分配不同拉格朗日函数来提高编译效率。例如，这通过将缩放因数分配给信道拉姆达进行，其中，缩放因数可以是来自配置文件的输入参数。在又一个实施例中，可以使用图片类型确定。先进视频编译(AVC)编码器在对高频子带编译中可能不是非常有效。HVC中的许多微块(MB)在包括P和B片段(slice)的预测片段中被内编译。在一些极端情况下，预测片段中的所有MB被内编译。由于内MB模式的上下文模型对于不同片段类型不同，当子带被编译为I片段、P片段或B片段时，所生成的位速率非常不同。换句话说，在自然图像中，内MB在预测片段中不太可能发生。从而，分配具有低内MB可能性的上下文模型。对于I片段 ，分配具有高很多的内MB可能性的上下文模型。在该情况下，甚至当每个MB在相同模式被编码时，所有MB被内编译的预测片段比I片段消耗更多位。结果，不同熵编译器可以被用于高频信道。而且，每个子带可以基于每个子带的统计特性使用不同熵编译技术或编译器。替代地，另一个解决方案是以不同片段类型编译信道中的每个图片，并且然后选择具有最少RD成本的片段类型。对于另一个实施例，使用用于每个基本编译单元的新内跳过模式。内跳过模式有益于用于基于块的算法的稀疏数据编译，其中，从已被重构的相邻像素的预测被用于重构内容。高子带信号通常包含很多平坦区域，并且高频分量被稀疏定位。可以有利地使用一位来区分区域是否是平坦的。特别是，内跳过模式被限定为指示具有平坦内容的MB。只要决定了内跳过模式，该区域就不被编译，就没有发出进一步的残差，并且通过使用相邻MB中的像素值预测该区域的DC值。特别是，内跳过模式是附加MB等级标记。MB可以为任何大小。在AVC中，MB大小是16X16。对于一些视频编译器，提出用于高清晰度视频序列的较大MB大小(32X32、64X64等)。内跳过模式受益于较大MB大小，这是因为从平坦区域生成的潜在更少位。内跳过模式仅在高频带信号的编译中被使能，并且在低频带信号的编译中被无效。因为低频信道中的平坦区域不与高频信道中的平坦区域一样频繁，一般而言，内跳过模式增加用于低频信道的位速率，同时减小用于高频信道的位速率。省略模式还可以应用至整个信道或频带。对于又一个实施例，使用环路去块滤波器(inloop deblocking filter)。环路去块滤波器帮助AVC编译器中的RD性能和视觉质量。存在环路去块滤波器可能放置在HVC编码器中的两个位置。这些在图10中被示出用于编码器，并且在图11中被示出用于相应解码器。图10和图11被如图4的编码器400和图5的解码器500地配置，其中，类似组件被类似编号，并且执行与上述相同的功能。一个环路去块滤波器是在每个单独信道构建的结束处的解码器^1002、1004的一部分。另一环路去块滤波器1006在通过组合器431的完整图片的信道合成和重构之后。第一环路去块滤波器1002、1004被用于信道重构并且是中间信号。MB边界上的平滑性可以提高RD意义上的最终图片重构。其还可能导致中间信号进一步远离真值改变，使得性能降低是可能的。为了克服该问题，可以基于该信道将如何被合成的特性，为每个信道配置环路去块滤波器1002、1004。例如，滤波器1002、1004可以基于上采样方向以及合成滤波器类型。`另一方面，环路去块滤波器1006在图片重构之后应该是有益的。由于子带/信道编译的性质，最后重构的图片保留除了区块(blockiness)的伪像，诸如振铃效应。从而，更好地重新设计内环滤波器，以有效地处理那些伪像。将理解，对于环路去块滤波器1002-1006描述的原理适用于在图11的解码器1100中找到的环路去块滤波器1102、1104和1106。在另一个实施例中，可以使用子带依赖熵编译。诸如常规编译器(AVC、MPEG等)中的VLC表和CABAC的传统熵编译器基于来自一些变换域(例如，在倾向于遵循拉普拉斯和高斯分布的一些混合的AVC情况下的DCT)中的自然图像的统计特性设计。子带熵编译的性能可以基于每个子带的统计特性通过使用熵编译器被增强。在又一个实施例中，可以使用分解依赖系数扫描顺序。用于每个分块的最佳分解选择可以指示分块中的特征的定向。从而，可能优选的是在编译变换系数的熵编译之前，使用合适的扫描顺序。例如，对于每个可用分解方案，可以将特定扫描顺序分配给每个子带。从而，没有额外信息需要被发送以通信扫描顺序的选择。替代地，可能的是从可能扫描顺序选择的列表选择性地选择和通信经编译的系数的扫描图案，该系数诸如在AVC情况下的量化DCT系数，并且对于每个分块的每个经编译的子带发送该扫描顺序选择。这要求对于给定分块的给定分解的每个子带发送选择选项。该扫描顺序还可以从具有相同方向偏好的已被编译的子带预测。另外，执行每子带和每分解选择的固定扫描顺序。替代地，可以使用分块中的每子带的选择性扫描图案。在一个实施例中，可以使用子带失真调节。子带失真可以基于来自一些子带的更多信息的创建，同时不产生用于其他子带的任何信息。这样的失真调节可以经由失真合成或通过从子带到像素域的失真映射做出。在通常情况下，子带失真可以首先被映射至一些频域，并且然后根据子带合成过程的频率响应被加权。在传统视频编译方案中，多个编译决策可以通过最小化速率失真成本来执行。每个子带中的所测量失真不必须反映来自该子带的失真对最终重构图片或图片分块的最终影响。对于感知质量度量，在不同量的失真，例如，频率子带之一中的MSE的相同量失真比不同子带中的相同量失真具有对最终重构图像的不同感知影响的情况下，这更加明显。对于诸如MSE的非主观质量测量，失真的谱密度可能影响合成分块的质量的失真。为了解决该问题，可能的是将噪声块插入否则无噪声图像分块中。另外，在计算用于该给定块的失真之前，可能必须进行子带上采样和合成滤波。替代地，可能的是使用从子带数据中的失真到最终合成分块中的失真的固定映射。对于感知质量度量，这可能涉及收集主观测试结果，以生成映射函数。对于更一般情况，子带失真可以被映射至一些精细频率子带，其中，根据来自上采样和合成滤波的组合频率响应，总失真可以是每个子子带失真的加权和。在另一个实施例中，提供范围调节。可能的是子带数据可以是需要被转换为具有特定动态范围的整数点的浮点。编码器可能不能处理浮点输入，所以输入被改变以补偿正被接收的内容。这可以经由提升方案通过使用子带分解的整数实现被执行。替代地，可以使用通过使用连续非降低映射曲线(例如，S形)构建的一般有界量化器，继之以均匀量化器。用于映射曲线的参数应该由解码器已知，或者传送到解码器，以在上采样和合成之前重构子带信号。所描述的HVC提供多个优点。频率子带分解可以提供更好的频带分离，用于更好的时空预测和编译效率。由于典型视频内容中的大部分能量都集中在几个子带中，对于低能量频带可以执行更有效编译或带省略。也可以执行子带依赖量化、熵编译、以及主观/客观最优化。这可以用于根据每个子带的感知重要性执行编译。而且，与其他仅前置滤波方法相比，严格采样分解不增加采样的数量，并且完美重构是可能的。从预测编译观点看，除了空间和时间预测之外，HVC添加交叉子带预测。每个子带可以使用不同于其他子带的图片类型(例如，I/P/B片段)编译，只要其附着到图片/分块类型(例如，内类型分块可以仅具有用于所有其子带的内类型编译)上即可。通过分解，在不需要明确设计新预测模式、子分块方案、变换、系数扫描、熵编译等的情况下，扩展虚拟编译单元和变换单元。较低计算复杂性在HVC中是可能的，其中，仅对抽取的低频子带执行诸如例如运动估计(ME)的费时操作。子带的并行处理和分解也是可能的。因为HVC框架独立于所使用的特定信号或子带编译，其可以利用用于不同频带的不同压缩方案。其不与提出的其他编译工具(例如，KTA和所提出的JCT-VC)冲突，并且可以在其他编译工具之上提供另外编译增益。用于2D视频流的上述HVC的原理还可以应用至诸如用于3DTV的3D视频输出。HVC还可以大部分利用3DTV压缩技术，要求较新的编码和解码硬件。因此，最近对使用现有2D编译器技术提供3D兼容信号的系统感兴趣。这样的“基本层”(BL)信号与现有2D硬件可以后向兼容，同时具有3D硬件的较新系统可以利用附加“增强层”(EL)信号传递更高质量3D信号。实现对3D的这样的迁移途径编译的一种方式是对于BL使用并排或顶部/底部3D面板格式，并且对于EL使用两个全分辨率视图。BL可以使用诸如仅具有小附加改变的AVC的现有2D压缩被编码和解码，以处理3D格式的合适信令(例如，帧封装SEI消息和HDMI1.4信令)。较新3D系统可以解码BL和EL两者，并且使用它们重构全分辨率3D信号。对于3D视频编译，BL和EL可以具有并置视图。对于BL，例如左和右视图的前两个视图可以被并置，并且然后并置的2X图片可以被分解以产生BL。替代地，视图可以被分解，并且然后来自每个视图的低频子带可以被并置，以产生BL。在该方法中，分解过程不混合来自每个视图的信息。对于EL，前两个视图可以被并置，并且然后并置的2X图片将被分解，以产生增强层。每个视图都可以被分解，并且然后由一个增强层或两个增强层编译。在一个增强层实施例中，用于每个视图的高频子带被并置，以产生与基本层一样大的EL。在两层实施例中，用于一个视图的高频子带可以首先被编译为第一增强层，并且然后用于另一个视图的高频子带可以被编译为第二增强层。在该方法中，EL_1可以使用已被编译的EL_0作为用于编译预测的参考。图12示出使用用于并排情况的可伸缩视频编译(SVC)的迁移途径编译的方法。可以理解，到其他3D格式(例如，顶部/底部、棋盘等)的扩展是易懂的。从而，描述集中于并排情况。EL1202是两个全分辨率视图1204的并置双宽度版本，同时BL1206通常是EL1204的经滤波和水平子采样的版本。SVC空间可伸缩性工具然后可以被用于编码BL1206和EL1204，其中，BL被AVC编码。两个全分辨率视图可以从经解码的EL提取。用于迁移途径编译的另一种可能性是使用多视图视频编译(MVC)压缩。在MVC方法中，两个全分辨率视图通常被采样而不被滤波以产生两个面板。在图13中，BL面板1302包含全分辨率1304的左和右视图的偶数列。EL面板1306包含两个视图1304的奇数列。BL1302还可能包含一个视图的偶数列和另一个视图的奇数列，或者反之亦然，同时EL1306可能包含其他奇偶性。BL面板1302和EL面板1306然后可以使用MVC被编译为两个视图，其中，GOP编译结构被选择为使得BL是独立AVC-编码视图，同时EL被编译为从属视图。在对BL和EL两者解码之后，可以通过适当地重交织BL和EL列生成两个全分辨率视图。在生成BL和EL视图时，通常不执行前置滤波，使得原始全分辨率视图可以在没有编译失真的情况下被恢复。返回到图14，可以在迁移途径3DTV编译中应用HVC，这是因为典型视频内容本质上倾向于低频。当到HVC的输入是两个全分辨率视图的并置双宽度版本时，BL1402在全分辨率视图1406的2-频带水平分解(用于并排情况)中是低频带，并且EL1404可以是高频带。通过编码器1500的3DTV迁移途径编译的该HVC方法在图15中示出，其是一般HVC方法的应用和特定情况。显然，上述多个原理包括在用于该3DTV方法的迁移途径中。使用输入视频编译流xl502的低频编码路径使用关于图4描述的一些原理示出。由于期望BL是AVC兼容的，所以图15中的顶部低频信道使用AVC工具用于编码。流χ1502的路径使用滤波器&1504被滤波并且通过采样器1506被抽取。范围调节模块1508限制基本层的范围，如以下更详细描述的。信息infoKA可以由所示的编码器、相应解码器(参见图16)以及上述其他编码器等使用。受限输入信号然后被提供给编码器^1510，以产生比特流1^1512。包含关于来自编码器、解码器或其他信道的高和低频信号的信息的编译信息&被提供给编码器1526，以提高性能。将理解，比特流k可以使用重构环来重构。重构环包括补充解码器DJ514、范围调节模块采样器1518和滤波器8(|1520。还提供高频编码路径，其关于图7描述。不像上述低频信道，高频信道可以使用附加编译工具，诸如，未抽取的插值、ASF、交叉子带模式和运动矢量预测、内跳过模式等。高频信道可以甚至被从属地编译，其中，一个视图被独立编码，并且另一个视图被从属地编码。如关于图7描述的，高频带包括对高频输入流X滤波的滤波器41522，高频输入流X然后由采样器1524抽取。编码器E11526对滤波和抽取的信号编码，以形成比特流1^1528。类似于低频信道，高频信道包括解码器DJ529，其将经解码的信号反馈给插值模块1530。插值模块1530被提供用于高频信道，以产生信息inf0l1532。插值模块1530对应于图7中所示的插值模块726，并且包括采样器728、730、滤波器滤波器704、和滤波器f\742，以产生信息inf0l。来自经解码的低频输入流1521和来自插值模块1532的输出由组合器1534组合，以产生重构信号X’ 1536。重构信号X’ 1536还被提供给缓存器1538，其类似于上述缓存器。经缓存的信号可以被提供给关于图9 (b)描述的参考图片处理模块Q’J540。参考图片处理模块的输出被提供给高频编码器EJ526。如所示，来自包括对低频信道编译的参考图片处理模块的信息4可以在对高频信道编译时使用，但是不必须反之亦然。由于BL在3DTV中通常被强迫为每个颜色分量8位，重要的是滤波器hQ (以及抽取)的输出的深度被 限制为8位。遵照基本层的受限动态范围的一种方式是使用由RA模块1508执行的一些范围调节(RA)操作。RA模块1508意图将输入值映射至期望位深。通常，RA过程可以通过输入值的有界量化(均匀或非均匀)实现。例如，一个可能RA操作可以被限定为RAout=clip(round(seale*RAin+offset)),其中，round ()逼近最近整数,并且clip ()将值的范围限制为[min, max](例如，用于8位的
)，并且大小古O。可以限定其他RA操作，包括同时操作一组输入和输出值的操作。如果这些参数不是固定的或者由于某种原因不被解码器知晓，则RA参数信息需要被发送至解码器(作为infoKA)。“逆”RA—1模块1516将值重缩放回到原始范围，但是当然，具有由于在正向RA操作中的舍入和限幅导致的一些可能损失，其中:RA-1OUt= (RA-1in-偏移量)/大小。BL的范围调节通过缩放和移位子带数据，或通过使用更普通非线性变换提供可接受虚拟质量。在固定缩放的实施例中，固定缩放被设置为使得合成滤波器和缩放的dc增益是I。在自适应缩放和移位中，选择用于每个视图的缩放和移位的两个参数，使得BL中的该视图的标准化直方图具有与相应原始视图的标准化直方图相同的平均值和方差。图16中所示的相应解码器1600还执行RA—1操作，但是当BL被假设为仅被AVC解码和输出时，仅用于重构双宽度并置全分辨率视图。解码器1600包括低频信道解码器%1602，其可以产生用于基本层的经解码的视频信号。经解码的信号被提供给逆范围调节模块RA4Ieoi其由采样器1606重新采样并且由滤波器gQ1608重新滤波，以产生低频重构信号4 1610。对于高频路径，解码器0^612解码该信号，该信号然后由采样器1614重新采样，并且由滤波器g’4616滤波。信息inf0i可以被提供给滤波器1616。滤波器1616的输出产生重构信号h 1617。重构低频和高频信号由组合器1618组合，以创建重构视频信号X 1620。重构视频信号 1620被提供给将由其他编码器和解码器使用的缓存器1621。缓存信号还可以被提供给参考图片处理模块1624，其被反馈回高频解码器队。RA模块的特定选择可以基于感知和/或编译效率考虑和权衡来确定。从编译效率观点，通常期望利用由位深指定的完整输出动态范围。由于到RA的输入动态范围通常对于每个图片或分块是不同的，所以最大化输出动态范围的参数在图片之间将不同。虽然从编译观点这可能不是问题，但是当BL被解码并且直接查看时，其可能导致问题，因为RA—1操作在被查看之前可能不被执行，可能导致亮度和对比度的改变。这与更普通的HVC形成对比，其中，各个信道是内部的并且不意图被查看。与RA过程相关的补救信息损失的替代解决方案是使用利用使基带层到期望动态范围的提升方案的子带编译的整数实现。如果AVC编码BL支持每个图片或分块RA—1的自适应范围缩放(诸如，通过SEI报文发送)，则RA和RA—1操作可以被选择，以优化感知质量和编译效率。在不存在用于BL的这样的解码器处理和/或关于输入动态范围的信息时，一种可能性是选择固定RA，以保留一些期望视觉特性。例如，如果分析滤波器&1504具有α古O的DC增益，则模块1508中的RA的合理选择被设置为增益=1/α并且偏移量=0。值得注意的是，虽然在图15和图16中未示出，但是EL还可以经过类似RA和RA4操作。然而，EL位深通常高于BL所要求的位深。而且，可以执行通过图15和图16中的比和gi的并置双宽度图片的分析、合成和参考图片滤波，使得不存在视图边界周围的视图的混合(与SVC滤波相对比)。这可以例如通过在边界处的给定视图的对称填充和扩展实现，类似于在其他图片边缘处使用的。考虑以上，所论述的HVC视频编译提供从传统像素域视频编译提供多个优点和灵活性的框架。可以使用HVC编译方法的应用将可缩放迁移途径提供给3DTV编译。与诸如SVC和MVC的其他可缩放方法相比，其性能看起来提供一些有前景的增益。其使用用于较低分辨率3DTV BL的现有AVC技术，并且允许传统工具提高EL和全分辨率视图的编译效率。
返回，上述装置执行对输入视频流编码的方法1700。输入视频流在所描述的视频分配系统的头端处被接收1702，并且基于输入视频流的至少一个特征集合被划分1704为一系列分块。特征集合可以是视频流的任何类型的特征，包括视频流的内容、上下文、质量和编译函数的特征。另外，输入视频流可以根据视频流的各个信道被分块，使得每个信道都根据相同或不同特征集合被单独划分。在划分之后，输入视频流的分块被处理并且被分析，以分解1706分块用于通过诸如分块的抽取和采样的操作来编码。被分解的分块然后被编码1708，以产生编码比特流。作为编码过程的一部分，编译信息可以被提供给编码器。编译信息可以包括来自输入视频流的其他信道的输入信息以及基于重构视频流的编译信息。编译信息还可以包括关于控制的信息和关于视频流的质量信息、以及关于特征集合的信息。在一个实施例中，编码比特流被重构1710为重构视频流，其可以被缓存和存储1712。重构视频流可以被反馈回1714编码器并且用作编译信息，以及被提供1716给用于输入视频流的其他信道的编码器。从以上可以理解，重构视频流以及提供重构视频流作为编译信息的过程可以包括分析和合成编码比特流和重构视频流的过程。图18是示出由于图17中所示的方法而形成的对编码比特流解码的方法1800的流程图。编码比特流由作为视频分配系统一部分的订户单元150a-n接收1802。比特流被使用由解码器接收的编译信息解码1804。解码信息可以被接收为比特流的一部分，或者其可以由解码器存储。另外，编译信息可以从用于视频流的不同信道接收。经解码的比特流然后被合成1806为一系列分块,然后一系列分块被组合1808以创建对应于关于图17描述的输入视频流的重构视频流。在以上说明书中，描述了本发明的特定实施例。然而，本领域技术人员将想到，可以在不脱离以下权利要求中阐述的本发明的范围的情况下，做出多种修改和改变。从而，说明书和附图将被认为是示意性的而不是限制性的，并且所有这样的修改都旨在包括在本发明的范围内。益处、优点、问题的解决方案、以及可能导致任何益处、优点、或解决方案将发生或变得更加突出的任何(一个或多个)元件都不被理解为任何或所有权利要求的关键的、要求的或基本的特征或元件。本发明仅通过包括在本申请的未决期间做出的任何修改和所公布的那些权利要求的所有等价物的所附权利要求限制。
权利要求
1.一种设备，包括: 划分器，所述划分器用于将输入视频流分割为用于所述视频流的多个信道中的每一个的分块； 信道分析器，所述信道分析器耦合至所述划分器，其中，所述信道分析器分解所述分块；以及 编码器，所述编码器耦合至所述信道分析器，以将所分解的分块编码为编码比特流，其中，所述编码器从所述多个信道中的至少一个接收编译信息以在将所分解的分块编码为所述编码比特流时使用。
2.根据权利要求1所述的设备，进一步包括:重构环，所述重构环用于解码所述编码比特流并且将所解码的比特流重新组合为重构视频流。
3.根据权利要求1所述的设备，其中，所述划分器使用多个特征集合中的至少一个形成所述分块。
4.根据权利要求1所述的设备，其中，所述编译信息是视频流的编译信息和参考图片信息中的至少一个。
5.—种设备,包括: 解码器，所述解码器接收编码比特流，其中，所述解码器根据所接收的关于所述编码比特流的信道的编译信息解码所述比特流； 信道合成器，所述信道合成器耦合至所述解码器，以将所解码的比特流合成到视频流的分块中，以及 组合器，所述组合器耦合至所述信道分析器，以从所解码的比特流创建重构视频流。
6.一种方法，包括: 接收输入视频流； 将所述输入视频流分块为多个分块； 分解所述多个分块，以及 将所分解的分块编码为编码比特流，其中，所述编码使用来自所述输入视频流的信道的编译信息。
7.根据权利要求6所述的方法，其中，所述编码进一步包括:接收从所述编码比特流得到的重构视频流作为用于将所述分块编码为所述比特流的输入。
8.根据权利要求6所述的方法，进一步包括:缓存将被用作用于所述输入视频流的其他信道的编译信息的从所述编码比特流重构的重构视频流。
9.根据权利要求6所述的方法，其中，所述编译信息是视频流的编译信息和参考图片信息中的至少一个。
10.一种方法，包括: 接收至少一个编码比特流； 解码所接收的比特流，其中，所述解码使用来自输入视频流的信道的编译信息； 将所解码的比特流合成到所述输入视频流的一系列分块中，以及 将所述分块组合到重构视频流中。
全文摘要
在视频分配系统中，提供将输入视频流(302)分割为用于视频流的多个信道中的每一个的分块的划分器(105)。信道分析器(306)耦合至划分器，其中，信道分析器分解分块。编码器(106)耦合至信道分析器，以将经分解的分块编码为编码比特流(208、210)，其中，编码器从多个信道中的至少一个接收编译信息以在将经分解的分块编码为编码比特流时使用。解码器(124)接收经编译的比特流，以解码所接收的比特流并且重构输入视频流。解码器使用编译信息来解码比特流。
文档编号H04N7/50GK103155556SQ201180048208
公开日2013年6月12日 申请日期2011年10月5日 优先权日2010年10月5日
发明者大卫·M·贝隆, 孔维颖, 阿杰伊·K·卢特拉, 库亚·米鲁, 克里特·帕努索波内 申请人:通用仪表公司