图像的压缩的制作方法
【专利摘要】在视频编码中，其中在输入图像值和图像预测值之间的差在基于块的变换中被变换，所述差在一系列并行的步骤中形成。在像素的第一子集像素上并行地进行的第一步骤使用完全基于先前处理的块的预测值。该第一子集可包括不与任何先前处理的块邻接的锚像素。在第二子集上并行地进行的第二步骤包括从第一子集像素的像素预测的像素。
【专利说明】图像的压缩
[0001]本发明涉及图像的压缩编码，且特别是涉及视频序列中的图像的编码。术语“图像”在这里用于包括场和帧。
[0002]在被称为差分脉冲编码调制(DPCM)的图像的压缩中的早期构想是不传输像素值，而是传输像素值与该像素的预测值之间的差值。这种差分方法可以利用图像中的空间冗余，并且可利用图像的视频序列中的空间冗余和时间冗余。
[0003]随着视频压缩技术向众所周知的MPEG压缩方案的发展，注意力集中在时间域中的差分技术的使用上。使用定义连续图像中的块之间的运动矢量的精确的运动测量技术，图像间差异可以非常小并被有效地编码。为了利用空间冗余，空间变换技术是优选的，并被应用于图像的运动预测(码间)及未预测(码内)的区域。
[0004]因此，公认的视频编码器包括运动补偿预测、DCT或其它空间变换、量化和可变长度或其它熵编码。
[0005]在MPEG和其它编码方案中已经继续进行了努力以提高编码效率并将编码能力扩展到HDTV及更高的图像清晰度。参考被指向特此通过引用被并入的W02011/004027。
[0006]包括在MPEG_4PartlO/AVC/H.264中的一项技术是使用图像帧内预测来补充空间变换。在解码器中，来自已被解码和重构的块的数据可用于为当前块提供空间预测。在编码器中，这个帧内预测当然可通过本地解码器变得可用。
[0007]已发现这个附加的空间预测显著地提高性能，尤其是对边缘细节和强定向纹理，例如对角条纹。
[0008]然而，实验已表明，性能的提高在小块尺寸时最大,并且性能随着块尺寸的增大而降低。这是一个问题，首先因为变换编码增益对小块尺寸相对较差，并且有效的变换编码需要大块尺寸。其次，移动到更高清晰度必然涉及更大的块尺寸。给出一些例子，已发现帧内预测对4X4和8X8块尺寸工作良好。移动到较大的块可能给予更大的变换编码增益，但空间预测变得更加复杂且效率更低。在HD分辨率及以上，将需要16X16块或更大的变换(对UHDTV可能高达64X64)。
[0009]在运动补偿预测中存在类似的矛盾:较大的块尺寸要求较少的运动矢量被编码，且允许在残差上使用较大的变换。然而，它增加了大块的某个部分将被很差地预测的可能性，可能是由于块区域内的某个小对象或对象的部分的运动。
[0010]本发明处理在有效预测所需要的小块尺寸和有效变换编码增益所需要的(尤其是在增大的清晰度下)大块尺寸之间的矛盾。本发明还处理预测技术的有效处理的问题。
[0011]因此，在一方面，本发明在于一种视频压缩编码器，其包括:
[0012]接收图像信息并将所述图像信息分成像元的空间块的块分解器；
[0013]为所述块提供预测值的预测器；
[0014]接收图像信息和预测值并形成差值的减法器；
[0015]对块预测值进行变换以提供变换系数的块变换；
[0016]其中，所述预测器在所述块中的像元子集的像元上并行地操作，在所述块中有至少两个像元子集。[0017]有利地，像元第一子集包括完全从先前编码和重构的块预测的那些像元。
[0018]适当地，所述像元第一子集包括不与任何先前处理的块邻接的至少一个像元。
[0019]不与任何先前处理的块邻接的这样的像元的位置或值可与变换系数分开地在流中被单独地传输或以另外方式用信号通知给解码器。
[0020]优选地，像元第二子集包括至少部分地从第一子集的像元预测的像元，预测器可以是定向预测器或运动补偿预测器。
[0021]所述预测器可在一系列子集Si上顺序地操作并在每个子集的所述像元上并行地操作，对子集Si中的像元的预测至少部分地取决于前面的子集Stl,...，Si^1中的像元。
[0022]所述预测器可包括至少部分地基于当前块中的像元来生成预测的开环预测器和仅基于来自本地解码器的像元信息来生成预测的闭环预测器，且所述预测值可包括开环预测值与闭环预测值的加权和。
[0023]优选地，所述闭环预测器基于来自本地解码器的像元信息为像元第一子集生成预测；并至少部分地基于当前块中的像元为像元第二子集和可选地为像元的后续子集生成预测。
[0024]其中所述闭环预测器具有可选择的方向，开环预测器可根据所述闭环预测器的所选择的方向来选择。预测策略可以在子集内是恒定的，并可从一个子集到另一个子集变化。
[0025]在另一个方面，本发明在于一种压缩编码方法，其包括下列步骤:形成输入图像值与图像预测值之间的差值；以及在基于块的变换中对所述差值进行变换；其中，形成块的差值的步骤包括在块中的像元第一子集上并行地进行的第一步骤；在块中的像元第二子集上并行地进行的第二步骤以及可选的另外的步骤。
[0026]有利地，第一步骤使用完全基于先前处理的块的图像预测值。
[0027]适当地，所述像元第一子集包括不与任何先前处理的块邻接的至少一个像元。
[0028]优选地，像元第二子集包括至少部分地从第一子集的像元预测的像元。
[0029]适当地，形成块的差值的步骤包括在一系列相应子集Si上顺序地进行并在每个子集中的像元上并行地进行的一系列步骤，子集Si中的像元的预测值至少部分地取决于前面的子集So，...，Si-1中的像元。
[0030]适当地，第一步骤对于不与先前处理的块邻接的那些像元使用第一预测器和对于不与先前处理的块邻接的至少一个像元使用第二预测器。
[0031]所述第一和第二子集可采用棋盘配置，可包括相应的行并可包括相应的列。
[0032]可使用SMD、MMX或在CPU处理器内可用的其它内在并行操作来进行每一步骤。
[0033]在又一方面，本发明在于一种视频压缩解码器，其包括:
[0034]接收表示在块中组织的经变换的图像差值的压缩编码位流的输入端；
[0035]提供再定标的变换系数的逆量化单元；
[0036]对所述变换系数进行逆空间变换以提供解码图像差值的逆块变换部；以及
[0037]对解码图像值操作以提供预测值用于与所述图像差值相加的预测器，
[0038]其中，所述预测器在图像的子集的像元上并行地操作。
[0039]在又一方面，本发明在于一种压缩编码方法，其包括下列步骤:形成输入图像值与图像预测值之间的差值；以及在基于块的变换中对所述差值进行变换；其中，在位于图像或图像内的分片(slice)的边界处的块处且使得图像的不足够数量的先前处理的块或没有先前处理的块可用来形成该块的预测值，该块中的至少一些图像值的图像预测值基于该块中的其它图像值。
[0040]现在将参考附图作为例子描述本发明，其中:
[0041]图1为说明已知的空间预测技术的图；
[0042]图2为编码器的框图；
[0043]图3至图14为说明本发明的技术的图:
[0044]图15为编码器的框图；以及
[0045]图16和图17为说明多次编码技术的框图。
[0046]如已提到的，MPEGPart10/AVC/H.264 (为了方便起见，此后被称为H.264)包含对先前的MPEG标准的附加部分，其是块的帧内预测的条款。沿块的顶部和在左侧的已解码和重构的数据可用于为现在被差分地编码的当前块提供预测。图1示出了可用于4X4块(先前重构的样本被加上阴影)的8个可能的方向预测。除了这些方向预测以外，还可从所述块的边缘处的像素的平均值预测出DC，给出总共9种模式。16X 16和8X8块可采用其它预测。
[0047]H264帧内预测工具示出了将空间预测编码与变换编码组合的优点。它对边缘细节和强定向纹理(例如对角条纹)特别有效。
[0048]然而，在有效预测所需要的小块和有效变换编码增益所需要的大块之间的固有矛盾中有一个问题。
[0049]空间预测编码中的效率随着块尺寸增大而降低可被理解为由当前像素与预测所基于的像素之间的距离(至少朝着光栅扫描块的末端)的增加而引起。当该距离增加时，像素之间的关联性减小并且差分编码效率也降低。
[0050]同样地，自从MPEG-1以来，运动补偿预测已形成视频压缩标准的必要部分。关键问题是块尺寸与预测精确度之间的折衷。较大的块尺寸需要较少的运动矢量被编码，但具有较小的预测精确度，因为大块中的小对象或对象的部分相对于其余块可能差分地移动。
[0051]因为块变换通常在预测块中完全应用，变换块尺寸因而被限制，以避免将过渡从一个块变换到另一个块的困难。在H264中，通过从各种运动块分区当中选择来实现这些折衷。
[0052]注意，在一些系统(例如新兴的MPEGHEVC标准)中，变换块可严格地小于用于预测的块:例如，16X16预测块将被分成以某个顺序编码的4个8X8变换块。这仅仅是关于在哪里预测数据被用信号通知的惯例，因为对每个8X8子块的预测可更新自本地解码块，所述本地解码块可包括先前编码的子块。这种方法确实提高了预测，但不能将预测改进到在8X8变换块内。
[0053]理想的是以比变换可允许的粒度更精细的粒度进行预测。然而，在块中，解码器可用的样本是那些已解码和重构的样本。编码器中所用的样本是原始样本，其由于后续量化而不同。从这种意义上来说，所述预测是开环的，与其中编码器内的本地解码器保证编码器所使用的预测值可在解码器中被精确地重构的情况下所提供的闭环相反。这个差值可引起显著的噪声增长。
[0054]为了查看重构噪声可如何增长，令P (Xci,…，Xp1)表示来自样本xk (k=0,...,r-1)的样本&的预测。然后，预测残差I由下式给出:。[0055]yr=xr-P (x0, , xr_i)
[0056]令L = T1GT1QT表示使序列变换、量化、逆量化和逆变换的处理。我们暂时可以假设L的效果是将方差为σ η2的噪声源加到I,即，
[0057]Yr=L (yr) =yr+nr
[0058]在重构中，解码器将形成
[0059]Xr=Yr+P (X0,...，Χη)
[0060]除了在乙上的噪声以外，由于在每个先前重构的值X上的噪声，预测会不同，并且这个噪声可因此增长。特别是，因为良好的预测器P在DC处通常会有单位增益，意味着1-P具有0，且逆滤波器将有极点，S卩，在DC处的无限增益。因此，噪声可以以无限制的方式增长。闭环预测器将没有这个问题，其中预测器在编码器处也使用重构值Χ0。
[0061]因此存在一个问题:结合变换编码器的闭环预测器在预测的准确性上(如果块大)或在变换的效率上(如果块小)是受限的；且开环预测器可能遭受无限的噪声增益。
[0062]现在，将描述这个问题的解决方案。
[0063]在数学上，将F和P。定义为两个预测器。在编码器处F将闭环应用，以产生唯一地从先前编码和重构的系数构造的预测；Ρ°将开环应用，也就是说，它将被应用来从原始未编码的系数产生预测。当然，在解码器处，这两种预测都必须使用重构系数。
[0064]Pc的一个例子是通过邻近块中的像素的平均值来预测块中的像素。P0的一个例子是从紧邻的像素预测像素，不论它们是否落在同一块内。
[0065]于是，可通过下式来创建新组合预测器P，
[0066]P=(l-c)Pc+cP°
[0067]在这种情况下，因子c应用于P°。如果该因子c在O和单位I之间，则它充当对在解码器中的开环预测器所贡献的噪声的阻尼或泄漏因子，且这控制噪声增长。由于闭环预测器的补充贡献，组合预测器仍是出色的预测器，而在没有闭环预测器的补充贡献的情况下，当因子c变得更小时，预测的效率将下降。特别是，如果两个预测器都消除DC，那么组合预测器也将消除DC。
[0068]图2示出编码器结构的例子。输入视频在块分解器B处被接收，该块分解器B用于将输入数据分成块。将块信息提供给块存储库BS和减法器(200)。块存储库BS将数据提供给开环预测器P°。该预测器在块内操作来为当前像素提供预测值。在一个示例中，所述预测值采取三个像素的算术平均值的形式，这三个像素分别:在当前像素的水平向左、斜左上方和垂直上方。应当理解，利用更远的或不同的相邻像素并将不同的权重应用于不同的相邻像素，预测值可以以各种其它方式来形成。
[0069]来自P。的所述预测值作为负输入通过应用增益因子c的乘法器(204)被提供给减法器(200)。参数c通常可在O和单位I之间变化。当c小于单位I时，此增益控制处理原本将与开环预测器的使用有关的噪声增长。
[0070]来自减法器(200)的输出通过第二减法器(204)传递到常规DCT或其它空间变换块T。变换T对接收到的图像差值进行操作，以将变换系数提供给通常常规的量化器块Q。量化的变换系数在块EC中经历可变长度编码或其它熵编码，以提供编码器的输出位流。
[0071]为了提供闭环预测，仅使用先前重构的数据值来维持本地解码块存储库LDBS，其包含重构的值，正如它们将在解码器中的一样。闭环空间预测可以方便地采用已知的H.264空间预测器或运动补偿预测器的形式。
[0072]闭环预测值作为负输入通过应用增益控制因数(Ι-c)的乘法器传送到减法器。
[0073]通过逆量化块Q'逆变换块 1和以相同比例的预测的添加但仅使用来自LDBS本身的先前解码的重构值来构造来自LDBS的值。
[0074]注意，在块操作中，如果我们假设块按光栅顺序被扫描，在块的顶部和左侧，在重构样本可用的地方，前馈预测器0也可使用重构的样本。因此输入到Pe的样本也可输入到P0o这意味着只要有可能，预测就使用重构的样本。
[0075]因此，在当前4X4块的顶行和左列中的像素可完全或大部分从在图中(在当前块之外)用交叉影线示出的本地解码的像素预测。结果应通过同步编码器和解码器的每一块中的预测来更进一步地限制噪声的增长。
[0076]由于在块的左侧和顶部在编码器和解码器之间有很小的发散或没有发散，此处可能需要较低程度的泄漏，因而允许在这些区域中使用更好的预测。换句话说，参数c (除根据图像内容的任何变化以外)还可随块中的当前像素的位置而变化。随像素位置的这个变化在比特流中不需要必须用信号通知；例如它可形成工业标准或事实标准的一部分。
[0077]在此方法中，对预测和差值产生的系数顺序将不是光栅顺序，而是逐块的。
[0078]因为总的预测现在无加权因子，此结构允许改变块当中泄漏的程度，而不引入伪频率分量。
[0079]如果c是固定的，有用值被发现为约0.5。
[0080]根据使用的块尺寸、选择的量化参数和两个预测的相对成功，可为不同图像内容优化参数C。小块尺寸和量化的低水平在编码器和解码器开环预测之间通常产生较少的发散，因此，在这些情况下通过比特流中的编码或根据管理标准，c的总值可调整到较接近单位I。
[0081]该系统特别有吸引力，因为它可容易与所有不同的预测器组合。例如，F可以是在H264中已定义的定向预测器,而P。可以是定向像素型预测器(directionalpixelwisepredictor)。
[0082]可选地，F可以是运动补偿时间预测器。
[0083]或者，对于小波编码，可完成一种形式的分层编码，其中低通系数在每一水平处提供闭环预测。
[0084]在另一变形中，可预先确定c的固定数目的可能值，编码器能够选择最佳值来用于特定块或块组，或者能够选择仅使用闭环预测器。元数据伴随着每一块或块组的变换系数被发送，以指示开环预测是否被使用以及c的哪个值被使用。
[0085]例如，可使用c的4个可能的非零值，可能是1/4、1/2、3/4和I。15/32、25/32、10/32和22/32的值已表明工作良好。编码器一般通过某种速率失真优化法来选择需使用的最佳值。
[0086]可使用用于在当前块内生成预测的多种策略。在发展此类策略时的关键问题是所产生的解码器操作的效率和组合预测过程的准确性。
[0087]图3示出在编码/解码过程中帧的一部分。已编码/解码的块(A)(其位置由扫描顺序确定)是重构样本在编码器和解码器处是可用的那些单元。在被处理的块内查看和将该块的像素划分为限定的子集也是有帮助的。在图3所示的一个实例中，子集是总块结构内的子块。在这个实例中，来自当前块(B)的已预测的子块(C)和当前处理的子块(D)属于当前块(B)。其重构样本在当前块处理的时刻在编码器和解码器处是已经可用的单元可用于闭环预测。由于子块C保持在总块B内，因此它的样本可能不用于闭环预测。
[0088]从相邻像素或样本(来自当前或先前块或子块)的开环预测的可能策略在图4中用箭头指示。在本例中，假设子块内的样本的光栅扫描，这使当前子块的顶部和右上方的样本可用于当前样本(X)的预测。然而，这样的方法导致解码器中的低效率，因为它需要串联的像素的重构，因为每个像素取决于以光栅顺序中的先前值。(在编码器中没有这样的限制被强加，因为原始值可用于开环预测，所有原始值对编码器都是可用的)。
[0089]务必要注意的是，在能够并行计算的系统存在的情况下0值的并行计算是非常有利的。用于块中的像素的并行处理的方法高度地依赖于所使用的预测模板。预测模板是规定在预测中可使用哪些相邻样本的组件之一。对于在图5中的模板实例，左边、顶部和左上部的样本可以在预测中被使用。在那种情况下，系数的扫描顺序可用不同的方法来排列，且在图6和图7中对8X8块描绘与不同扫描策略有关的两个实例。那些图中的数字表示时间实例，在所述时间实例中可计算在对应像素位置上的预测。图6中的实例建议了简单的光栅扫描，而使用图7中存在的策略获得的因而产生的预测与图6中的那些预测相同。图7中的实例示出并行处理的可能，箭头建议可能的扫描策略。图6中的实例需要64个时间实例来计算对所有样本的预测，而如果并行处理可用，图7中的实例所需的时间仅为15(N.2+1，其中N = 8)。这在处理中将导致显著效率。
[0090]用于增强并行预测的另一种方法可使用自适应模板来实现，所述自适应模板可基于不同原理例如基于考虑可用样本的数量来建立。图8示出了预测可从至少两个可用的相邻样本来计算的实例。以这种方式，NXN块的处理时间下降到N个时间实例。
[0091]进一步并行化和随之发生的处理效率的增加可使用可选的预测结构来实现，在所述预测结构中在块中的一些样本只能从本地解码的相邻块来预测，这意味着这些样本可立即用于进一步的(开环)预测。图9示出实例，其中来自块(标记为“C”的锚像素)的3个样本仅使用本地解码的数据来被预测，其然后提供一种多次扫描的方法，该方法可只在4个步骤(O到3)中使用由至少2个相邻样本的可用性规定的自适应模板来预测8X8块中的所有样本。每一样本内的线指示相邻样本，从所述相邻样本可以预测它们的值。虽然锚像素可用闭环方式被预测，它们也可用不同的方式获得，例如，它们的原始值或量化值可在比特流中，或者通过变换系数或作为附加元数据被传送。
[0092]使用上面介绍的技术，可将闭环预测与开环预测的组合扩展到在当前被处理的块中进行闭环预测和开环预测的情况。
[0093]如来自图9的实例所示的，使用锚像素的方案提供预先并行化的机会以及对新的预测策略的灵活的基础。在该方案中的锚像素可任意放置在单元内，只要它们的位置对编码器和解码器是已知的。例如，所述位置可为特定的模式而规定，可在比特流中用信号通知，或在解码器处从其它可用数据恢复。
[0094]在下文中，将描述由四个子块组成的块的一般化预测策略。预测通常以闭环方式来执行，使得所有子块的预测实际上是从相邻块执行的。这在图10中予以说明，其中四个子块以闭环(CL)方式被定向地预测。“O”指示对在块(不考虑它们属于哪一个子块)中的所有样本的预测在同一时间实例中被计算。这种类型的预测可进一步扩展到组合的开环与闭环预测。例如，在图11中，当前块的左上方的子块可使用闭环预测从已解码块被首先预测。根据所选择的方向(即，预测策略)，从两个相邻块和从已解码的左上方子块在同一时间实例“I”处可预测右上方子块和左下方子块。最后，从来自同一块的子块在时间实例“2”处预测剩余子块。
[0095]在帧的实际边界(或其它“硬”边界，例如分片的边界，其中在该分片之外没有信息是编码器可用的)上的块不能用与被邻近块围绕的块相同的方式被处理。当前的做法是使用从用于整个块的适当值(DC值)的预测来替代从不可用像素的预测。该值对于预测可能是次优的。因此，在此提出一种可选的策略。
[0096]在图12中描绘了帧的左上方块。边界像素(好像有一些其它块，其中所有邻近块可用于预测)的可能预测方向用虚线和实线来表示。然而，用虚线标记的预测方向对此块中的那些像素是不可用的。(注意，为了简化表示，此处不包括内部像素的预测方向)。可更改给定像素的预测模板且只有预测可用的像素可以被使用，避免了 DC值的负面贡献。因此，子块的顶行中的每个像素可从其左手边的相邻子块(除了左上角像素以外，对于该左上角像素，仍使用DC值)被预测。仅从可用像素中的预测或使用传统方法(在需要时使用DC值)的预测是可能可选的，即，自适应的，并且在每个块或子块的比特流中用信号通知。
[0097]除了使用DC值去除可能的较差预测之外，另外的可选预测策略还可应用于来自边界上的块的像素。一旦边界像素被预测，它们就可用于给定块或子块的内部像素的预测。该预测不必是逐像素的，但可以是传统预测策略(例如定向的、有角的等)之一。差异是在这种情况下在使用中来自当前块像素(来自图13的阴影像素)或来自当前块或子块的像素与来自邻近块或子块的像素的组合(如图14所示，其中阴影像素来自当前块或子块，且来自邻近块或子块的像素没有在此示出)。在图13和14中，粗线表示边界(当然没有像素对跨越边界的预测是可用的)。
[0098]上述布置仅为在正被处理的块中的像素或样本的有用子集的实例。在该块中，从块外部获取的所有预测同时是解码器可采用的而没有限制。在块内获取的预测是受限制的，且在从重构的像素预测任何像素之前，需要与被重构的、预测所基于的像素串行地被处理。
[0099]在某些应用中，将块的行或列定义为所述块的子集将是有用的，每个子集中的像素或样本同时被处理且相应的子集并行地被处理。也设想棋盘布置，“白色方块”作为一个子集，“黑色方块”作为另一个子集。
[0100]对于给定的编码配置文件，组合开环和闭环预测的预测策略可以是固定的。例如，在某个尺寸的所有块上，开环预测可与闭环预测相结合来使用，而在所有其它块上仅闭环预测可以被使用。这样的策略不需要那些块的元数据。在另一方面，可通过用于对在现有视频标准中的配置选项编码的众所周知的方法来对用于为单独的块或一组块的预测方法进行配置的元数据编码。例如，编码器可首先对指示开环预测器的存在或不存在的标志编码。如果开环预测器存在，则所选择的选项可用多个比特来编码。一个典型的方案将允许以N个比特编码的2n个选项，如在对N=2的情况的下列伪代码中所示的:
[0101]EncodeBit(using open loop);
' __.*- — *.If (l==using—open—loop){
EncodeBit{combined_pred_mode & 0x01);
EncodeBit((combined—pred—mode & 0x02)>>1)t
}
[0102]可选地，在一个块的元数据与先前编码的块的元数据之间可能会存在某种关联。在那种情况下，编码器可遵循类似于用于在H.264中对帧内预测模式编码的方案。可考虑作为额外的预测模式不使用开环的情况，产生2N+1个选项。然后，指示预测是否被使用的标志被编码。如果没有使用预测，则可使用N个比特来对剩下的2n个模式进行编码，如在对N=2情况的下列伪代码中示出的:
[0103]
predicted—mode = get—mode—prediction<>;
EncodeBit(combined—pred—mode==predicted—mode);
if (combined—pred—modecpredicted—mode){
EncodeBit(combined—pred—mode & OxOl);
EncodeBit((combined—pred—mode & 0x02)>>1);
I
else if (combined_pred_mode>predicted_mode){
combined—pred—mode = combined—pred—mode-1;
EncodeBit(combined—pred—mode & 0x01);
EncodeBit((combined—pred—mode & 0x02)>>1)；
I
[0104]解码器结构在图15中示出。在解码器中，位流由熵解码块ED接收并通过逆量化器块Q-1和逆变换块T-1。将逆变换块的输出传递给解码块存储库DBS的输入端。将来自解码块存储库的经解码的数据传传递给闭环预测器F和开环保护器P°的输入端。将P°的输出通过应用增益控制系数c的乘法器(404)传递给加法器(402)。将预测器Pe的输出通过应用增益控制系数(Ι-c)的乘法器(408)应用于加法器(406)。闭环预测器P°和增益控制系数c可以根据由编码器传送的元数据来选择。这两个加法器用于将加权预测输出加到从逆变换块输出的值。一旦被重构，这些值就被传递到DBS以在预测随后的值时使用。
[0105]当然，对DBS的输入也提供从解码器输出的视频。
[0106]最佳预测器可通过自适应方式选择。预测器可通过例如线性优化技术、最小化均方误差或通过确定和推测局部梯度来选择。无论什么方法，在连续自适应技术(由此，预测器的选择是当前像素的邻近区域的值的连续函数)和不连续技术(其中预测器被切换)之间都存在根本区别。
[0107]用任何自适应技术操作开环，自适应预测器本身在编码器和解码器之间可能不同。由于非常不同的预测器可被选择，不连续自适应技术将看上去尤其危险。在连续系统中，给定类似的值，将选择类似的预测器。
[0108]作为连续自适应的实例，可以表明，如果像素被扫描以产生具有自相关R(k)的序列X (η)，那么丽SE预测器
-V
[0109]fjJ =工α,χ(η - r、
k-1
[0110]有系数ak，其满足TV线性方程组
[0111]
A--J
[0112]因此，自适应系统可通过获取信号的滚动快照并对这个系统求解来获得。可近似于此(和收敛于它，给出静态统计)的更易于处理的适应方法将是使用LMS或RLS算法。
[0113]在这种情况中，基本样本和自相关函数在编码器和解码器之间都是不同的，使不同的过滤器被使用。但是，如果预测可以好得多的话，这可能不重要。通过假设白噪声的程度，例如通过将小增量脉冲加到所测量到的自相关R(k)，或通过将人工噪声加到在LMS/RLS算法中的反馈信号，可使自适应变得更稳定。
[0114]上述结构涉及使用原始未编码的样本的预测。这引起来自预测过程的噪声添加。然而，在压缩系统中，编码器能够使用它想生成位流的任何样本:仅解码器过程需要被指定。因此，编码器可以修改用于预测的样本，使得它们更接近解码器使用来进行重构的样本。对于开环预测器，不能保证样本是完全相同的，但多次通过(multipl印ass)应提供某种程度的收敛。
[0115]实现此的方法是将两个或多个编码器级联，使得预测利用由第一编码器编码和在本地解码的数据。在这种情况下，反馈的元素重新被引入到编码过程中。在图16和17中示出框图。在这里，第一编码器按上述方式操作初始编码。解码器再次如上所述接着产生第一次解码信号，其然后被传送给第二编码器。当然，虽然第一编码器和第二编码器被分开地绘制，它们通常会构成一个硬件或软件编码器的第一通道和第二通道。
[0116]可考虑两个基本变形。在如图16所示的第一变形中，只有第二编码器的预测器使用本地解码版本，但是正在被预测的像素保持原来的版本(具有补偿延迟来考虑到第一次编码和解码)。在如图17所示的第二变形中，预测和所预测的像素都将使用本地解码版本。可级联任何数量的这些级以便实现编码器与解码器预测编码过程之间的更大收敛。
[0117]应当理解，本发明仅作为例子被描述，且各种修改是可能的，而不偏离所附权利要求的范围。在所描述的实例包括分开的特征和选项的程度上，这样的特征和选项的所有可行的组合将被视为在本文被披露。具体地，本文所附的任一项权利要求的主题被视为结合每个其它权利要求的主题而公开。
【权利要求】
1.一种视频压缩编码器，包括: 块分解器，其接收图像信息并将所述图像信息分成像元的空间块； 预测器，其为所述块提供预测值； 减法器，其接收图像信息和预测值并形成差值； 块变换部，其对块差值进行变换以提供变换系数； 其中，所述预测器对所述块中的像元子集的像元并行地操作，在所述块中有至少两个像元子集。
2.如权利要求1所述的编码器，其中像元第一子集包括完全从先前编码和重构的块预测的那些像元。
3.如权利要求2所述的编码器，其中所述像元第一子集包括不与任何先前处理的块邻接的至少一个像元。
4.如权利要求3所述的编码器，其中不与任何先前处理的块邻接的这样的像元的位置或值与变换系数分开地在流中被单独地传输或以另外方式用信号通知给解码器。
5.如前述权利要求中的任一项所述的编码器，其中像元第二子集包括至少部分地从所述第一子集的像元预测的像元。
6.如前述权利要求中的任一项所述的编码器，其中从先前子集对子集的预测是定向预测器。
7.如前述权利要求中 的任一项所述的编码器，其中从先前子集对子集的预测是运动补偿预测器。
8.如前述权利要求中任一项所述的编码器，其中所述预测器对一系列子集Si顺序地操作并对每个子集的像元并行地操作，对子集Si中的像元的预测至少部分地取决于前面的子集S。，...，Sg中的像元。
9.如权利要求1所述的编码器，其中所述预测器包括至少部分地基于当前块中的像元来生成预测的开环预测器和仅基于来自本地解码器的像元信息来生成预测的闭环预测器。
10.如权利要求9所述的编码器，其中所述预测值包括开环预测值与闭环预测值的加权和。
11.根据权利要求9或10所述的编码器，其中所述闭环预测器基于来自本地解码器的像元信息为像元第一子集生成预测；并至少部分地基于所述当前块中的像元为像元第二子集和可选地为像元的后续子集生成预测。
12.如权利要求9至11中的任一项所述的编码器，其中所述闭环预测器具有可选择的方向，并且其中所述开环预测器根据所述闭环预测器的所选择的方向来选择。
13.如前述权利要求中的任一项所述的编码器，其中预测策略在子集内是恒定的。
14.如前述权利要求中的任一项所述的编码器，其中所述预测策略从一个子集到另一个子集变化。
15.如前述权利要求中的任一项所述的编码器，其中所述第一子集和所述第二子集采用棋盘配置。
16.一种压缩编码的方法，包括下列步骤:形成输入图像值与图像预测值之间的差值；以及在基于块的变换中对所述差值进行变换；其中，形成块的差值的步骤包括对块中的像元第一子集并行地进行的第一步骤、对块中的像元第二子集并行地进行的第二步骤以及可选的另外的步骤。
17.如权利要求16所述的方法，其中所述第一步骤使用完全基于先前处理的块的图像预测值。
18.如权利要求16或17所述的方法，其中所述像元第一子集包括不与任何先前处理的块邻接的至少一个像元。
19.如权利要求16至18中的任一项所述的方法，其中像元第二子集包括至少部分地从所述第一子集的像元预测的像元。
20.如权利要求16至19中的任一项所述的方法，其中形成块的差值的步骤包括对一系列相应子集Si顺序地并对每个子集中的像元并行地进行的一系列步骤，子集Si中的像元的预测值至少部分地取决于前面的子集Stl,...，Si^1中的像元。
21.如权利要求16所述的方法，其中所述第一步骤对于与先前处理的块邻接的那些像元使用第一预测器且对于不与先前处理的块邻接的至少一个像元使用第二预测器。
22.如权利要求 16至21中的任一项所述的方法，其中预测策略在子集内是恒定的。
23.如权利要求16至22中的任一项所述的方法，其中预测策略从一个子集到另一子集变化。
24.如权利要求16至23中的任一项所述的方法，其中所述第一子集和所述第二子集采用棋盘配置。
25.如权利要求16至23中的任一项所述的方法，其中所述第一子集和所述第二子集包括相应的行。
26.如权利要求16至23中的任一项所述的方法，其中所述第一子集和所述第二子集包括相应的列。
27.如权利要求16至26中的任一项所述的方法，其中使用SMD、MMX或在CPU处理器内可用的其它内在并行操作来进行每一步骤。
28.一种视频压缩解码器，包括: 输入端，其接收表示在块中组织的经变换的图像差值的压缩编码位流； 逆量化单元，其提供再定标的变换系数； 逆块变换部，其对所述变换系数进行逆空间变换以提供解码图像差值；以及 预测器，其对所述解码图像值操作以提供预测值用于与所述图像差值相加， 其中，所述预测器对所述块中的像元子集中的像元并行地操作，在所述块中有至少两个像元子集。
29.如权利要求28所述的解码器，其中所述像元第一子集包括完全从先前预测的块预测的那些像元。
30.如权利要求29所述的解码器，其中所述像元第一子集包括不与任何先前处理的块邻接的至少一个像元。
31.如权利要求28至30中的任一项所述的解码器，其中所述像元第二子集包括至少部分从所述第一子集的像元预测的像元。
32.如权利要求28至31中的任一项所述的解码器，其中所述预测器对一系列子集Si顺序地操作并对每一子集的像元并行地操作，对子集Si中的像元的预测至少部分基于前面的子集S。，…，Sg中的像元。
33.一种压缩编码的方法，包括下列步骤:形成输入图像值与图像预测值之间的差值；以及在基于块的变换中对所述差值进行变换；其中，在位于图像或图像内的分片的边界处的块处，使得图像的不足够数量的先前处理的块或没有先前处理的块可用来形成该块的预测值，该块中的至少一些图像值的图像预测值基于该块中的其它图像值。
34.一种配置成和适合于实现根据任一前述权利要求的方法的装置。
35.一种非临时计算机程序产品，包括使可编程装置执行根据任一前述权利要求的方法 的指令。
【文档编号】H04N7/36GK103477636SQ201180066832
【公开日】2013年12月25日 申请日期:2011年12月23日 优先权日:2010年12月23日
【发明者】玛塔·姆拉克, 托马斯·戴维斯, 大卫·约翰·弗林, 安德里亚·加布里埃利尼 申请人:英国广播公司